Inside The Tech - Memecahkan Masalah Keamanan Dalam Komunikasi Suara yang Imersif - Roblox Blog

Diterbitkan Ulang Oleh Plato

Followers: 0

Inside the Tech adalah seri blog yang menyertai kami Podcast Pembicaraan Teknologi. Dalam episode 20 podcast, Evolusi Avatar Roblox, CEO Roblox David Baszucki berbicara dengan Direktur Senior Teknik Kiran Bhat, Direktur Senior Produk Mahesh Ramasubramanian, dan Manajer Produk Utama Effie Goenawan, tentang masa depan komunikasi yang mendalam melalui avatar dan tantangan teknis yang kami selesaikan untuk mendukungnya. Dalam Inside the Tech edisi kali ini, kami berbincang dengan Senior Engineering Manager Andrew Portner untuk mempelajari lebih lanjut tentang salah satu tantangan teknis tersebut, yaitu keselamatan dalam komunikasi suara yang imersif, dan bagaimana kerja tim dalam membantu menciptakan lingkungan digital yang aman dan beradab bagi semua orang. platform kami.

Apa tantangan teknis terbesar yang dihadapi tim Anda?

Kami memprioritaskan menjaga pengalaman yang aman dan positif bagi pengguna kami. Keamanan dan kesopanan selalu menjadi perhatian utama kami, namun menanganinya secara real-time dapat menjadi tantangan teknis yang besar. Setiap kali ada masalah, kami ingin dapat meninjaunya dan mengambil tindakan secara real-time, namun hal ini merupakan tantangan mengingat skala kami. Untuk menangani skala ini secara efektif, kita perlu memanfaatkan sistem keselamatan otomatis.

Tantangan teknis lain yang menjadi fokus kami adalah keakuratan langkah-langkah keselamatan kami dalam moderasi. Ada dua pendekatan moderasi untuk mengatasi pelanggaran kebijakan dan memberikan umpan balik yang akurat secara real-time: moderasi reaktif dan proaktif. Untuk moderasi reaktif, kami mengembangkan model pembelajaran mesin (ML) untuk mengidentifikasi berbagai jenis pelanggaran kebijakan secara akurat, yang bekerja dengan menanggapi laporan dari orang-orang di platform. Secara proaktif, kami berupaya mendeteksi potensi secara real-time konten yang melanggar kebijakan kami, mendidik pengguna tentang perilaku mereka. Memahami kata-kata yang diucapkan dan meningkatkan kualitas audio adalah proses yang kompleks. Kami telah melihat kemajuan, namun tujuan utama kami adalah memiliki model yang sangat tepat dan dapat mendeteksi perilaku yang melanggar kebijakan secara real-time.

Apa saja pendekatan dan solusi inovatif yang kami gunakan untuk mengatasi tantangan teknis ini?

Kami telah mengembangkan model ML menyeluruh yang dapat menganalisis data audio dan memberikan tingkat kepercayaan berdasarkan jenis pelanggaran kebijakan (misalnya, seberapa besar kemungkinan terjadinya penindasan, kata-kata kotor, dll.). Model ini telah meningkatkan kemampuan kami secara signifikan untuk menutup laporan tertentu secara otomatis. Kami mengambil tindakan ketika model kami yakin dan yakin bahwa model tersebut mengungguli manusia. Hanya dalam beberapa bulan setelah peluncuran, kami dapat memoderasi hampir semua laporan penyalahgunaan suara bahasa Inggris dengan model ini. Kami telah mengembangkan model ini sendiri dan ini merupakan bukti kolaborasi antara banyak teknologi sumber terbuka dan upaya kami sendiri untuk menciptakan teknologi di baliknya.

Menentukan apa yang sesuai secara real time tampaknya cukup rumit. Bagaimana cara kerjanya?

Ada banyak pemikiran yang dilakukan untuk membuat sistem sadar konteks. Kami juga melihat pola dari waktu ke waktu sebelum mengambil tindakan sehingga kami dapat yakin bahwa tindakan kami dapat dibenarkan. Kebijakan kami berbeda-beda tergantung pada usia seseorang, apakah mereka berada di ruang publik atau obrolan pribadi, dan banyak faktor lainnya. Kami sedang mencari cara baru untuk mempromosikan kesopanan secara real time dan ML adalah inti dari hal tersebut. Kami baru-baru ini meluncurkan pemberitahuan push otomatis (atau “dorongan”) untuk mengingatkan pengguna akan kebijakan kami. Kami juga mempelajari faktor-faktor lain seperti nada suara untuk lebih memahami maksud seseorang dan membedakan hal-hal seperti sarkasme atau lelucon. Terakhir, kami juga membangun model multibahasa karena beberapa orang berbicara dalam berbagai bahasa atau bahkan berganti bahasa di tengah kalimat. Agar hal ini bisa terjadi, kita harus memiliki model yang akurat.

Saat ini, kami berfokus untuk mengatasi bentuk-bentuk pelecehan yang paling menonjol, seperti pelecehan, diskriminasi, dan kata-kata kotor. Laporan-laporan ini merupakan sebagian besar laporan pelecehan. Tujuan kami adalah untuk memberikan dampak yang signifikan dalam bidang-bidang ini dan menetapkan norma-norma industri tentang bagaimana mempromosikan dan mempertahankan percakapan online yang sopan. Kami gembira dengan potensi penggunaan ML secara real-time, karena hal ini memungkinkan kami untuk secara efektif menumbuhkan pengalaman yang aman dan beradab bagi semua orang.

Apa keunikan tantangan yang kami selesaikan di Roblox? Apa yang bisa kita selesaikan terlebih dahulu?

Kami Mengobrol dengan Suara Spasial teknologi menciptakan pengalaman yang lebih mendalam, meniru komunikasi dunia nyata. Misalnya, jika saya berdiri di sebelah kiri seseorang, mereka akan mendengar saya melalui telinga kirinya. Kami menciptakan analogi tentang cara kerja komunikasi di dunia nyata dan ini merupakan tantangan yang harus kami selesaikan terlebih dahulu.

Sebagai seorang gamer, saya telah menyaksikan banyak pelecehan dan intimidasi dalam game online. Ini adalah masalah yang sering kali tidak ditangani karena anonimitas pengguna dan kurangnya konsekuensi. Namun, tantangan teknis yang kami atasi dalam hal ini berbeda dengan apa yang dihadapi platform lain di beberapa bidang. Di beberapa platform game, interaksi dibatasi pada rekan satu tim. Roblox menawarkan berbagai cara hangout di lingkungan sosial yang lebih mirip kehidupan nyata. Dengan kemajuan dalam ML dan pemrosesan sinyal real-time, kami dapat secara efektif mendeteksi dan mengatasi perilaku kasar yang berarti kita tidak hanya berada dalam lingkungan yang lebih realistis, namun juga lingkungan tempat setiap orang merasa aman untuk berinteraksi dan terhubung dengan orang lain. Kombinasi teknologi kami, platform kami yang mendalam, dan komitmen kami untuk mendidik pengguna tentang kebijakan kami menempatkan kami pada posisi untuk mengatasi tantangan-tantangan ini secara langsung.

Apa saja hal penting yang telah Anda pelajari dari melakukan pekerjaan teknis ini?

Saya merasa telah belajar banyak hal. Saya bukan insinyur ML. Saya sebagian besar bekerja di bagian depan game, jadi bisa mempelajari lebih dalam tentang cara kerja model ini adalah hal yang luar biasa. Harapan saya adalah bahwa tindakan yang kami ambil untuk mempromosikan kesopanan akan mencerminkan tingkat empati yang selama ini kurang dalam komunitas online.

Pembelajaran terakhir adalah bahwa semuanya bergantung pada data pelatihan yang Anda masukkan. Dan agar datanya akurat, manusia harus menyetujui label yang digunakan untuk mengkategorikan perilaku tertentu yang melanggar kebijakan. Sangat penting untuk melatih data berkualitas yang dapat disetujui semua orang. Ini adalah masalah yang sangat sulit untuk dipecahkan. Anda mulai melihat area di mana ML berada jauh di depan segalanya, dan kemudian area lain yang masih dalam tahap awal. Masih banyak area di mana ML masih berkembang, jadi menyadari batasannya saat ini adalah kuncinya.

Nilai Roblox manakah yang paling selaras dengan tim Anda?

Menghormati komunitas adalah nilai panduan kami selama proses ini. Pertama, kita perlu fokus pada peningkatan kesopanan dan pengurangan pelanggaran kebijakan di platform kita. Hal ini berdampak signifikan pada pengalaman pengguna secara keseluruhan. Kedua, kami harus mempertimbangkan dengan cermat cara kami meluncurkan fitur-fitur baru ini. Kita perlu mewaspadai kesalahan positif (misalnya salah menandai sesuatu sebagai penyalahgunaan) dalam model dan menghindari memberikan sanksi yang salah kepada pengguna. Memantau kinerja model kami dan dampaknya terhadap keterlibatan pengguna sangatlah penting.

Apa yang paling membuat Anda bersemangat tentang tujuan Roblox dan tim Anda?

Kita telah mencapai kemajuan yang signifikan dalam meningkatkan komunikasi suara publik, namun masih banyak yang harus dilakukan. Komunikasi pribadi adalah bidang yang menarik untuk dijelajahi. Saya pikir ada peluang besar untuk meningkatkan komunikasi pribadi, memungkinkan pengguna mengekspresikan diri mereka kepada teman dekat, melakukan panggilan suara saat sedang berinteraksi atau selama berinteraksi dengan teman-temannya. Saya pikir ada juga peluang untuk membina komunitas ini dengan alat yang lebih baik untuk memungkinkan pengguna mengatur diri sendiri, bergabung dengan komunitas, berbagi konten, dan berbagi ide.

Seiring dengan pertumbuhan kami, bagaimana kami meningkatkan teknologi chat untuk mendukung komunitas yang terus berkembang ini? Kami masih mengeksplorasi banyak hal yang bisa kami lakukan, dan menurut saya ada peluang untuk meningkatkan kesopanan dalam komunikasi online dan kolaborasi di seluruh industri dengan cara yang belum pernah dilakukan sebelumnya. Dengan teknologi dan kemampuan ML yang tepat, kami berada dalam posisi unik untuk membentuk masa depan komunikasi sipil online.