Inside The Tech - Solving For Safety In Immersive Voice Communication - Roblox Blog

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

Inside the Tech เป็นซีรีส์บล็อกที่มาพร้อมกับเรา พอดคาสต์พูดคุยด้านเทคนิค. ในตอนที่ 20 ของพอดแคสต์ The Evolution of Roblox Avatars, David Baszucki CEO ของ Roblox ได้พูดคุยกับผู้อำนวยการอาวุโสฝ่ายวิศวกรรม Kiran Bhat ผู้อำนวยการอาวุโสฝ่ายผลิตภัณฑ์ Mahesh Ramasubramanian และผู้จัดการผลิตภัณฑ์หลัก Effie Goenawan เกี่ยวกับ อนาคตของการสื่อสารที่ดื่มด่ำ ผ่านอวตารและความท้าทายทางเทคนิคที่เรากำลังแก้ไขเพื่อเพิ่มพลัง ใน Inside the Tech ฉบับนี้ เราได้พูดคุยกับผู้จัดการฝ่ายวิศวกรรมอาวุโส Andrew Portner เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับหนึ่งในความท้าทายทางเทคนิค ความปลอดภัยในการสื่อสารด้วยเสียงที่สมจริง และวิธีที่ทีมทำงานช่วยส่งเสริมสภาพแวดล้อมดิจิทัลที่ปลอดภัยและสุภาพสำหรับทุกคน แพลตฟอร์มของเรา

อะไรคือความท้าทายทางเทคนิคที่ใหญ่ที่สุดที่ทีมของคุณกำลังเผชิญอยู่?

เราให้ความสำคัญกับการรักษาประสบการณ์ที่ดีและปลอดภัยสำหรับผู้ใช้ของเรา ความปลอดภัยและความสุภาพ เป็นสิ่งสำคัญที่สุดสำหรับเราเสมอ แต่การจัดการแบบเรียลไทม์อาจเป็นความท้าทายทางเทคนิคที่ยิ่งใหญ่ เมื่อใดก็ตามที่มีปัญหา เราต้องการที่จะตรวจสอบและดำเนินการได้แบบเรียลไทม์ แต่นี่เป็นเรื่องที่ท้าทายเมื่อพิจารณาจากขนาดของเรา เพื่อที่จะจัดการกับขนาดนี้ได้อย่างมีประสิทธิภาพ เราจำเป็นต้องใช้ประโยชน์จากระบบความปลอดภัยแบบอัตโนมัติ

ความท้าทายด้านเทคนิคอีกประการหนึ่งที่เรามุ่งเน้นคือความถูกต้องของมาตรการความปลอดภัยของเราเพื่อการกลั่นกรอง มีวิธีกลั่นกรองสองวิธีเพื่อจัดการกับการละเมิดนโยบายและให้ข้อเสนอแนะที่แม่นยำแบบเรียลไทม์: การกลั่นกรองเชิงรับและเชิงรุก สำหรับการกลั่นกรองเชิงรับ เรากำลังพัฒนาโมเดลแมชชีนเลิร์นนิง (ML) เพื่อระบุการละเมิดนโยบายประเภทต่างๆ ได้อย่างแม่นยำ ซึ่งทำงานโดยการตอบสนองต่อรายงานจากผู้คนบนแพลตฟอร์ม ในเชิงรุก เรากำลังดำเนินการตรวจหาศักยภาพแบบเรียลไทม์ เนื้อหาที่ละเมิดนโยบายของเราให้ความรู้ผู้ใช้เกี่ยวกับพฤติกรรมของพวกเขา การทำความเข้าใจคำพูดและการปรับปรุงคุณภาพเสียงเป็นกระบวนการที่ซับซ้อน เราเห็นความคืบหน้าแล้ว แต่เป้าหมายสูงสุดของเราคือการมีโมเดลที่แม่นยำสูง ซึ่งสามารถตรวจจับพฤติกรรมที่ละเมิดนโยบายได้แบบเรียลไทม์

แนวทางและโซลูชันที่เป็นนวัตกรรมบางส่วนที่เราใช้เพื่อรับมือกับความท้าทายทางเทคนิคเหล่านี้มีอะไรบ้าง

เราได้พัฒนาโมเดล ML แบบ end-to-end ที่สามารถวิเคราะห์ข้อมูลเสียงและให้ระดับความเชื่อมั่นตามประเภทของการละเมิดนโยบาย (เช่น การกลั่นแกล้ง การใช้คำหยาบคาย ฯลฯ มีแนวโน้มมากน้อยเพียงใด) โมเดลนี้ได้ปรับปรุงความสามารถของเราในการปิดรายงานบางประเภทโดยอัตโนมัติอย่างมาก เราดำเนินการเมื่อโมเดลของเรามีความมั่นใจและมั่นใจได้ว่าโมเดลจะมีประสิทธิภาพเหนือกว่ามนุษย์ ภายในเวลาเพียงไม่กี่เดือนหลังจากเปิดตัว เราก็สามารถกลั่นกรองรายงานการละเมิดการใช้เสียงภาษาอังกฤษเกือบทั้งหมดด้วยโมเดลนี้ได้ เราได้พัฒนาโมเดลเหล่านี้ภายในบริษัท และถือเป็นข้อพิสูจน์ถึงความร่วมมือระหว่างเทคโนโลยีโอเพ่นซอร์สมากมายกับงานของเราเองในการสร้างเทคโนโลยีที่อยู่เบื้องหลัง

การพิจารณาสิ่งที่เหมาะสมแบบเรียลไทม์ดูเหมือนจะค่อนข้างซับซ้อน มันทำงานยังไง?

มีความคิดมากมายในการทำให้ระบบรับรู้ตามบริบท นอกจากนี้ เรายังพิจารณารูปแบบในช่วงเวลาหนึ่งก่อนที่จะดำเนินการ เพื่อให้มั่นใจว่าการกระทำของเรานั้นสมเหตุสมผล นโยบายของเรามีความแตกต่างกันโดยขึ้นอยู่กับอายุของบุคคล ไม่ว่าพวกเขาจะอยู่ในพื้นที่สาธารณะหรือการสนทนาส่วนตัว และปัจจัยอื่นๆ อีกมากมาย เรากำลังสำรวจวิธีใหม่ๆ ในการส่งเสริมความสุภาพในแบบเรียลไทม์ และ ML คือหัวใจสำคัญของเรื่องนี้ เมื่อเร็วๆ นี้เราได้เปิดตัวการแจ้งเตือนแบบพุชอัตโนมัติ (หรือ "สะกิด") เพื่อเตือนผู้ใช้เกี่ยวกับนโยบายของเรา นอกจากนี้ เรายังพิจารณาปัจจัยอื่นๆ เช่น น้ำเสียงเพื่อให้เข้าใจความตั้งใจของบุคคลได้ดีขึ้น และแยกแยะสิ่งต่างๆ เช่น การเสียดสีหรือเรื่องตลก สุดท้ายนี้ เรากำลังสร้างโมเดลหลายภาษา เนื่องจากบางคนพูดได้หลายภาษา หรือแม้แต่เปลี่ยนภาษาระหว่างประโยค เพื่อให้สิ่งนี้เป็นไปได้ เราต้องมีแบบจำลองที่แม่นยำ

ในปัจจุบัน เรามุ่งเน้นไปที่การจัดการรูปแบบการละเมิดที่โดดเด่นที่สุด เช่น การล่วงละเมิด การเลือกปฏิบัติ และคำหยาบคาย สิ่งเหล่านี้ประกอบขึ้นเป็นรายงานการละเมิดส่วนใหญ่ เป้าหมายของเราคือการส่งผลกระทบอย่างมีนัยสำคัญในด้านเหล่านี้ และกำหนดบรรทัดฐานของอุตสาหกรรมสำหรับการส่งเสริมและรักษาการสนทนาออนไลน์แบบพลเรือน เรารู้สึกตื่นเต้นกับศักยภาพของการใช้ ML แบบเรียลไทม์ เนื่องจากช่วยให้เราส่งเสริมประสบการณ์ที่ปลอดภัยและเป็นพลเมืองได้อย่างมีประสิทธิภาพสำหรับทุกคน

ความท้าทายที่เรากำลังแก้ไขที่ Roblox มีความพิเศษอย่างไร เราอยู่ในฐานะที่จะแก้ไขอะไรเป็นอันดับแรก?

Our สนทนาด้วยเสียงเชิงพื้นที่ เทคโนโลยีสร้างประสบการณ์ที่ดื่มด่ำยิ่งขึ้น โดยเลียนแบบการสื่อสารในโลกแห่งความเป็นจริง เช่น ถ้าฉันยืนอยู่ทางซ้ายของใครบางคน พวกเขาจะได้ยินฉันที่หูซ้ายของเขา เรากำลังสร้างความคล้ายคลึงกับวิธีการสื่อสารในโลกแห่งความเป็นจริง และนี่คือความท้าทายที่เราอยู่ในฐานะที่จะแก้ไขเป็นอันดับแรก

ในฐานะเกมเมอร์ ฉันได้เห็นการล่วงละเมิดและการกลั่นแกล้งมากมายในเกมออนไลน์ มันเป็นปัญหาที่มักจะไม่ถูกตรวจสอบเนื่องจากการไม่เปิดเผยตัวตนของผู้ใช้และไม่มีผลที่ตามมา อย่างไรก็ตาม ความท้าทายทางเทคนิคที่เรากำลังแก้ไขอยู่นั้นเป็นสิ่งที่แพลตฟอร์มอื่นๆ เผชิญอยู่ในสองด้านโดยเฉพาะ บนแพลตฟอร์มเกมบางแพลตฟอร์ม การโต้ตอบจะจำกัดไว้สำหรับเพื่อนร่วมทีมเท่านั้น Roblox นำเสนอวิธีต่างๆ มากมายในการสังสรรค์ในสภาพแวดล้อมทางสังคมที่เลียนแบบชีวิตจริงได้อย่างใกล้ชิดยิ่งขึ้น ด้วยความก้าวหน้าใน ML และการประมวลผลสัญญาณแบบเรียลไทม์ เราจึงสามารถตรวจจับและจัดการกับพฤติกรรมที่ไม่เหมาะสมได้อย่างมีประสิทธิภาพ ซึ่งหมายความว่าเราไม่เพียงแต่เป็นสภาพแวดล้อมที่สมจริงมากขึ้น แต่ยังเป็นสภาพแวดล้อมที่ทุกคนรู้สึกปลอดภัยในการโต้ตอบและเชื่อมต่อกับผู้อื่น การผสมผสานระหว่างเทคโนโลยี แพลตฟอร์มที่ดื่มด่ำ และความมุ่งมั่นของเราในการให้ความรู้แก่ผู้ใช้เกี่ยวกับนโยบายของเรา ทำให้เราอยู่ในตำแหน่งที่จะรับมือกับความท้าทายเหล่านี้ได้

สิ่งสำคัญที่คุณได้เรียนรู้จากการทำงานด้านเทคนิคนี้มีอะไรบ้าง

ฉันรู้สึกเหมือนฉันได้เรียนรู้ข้อตกลงมากมาย ฉันไม่ใช่วิศวกร ML ฉันทำงานส่วนหน้าในการเล่นเกมเป็นส่วนใหญ่ ดังนั้นการได้เจาะลึกวิธีการทำงานของโมเดลเหล่านี้จึงถือเป็นเรื่องใหญ่มาก ความหวังของฉันคือการกระทำที่เรากำลังดำเนินการเพื่อส่งเสริมความสุภาพจะทำให้เกิดความเห็นอกเห็นใจในชุมชนออนไลน์ที่ยังขาดอยู่

การเรียนรู้ครั้งสุดท้ายก็คือ ทุกอย่างขึ้นอยู่กับข้อมูลการฝึกอบรมที่คุณใส่เข้าไป และเพื่อให้ข้อมูลมีความถูกต้อง มนุษย์ต้องเห็นด้วยกับป้ายกำกับที่ใช้ในการจัดหมวดหมู่พฤติกรรมที่ละเมิดนโยบายบางอย่าง การฝึกอบรมเกี่ยวกับข้อมูลที่มีคุณภาพซึ่งทุกคนสามารถตกลงร่วมกันถือเป็นสิ่งสำคัญมาก มันเป็นปัญหาที่แก้ไขได้ยากจริงๆ คุณเริ่มมองเห็นส่วนที่ ML นำหน้าทุกสิ่งทุกอย่าง และด้านอื่นๆ ที่ยังอยู่ในช่วงเริ่มต้น ยังมีอีกหลายส่วนที่ ML ยังคงเติบโต ดังนั้นการตระหนักถึงขีดจำกัดในปัจจุบันจึงเป็นสิ่งสำคัญ

ทีมของคุณสอดคล้องกับค่า Roblox ใดมากที่สุด?

การเคารพชุมชนเป็นค่าชี้นำของเราตลอดกระบวนการนี้ อันดับแรก เราต้องมุ่งเน้นไปที่การปรับปรุงความสุภาพและลดการละเมิดนโยบายบนแพลตฟอร์มของเรา สิ่งนี้มีผลกระทบอย่างมากต่อประสบการณ์ผู้ใช้โดยรวม ประการที่สอง เราต้องพิจารณาอย่างรอบคอบว่าเราเปิดตัวฟีเจอร์ใหม่เหล่านี้อย่างไร เราจำเป็นต้องคำนึงถึงผลบวกลวง (เช่น การทำเครื่องหมายบางอย่างว่าเป็นการละเมิดอย่างไม่ถูกต้อง) ในโมเดล และหลีกเลี่ยงการลงโทษผู้ใช้อย่างไม่ถูกต้อง การตรวจสอบประสิทธิภาพของโมเดลของเราและผลกระทบต่อการมีส่วนร่วมของผู้ใช้เป็นสิ่งสำคัญ

อะไรทำให้คุณตื่นเต้นมากที่สุดเกี่ยวกับทิศทางของ Roblox และทีมของคุณ?

เรามีความก้าวหน้าอย่างมากในการปรับปรุงการสื่อสารด้วยเสียงสาธารณะ แต่ยังมีอะไรอีกมากมายที่ต้องทำ การสื่อสารส่วนตัวเป็นพื้นที่ที่น่าตื่นเต้นในการสำรวจ ฉันคิดว่ามีโอกาสอย่างมากที่จะปรับปรุงการสื่อสารส่วนตัว เพื่อให้ผู้ใช้สามารถแสดงออกถึงเพื่อนสนิท รับสายสนทนาผ่านประสบการณ์ต่างๆ หรือระหว่างประสบการณ์ขณะที่พวกเขาโต้ตอบกับเพื่อนของพวกเขา ฉันคิดว่ายังมีโอกาสที่จะส่งเสริมชุมชนเหล่านี้ด้วยเครื่องมือที่ดีกว่าเพื่อให้ผู้ใช้สามารถจัดระเบียบตนเอง เข้าร่วมชุมชน แบ่งปันเนื้อหา และแบ่งปันความคิด

ในขณะที่เราเติบโตอย่างต่อเนื่อง เราจะปรับขนาดเทคโนโลยีการแชทของเราเพื่อรองรับชุมชนที่กำลังขยายตัวเหล่านี้ได้อย่างไร เราแค่เริ่มต้นดูสิ่งที่เราสามารถทำได้หลายอย่าง และฉันคิดว่ามีโอกาสที่จะปรับปรุงความสุภาพของการสื่อสารออนไลน์และการทำงานร่วมกันทั่วทั้งอุตสาหกรรมในลักษณะที่ไม่เคยทำมาก่อน ด้วยเทคโนโลยีที่เหมาะสมและความสามารถของ ML เราอยู่ในตำแหน่งที่ไม่เหมือนใครในการกำหนดอนาคตของการสื่อสารออนไลน์ทางแพ่ง