Inside the Tech là một chuỗi blog đi kèm với chúng tôi Podcast nói chuyện công nghệ. Trong tập 19 của podcast, Quốc Tế, Giám đốc điều hành Roblox David Baszucki đã nói chuyện với Giám đốc cấp cao sản phẩm Zhen Fang về chiến lược quốc tế của Roblox và những thách thức kỹ thuật mà chúng tôi đang giải quyết để đảm bảo trải nghiệm bản địa hóa cho hàng chục triệu người trên toàn cầu. Trong ấn bản Inside the Tech này, chúng tôi đã trò chuyện với Giám đốc kỹ thuật Ravali Kandur để tìm hiểu thêm về một trong những thách thức kỹ thuật đó, tìm kiếm đa ngôn ngữ và ngữ nghĩa cũng như cách nhóm Phát triển đang giúp người dùng Roblox trên toàn cầu tìm kiếm—và nhanh chóng tìm thấy— bất cứ điều gì họ muốn trên nền tảng của chúng tôi.
Thử thách kỹ thuật lớn nhất mà nhóm của bạn đang gặp phải là gì?
Cho đến khoảng một năm trước, tìm kiếm Roblox đã sử dụng một hệ thống từ vựng để khớp kết quả với tìm kiếm của người dùng, nghĩa là nó chỉ tập trung vào việc khớp văn bản. Nhưng hành vi tìm kiếm đang thay đổi nhanh chóng và cách tiếp cận đó không còn đủ để cung cấp cho người dùng nội dung phù hợp. Đồng thời, một số người dùng Roblox có thể sử dụng sai chính tả trong truy vấn của họ. Vì vậy, chúng tôi phải có khả năng đề xuất kết quả phù hợp với những gì họ đang tìm kiếm, nghĩa là hiểu được mục đích của họ.
Một vấn đề lớn khác trong tìm kiếm là thiếu dữ liệu đào tạo trên các ngôn ngữ. Trước khi tìm kiếm ngữ nghĩa, bước đầu tiên của chúng tôi là tận dụng các bản dịch máy trong hệ thống Roblox. Chúng tôi lập chỉ mục các bản dịch và sau đó thực hiện đối sánh văn bản. Nhưng điều đó là chưa đủ để luôn hiển thị cho người dùng nội dung có liên quan. Vì vậy, chúng tôi đã áp dụng một kỹ thuật ML hiện đại hơn được gọi là mô hình học sinh-giáo viên: giáo viên học từ nguồn ngữ cảnh lớn nhất của chúng tôi cho bất kỳ tình huống cụ thể nào.
Tiếng Anh là ngôn ngữ được sử dụng nhiều nhất trên Roblox, đó là lý do tại sao chúng tôi tìm hiểu nhiều mối quan hệ ngữ nghĩa nhất có thể trong tiếng Anh—mô hình giáo viên—và sau đó chúng tôi chắt lọc nó cho mô hình học sinh bằng cách mở rộng ngôn ngữ đó sang các ngôn ngữ khác. Điều này giúp chúng tôi giải quyết vấn đề đó mặc dù chúng tôi không có nhiều dữ liệu ở một số ngôn ngữ nhất định. Điều này đã khiến số lượt phát bắt nguồn từ tìm kiếm ở Nhật Bản tăng 15%.
Gần đây, chúng tôi đang nỗ lực hỗ trợ tốt hơn cho các truy vấn danh mục như “đua xe (đua xe)”. Nhưng người dùng thường xuyên gửi các truy vấn dài, dạng tự do hơn, chẳng hạn như “Này, tôi nhớ đã chơi một trò chơi trong đó có một con rồng và một cô gái chiến đấu với nó. Bạn có thể giúp tôi tìm nó được không?” Điều này đặt ra nhiều thách thức kỹ thuật hơn và chúng tôi đang tiếp tục cải thiện hệ thống của mình theo hướng này.
Một số cách tiếp cận sáng tạo để kết hợp nhiều ngữ cảnh hơn và tìm kiếm ngữ nghĩa hơn là gì?
Chúng tôi đã xây dựng một hệ thống tìm kiếm kết hợp sử dụng tìm kiếm từ vựng và kết hợp nó với các kỹ thuật và mô hình ML sử dụng tìm kiếm ngữ nghĩa và hiểu biết về mục đích của truy vấn. Chúng tôi liên tục phát triển hệ thống của mình để xây dựng sự hiểu biết về ngữ cảnh, xử lý các truy vấn phức tạp và trả về nội dung có liên quan.
Điều kỳ diệu của tìm kiếm ngữ nghĩa nằm ở các phần nhúng, là những cách thể hiện phong phú của nhiều loại tín hiệu mà chúng tôi nhận được từ khắp Roblox. Ví dụ: chúng tôi đang kết hợp các tín hiệu như nhân khẩu học của người dùng, truy vấn của người dùng, thời lượng hoặc các khía cạnh độc đáo của nó.
Chúng tôi cũng đang xem xét các tín hiệu nội dung, như trải nghiệm, vật phẩm hình đại diện và mức độ tương tác—trò chơi này được chơi thường xuyên như thế nào hoặc trò chơi có bao nhiêu người dùng và từ bao nhiêu quốc gia? Ngoài ra còn có những thứ như khả năng kiếm tiền và khả năng giữ chân cũng như siêu dữ liệu như tiêu đề, mô tả hoặc người sáng tạo của trải nghiệm. Chúng tôi đặt tất cả những điều này thông qua kiến trúc dựa trên máy biến áp, dựa trên BERT và chúng tôi sử dụng một Perceptron nhiều lớp ở cuối để tạo ra các phần nhúng, trở thành nguồn sự thật của chúng tôi.
Một cải tiến khác là hệ thống tìm kiếm điểm tương đồng nội bộ của chúng tôi. Khi ai đó thực hiện truy vấn tìm kiếm, chúng tôi sẽ truy xuất các nội dung nhúng có liên quan chặt chẽ và xếp hạng chúng để đảm bảo chúng có liên quan đến nội dung người dùng đang tìm kiếm. Và sau đó chúng tôi trả lại kết quả cho người dùng.
Một số điều quan trọng mà bạn đã học được khi thực hiện công việc kỹ thuật này là gì?
Mỗi ngôn ngữ đều có thách thức riêng. Và đặc biệt với tìm kiếm, chúng tôi cần hiểu những gì người dùng ở những nơi khác nhau trên thế giới đang tìm kiếm để chúng tôi có thể hiển thị cho họ những kết quả phù hợp nhất. Chúng ta phải hiểu các yếu tố ngôn ngữ khác nhau. Ví dụ, máy biến áp được đào tạo trước là điều cần thiết để hiểu được nhiều phương ngữ của tiếng Nhật.
Thứ hai, các mẫu truy vấn tìm kiếm đã thay đổi khá nhiều và chúng tôi phải liên tục phát triển nền tảng công nghệ của mình để theo kịp. Đồng thời, chúng tôi cần thông báo cho người dùng về những gì có thể xảy ra trên nền tảng của chúng tôi vì họ có thể không nhận ra điều đó. Ví dụ: chúng tôi có thể cho người dùng biết rằng tìm kiếm có thể hỗ trợ những thứ như truy vấn tự do (chẳng hạn như trò chơi đua xe hoặc trò chơi ẩm thực phổ biến) và nó hiểu những gì mọi người đang tìm kiếm và có thể trả về kết quả phù hợp.
Nhóm của bạn phù hợp nhất với giá trị Roblox nào?
Tầm nhìn xa là cốt lõi đối với nhóm của chúng tôi và đó là một trong những lý do khiến tôi thích làm việc tại Roblox.
Một ví dụ từ nhóm của tôi là nhóm công nghệ của chúng tôi, bao gồm các hệ thống tìm kiếm dựa trên ML và NLP của chúng tôi—tìm kiếm ngữ nghĩa, tự động hoàn thành và sửa lỗi chính tả bằng cách sử dụng các mô hình lớn được đào tạo trước.
Chúng tôi đã xây dựng tính năng này có lưu ý đến khả năng sử dụng lại cho các loại tìm kiếm khác nhau được thực hiện bởi hàng chục triệu người dùng hoạt động hàng ngày của chúng tôi. Điều đó có nghĩa là chúng ta có thể đưa vào một loại dữ liệu khác (ví dụ: các mục hình đại diện thay vì trải nghiệm) và nó sẽ hoạt động với những thay đổi rất tối thiểu.
Chúng tôi đã kết hợp tính năng tìm kiếm ngữ nghĩa cho trải nghiệm và chia sẻ nó với các ngành dọc khác như Marketplace và họ có thể tiếp tục dựa trên kiến trúc hiện có. Nó không phải là plug-and-play hoàn hảo, nhưng với một số tinh chỉnh, chúng tôi có thể điều chỉnh nó cho các trường hợp sử dụng khác nhau.
Điều gì khiến bạn phấn khích nhất về nơi Roblox và nhóm của bạn đang hướng tới?
Tìm kiếm là bề mặt duy nhất nơi người dùng thể hiện ý định rõ ràng của họ. Và điều đó có nghĩa là điều quan trọng là chúng ta phải hiểu những gì họ muốn và cung cấp cho họ những kết quả phù hợp nhất. Vì vậy, tôi thực sự rất thú vị khi nỗ lực tìm hiểu mục đích đó và hướng dẫn người dùng về những gì có thể làm được, đôi khi thậm chí trước cả khi người dùng nhận ra điều đó.
Người dùng ở bất kỳ quốc gia nào cũng có thể yêu cầu điều gì đó và chúng tôi có thể cung cấp cho họ chính xác những gì họ muốn và phù hợp nhất với họ. Điều này xây dựng niềm tin, từ đó cải thiện khả năng giữ chân. Tôi rất thú vị khi đảm nhận thử thách cải thiện tìm kiếm để xây dựng niềm tin đó và giúp Roblox đạt được mục tiêu có một tỷ người dùng.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://blog.roblox.com/2023/11/inside-the-tech-solving-for-multilingual-semantic-search/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 15%
- 19
- a
- Có khả năng
- Giới thiệu
- Đạt được
- ngang qua
- hoạt động
- thích ứng
- con nuôi
- cách đây
- sắp xếp
- Tất cả
- dọc theo
- Ngoài ra
- luôn luôn
- an
- và
- bất kì
- phương pháp tiếp cận
- cách tiếp cận
- thích hợp
- kiến trúc
- LÀ
- xung quanh
- AS
- xin
- các khía cạnh
- At
- tự động điền
- hình đại diện
- BE
- trở nên
- được
- trước
- Hơn
- lớn nhất
- Tỷ
- Một chút
- Blog
- xây dựng
- xây dựng
- xây dựng
- nhưng
- by
- gọi là
- CAN
- trường hợp
- Danh mục hàng
- giám đốc điều hành
- nhất định
- thách thức
- thách thức
- Những thay đổi
- thay đổi
- kết hợp
- phức tạp
- bao gồm
- nội dung
- bối cảnh
- tiếp tục
- liên tục
- Trung tâm
- có thể
- nước
- đất nước
- yaratıcı
- tiền thưởng
- dữ liệu
- David
- Nhân khẩu học
- Mô tả
- ĐÃ LÀM
- khác nhau
- Giám đốc
- làm
- làm
- dont
- Con Rồng
- phiên bản
- giáo dục
- các yếu tố
- cuối
- Kỹ Sư
- đảm bảo
- tập
- đặc biệt
- thiết yếu
- Ngay cả
- phát triển
- phát triển
- chính xác
- ví dụ
- bị kích thích
- thú vị
- hiện tại
- kinh nghiệm
- Kinh nghiệm
- thể hiện
- mở rộng
- trận đánh
- Tìm kiếm
- Tên
- tập trung
- thực phẩm
- Trong
- thường xuyên
- từ
- trò chơi
- Trò chơi
- tạo ra
- được
- Cô gái
- Cho
- toàn cầu
- mục tiêu
- Tăng trưởng
- xử lý
- Có
- có
- đứng đầu
- giúp đỡ
- giúp đỡ
- giúp
- Độ đáng tin của
- HTTPS
- Hỗn hợp
- i
- nâng cao
- cải thiện
- cải thiện
- in
- Hợp nhất
- kết hợp
- Tăng lên
- lập chỉ mục
- báo
- sự đổi mới
- sáng tạo
- trong
- thay vì
- ý định
- Quốc Tế
- IT
- mặt hàng
- ITS
- Nhật Bản
- Tiếng Nhật
- nhảy
- chỉ
- Giữ
- Key
- Thiếu sót
- Ngôn ngữ
- Ngôn ngữ
- lớn
- LEARN
- học
- Led
- Tỉ lệ đòn bẩy
- Lượt thích
- dòng
- dài
- còn
- tìm kiếm
- Rất nhiều
- yêu
- máy
- thực hiện
- ma thuật
- chính
- LÀM CHO
- giám đốc
- nhiều
- thị trường
- Trận đấu
- phù hợp
- Có thể..
- me
- có nghĩa là
- có nghĩa
- Siêu dữ liệu
- hàng triệu
- tâm
- tối thiểu
- ML
- kỹ thuật học máy
- kiểu mẫu
- mô hình
- Kiếm tiền
- chi tiết
- hầu hết
- nhiều
- my
- Cần
- Không
- of
- thường
- on
- ONE
- có thể
- or
- nguồn gốc
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- riêng
- các bộ phận
- mô hình
- người
- hoàn hảo
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- chơi
- đóng
- cắm
- Podcast
- Phổ biến
- có thể
- quà
- Vấn đề
- Sản phẩm
- đặt
- truy vấn
- Mau
- khá
- cuộc đua
- xếp hạng
- nhận ra
- có thật không
- lý do
- gần đây
- Mối quan hệ
- có liên quan
- nhớ
- Kết quả
- giữ
- trở lại
- Giàu
- ROBLOX
- tương tự
- kịch bản
- Tìm kiếm
- tìm kiếm
- cao cấp
- Loạt Sách
- chia sẻ
- nên
- hiển thị
- hiển thị
- tín hiệu
- So
- chỉ duy nhất
- động SOLVE
- Giải quyết
- một số
- Một người nào đó
- một cái gì đó
- đôi khi
- nguồn
- riêng
- chính tả
- ngăn xếp
- nhà nước-of-the-art
- Bước
- Chiến lược
- Sinh viên
- như vậy
- đủ
- đề nghị
- hỗ trợ
- chắc chắn
- Bề mặt
- hệ thống
- hệ thống
- Hãy
- mất
- dùng
- Các cuộc đàm phán
- giáo viên
- nhóm
- công nghệ cao
- Kỹ thuật
- kỹ thuật
- kỹ thuật
- Công nghệ
- nói
- hàng chục
- văn bản
- việc này
- Sản phẩm
- thế giới
- cung cấp their dịch
- Them
- sau đó
- Đó
- Kia là
- họ
- điều
- điều này
- những
- Tuy nhiên?
- Thông qua
- thời gian
- Yêu sách
- đến
- Hội thảo
- máy biến áp
- Bản dịch
- NIỀM TIN
- Sự thật
- XOAY
- kiểu
- loại
- hiểu
- sự hiểu biết
- hiểu
- độc đáo
- us
- sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- Bằng cách sử dụng
- giá trị
- nhiều
- ngành dọc
- rất
- Xem
- muốn
- là
- we
- TỐT
- Điều gì
- Là gì
- khi nào
- cái nào
- tại sao
- Wikipedia
- với
- ở trong
- Công việc
- đang làm việc
- thế giới
- năm
- bạn
- trên màn hình
- zephyrnet