Inside the Tech to seria blogów towarzysząca naszym Podcast Tech Talks. W 19. odcinku podcastu pt. na świecie, dyrektor generalny Roblox, David Baszucki, rozmawiał ze starszym dyrektorem ds. produktu Zhenem Fangiem o międzynarodowej strategii Roblox i wyzwaniach technicznych, które rozwiązujemy, aby zapewnić zlokalizowane doświadczenia dziesiątkom milionów ludzi na całym świecie. W tym wydaniu Inside the Tech rozmawialiśmy z menedżerem ds. inżynierii Ravali Kandurem, aby dowiedzieć się więcej o jednym z tych wyzwań technicznych, wyszukiwaniu wielojęzycznym i semantycznym oraz o tym, jak praca zespołu ds. rozwoju pomaga użytkownikom Roblox na całym świecie wyszukiwać i szybko znajdować wszystko, czego chcą na naszej platformie.
Jakie jest największe wyzwanie techniczne, którego podejmuje się Twój zespół?
Jeszcze około rok temu wyszukiwarka Roblox korzystała z systemu leksykalnego do dopasowywania wyników do wyszukiwań użytkowników, co oznacza, że skupiała się wyłącznie na dopasowywaniu tekstu. Jednak zachowania związane z wyszukiwaniem szybko się zmieniają i takie podejście nie jest już wystarczające, aby zapewnić użytkownikom odpowiednią treść. Jednocześnie niektórzy użytkownicy Roblox mogą używać nieprawidłowej pisowni w swoich zapytaniach. Musimy więc być w stanie zasugerować wyniki odpowiadające temu, czego szukają, co oznacza zrozumienie ich intencji.
Innym poważnym problemem w wyszukiwaniu jest brak danych szkoleniowych w różnych językach. Przed wyszukiwaniem semantycznym naszym pierwszym krokiem było wykorzystanie tłumaczeń maszynowych w systemie Roblox. Zindeksowaliśmy tłumaczenia, a następnie dopasowaliśmy tekst. Ale to nie wystarczy, aby zawsze wyświetlać użytkownikom odpowiednie treści. Dlatego przyjęliśmy najnowocześniejszą technikę uczenia maszynowego zwaną modelem uczeń-nauczyciel: nauczyciel uczy się z naszego największego źródła kontekstu dla dowolnego konkretnego scenariusza.
Angielski jest najczęściej używanym językiem w Robloxie, dlatego uczymy się jak najwięcej relacji semantycznych w języku angielskim – model nauczyciela – a następnie przenosimy to na model uczniów, rozszerzając to na inne języki. Pomaga nam to rozwiązać ten problem, nawet jeśli nie mamy zbyt wielu danych w niektórych językach. Doprowadziło to do 15% wzrostu liczby odtworzeń pochodzących z wyszukiwania w Japonii.
Ostatnio pracowaliśmy nad lepszą obsługą zapytań katalogowych, takich jak „đua xe (wyścigi).” Jednak użytkownicy częściej przesyłają długie, dowolne zapytania, na przykład: „Hej, pamiętam, jak grałem w grę, w której walczył smok i dziewczyna z nim. Czy możesz mi pomóc to znaleźć?” Wiąże się to z większymi wyzwaniami technicznymi i w tym kierunku stale udoskonalamy nasze systemy.
Jakie są innowacyjne podejścia do uwzględniania większego kontekstu i wyszukiwania bardziej semantycznego?
Zbudowaliśmy hybrydowy system wyszukiwania, który wykorzystuje wyszukiwanie leksykalne i łączy je z technikami i modelami ML wykorzystującymi wyszukiwanie semantyczne i zrozumienie intencji zapytania. Stale rozwijamy nasze systemy, aby budować zrozumienie kontekstu, obsługiwać złożone zapytania i zwracać odpowiednią treść.
Magia wyszukiwania semantycznego kryje się w osadzaniu, które jest bogatą reprezentacją różnych sygnałów, które otrzymujemy z całego Robloxa. Uwzględniamy na przykład takie sygnały, jak dane demograficzne użytkownika, zapytanie użytkownika, czas trwania zapytania lub jego unikalne aspekty.
Przyglądamy się także sygnałom dotyczącym treści, takim jak doświadczenia, elementy awatarów i zaangażowanie – jak często grano w tę grę, ilu miała użytkowników i z ilu krajów? Są też takie rzeczy, jak monetyzacja i utrzymanie, a także metadane, takie jak tytuł, opis lub twórca doświadczenia. Poddaliśmy to wszystko architekturze opartej na BERT, opartej na transformatorach i używamy a Perceptron wielowarstwowy na koniec wygenerować osady, które staną się naszym źródłem prawdy.
Kolejną innowacją jest nasz autorski system wyszukiwania podobieństw. Kiedy ktoś wprowadza zapytanie, pobieramy ściśle powiązane elementy osadzone i oceniamy je, aby mieć pewność, że odpowiadają temu, czego szuka użytkownik. Następnie zwracamy wyniki użytkownikom.
Jakich kluczowych rzeczy nauczyłeś się podczas wykonywania tej pracy technicznej?
Każdy język stanowi swoje własne, unikalne wyzwanie. Szczególnie w przypadku wyszukiwania musimy zrozumieć, czego szukają użytkownicy w różnych częściach świata, abyśmy mogli pokazać im najtrafniejsze wyniki. Musimy rozumieć różne elementy języka. Na przykład wstępnie wytrenowani transformatorzy byli niezbędni do zrozumienia wielu dialektów języka japońskiego.
Po drugie, wzorce wyszukiwanych haseł dość się zmieniają i musimy stale rozwijać nasz stos technologii, aby dotrzymać kroku. Jednocześnie musimy informować naszych użytkowników o możliwościach dostępnych na naszej platformie, gdyż mogą nie zdawać sobie z tego sprawy. Możemy na przykład powiedzieć naszym użytkownikom, że wyszukiwarka może obsługiwać zapytania związane ze stylem dowolnym (takie jak gry wyścigowe lub popularne gry kulinarne) oraz że rozumie, czego szukają ludzie i może zwracać odpowiednie wyniki.
Z jaką wartością Roblox najbardziej zgadza się Twój zespół?
Myślenie perspektywiczne jest podstawą naszego zespołu i jest to jeden z powodów, dla których uwielbiam pracować w Robloxie.
Jednym z przykładów mojego zespołu jest nasz stos technologii, który składa się z naszych systemów wyszukiwania opartych na uczeniu maszynowym i NLP — wyszukiwaniu semantycznym, autouzupełnianiu i poprawianiu pisowni przy użyciu wstępnie wytrenowanych dużych modeli.
Stworzyliśmy to rozwiązanie z myślą o możliwości ponownego wykorzystania w różnych typach wyszukiwań dokonywanych przez dziesiątki milionów naszych aktywnych użytkowników dziennie. Oznacza to, że możemy podłączyć inny typ danych (na przykład elementy awatara zamiast doświadczeń) i powinno to działać z bardzo minimalnymi zmianami.
Włączyliśmy semantyczne wyszukiwanie doświadczeń i udostępniliśmy je innym branżom, takim jak Marketplace, i mogły one po prostu skorzystać z istniejącej architektury. Nie jest to rozwiązanie idealnie typu plug-and-play, ale po pewnym dostrojeniu możemy je dostosować do różnych zastosowań.
Co najbardziej ekscytuje Cię w tym, dokąd zmierza Roblox i Twój zespół?
Wyszukiwanie to jedyna przestrzeń, na której użytkownicy wyrażają swoje wyraźne zamiary. A to oznacza, że niezwykle istotne jest, abyśmy rozumieli, czego chcą, i zapewniali im jak najtrafniejsze wyniki. Dlatego praca nad zrozumieniem tej intencji i edukowaniem naszych użytkowników na temat tego, co jest możliwe, jest dla mnie naprawdę ekscytująca, czasami nawet zanim użytkownik zda sobie z tego sprawę.
Użytkownik w dowolnym kraju może o coś zapytać, a my możemy mu dać dokładnie to, czego chce i to jest dla niego najważniejsze. To buduje zaufanie, co z kolei poprawia retencję. Podjęcie wyzwania polegającego na ulepszeniu wyszukiwania, aby zbudować to zaufanie i pomóc Robloxowi osiągnąć nasz cel, jakim jest miliard użytkowników, jest dla mnie ekscytujące.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://blog.roblox.com/2023/11/inside-the-tech-solving-for-multilingual-semantic-search/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 15%
- 19
- a
- Zdolny
- O nas
- Osiągać
- w poprzek
- aktywny
- przystosować
- przyjęty
- temu
- wyrównać
- Wszystkie kategorie
- wzdłuż
- również
- zawsze
- an
- i
- każdy
- podejście
- awanse
- właściwy
- architektura
- SĄ
- na około
- AS
- zapytać
- aspekty
- At
- autouzupełnianie
- awatara
- BE
- stają się
- być
- zanim
- Ulepsz Swój
- Najwyższa
- Miliard
- Bit
- Blog
- budować
- Buduje
- wybudowany
- ale
- by
- nazywa
- CAN
- Etui
- katalog
- ceo
- pewien
- wyzwanie
- wyzwania
- Zmiany
- wymiana pieniędzy
- kombajny
- kompleks
- składa się
- zawartość
- kontekst
- kontynuując
- bez przerwy
- rdzeń
- mógłby
- kraje
- kraj
- twórca
- codziennie
- dane
- David
- Demografia
- opis
- ZROBIŁ
- różne
- Dyrektor
- robi
- robi
- nie
- smok
- edycja
- edukowanie
- Elementy
- zakończenia
- Inżynieria
- zapewnić
- epizod
- szczególnie
- niezbędny
- Parzyste
- ewoluuje
- ewoluuje
- dokładnie
- przykład
- podnieca
- ekscytujący
- Przede wszystkim system został opracowany
- doświadczenie
- Doświadczenia
- ekspresowy
- rozsuwalny
- walczący
- Znajdź
- i terminów, a
- koncentruje
- jedzenie
- W razie zamówieenia projektu
- często
- od
- gra
- Games
- Generować
- otrzymać
- Dziewczyna
- Dać
- globus
- cel
- Wzrost
- uchwyt
- Have
- mający
- głowiasty
- pomoc
- pomoc
- pomaga
- W jaki sposób
- HTTPS
- Hybrydowy
- i
- podnieść
- poprawia
- poprawy
- in
- Rejestrowy
- włączenie
- Zwiększać
- zindeksowane
- informować
- Innowacja
- Innowacyjny
- wewnątrz
- zamiast
- zamiar
- na świecie
- IT
- szt
- JEGO
- Japonia
- Japonki
- skok
- właśnie
- Trzymać
- Klawisz
- Brak
- język
- Języki
- duży
- UCZYĆ SIĘ
- dowiedziałem
- Doprowadziło
- Dźwignia
- lubić
- linie
- długo
- dłużej
- poszukuje
- Partia
- miłość
- maszyna
- zrobiony
- magia
- poważny
- WYKONUJE
- kierownik
- wiele
- rynek
- Mecz
- dopasowywanie
- Może..
- me
- znaczenie
- znaczy
- Metadane
- miliony
- nic
- minimalny
- ML
- Techniki ML
- model
- modele
- Monetyzacji
- jeszcze
- większość
- wielokrotność
- my
- Potrzebować
- Nie
- of
- często
- on
- ONE
- tylko
- or
- pochodzący
- Inne
- ludzkiej,
- własny
- strony
- wzory
- Ludzie
- doskonale
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- grał
- gra
- odgrywa
- wtyczka
- Podcast
- Popularny
- możliwy
- prezenty
- Problem
- Produkt
- położyć
- zapytania
- szybko
- całkiem
- Bridgestone
- rankingu
- zrealizować
- naprawdę
- Przyczyny
- niedawno
- Relacje
- pamiętać
- Efekt
- retencja
- powrót
- Bogaty
- Roblox
- taki sam
- scenariusz
- Szukaj
- wyszukiwania
- senior
- Serie
- shared
- powinien
- pokazać
- seans
- Sygnały
- So
- Wyłącznie
- ROZWIĄZANIA
- Rozwiązywanie
- kilka
- Ktoś
- coś
- czasami
- Źródło
- specyficzny
- pisownia
- stos
- state-of-the-art
- Ewolucja krok po kroku
- Strategia
- student
- taki
- wystarczający
- sugerować
- wsparcie
- pewnie
- Powierzchnia
- system
- systemy
- Brać
- trwa
- biorąc
- Rozmowy
- nauczyciel
- zespół
- tech
- Techniczny
- technika
- Techniki
- Technologia
- powiedzieć
- kilkadziesiąt
- XNUMX
- że
- Połączenia
- świat
- ich
- Im
- następnie
- Tam.
- Te
- one
- rzeczy
- to
- tych
- chociaż?
- Przez
- czas
- Tytuł
- do
- Trening
- Transformatory
- Tłumaczenia
- Zaufaj
- Prawda
- SKRĘCAĆ
- rodzaj
- typy
- zrozumieć
- zrozumienie
- rozumie
- wyjątkowy
- us
- posługiwać się
- używany
- Użytkownik
- Użytkownicy
- za pomocą
- Wykorzystując
- wartość
- różnorodność
- pionowe
- początku.
- Zobacz i wysłuchaj
- chcieć
- była
- we
- DOBRZE
- Co
- Co to jest
- jeśli chodzi o komunikację i motywację
- który
- dlaczego
- Wikipedia
- w
- w ciągu
- Praca
- pracujący
- świat
- rok
- ty
- Twój
- zefirnet