Inside the Tech er en bloggserie som følger med vår Tech Talks Podcast. I episode 19 av podcasten, internasjonalt, Roblox-sjef David Baszucki snakket med Product Senior Director Zhen Fang om Roblox sin internasjonale strategi, og de tekniske utfordringene vi løser for å sikre en lokalisert opplevelse for titalls millioner mennesker over hele verden. I denne utgaven av Inside the Tech snakket vi med ingeniørsjef Ravali Kandur for å lære mer om en av disse tekniske utfordringene, flerspråklig og semantisk søk, og hvordan Growth-teamets arbeid hjelper Roblox-brukere over hele verden med å søke etter – og raskt finne – alt de vil ha på plattformen vår.
Hva er den største tekniske utfordringen ditt team tar på seg?
Inntil for omtrent et år siden brukte Roblox-søk et leksikalsk system for å matche resultater til brukernes søk, noe som betyr at det utelukkende fokuserte på tekstmatching. Men søkeatferden endrer seg raskt, og den tilnærmingen er ikke lenger tilstrekkelig til å gi brukerne relevant innhold. Samtidig kan noen Roblox-brukere bruke feil stavemåte i spørringene sine. Så vi må kunne foreslå resultater som samsvarer med det de leter etter, noe som betyr å forstå intensjonen deres.
Et annet stort problem i søk er mangel på opplæringsdata på tvers av språk. Før semantisk søk var vårt første skritt å utnytte maskinoversettelser i Roblox-systemet. Vi indekserte oversettelsene og gjorde deretter en tekstmatch. Men det er ikke tilstrekkelig for alltid å vise brukerne relevant innhold. Så vi har tatt i bruk en mer avansert ML-teknikk kalt en elev-lærer-modell: læreren lærer fra vår største kontekstkilde for ethvert spesifikt scenario.
Engelsk er det mest brukte språket på Roblox, og det er grunnen til at vi lærer så mange semantiske relasjoner vi kan på engelsk – lærermodellen – og deretter destillerer vi det til elevmodellen ved å utvide det til andre språk. Dette hjelper oss med å løse det problemet selv om vi ikke har mye data på visse språk. Dette har ført til en økning på 15 % i avspillinger som stammer fra søk i Japan.
Vi har nylig jobbet for å bedre støtte våre katalogforespørsler som "đua xe (racing)." Men brukere sender oftere lange spørringer i fritt format, som: "Hei, jeg husker at jeg spilte et spill der det var en drage og en jente som kjempet med den. Kan du hjelpe meg å finne det?" Dette gir flere tekniske utfordringer, og vi fortsetter å forbedre systemene våre i denne retningen.
Hva er noen av de innovative tilnærmingene for å inkorporere mer kontekst og mer semantisk søk?
Vi har bygget et hybrid søkesystem som tar leksikalsk søk og kombinerer det med ML-teknikker og -modeller som bruker semantisk søk og forståelsen av et søks hensikt. Vi utvikler kontinuerlig systemene våre for å bygge kontekstforståelse, håndtere komplekse spørsmål og returnere relevant innhold.
Magien med semantisk søk ligger i innebyggingene, som er rike representasjoner av en rekke signaler vi får fra hele Roblox. For eksempel inkorporerer vi signaler som brukerdemografi, en brukers søk, hvor lang den er, eller hva dens unike aspekter er.
Vi ser også på innholdssignaler, som opplevelser, avatarelementer og engasjement – hvor ofte ble dette spillet spilt eller hvor mange brukere hadde det, og fra hvor mange land? Det er også ting som inntektsgenerering og oppbevaring, samt metadata som en opplevelses tittel, beskrivelse eller skaper. Vi setter alle disse gjennom en BERT-basert, transformatorbasert arkitektur og vi bruker en Flerlags Perceptron på slutten for å generere embeddings, som blir vår kilde til sannhet.
En annen innovasjon er vårt interne likhetssøkesystem. Når noen gjør et søk, henter vi de nært beslektede innebyggingene, og rangerer dem for å være sikre på at de er relevante for det brukeren ser etter. Og så returnerer vi resultatene til brukerne.
Hva er noen av de viktigste tingene du har lært av å gjøre dette tekniske arbeidet?
Hvert språk byr på sin egen unike utfordring. Og spesielt med søk må vi forstå hva brukere i forskjellige deler av verden ser etter, slik at vi kan vise dem de mest relevante resultatene. Vi må forstå ulike språkelementer. For eksempel har ferdigtrente transformatorer vært avgjørende for å forstå de mange dialektene til japansk.
For det andre har søkemønsteret endret seg ganske mye, og vi må kontinuerlig utvikle teknologistabelen vår for å følge med. Samtidig må vi informere brukerne våre om hva som er mulig på vår plattform, da de kanskje ikke er klar over det. For eksempel kan vi fortelle brukerne våre at søk kan støtte ting som freestyle-spørringer (som racingspill eller populære matspill), og at det forstår hva folk ser etter og kan gi passende resultater.
Hvilken Roblox-verdi er teamet ditt mest på linje med?
Det langsiktige er kjernen i teamet vårt, og det er en av grunnene til at jeg elsker å jobbe hos Roblox.
Et eksempel fra teamet mitt er teknologistabelen vår, som består av våre ML- og NLP-baserte søkesystemer – semantisk søk, autofullføring og stavekorrigering ved bruk av forhåndstrente store modeller.
Vi har bygget dette med tanke på gjenbruk på tvers av ulike typer søk utført av våre titalls millioner daglige aktive brukere. Det betyr at vi kan plugge inn en annen type data (for eksempel avatarelementer i stedet for opplevelser), og det bør fungere med minimale endringer.
Vi har innlemmet semantisk søk etter opplevelser, og vi har delt det med andre vertikaler som Marketplace, og de har vært i stand til å hoppe på den eksisterende arkitekturen. Det er ikke perfekt plug-and-play, men med litt finjustering kan vi tilpasse det på tvers av forskjellige brukstilfeller.
Hva begeistrer deg mest om hvor Roblox og teamet ditt er på vei?
Søk er den eneste overflaten der brukere uttrykker sin eksplisitte hensikt. Og det betyr at det er viktig at vi forstår hva de ønsker og gir dem de mest relevante resultatene. Så det er veldig spennende for meg å jobbe med å forstå intensjonen og utdanne brukerne våre om hva som er mulig, noen ganger til og med før brukeren innser det.
En bruker i et hvilket som helst land kan spørre om noe, og vi kan gi dem akkurat det de vil ha, og det er mest relevant for dem. Dette bygger tillit som igjen forbedrer oppbevaring. Det er spennende for meg å ta på meg utfordringen med å forbedre søket for å bygge denne tilliten og hjelpe Roblox med å nå målet vårt om å ha en milliard brukere.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://blog.roblox.com/2023/11/inside-the-tech-solving-for-multilingual-semantic-search/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 15%
- 19
- a
- I stand
- Om oss
- Oppnå
- tvers
- aktiv
- tilpasse
- vedtatt
- siden
- justere
- Alle
- langs
- også
- alltid
- an
- og
- noen
- tilnærming
- tilnærminger
- hensiktsmessig
- arkitektur
- ER
- rundt
- AS
- spør
- aspekter
- At
- Autofullfør
- avatar
- BE
- bli
- vært
- før du
- Bedre
- Biggest
- Milliarder
- Bit
- Blogg
- bygge
- bygger
- bygget
- men
- by
- som heter
- CAN
- saker
- katalog
- konsernsjef
- viss
- utfordre
- utfordringer
- Endringer
- endring
- skurtreskerne
- komplekse
- består
- innhold
- kontekst
- fortsetter
- kontinuerlig
- Kjerne
- kunne
- land
- land
- skaperen
- daglig
- dato
- David
- Demografi
- beskrivelse
- gJORDE
- forskjellig
- Regissør
- gjør
- gjør
- ikke
- Drage
- utgave
- utdanne
- elementer
- slutt
- Ingeniørarbeid
- sikre
- episode
- spesielt
- avgjørende
- Selv
- utvikle seg
- utvikling
- nøyaktig
- eksempel
- spent
- spennende
- eksisterende
- erfaring
- Erfaringer
- ekspress
- strekker
- slåss
- Finn
- Først
- fokuserte
- mat
- Til
- ofte
- fra
- spill
- Games
- generere
- få
- Pike
- Gi
- globus
- mål
- Vekst
- håndtere
- Ha
- å ha
- ledet
- hjelpe
- hjelpe
- hjelper
- Hvordan
- HTTPS
- Hybrid
- i
- forbedre
- forbedrer
- bedre
- in
- Incorporated
- innlemme
- Øke
- indeksert
- informere
- Innovasjon
- innovative
- innsiden
- i stedet
- hensikt
- internasjonalt
- IT
- varer
- DET ER
- Japan
- Japansk
- hoppe
- bare
- Hold
- nøkkel
- maling
- Språk
- språk
- stor
- LÆRE
- lært
- Led
- Leverage
- i likhet med
- linjer
- Lang
- lenger
- ser
- Lot
- elsker
- maskin
- laget
- magi
- større
- GJØR AT
- leder
- mange
- markedsplass
- Match
- matchende
- Kan..
- me
- betyr
- midler
- metadata
- millioner
- tankene
- minimal
- ML
- ML teknikker
- modell
- modeller
- inntjenings
- mer
- mest
- flere
- my
- Trenger
- Nei.
- of
- ofte
- on
- ONE
- bare
- or
- opprinnelse
- Annen
- vår
- egen
- deler
- mønstre
- Ansatte
- perfekt
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- spilt
- spiller
- spiller
- støpsel
- podcast
- Populær
- mulig
- gaver
- Problem
- Produkt
- sette
- spørsmål
- raskt
- ganske
- Racing
- rangerer
- realisere
- virkelig
- grunner
- nylig
- Relasjoner
- relevant
- husker
- Resultater
- oppbevaring
- retur
- Rich
- Roblox
- samme
- scenario
- Søk
- søk
- senior
- Serien
- delt
- bør
- Vis
- viser
- signaler
- So
- utelukkende
- LØSE
- løse
- noen
- Noen
- noe
- noen ganger
- kilde
- spesifikk
- staving
- stable
- state-of-the-art
- Trinn
- Strategi
- Student
- slik
- tilstrekkelig
- foreslår
- støtte
- sikker
- overflaten
- system
- Systemer
- Ta
- tar
- ta
- Snakker
- lærer
- lag
- tech
- Teknisk
- teknikk
- teknikker
- Teknologi
- fortelle
- titus
- tekst
- Det
- De
- verden
- deres
- Dem
- deretter
- Der.
- Disse
- de
- ting
- denne
- De
- selv om?
- Gjennom
- tid
- Tittel
- til
- Kurs
- transformers
- Oversettelser
- Stol
- Sannhet
- SVING
- typen
- typer
- forstå
- forståelse
- forstår
- unik
- us
- bruke
- brukt
- Bruker
- Brukere
- ved hjelp av
- utnytte
- verdi
- variasjon
- vertikaler
- veldig
- Se
- ønsker
- var
- we
- VI VIL
- Hva
- Hva er
- når
- hvilken
- hvorfor
- Wikipedia
- med
- innenfor
- Arbeid
- arbeid
- verden
- år
- du
- Din
- zephyrnet