Kaj je nevronsko iskanje?

By Pradeep Sharma, Odnosi z razvijalci pri Jina AI

TL;DR: Nevronsko iskanje je nov pristop k pridobivanju informacij z uporabo nevronskih mrež. Tradicionalne tehnike iskanja so običajno pomenile pisanje pravil za »razumevanje« iskanih podatkov in vrnitev najboljših rezultatov. Toda z nevronskim iskanjem razvijalcem ni treba razbijati možganov za ta pravila; Sistem se sam nauči pravil in se sčasoma izboljšuje. Tudi razvijalci, ki ne poznajo strojnega učenja, lahko hitro zgradijo iskalnik z uporabo odprtokodnih okvirov, kot je npr Jina.

Kaj je nevronsko iskanje?

 

Na spletu je ogromno podatkov; kako lahko učinkovito iščemo relevantne informacije? In ne potrebujemo ga le v spletu: naši računalniki hranijo terabajte podatkov o podjetju in osebnih podatkov, s katerimi moramo delati; potrebujemo učinkovito iskanje, da opravimo svoje vsakodnevno delo. In kaj mislim z učinkovitim iskanjem

• Ali lahko presežemo le ujemanje ključnih besed?
• Ali lahko iščemo z uporabo naravnega jezika, tako kot bi pisali ali govorili?
• Ali lahko naredimo iskanje dovolj pametno, da nam odpusti manjše napake?
• Ali lahko iščemo stvari, ki se ne ujemajo natančno, vendar so "dovolj blizu"?

Na vsa ta vprašanja lahko odgovorimo z eno besedo: Da. Da bi razumeli, kako, moramo vstopiti v svet obdelave naravnega jezika. NLP je področje računalništva, ki se ukvarja z analizo podatkov naravnega jezika, kot so pogovori, ki jih ljudje vodimo vsak dan.

NLP je temelj inteligentnega iskanja in videli smo tri različne pristope na tem področju, kot sledi.

Razvoj metod iskanja

 

1. Pravila (1950–1990)
   Zapletena ročno napisana pravila, ki posnemajo razumevanje naravnega jezika.
   Pomanjkljivosti: Ročno napisana pravila lahko postanejo natančnejša samo s povečanjem njihove kompleksnosti, kar je veliko težja naloga, ki sčasoma postane neobvladljiva.
2. Statistika (1990–2010)
   Verjetnostne odločitve na podlagi uteži, strojnega učenja in inženiringa funkcij.
   Ustvarjanje in upravljanje pravil je bilo rešeno s strojnim učenjem, kjer se sistem samodejno nauči pravil z analizo velikih besedil iz realnega sveta.
   Pomanjkljivosti: Te statistične metode zahtevajo dovršen inženiring funkcij.
3. Nevronske mreže (prisotnost)

   Napredne metode strojnega učenja, kot so globoke nevronske mreže in predstavitveno učenje.

   Od leta 2015 so bile statistične metode v veliki meri opuščene in prišlo je do premika k nevronske mreže v strojnem učenju. Priljubljene tehnike, ki uporabljajo to metodo, jo naredijo natančnejšo in razširljivo alternativo. Vključuje

   • Uporaba vdelave besed za zajemanje pomenskih lastnosti besed
   • Osredotočite se na učenje nalog višje ravni (npr. odgovarjanje na vprašanja) od konca do konca.

Ko uporabljate nevronske mreže za pametnejše iskanje, temu pravimo a Nevronski iskalni sistem. In kot boste videli, obravnava nekatere kritične pomanjkljivosti drugih metod.

Upoštevajte, da aplikacije nevronskega iskanja niso omejene samo na besedilo. To presega tisto, kar pokriva NLP. Z nevronskim iskanjem dobimo dodatne zmožnosti iskanja slik, zvoka, videa itd.

Poglejmo primerjavo skrajnih koncev metod iskanja — »Pravila« proti »Nevronskim mrežam«:

Pravila (simbolično iskanje) proti nevronskim mrežam (nevronsko iskanje)

 

Primerjava simbolnega iskanja z nevronskim iskanjem

 

Medtem ko je metoda nevronskega iskanja od leta 2015 postala bolj razširjena in bi morala biti primarno osredotočeno področje vsakega novega iskalnega sistema, ne smemo popolnoma izključiti simboličnih (na pravilih) metod iskanja. Pravzaprav lahko uporaba kombinacije nevronskega iskanja in simbolnega iskanja povzroči optimizirane rezultate.

Oglejmo si nekaj zmogljivih aplikacij Neural Search

Aplikacije nevronskega iskanja

 
Semantično iskanje

🔍 addidsa hlače

(napačno črkovana znamka in kategorija, še vedno vrne ustrezne rezultate, podobne poizvedbi »hlače adidas«)

 
Iskanje med vrstami podatkov

Z nevronskim iskanjem lahko uporabite eno vrsto podatkov za iskanje druge vrste podatkov, na primer z uporabo besedila za iskanje slik ali zvoka za iskanje videa.

Primer navzkrižnega iskanja

 

 
Iščite z več vrstami podatkov

Z nevronskim iskanjem lahko sestavite poizvedbe z več vrstami podatkov poizvedbe, npr. iskanje slik z besedilom + sliko

Primer večmodalnega iskanja

 

Začnite z nevronskim iskanjem

 
Za iskanja, ki temeljijo na pravilih, so de facto rešitve Apache Solr, Elasticsearch in Lucene. Po drugi strani je Neural Search razmeroma nov na sceni, ni toliko standardnih paketov. Da ne omenjam, usposabljanje nevronske mreže za tak sistem zahteva kar nekaj podatkov. Te izzive je mogoče rešiti z uporabo Jina, odprtokodno nevronsko iskalno ogrodje. Če želite začeti graditi svoj lastni nevronski iskalni sistem z uporabo Jina:

Reference

 
Bio: Pradeep Sharma piše kodo in članke o produktivnosti, programskem inženiringu, team buildingu, delu na daljavo itd.

prvotni. Poročeno z dovoljenjem.

Povezano:

Vir: https://www.kdnuggets.com/2021/05/what-neural-search.html