Thought Propagation: An Analogical Approach To Complex Reasoning With Large Language Models - KDnuggets

Ponovno objavil Platon

Spremljevalci: 0

Razširjanje misli: analogni pristop k zapletenemu sklepanju z velikimi jezikovnimi modeli

Ključni izdelki

Razširjanje misli (TP) je nova metoda, ki izboljšuje kompleksne sposobnosti razmišljanja velikih jezikovnih modelov (LLM).
TP izkorišča analogne probleme in njihove rešitve za izboljšanje sklepanja, namesto da bi študentje LLM razmišljali iz nič.
Poskusi pri različnih nalogah kažejo, da TP bistveno prekaša osnovne metode, z izboljšavami v razponu od 12 % do 15 %.

TP najprej pozove LLM-ja, da predlaga in reši niz analognih problemov, ki so povezani z vhodnim. Nato TP ponovno uporabi rezultate analognih problemov, da neposredno pridobi novo rešitev ali izpelje načrt, ki temelji na znanju, za izvedbo, da spremeni začetno rešitev, pridobljeno iz nič.

Vsestranskost in računska moč velikih jezikovnih modelov (LLM) sta nesporni, vendar nista brezmejni. Eden najpomembnejših in doslednejših izzivov za LLM je njihov splošen pristop k reševanju problemov, ki ga sestavlja sklepanje iz prvih načel za vsako novo nalogo, s katero se srečajo. To je problematično, saj omogoča visoko stopnjo prilagodljivosti, hkrati pa povečuje verjetnost napak, zlasti pri nalogah, ki zahtevajo sklepanje v več korakih.

Izziv »sklepanja iz nič« je še posebej izrazit pri kompleksnih nalogah, ki zahtevajo več korakov logike in sklepanja. Na primer, če je LLM zaprošen, da najde najkrajšo pot v omrežju medsebojno povezanih točk, običajno ne bo uporabil predznanja ali podobnih problemov, da bi našel rešitev. Namesto tega bi poskušal problem rešiti izolirano, kar lahko privede do neoptimalnih rezultatov ali celo popolnih napak. Vnesite Razširjanje misli (TP), metoda, ki je zasnovana za povečanje zmožnosti sklepanja LLM. Cilj TP je preseči inherentne omejitve LLM-jev tako, da jim omogoči črpanje iz rezervoarja analognih problemov in njihovih ustreznih rešitev. Ta inovativni pristop ne le izboljšuje natančnost rešitev, ustvarjenih z LLM, ampak tudi bistveno izboljša njihovo sposobnost reševanja večstopenjskih, zapletenih nalog razmišljanja. Z izkoriščanjem moči analogije TP zagotavlja ogrodje, ki krepi prirojene zmožnosti razmišljanja LLM-jev in nas pripelje korak bližje realizaciji resnično inteligentnih umetnih sistemov.

Razširjanje misli vključuje dva glavna koraka:

Najprej je LLM pozvan, da predlaga in reši vrsto podobnih problemov, povezanih z vhodnim problemom
Nato se rešitve teh podobnih problemov uporabijo za neposredno pridobitev nove rešitve ali za spremembo začetne rešitve.

Postopek prepoznavanja analognih problemov omogoča LLM, da ponovno uporabi strategije in rešitve za reševanje problemov, s čimer izboljša svoje sposobnosti sklepanja. TP je združljiv z obstoječimi metodami pozivanja in zagotavlja posplošljivo rešitev, ki jo je mogoče vključiti v različne naloge brez pomembnega inženiringa, specifičnega za nalogo.

Slika 1: Proces širjenja misli (slika s papirja)

Poleg tega ne smemo podcenjevati prilagodljivosti TP. Zaradi združljivosti z obstoječimi metodami pozivanja je zelo vsestransko orodje. To pomeni, da TP ni omejen na nobeno specifično vrsto domene reševanja problemov. To odpira vznemirljive poti za natančno prilagajanje in optimizacijo, specifično za naloge, s čimer se poveča uporabnost in učinkovitost LLM-jev v širokem spektru aplikacij.

Implementacijo Thought Propagation je mogoče vključiti v potek dela obstoječih LLM. Na primer, v nalogi Shortest-path Reasoning bi lahko TP najprej rešil niz enostavnejših, analognih problemov, da bi razumel različne možne poti. Te vpoglede bi nato uporabil za rešitev kompleksnega problema in s tem povečal verjetnost, da najde optimalno rešitev.

Primer 1

Naloga: Sklepanje po najkrajši poti
Analogni problemi: Najkrajša pot med točko A in B, Najkrajša pot med točko B in C
Končna rešitev: Optimalna pot od točke A do C ob upoštevanju rešitev analognih problemov

Primer 2

Naloga: Kreativno pisanje
Analogni problemi: Napiši kratko zgodbo o prijateljstvu, Napiši kratko zgodbo o zaupanju
Končna rešitev: Napišite zapleteno kratko zgodbo, ki vključuje teme prijateljstva in zaupanja

Postopek vključuje najprej reševanje teh podobnih problemov, nato pa uporabo pridobljenih spoznanj za reševanje zapletene naloge, ki jo imamo. Ta metoda je dokazala svojo učinkovitost pri več nalogah in prikazala znatne izboljšave v meritvah uspešnosti.

Posledice širjenja misli presegajo zgolj izboljšanje obstoječih meritev. Ta tehnika spodbujanja lahko spremeni naše razumevanje in uvajanje LLM-jev. Metodologija poudarja premik od izoliranega, atomskega reševanja problemov k bolj celostnemu, med seboj povezanemu pristopu. Spodbudi nas k razmisleku o tem, kako se lahko LLM učijo ne le iz podatkov, ampak iz samega procesa reševanja problemov. Z nenehnim posodabljanjem svojega razumevanja z rešitvami podobnih problemov so LLM-ji, opremljeni s TP, bolje pripravljeni na spopadanje z nepredvidenimi izzivi, zaradi česar so bolj odporni in prilagodljivi v hitro razvijajočih se okoljih.

Razširjanje misli je obetaven dodatek k orodju metod spodbujanja, namenjenih izboljšanju zmogljivosti LLM. Z omogočanjem LLM-jem, da izkoristijo podobne probleme in njihove rešitve, TP zagotavlja bolj niansirano in učinkovito metodo sklepanja. Poskusi potrjujejo njegovo učinkovitost, zaradi česar je kandidat za strategijo za izboljšanje učinkovitosti LLM pri različnih nalogah. TP lahko na koncu predstavlja pomemben korak naprej pri iskanju zmogljivejših sistemov AI.

Matthew Mayo (@mattmayo13) ima magisterij iz računalništva in diplomo iz podatkovnega rudarjenja. Matthew si kot glavni urednik KDnuggets prizadeva narediti dostopne zapletene koncepte podatkovne znanosti. Njegovi poklicni interesi vključujejo obdelavo naravnega jezika, algoritme strojnega učenja in raziskovanje nastajajoče umetne inteligence. Vodi ga misija demokratizacije znanja v skupnosti podatkovne znanosti. Matthew kodira od svojega 6. leta.