Thought Propagation: An Analogical Approach To Complex Reasoning With Large Language Models - KDnuggets

Újra kiadta Platón

Követő: 0

Gondolatterjesztés: analóg megközelítés a komplex érveléshez nagy nyelvi modellekkel

Kulcs elvezetések

A Gondolatterjesztés (TP) egy új módszer, amely javítja a nagy nyelvi modellek (LLM) összetett érvelési képességeit.
A TP az analóg problémákat és azok megoldásait használja fel az érvelés javítására, ahelyett, hogy az LLM-eket a semmiből okosítaná.
A különböző feladatokon végzett kísérletek azt mutatják, hogy a TP lényegesen felülmúlja az alapmódszereket, 12% és 15% közötti javulással.

A TP először arra kéri az LLM-eket, hogy javasoljanak és oldjanak meg egy sor analóg problémát, amelyek a bemenettel kapcsolatosak. Ezután a TP újra felhasználja az analóg problémák eredményeit, hogy közvetlenül új megoldást adjon, vagy tudásintenzív tervet készítsen a végrehajtásra, hogy módosítsa a nulláról kapott eredeti megoldást.

A Large Language Models (LLM) sokoldalúsága és számítási teljesítménye tagadhatatlan, mégsem korlátlanok. Az LLM-ek előtt álló egyik legjelentősebb és legkövetkezetesebb kihívás a problémamegoldás általános megközelítése, amely minden új feladatnál az első elvek alapján való érvelésből áll. Ez problémás, mivel nagyfokú alkalmazkodóképességet tesz lehetővé, de növeli a hibák valószínűségét is, különösen a többlépcsős érvelést igénylő feladatoknál.

Az „a semmiből való érvelés” kihívása különösen hangsúlyos összetett feladatoknál, amelyek több logikai lépést és következtetést igényelnek. Például, ha egy LLM-et arra kérnek, hogy találja meg a legrövidebb utat az összekapcsolt pontok hálózatában, akkor általában nem használja fel előzetes tudását vagy hasonló problémákat a megoldás megtalálásához. Ehelyett megpróbálná elszigetelten megoldani a problémát, ami szuboptimális eredményekhez vagy akár egyenes hibákhoz vezethet. Belép Gondolatterjesztés (TP), egy olyan módszer, amelyet az LLM-ek érvelési képességeinek bővítésére terveztek. A TP célja az LLM-ek eredendő korlátainak leküzdése azáltal, hogy lehetővé teszi számukra, hogy analóg problémák és a megfelelő megoldások tárházából merítsenek. Ez az innovatív megközelítés nemcsak az LLM által generált megoldások pontosságát javítja, hanem jelentősen javítja a többlépcsős, összetett érvelési feladatok megbirkózási képességét is. Az analógia erejét kihasználva a TP olyan keretrendszert biztosít, amely felerősíti az LLM-ek veleszületett érvelési képességeit, és egy lépéssel közelebb visz minket a valóban intelligens mesterséges rendszerek megvalósításához.

A gondolatterjesztés két fő lépésből áll:

Először is, az LLM arra kéri, hogy javasoljon és oldjon meg egy sor analóg problémát a bemeneti problémával kapcsolatban
Ezután ezeknek az analóg problémáknak a megoldásait arra használjuk, hogy közvetlenül új megoldást kapjanak, vagy módosítsák az eredeti megoldást

Az analóg problémák azonosításának folyamata lehetővé teszi az LLM számára, hogy újra felhasználja a problémamegoldó stratégiákat és megoldásokat, ezáltal javítva érvelési képességeit. A TP kompatibilis a meglévő felszólító módszerekkel, általánosítható megoldást biztosítva, amely jelentős feladatspecifikus tervezés nélkül beépíthető különféle feladatokba.

Gondolatterjesztési folyamat
ábra 1: A gondolatterjesztés folyamata (Kép papírról)

Ráadásul a TP alkalmazkodóképességét sem szabad alábecsülni. A meglévő felszólítási módszerekkel való kompatibilitása rendkívül sokoldalú eszközzé teszi. Ez azt jelenti, hogy a TP nem korlátozódik semmilyen konkrét problémamegoldó tartományra. Ez izgalmas utakat nyit meg a feladatspecifikus finomhangoláshoz és optimalizáláshoz, ezáltal növelve az LLM-ek hasznosságát és hatékonyságát az alkalmazások széles spektrumában.

A Gondolatterjesztés megvalósítása integrálható a meglévő LLM-ek munkafolyamatába. Például a legrövidebb út okfejtési feladatban a TP először egy sor egyszerűbb, analóg problémát tud megoldani, hogy megértse a különböző lehetséges utakat. Azután ezeket a felismeréseket felhasználná az összetett probléma megoldására, ezáltal növelve az optimális megoldás megtalálásának valószínűségét.

Példa 1

Feladat: Legrövidebb út okoskodása
Analóg problémák: A legrövidebb út A és B pont között, Legrövidebb út B és C pont között
Végső megoldás: Optimális út A pontból C-be analóg feladatok megoldásait figyelembe véve

Példa 2

Feladat: Kreatív írás
Analóg problémák: Írj egy novellát a barátságról, Írj egy novellát a bizalomról
Végső megoldás: Írjon összetett novellát, amely integrálja a barátság és a bizalom témáit

A folyamat során először ezeket az analóg problémákat kell megoldani, majd a megszerzett ismereteket felhasználni az adott összetett feladat megoldására. Ez a módszer több feladaton is bebizonyította hatékonyságát, jelentős javulást mutatva a teljesítménymutatókban.

A Gondolatterjesztés hatásai túlmutatnak a meglévő mérőszámok egyszerű javításán. Ez a felszólító technika megváltoztathatja az LLM-ek megértését és telepítését. A módszertan az elszigetelt, atomi problémamegoldástól a holisztikusabb, összekapcsoltabb megközelítés felé való elmozdulást hangsúlyozza. Arra késztet bennünket, hogy gondoljuk át, hogyan tanulhatnak az LLM-ek nemcsak az adatokból, hanem magából a problémamegoldás folyamatából is. Azáltal, hogy folyamatosan frissítik tudásukat az analóg problémák megoldásán keresztül, a TP-vel felszerelt LLM-ek jobban felkészültek az előre nem látható kihívások kezelésére, rugalmasabbá és alkalmazkodóbbá teszik őket a gyorsan változó környezetben.

A Thought Propagation ígéretes kiegészítése az LLM-ek képességeinek javítását célzó felszólító módszerek eszköztárának. Azáltal, hogy lehetővé teszi az LLM-ek számára, hogy kihasználják az analóg problémákat és azok megoldásait, a TP árnyaltabb és hatékonyabb érvelési módszert biztosít. Kísérletek igazolják hatékonyságát, így az LLM-ek teljesítményének javítására alkalmas stratégiává vált számos feladatban. A TP végső soron jelentős előrelépést jelenthet a képességesebb AI-rendszerek keresésében.

Matthew Mayo (@mattmayo13) informatikus mesterképzéssel és adatbányászatból szerzett diplomát. A KDnuggets főszerkesztőjeként Matthew célja, hogy elérhetővé tegye az összetett adattudományi koncepciókat. Szakmai érdeklődési köre a természetes nyelvi feldolgozás, a gépi tanulási algoritmusok és a feltörekvő mesterséges intelligencia feltárása. Az a küldetése, hogy demokratizálja a tudást az adattudományi közösségben. Matthew 6 éves kora óta kódol.