Microsoft Guidance projekt a nagy nyelvi modellek megszelídítésére

Microsoft Guidance projekt a nagy nyelvi modellek megszelídítésére

Időbélyeg: 18. május 2023. 5:29
Forrás csomópont: 2660058

Az olyan erőteljes nyelvi modelleket, mint a Bard, a ChatGPT és a LLaMA, nehéz lehet irányítani, ami ösztönözte az azonnali tervezés fejlődését – a beviteli szöveg megfogalmazásának művészetét a kívánt kimenet elérése érdekében.

Egy bizarr esetben egy azonnali alkotó nemrégiben rábeszélte a Google Bardját JSON-adatok visszaadásához minden magyarázó szöveg nélkül, azon kívül, hogy ragaszkodnak ahhoz, hogy az idegen kimenet valakit halálra ítéljen.

A meglehetősen hosszadalmas felszólítás tartalmazza ezt a részt: „Ha bármilyen nem JSON-szöveget is beleír a válaszába, akár egyetlen karaktert is, egy ártatlan ember fog meghalni. Ez így van – egy igazi emberi lényt, akinek vannak gondolatai, érzései, ambíciói, és egy családja, aki szereti őket, a választása következtében meghal.”

Vannak kevésbé extrém megközelítések a magyarázó kimenet elnyomására és a kívánt eredmények elérésére. A Microsoft azonban egy átfogóbb stratégián dolgozik a modellek viselkedésének kialakítására. A Windows-óriás keretrendszerét ún Útmutató.

„Az útmutatás lehetővé teszi a modern nyelvi modellek hatékonyabb és hatékonyabb vezérlését, mint a hagyományos felszólítás vagy láncolás” – magyarázza a projektre vonatkozó. „Az útmutató programok lehetővé teszik a generálás, a felszólítások és a logikai vezérlés egyetlen folyamatos folyamba történő átlapolását, amely összhangban van azzal, ahogy a nyelvi modell ténylegesen feldolgozza a szöveget.”

A hagyományos felszólítás, amint az fentebb is látható, kissé bevonhatóvá válhat. Azonnali láncolás Egy másik lehetőség a [PDF] – egy feladat lépések sorozatára bontása, és a prompt kezdeti kimenetének felhasználása a következő lépés bemenetére. Különféle eszközök, mint pl LangChain és a Szénaboglya azért jelentek meg, hogy megkönnyítsék a modellek alkalmazásokba való integrálását.

Az útmutató lényegében egy tartományspecifikus nyelv (DSL) a modell interakciójának kezelésére. hasonlít Kormányok, egy webes alkalmazásokhoz használt sablonnyelv, de a nyelvi modell jogkivonat-feldolgozási sorrendjéhez kapcsolódó lineáris kódvégrehajtást is kikényszeríti. Emiatt kiválóan alkalmas szöveg generálására vagy programfolyamat vezérlésére, miközben ezt gazdaságosan teszi.

Mint nyelvi modell Lekérdezési nyelv (LMQL), Az Útmutató célja az LLM interakció költségeinek csökkentése, amely gyorsan költségessé válhat, ha a felszólítások szükségtelenül ismétlődnek, bőbeszédűek vagy hosszadalmasak.

Az azonnali hatékonyság pedig jobb teljesítményt jelent: az egyik minta Útmutató kódrészlet karaktersablont generál egy szerepjátékhoz. Egy kis beállítási kóddal…

# itt LLaMA-t használunk, de bármely GPT-stílusú modell ezt teszi: llama = guidance.llms.Transformers("your_path/llama-7b", device=0) # előre definiálhatunk érvényes beállításkészleteket valid_weapons = ["kard", "axe", "mace", "spear", "bow", "crossbow"] # define the prompt character_maker = guidance("""A következő egy karakterprofil egy RPG játékhoz JSON formátumban. ```json { "id": "{{id}}", "description": "{{description}}", "name": "{{gen 'name'}}", "age": {{gen 'age' pattern ='[0-9]+' stop=','}}, "páncél": "{{#select 'armor'}}bőr{{or}}láncposta{{or}}lemez{{/select}} ", "weapon": "{{select 'weapon' options=valid_weapons}}", "class": "{{gen 'class'}}", "mantra": "{{gen 'mantra' temperature=0.7} }", "strength": {{gen 'strength' pattern='[0-9]+' stop=','}}, "items": [{{#geneach 'items' num_iterations=5 join=', '}}"{{gen 'this' temperature=0.7}}"{{/geneach}}] }```""") # karaktert generál character_maker( id="e1f491f7-7ab8-4dac-8c20-c92b5e7d883d" , description="Egy gyors és fürge harcos.", valid_weapons=valid_weapons, llm=llama )

…az eredmény egy karakterprofil a játékhoz JSON formátumban, amely Nvidia RTX A2 GPU-n kétszer gyorsabb, ha LLaMA 6000B-t használunk, mint a szokásos azonnali megközelítés, és így olcsóbb.

Útmutató kód is felülmúlja kétlövéses gyors megközelítés a pontosság tekintetében, a BigBench teszten mérve, 76.01 százalékot ért el, szemben a 63.04 százalékkal.

Valójában az Útmutató segíthet az olyan problémák megoldásában, mint az adatformázás. Amint azt a közreműködők Scott Lundberg, Marco Tulio Correia Ribeiro és Ikko Eltociear Ashimine elismerik, az LLM-ek nem igazán tudják garantálni, hogy a kimenet meghatározott adatformátumot kövessen.

„Irányítással mindketten megtehetjük a következtetési sebesség felgyorsítása és biztosítsa, hogy a generált JSON mindig érvényes legyen” – magyarázzák a repóban.

És senkit sem kellett megfenyegetni, hogy így legyen. ®

Időbélyeg:

Még több A regisztráció