Microsoft Guidance Project To Tame Large Language Models

Julkaissut Platon

seuraajia: 0

Tehokkaita kielimalleja, kuten Bard, ChatGPT ja LLaMA, voi olla vaikea hallita, mikä on vauhdittanut nopean suunnittelun kehitystä – taitoa muotoilla syöttöteksti halutun tulosteen saamiseksi.

Oudossa tapauksessa nopea luoja houkutteli äskettäin Googlen Bardia palauttaaksesi JSON-tiedot ilman muuta selittävää tekstiä kuin väittämällä, että ylimääräinen tulos tuomitsi jonkun kuolemaan.

Melko pitkä kehote sisältää tämä kohta: "Jos lisäät vastaukseesi minkä tahansa muun kuin JSON-tekstin, vaikka yhden merkin, viaton mies kuolee. Aivan oikein – todellinen ihminen, jolla on ajatuksia, tunteita, kunnianhimoa ja perhe, joka rakastaa heitä, tapetaan valintasi seurauksena.”

On vähemmän äärimmäistä lähestymistapoja tukahduttaa selittävä tulos ja saada halutut tulokset. Microsoft on kuitenkin työstänyt kattavampaa strategiaa saada mallit käyttäytymään. Windows-jätti kutsuu kehystään nimeltä Ohjaus.

"Ohjauksen avulla voit hallita nykyaikaisia kielimalleja tehokkaammin ja tehokkaammin kuin perinteinen kehottaminen tai ketjuttaminen", projektirepo kertoo. "Ohjausohjelmien avulla voit lomittaa generoinnin, kehotteet ja loogisen ohjauksen yhdeksi jatkuvaksi virtaukseksi sen mukaan, miten kielimalli todella käsittelee tekstiä."

Kuten edellä todettiin, perinteinen kehotus voi olla hieman mukana. Nopea ketjutus [PDF] – tehtävän jakaminen vaiheisiin ja kehotteen alkuperäisen tulosteen käyttäminen ilmoittamaan seuraavan vaiheen syötteelle – on toinen vaihtoehto. Erilaisia työkaluja mm LangChain ja heinäsuova ovat tulleet helpottamaan mallien integrointia sovelluksiin.

Ohjaus on pohjimmiltaan verkkotunnuskohtainen kieli (DSL) mallivuorovaikutuksen käsittelemiseen. Se muistuttaa Ohjaustanko, web-sovelluksissa käytettävä mallikieli, mutta se pakottaa myös lineaarisen koodin suorittamisen, joka liittyy kielimallin tunnuksen käsittelyjärjestykseen. Tämän ansiosta se sopii hyvin tekstin luomiseen tai ohjelman kulun ohjaamiseen, samalla kun se tekee sen taloudellisesti.

Kuten kielimallin kyselykieli (LMQL), Ohjauksen tavoitteena on alentaa LLM-vuorovaikutuksen kustannuksia, joka voi nopeasti tulla kalliiksi, jos kehotteet ovat tarpeettoman toistuvia, monisanaisia tai pitkiä.

Ja nopea tehokkuus parantaa suorituskykyä: yksi esimerkkiopastuskoodinpätkistä luo hahmomallin roolipeliin. Pienellä asetuskoodilla…

# käytämme tässä LLaMA:ta, mutta mikä tahansa GPT-tyylinen malli toimii llama = guidance.llms.Transformers("your_path/llama-7b", device=0) # voimme ennalta määrittää kelvolliset optiojoukot valid_weapons = ["miekka", "axe", "mace", "spear", "bow", "crossbow"] # määritä kehote character_maker = guidance("""Seuraava on RPG-pelin hahmoprofiili JSON-muodossa. ```json { "id": "{{id}}", "description": "{{description}}", "name": "{{gen 'name'}}", "age": {{gen 'age' pattern ='[0-9]+' stop=','}}, "panssari": "{{#select 'armor'}}nahka{{or}}ketjuposti{{or}}levy{{/select}} ", "weapon": "{{select 'weapon' options=valid_weapons}}", "class": "{{gen 'class'}}", "mantra": "{{gen 'mantra' temperature=0.7} }", "strength": {{gen 'strength' pattern='[0-9]+' stop=','}}, "items": [{{#geneach 'items' num_iterations=5 join=', '}}"{{gen 'this' temperature=0.7}}"{{/geneach}}] }```""") # luo merkki character_maker( id="e1f491f7-7ab8-4dac-8c20-c92b5e7d883d" , description="Nopea ja ketterä taistelija.", valid_weapons=valid_weapons, llm=llama )

…tuloksena on pelin hahmoprofiili JSON-muodossa, 2x nopeampi Nvidia RTX A6000 GPU:lla käytettäessä LLaMA 7B:tä verrattuna tavalliseen pikalähestymistapaan ja siten edullisempi.

Myös ohjekoodi päihittää kahden laukauksen nopea lähestymistapa tarkkuuden suhteen BigBench-testillä mitattuna, 76.01 prosenttia verrattuna 63.04 prosenttiin.

Itse asiassa opastus voi auttaa ongelmissa, kuten tietojen muotoilussa. Kuten avustajat Scott Lundberg, Marco Tulio Correia Ribeiro ja Ikko Eltociear Ashimine myöntävät, LLM:t eivät ole hyviä takaamaan, että tuloste noudattaa tiettyä tietomuotoa.

”Ohjauksella pystymme molemmat nopeuttaa päättelynopeutta ja varmista, että luotu JSON on aina kelvollinen", he selittävät repossa.

Eikä ketään tarvinnut uhkailla, että se tekisi niin. ®