Jotkut kick Ass Prompt suunnittelutekniikat tehostaaksemme LLM-mallejamme - KDnuggets

Julkaissut Platon

seuraajia: 0

Jotkut Kick Ass Prompt Engineering -tekniikat parantavat LLM-mallejamme
Kuva luotu DALL-E3:lla

Tekoäly on ollut täydellinen vallankumous teknologiamaailmassa.

Sen kyky jäljitellä ihmisen älykkyyttä ja suorittaa tehtäviä, joita aikoinaan pidettiin yksinomaan ihmisinä, hämmästyttää edelleen useimpia meistä.

Vaikka nämä myöhäiset tekoälyt ovat olleet kuinka hyviä tahansa, parantamisen varaa on aina.

Ja juuri tässä nopea suunnittelu alkaa!

Kirjoita tähän kenttään, joka voi parantaa merkittävästi tekoälymallien tuottavuutta.

Otetaan se kaikki yhdessä selvää!

Prompt engineering on nopeasti kasvava AI-alue, joka keskittyy kielimallien tehokkuuden ja vaikuttavuuden parantamiseen. Kyse on täydellisten kehotteiden luomisesta, jotka ohjaavat tekoälymalleja tuottamaan haluttuja tuloksia.

Ajattele sitä oppimisena antaa parempia ohjeita jollekin varmistaakseen, että hän ymmärtää ja suorittaa tehtävän oikein.

Miksi nopealla suunnittelulla on väliä

Parannettu tuottavuus: Käyttämällä korkealaatuisia kehotteita tekoälymallit voivat tuottaa tarkempia ja osuvampia vastauksia. Tämä tarkoittaa, että korjauksiin kuluu vähemmän aikaa ja enemmän aikaa hyödyntää tekoälyn ominaisuuksia.
Kustannustehokkuus: Tekoälymallien koulutus vaatii resursseja. Nopea suunnittelu voi vähentää uudelleenkoulutuksen tarvetta optimoimalla mallin suorituskykyä parempien kehotteiden avulla.
monipuolisuus: Hyvin muotoiltu kehote voi tehdä tekoälymalleista monipuolisempia, jolloin ne voivat käsitellä laajempia tehtäviä ja haasteita.

Ennen kuin sukeltaa edistyneimpiin tekniikoihin, muistetaan kaksi hyödyllisintä (ja perustason) nopeaa suunnittelutekniikkaa.

Jatkuva ajattelu "Ajattelemme askel askeleelta"

Nykyään tiedetään, että LLM-mallien tarkkuus paranee merkittävästi, kun lisätään sanasarja "Ajattelemme askel askeleelta".

Miksi… saatat kysyä?

No, tämä johtuu siitä, että pakotamme mallin jakamaan minkä tahansa tehtävän useisiin vaiheisiin, mikä varmistaa, että mallilla on tarpeeksi aikaa käsitellä niitä.

Voisin esimerkiksi haastaa GPT3.5:n seuraavalla kehotteella:

Jos Johnilla on 5 päärynää, hän syö 2, ostaa 5 lisää ja antaa sitten 3 ystävälleen, kuinka monta päärynää hänellä on?

Malli antaa minulle vastauksen heti. Jos kuitenkin lisään viimeisen "Ajattelemme askel askeleelta", pakotan mallin luomaan monivaiheisen ajatteluprosessin.

Muutaman laukauksen kehotus

Vaikka Zero-shot-kehote viittaa mallin pyytämiseen suorittamaan tehtävä antamatta mitään kontekstia tai aikaisempaa tietoa, muutaman laukauksen kehotustekniikka tarkoittaa, että esitämme LLM:lle muutaman esimerkin halutusta tuloksesta yhdessä tietyn kysymyksen kanssa.

Jos esimerkiksi haluamme keksiä mallin, joka määrittelee minkä tahansa termin runollisen sävyn avulla, sitä voi olla melko vaikea selittää. Eikö?

Voisimme kuitenkin käyttää seuraavia muutaman otoksen kehotteita ohjataksemme mallia haluamaasi suuntaan.

Tehtäväsi on vastata johdonmukaisella tyylillä seuraavan tyylin mukaisesti.

: Opeta minulle joustavuutta.

: Joustavuus on kuin puu, joka taipuu tuulen mukana, mutta ei koskaan murtu.

Se on kykyä toipua vastoinkäymisistä ja jatkaa eteenpäin.

: Sinun panos tähän.

Jos et ole vielä kokeillut sitä, voit haastaa GPT:n.

Koska olen kuitenkin melko varma, että useimmat teistä tuntevat jo nämä perustekniikat, yritän haastaa sinut edistyneillä tekniikoilla.

1. Ajatusketjun (CoT) kehotus

Esitteli Google vuonna 2022Tämä menetelmä sisältää mallin ohjeistamisen käymään läpi useita päättelyvaiheita ennen lopullisen vastauksen antamista.

Kuulostaako tutulta? Jos näin on, olet täysin oikeassa.

Se on kuin yhdistäisit Sequential Thinking ja Few-Shot Prompting.

Miten?

Pohjimmiltaan CoT-kehote ohjaa LLM:n käsittelemään tietoja peräkkäin. Tämä tarkoittaa, että näytämme esimerkin, kuinka ratkaista ensimmäinen ongelma monivaiheisella päättelyllä ja sitten lähetämme mallille todellisen tehtävämme, odottaen sen jäljittelevän vastaavaa ajatusketjua, kun vastaamme varsinaiseen kyselyyn, jonka haluamme sen ratkaisevan.

Jotkut Kick Ass Prompt Engineering -tekniikat parantavat LLM-mallejamme
Kuva otettu kohteesta paperi.

Joten, noudattaen aivan ensimmäistä esimerkkiä, voisimme antaa kehotteen ensimmäisestä ongelmasta ja peräkkäisen selityksen siitä, kuinka se ratkaistaan. Sitten voimme lähettää palautetta ja nähdä kuinka taikuutta tapahtuu!

Jos Johnilla on 5 päärynää, hän syö 2, ostaa 5 lisää ja antaa sitten 3 ystävälleen, kuinka monta päärynää hänellä on? Mietitään askel askeleelta.

Mennään askel askeleelta. John aloittaa 5 päärynällä. Hän syö 2 päärynää, joten hänellä on 5–2 = 3 päärynää jäljellä. Sitten hän ostaa 5 päärynää lisää. Joten hänellä on nyt 3 + 5 = 8 päärynää. Lopulta hän antaa 3 päärynää ystävälleen. Siksi hänellä on 8–3 = 5 päärynää jäljellä. Joten kaikkien näiden vaiheiden jälkeen Johnilla on 5 päärynää.

Oma panoksesi tähän.

Useimmat teistä kuitenkin ajattelevat… Pitääkö minun ajatella peräkkäistä tapaa ratkaista mikä tahansa ongelma aina, kun haluan kysyä jotain ChatGPT:ssä?

No… et ole ensimmäinen! Ja tämä johtaa meidät…

2. Automaattinen ajatusketju (Auto-CoT)

Vuonna 2022, Zhang ja kollegat esittelivät menetelmän tämän manuaalisen prosessin välttämiseksi. On kaksi tärkeintä syytä välttää manuaalisia tehtäviä:

Se voi olla tylsää.
Se voi tuottaa huonoja tuloksia – esimerkiksi silloin, kun henkinen prosessimme on väärä.

He ehdottivat LLM:ien käyttöä yhdessä "Ajattelemme askel askeleelta" -kehotteen kanssa perusteluketjujen tuottamiseksi peräkkäin jokaista demonstraatiota varten.

Tämä tarkoittaa, että ChatGPT:ltä kysytään, kuinka ratkaista mikä tahansa ongelma peräkkäin, ja sitten käytetään tätä samaa esimerkkiä kouluttaaksesi sitä ratkaisemaan mikä tahansa muu ongelma.

3. Itsejohdonmukaisuus

Itsejohdonmukaisuus on toinen mielenkiintoinen kehotustekniikka, jonka tarkoituksena on parantaa monimutkaisempiin päättelyongelmiin johtavaa ajatusketjua.

Joten… mikä on tärkein ero?

Itsejohdonmukaisuuden pääidea on tietoisuus siitä, että voimme kouluttaa mallia väärällä esimerkillä. Kuvittele, että ratkaisen edellisen ongelman väärällä henkisellä prosessilla:

Jos Johnilla on 5 päärynää, hän syö 2, ostaa 5 lisää ja antaa sitten 3 ystävälleen, kuinka monta päärynää hänellä on? Mietitään askel askeleelta.

Aloita viidellä päärynällä. John syö 5 päärynää. Sitten hän antaa 2 päärynää ystävälleen. Nämä toiminnot voidaan yhdistää: 3 (syödään) + 2 (annettu) = yhteensä 3 päärynää. Nyt vähennä päärynöiden kokonaismäärä, joihin vaikuttaa, ensimmäisistä viidestä päärynästä: 5 (alkuperäinen) – 5 (vaikutettu) = 5 päärynää jäljellä.
Silloin kaikki muut mallille lähettämäni tehtävät ovat väärin.

Tästä syystä Self-Consistency sisältää näytteenoton eri päättelypoluilta, joista jokainen sisältää ajatusketjun, ja antaa sitten LLM:n valita parhaan ja johdonmukaisimman polun ongelman ratkaisemiseksi.

Jotkut Kick Ass Prompt Engineering -tekniikat parantavat LLM-mallejamme
Kuva otettu kohteesta paperi

Tässä tapauksessa ja jälleen ensimmäistä esimerkkiä seuraten, voimme näyttää mallille erilaisia tapoja ratkaista ongelma.

Jos Johnilla on 5 päärynää, hän syö 2, ostaa 5 lisää ja antaa sitten 3 ystävälleen, kuinka monta päärynää hänellä on?

Aloita 5 päärynällä. Johannes syö 2 päärynää, jättäen hänelle 5–2 = 3 päärynää. Hän ostaa 5 päärynää lisää, jolloin kokonaismäärä on 3 + 5 = 8 päärynää. Lopuksi hän antaa 3 päärynää ystävälleen, joten hänellä on 8-3 = 5 päärynää jäljellä.

Jos Johnilla on 5 päärynää, hän syö 2, ostaa 5 lisää ja antaa sitten 3 ystävälleen, kuinka monta päärynää hänellä on?

Aloita viidellä päärynällä. Sitten hän ostaa 5 päärynää lisää. John syö nyt 5 päärynää. Nämä toiminnot voidaan yhdistää: 2 (syönyt) + 2 (ostettu) = yhteensä 5 päärynää. Vähennä Jonin syömä päärynä päärynöiden kokonaismäärästä 7 (kokonaismäärä) – 7 (syöty) = 2 päärynää jäljellä.

Oma panoksesi tähän.

Ja tässä tulee viimeinen tekniikka.

4. Yleisten tietojen kehotus

Yleinen nopean suunnittelun käytäntö on täydentää kyselyä lisätiedoilla ennen viimeisen API-kutsun lähettämistä GPT-3:lle tai GPT-4:lle.

Mukaan Jiacheng Liu ja Co, voimme aina lisätä tietoa mihin tahansa pyyntöön, jotta LLM tietää paremmin kysymyksestä.

Jotkut Kick Ass Prompt Engineering -tekniikat parantavat LLM-mallejamme
Kuva otettu kohteesta paperi.

Joten esimerkiksi kun kysytään ChatGPT:ltä, yrittääkö osa golfista saada korkeamman pistemäärän kuin toiset, se vahvistaa meidät. Mutta golfin päätavoite on päinvastainen. Tästä syystä voimme lisätä aiempaa tietoa sanomalla, että pelaaja, jolla on pienempi tulos, voittaa.

Jotkut Kick Ass Prompt Engineering -tekniikat parantavat LLM-mallejamme

Joten… mikä on hauska osa, jos kerromme mallille tarkalleen vastauksen?

Tässä tapauksessa tätä tekniikkaa käytetään parantamaan tapaa, jolla LLM on vuorovaikutuksessa kanssamme.

Joten sen sijaan, että vedettäisiin lisäkontekstia ulkopuolisesta tietokannasta, paperin kirjoittajat suosittelevat, että LLM tuottaa oman tietonsa. Tämä itse tuotettu tieto integroidaan sitten kehotteeseen, joka vahvistaa tervejärkistä päättelyä ja antaa parempia tuloksia.

Joten näin LLM:itä voidaan parantaa lisäämättä koulutustietokantaa!

Nopea suunnittelu on noussut keskeiseksi tekniikaksi LLM:n kykyjen parantamisessa. Iteroimalla ja parantamalla kehotteita voimme kommunikoida suoremmin tekoälymalleihin ja saada näin tarkempia ja kontekstuaalisesti relevantteja tuloksia, mikä säästää sekä aikaa että resursseja.

Tekniikan ystäville, datatieteilijöille ja sisällöntuottajille nopean suunnittelun ymmärtäminen ja hallitseminen voi olla arvokasta voimavaraa tekoälyn täyden potentiaalin hyödyntämisessä.

Yhdistämällä huolellisesti suunnitellut syöttökehotteet näihin edistyneempiin tekniikoihin, nopean suunnittelun taito antaa sinulle epäilemättä etulyöntiaseman tulevina vuosina.

Josep Ferrer on analytiikkainsinööri Barcelonasta. Hän valmistui fysiikan insinööriksi ja työskentelee tällä hetkellä tietotieteen alalla, jota sovelletaan ihmisen liikkuvuuteen. Hän on osa-aikainen sisällöntuottaja, joka keskittyy tietotieteeseen ja teknologiaan. Voit ottaa häneen yhteyttä LinkedIn, Twitter or Keskikokoinen.