Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks – KDnuggets

Taasavaldanud Platon

järgijaid: 0

Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks
Pilt on loodud DALL-E3-ga

Tehisintellekt on olnud täielik revolutsioon tehnoloogiamaailmas.

Selle võime jäljendada inimeste intelligentsust ja täita ülesandeid, mida kunagi peeti ainult inimeste valdkondadeks, hämmastab enamikku meist endiselt.

Kuid hoolimata sellest, kui head need hilised tehisintellekti hüpped on olnud, on alati arenguruumi.

Ja just siin lööb sisse kiire inseneritöö!

Sisestage see väli, mis võib oluliselt suurendada tehisintellekti mudelite tootlikkust.

Avastame selle kõik koos!

Prompt engineering on AI-s kiiresti kasvav valdkond, mis keskendub keelemudelite tõhususe ja tulemuslikkuse parandamisele. See kõik puudutab täiuslike viipade koostamist, mis suunavad AI-mudeleid soovitud väljundite saamiseks.

Mõelge sellele kui õppimisele, kuidas anda kellelegi paremaid juhiseid tagamaks, et ta mõistab ja täidab ülesande õigesti.

Miks on kiire inseneritöö oluline?

Suurenenud tootlikkus: Kvaliteetseid viipasid kasutades saavad AI mudelid genereerida täpsemaid ja asjakohasemaid vastuseid. See tähendab, et paranduste tegemiseks kulub vähem aega ja rohkem aega AI võimaluste ärakasutamiseks.
Kulutõhusus: AI mudelite koolitamine on ressursimahukas. Kiire projekteerimine võib vähendada ümberõppe vajadust, optimeerides mudeli jõudlust paremate viipade abil.
Mitmekülgsus: Hästi koostatud viip võib muuta AI mudelid mitmekülgsemaks, võimaldades neil toime tulla laiema hulga ülesannete ja väljakutsetega.

Enne kõige arenenumatesse tehnikatesse sukeldumist meenutagem kahte kõige kasulikumat (ja põhilist) kiiremat inseneritehnikat.

Järjestikune mõtlemine funktsiooniga "Mõtleme samm-sammult"

Tänaseks on teada, et LLM mudelite täpsus paraneb oluliselt, kui lisada sõnajada “Mõtleme samm-sammult”.

Miks... võite küsida?

Selle põhjuseks on asjaolu, et me sunnime mudelit jagama mis tahes ülesande mitmeks etapiks, tagades nii, et mudelil on nende kõigi töötlemiseks piisavalt aega.

Näiteks saan GPT3.5 vaidlustada järgmise viipaga:

Kui Johnil on 5 pirni, siis sööb 2, ostab veel 5, siis annab 3 oma sõbrale, mitu pirni tal on?

Modell annab mulle kohe vastuse. Kui aga lisada lõplik “Mõtleme samm-sammult”, siis sunnin mudelit genereerima mitmeastmelist mõtlemisprotsessi.

Mõne võttega viip

Kui nullkaadri viip viitab sellele, et mudelil palutakse ülesanne täita ilma konteksti või eelnevaid teadmisi esitamata, siis mõne võttega viipamise tehnika tähendab, et esitame LLM-ile mõned näited soovitud väljundist koos mõne konkreetse küsimusega.

Näiteks kui tahame välja mõelda mudeli, mis määratleb mis tahes termini poeetilise tooni abil, võib seda olla üsna raske seletada. eks?

Siiski võiksime kasutada järgmisi mõne võttega viipasid, et juhtida mudelit soovitud suunas.

Teie ülesanne on vastata järjepidevas stiilis, mis on joondatud järgmise stiiliga.

: Õpetage mulle vastupidavust.

: Vastupidavus on nagu puu, mis tuulega paindub, kuid ei murdu kunagi.

See on võime raskustest tagasi põrgata ja edasi liikuda.

: Teie panus siia.

Kui te pole seda veel proovinud, võite minna GPT-le väljakutse esitama.

Kuna aga olen üsna kindel, et enamik teist juba teab neid põhitehnikaid, proovin teile esitada väljakutse mõne täiustatud tehnikaga.

1. Mõtteahela (CoT) õhutamine

Tutvustas Google 2022. aastal, hõlmab see meetod mudeli juhendamist läbima mitu arutlusetappi enne lõpliku vastuse andmist.

Kõlab tuttavalt eks? Kui jah, siis on sul täiesti õigus.

See on nagu järjestikuse mõtlemise ja väheste näpunäidete ühendamine.

Kuidas?

Põhimõtteliselt suunab CoT-viip LLM-i töötlema teavet järjestikku. See tähendab, et näitame näidet, kuidas lahendada esimene probleem mitmeastmelise arutluskäiguga, ja saadame seejärel mudelile oma tegeliku ülesande, eeldades, et see jäljendab võrreldavat mõtteahelat, kui vastab tegelikule päringule, mille lahendamist soovime.

Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks
Pilt on võetud paber.

Niisiis, järgides kõige esimest näidet, võiksime esitada esimese probleemiga viipe ja järjestikuse selgituse selle lahendamiseks. Seejärel saame saata oma panuse ja näha, kuidas maagia juhtub!

Kui Johnil on 5 pirni, siis sööb 2, ostab veel 5, siis annab 3 oma sõbrale, mitu pirni tal on? Mõelgem samm-sammult.

Läheme samm-sammult. John alustab 5 pirniga. Ta sööb 2 pirni, seega jääb tal 5–2 = 3 pirni. Seejärel ostab ta veel 5 pirni. Niisiis, tal on nüüd 3 + 5 = 8 pirni. Lõpuks annab ta oma sõbrale 3 pirni. Seetõttu on tal järel 8–3 = 5 pirni. Niisiis, pärast kõiki neid samme on Johnil 5 pirni.

Teie panus siin.

Kuid enamik teist arvab kindlasti… Kas ma pean iga kord, kui tahan ChatGPT-s midagi küsida, välja mõtlema järjestikuse viisi mis tahes probleemi lahendamiseks?

Noh… sa pole esimene! Ja see viib meid…

2. Automaatne mõtteahel (Auto-CoT)

Aastal 2022, Zhang ja kolleegid tutvustasid meetodit selle käsitsi protsessi vältimiseks. Käsitööülesannete vältimiseks on kaks peamist põhjust:

See võib olla igav.
It can yield bad results – for instance, when our mental process is wrong.

They suggested using LLMs combined with the “Let’s think step by step” prompt to sequentially produce reasoning chains for each demonstration.

See tähendab, et küsige ChatGPT-lt, kuidas lahendada mis tahes probleeme järjestikku, ja seejärel kasutage seda sama näidet, et õpetada seda lahendama mis tahes muud probleemi.

3. Isejärjekindlus

Enesejärjekindlus on veel üks huvitav õhutamistehnika, mille eesmärk on parandada keerukamate arutlusprobleemide ajendamise ahelat.

Niisiis… mis on peamine erinevus?

Iseseisvuse põhiidee on teadlikkus sellest, et saame mudelit koolitada vale näitega. Kujutage ette, et lahendan eelmise probleemi vale vaimse protsessiga:

Kui Johnil on 5 pirni, siis sööb 2, ostab veel 5, siis annab 3 oma sõbrale, mitu pirni tal on? Mõelgem samm-sammult.

Start with 5 pears. John eats 2 pears. Then, he gives 3 pears to his friend. These actions can be combined: 2 (eaten) + 3 (given) = 5 pears in total affected. Now, subtract the total pears affected from the initial 5 pears: 5 (initial) – 5 (affected) = 0 pears left.
Siis on mis tahes muu ülesanne, mille ma modellile saadan, vale.

Seetõttu hõlmab enesejärjekindlus erinevatelt arutluskäikudelt valimi võtmist, millest igaüks sisaldab mõtteahelat, ja seejärel laskmist LLM-il valida probleemi lahendamiseks parim ja järjekindlam tee.

Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks
Pilt on võetud paber

Sel juhul ja järgides taas kõige esimest näidet, saame mudelile näidata erinevaid probleemi lahendamise viise.

Kui Johnil on 5 pirni, siis sööb 2, ostab veel 5, siis annab 3 oma sõbrale, mitu pirni tal on?

Alusta 5 pirniga. Johannes sööb 2 pirni, jättes talle 5–2 = 3 pirni. Ta ostab veel 5 pirni, mis teeb kokku 3 + 5 = 8 pirni. Lõpuks annab ta oma sõbrale 3 pirni, nii et tal jääb 8–3 = 5 pirni.

Kui Johnil on 5 pirni, siis sööb 2, ostab veel 5, siis annab 3 oma sõbrale, mitu pirni tal on?

Start with 5 pears. He then buys 5 more pears. John eats 2 pears now. These actions can be combined: 2 (eaten) + 5 (bought) = 7 pears in total. Subtract the pear that Jon has eaten from the total amount of pears 7 (total amount) – 2 (eaten) = 5 pears left.

Teie panus siin.

Ja siit tuleb viimane tehnika.

4. Üldteadmiste õhutamine

Kiire projekteerimise tavaline praktika on päringu täiendamine täiendavate teadmistega enne lõpliku API-kutse saatmist GPT-3-le või GPT-4-le.

Järgi Jiacheng Liu ja Co, saame alati igale päringule lisada teadmisi, et LLM oleks küsimusest paremini kursis.

Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks
Pilt on võetud paber.

Näiteks kui küsite ChatGPT-lt, kas osa golfist püüab saada teistest kõrgemaid punkte, siis see kinnitab meid. Kuid golfi peamine eesmärk on vastupidine. Seetõttu saame lisada mõned varasemad teadmised, öeldes: "Võidab mängija, kelle punktisumma on väiksem".

Mõned kick Ass Prompt inseneritehnikad meie LLM-mudelite täiustamiseks

Niisiis.. mis on naljakas osa, kui ütleme mudelile täpselt vastuse?

Sel juhul kasutatakse seda tehnikat LLM-i meiega suhtlemise parandamiseks.

So rather than pulling supplementary context from an outside database, the paper’s authors recommend having the LLM produce its own knowledge. This self-generated knowledge is then integrated into the prompt to bolster commonsense reasoning and give better outputs.

Nii saab LLM-e täiustada ilma nende koolitusandmekogumit suurendamata!

Kiire inseneritöö on kujunenud keskseks tehnikaks LLM-i võimaluste suurendamisel. Kordades ja täiustades viipasid, saame AI mudelitega vahetumalt suhelda ja seeläbi saada täpsemaid ja kontekstuaalselt asjakohasemaid väljundeid, säästes nii aega kui ressursse.

Tehnoloogiahuvilistele, andmeteadlastele ja sisuloojatele võib kiire inseneritöö mõistmine ja valdamine olla väärtuslik väärtus AI täieliku potentsiaali ärakasutamisel.

Kombineerides hoolikalt kavandatud sisestusviibad nende arenenumate tehnikatega, annab kiire inseneri oskuste kogumine teile lähiaastatel kahtlemata eelise.

Josep Ferrer on Barcelona analüütikainsener. Ta on lõpetanud füüsika inseneri eriala ja töötab praegu andmeteaduse valdkonnas, mida rakendatakse inimeste liikuvuse valdkonnas. Ta on osalise tööajaga sisulooja, kes keskendub andmeteadusele ja -tehnoloogiale. Saate temaga ühendust võtta LinkedIn, puperdama or Keskmine.