ChatGPT je odličen - samo napačno ga uporabljate

Ponovno objavil Platon

Spremljevalci: 0

Za pridobitev ni potrebno veliko ChatGPT narediti stvarno napako. Moj sin piše poročilo o ameriških predsednikih, zato sem se odločil, da mu bom pomagal z iskanjem nekaj biografij. Poskušal sem prositi za seznam knjig o Abrahamu Lincolnu in opravilo je precej dobro delo:

zaslonski zajem besedila — Razumen seznam knjig o Lincolnu. Avtorstvo slike: Zajem zaslona Jonathana Maya, CC BY-ND

Številka 4 ni prava. Garry Wills je slavno napisal "Lincoln at Gettysburg", Lincoln pa je seveda sam napisal Proklamacijo o emancipaciji, vendar to ni slab začetek. Potem sem poskusil nekaj težjega in namesto tega spraševal o veliko bolj nejasnem Williamu Henryju Harrisonu, in veselo je ponudil seznam, ki je bil skoraj ves napačen.

Številki 4 in 5 sta pravilni; ostali ne obstajajo ali niso avtorji teh ljudi. Ponovila sem popolnoma isto vajo in dobila nekoliko drugačne rezultate:

Tokrat sta številki 2 in 3 pravilni, druge tri pa niso dejanske knjige ali jih niso napisali ti avtorji. Številka 4, "William Henry Harrison: njegovo življenje in časi" je a prava knjiga, vendar je avtor James A. Green, ne Robert Remini, a znani zgodovinar Jacksonove dobe.

Opozoril sem na napako in ChatGPT se je nestrpno popravil in mi nato samozavestno povedal, da je knjigo v resnici napisala Gail Collins (ki je napisala drugačno Harrisonovo biografijo), nato pa povedal več o knjigi in o njej. Končno sem razkril resnico in stroj je z veseljem zagnal moj popravek. Potem sem se nesmiselno zlagal, ko sem rekel, da morajo predsedniki v svojih prvih sto dneh napisati biografijo nekega nekdanjega predsednika, in ChatGPT me je razpisal o tem. Nato sem prefinjeno lagal, nepravilno pripisal avtorstvo Harrisonove biografije zgodovinarju in pisatelju Paulu C. Nagelu, in to je mojo laž potrdilo.

Ko sem ChatGPT vprašal, ali je prepričan, da ne lažem, je trdil, da je to le »jezikovni model AI« in nima možnosti preverjanja točnosti. Vendar pa je spremenilo to trditev z besedami: »Informacije lahko zagotovim samo na podlagi podatkov o usposabljanju, ki sem jih prejel, in zdi se, da je knjigo 'William Henry Harrison: Njegovo življenje in čas' napisal Paul C. Nagel in jo objavil leta 1977."

To ni res.

Besede, ne dejstva

Iz te interakcije se morda zdi, da je ChatGPT dobil knjižnico dejstev, vključno z netočnimi trditvami o avtorjih in knjigah. Navsezadnje izdelovalec ChatGPT, OpenAI, trdi, da je klepetalnega robota usposobil za "ogromne količine podatkov iz interneta, ki so jih napisali ljudje«.

Vendar skoraj zagotovo ni dobila imena kopice izmišljenih knjig o eni izmed najbolj povprečni predsedniki. Na nek način pa te napačne informacije dejansko temeljijo na njegovih podatkih o usposabljanju.

Kot računalniški znanstvenik, pogosto podajam pritožbe, ki razkrivajo običajno napačno predstavo o velikih jezikovnih modelih, kot sta ChatGPT in njegova starejša brata GPT3 in GPT2: da so nekakšni »super Googli« ali digitalne različice referenčnega knjižničarja, ki išče odgovore na vprašanja nekaterih neskončno veliko knjižnico dejstev ali zlivanje pastičev zgodb in likov. Ne počnejo ničesar od tega - vsaj niso bili izrecno zasnovani za to.

Zveni dobro

Jezikovni model, kot je ChatGPT, ki je bolj uradno znan kot "generativni vnaprej usposobljeni transformator" (to pomenijo G, P in T), prevzame trenutni pogovor, oblikuje verjetnost za vse besede v svojem besedišče glede na ta pogovor in nato eno izmed njih izbere kot verjetno naslednjo besedo. Potem to počne znova in znova in znova, dokler se ne ustavi.

Torej sam po sebi nima dejstev. Samo ve, katera beseda mora slediti. Povedano drugače, ChatGPT ne poskuša napisati resničnih stavkov. Vendar poskuša napisati verjetne stavke.

Ko se zasebno pogovarjajo s kolegi o ChatGPT, ti pogosto poudarijo, koliko dejansko neresničnih izjav daje, in to zavrnejo. Zame ideja, da je ChatGPT napačen sistem za pridobivanje podatkov, ni pomembna. Navsezadnje ljudje Google uporabljajo zadnji dve desetletji in pol. Tam je že precej dobra storitev za ugotavljanje dejstev.

Pravzaprav sem lahko preveril, ali so vsi ti naslovi predsedniških knjig točni, tako, da sem iskal v Googlu in nato preveril Rezultati. Moje življenje ne bi bilo veliko boljše, če bi ta dejstva dobil v pogovoru, namesto tako, kot sem jih pridobival skoraj polovico svojega življenja, tako, da bi priklical dokumente in nato opravil kritično analizo, da bi ugotovil, ali lahko zaupam vsebini.

Improv Partner

Po drugi strani pa bi bilo koristno v situacijah, če bi lahko govoril z botom, ki bi mi dal verjetne odgovore na stvari, ki jih rečem. kjer točnost dejstev ni tako pomembna. Pred nekaj leti sva s študentom poskušala ustvariti »improv bota«, ki bi se na vse, kar rečeš, odzval z »da in«, da bi nadaljeval pogovor. Pokazali smo, v a papirja, da je naš bot je bil boljši pri »da, in-ing« kot drugi boti v tistem času, toda v AI sta dve leti starodavna zgodovina.

Preizkusil sem dialog s ChatGPT—scenarij raziskovalca vesolja v znanstveni fantastiki—ki ni drugačen od tistega, kar bi našli na tipičnem tečaju improvizacije. ChatGPT je veliko boljši pri »da, in-ing« kot mi, vendar v resnici sploh ni povečal drame. Počutil sem se, kot da bi jaz opravljal vsa težka dela.

Po nekaj prilagoditvah sem se nekoliko bolj vključil v to in na koncu se mi je zdelo, da je to zelo dobra vaja zame, ki se nisem veliko izboljšal, odkar sem pred več kot 20 leti diplomiral na fakulteti .

Seveda, ne želim, da se ChatGPT pojavi na "Čigava linija je sploh?« in to ni odličen zaplet iz »Zvezdnih stez« (čeprav je še vedno manj problematičen kot »Kodeks časti«), toda kolikokrat ste se usedli, da bi nekaj napisali iz nič, in ugotovili, da vas je prestrašila prazna stran pred vami? Začetek s slabim prvim osnutkom lahko prebije pisateljevo blokado in spodbudi ustvarjalne sokove, ChatGPT in podobni veliki jezikovni modeli pa se zdijo prava orodja za pomoč pri teh vajah.

In za stroj, ki je zasnovan za ustvarjanje nizov besed, ki zvenijo kar se da dobro kot odgovor na besede, ki jih daste – in ne za zagotavljanje informacij – se zdi, da je to prava uporaba orodja.

Ta članek je ponovno objavljen Pogovor pod licenco Creative Commons. Preberi Originalni članek.

Kreditno slike: Justin ha / Unsplash