ChatGPT on hienoa – käytät sitä vain väärin

Julkaissut Platon

seuraajia: 0

Sen saaminen ei vaadi paljon ChatGPT tehdä asiavirhe. Poikani tekee raporttia Yhdysvaltain presidenteistä, joten ajattelin auttaa häntä etsimällä muutaman elämäkerran. Yritin pyytää luetteloa kirjoista Abraham Lincolnista, ja se teki melko hyvää työtä:

tekstin näyttökaappaus — Kohtuullinen luettelo Lincolnia käsittelevistä kirjoista. Kuvan luotto: Kuvakaappaus: Jonathan May, CC BY-ND

Numero 4 ei ole oikein. Garry Wills kirjoitti tunnetusti "Lincoln at Gettysburg" ja Lincoln itse kirjoitti Emancipation Proclamationin, tietysti, mutta se ei ole huono alku. Sitten yritin jotain kovempaa ja kysyin sen sijaan paljon hämärämmästä William Henry Harrisonista, ja se tarjosi pelillisesti luettelon, joka melkein kaikki oli väärin.

Numerot 4 ja 5 ovat oikein; muita ei ole olemassa tai ne eivät ole näiden ihmisten kirjoittamia. Toistin täsmälleen saman harjoituksen ja sain hieman erilaiset tulokset:

Tällä kertaa numerot 2 ja 3 ovat oikein ja muut kolme eivät ole varsinaisia kirjoja tai eivät ole näiden kirjoittajien kirjoittamia. Numero 4, "William Henry Harrison: Hänen elämänsä ja ajat" on a oikea kirja, mutta sen on kirjoittanut James A. Green, ei Robert Remini, a tunnettu historioitsija Jacksonin aikakaudelta.

Ilmoitin virheestä, ja ChatGPT korjasi itsensä innokkaasti ja kertoi sitten luottavaisesti minulle, että kirjan on itse asiassa kirjoittanut Gail Collins (joka kirjoitti toisenlaisen Harrisonin elämäkerran), ja sitten kertoi lisää kirjasta ja hänestä. Lopulta paljastin totuuden, ja kone käytti mielellään korjaukseni kanssa. Sitten valehtelin järjettömästi sanoen, että ensimmäisen sadan päivän aikana presidenttien on kirjoitettava elämäkerta jostain entisestä presidentistä, ja ChatGPT kutsui minut siihen. Sitten valehtelin hienovaraisesti ja annoin Harrisonin elämäkerran tekijän väärin historioitsijalle ja kirjailijalle Paul C. Nagelille, ja se osti valheeni.

Kun kysyin ChatGPT:ltä, oliko se varma, etten valehtele, se väitti, että se on vain "AI-kielimalli" eikä sillä ole kykyä tarkistaa tarkkuutta. Se kuitenkin muutti väitettä sanomalla: "Voin antaa tietoja vain minulle toimitettujen koulutustietojen perusteella, ja näyttää siltä, että kirjan "William Henry Harrison: Hänen elämänsä ja ajat" on kirjoittanut Paul C. Nagel ja se julkaistiin vuonna 1977."

Tämä ei ole totta.

Sanat, ei faktat

Tämän vuorovaikutuksen perusteella saattaa vaikuttaa siltä, että ChatGPT:lle annettiin kirjasto tosiasioita, mukaan lukien vääriä väitteitä kirjailijoista ja kirjoista. Loppujen lopuksi ChatGPT:n valmistaja OpenAI väittää kouluttaneensa chatbotin "valtavia määriä ihmisten kirjoittamaa dataa internetistä"

Sille ei kuitenkaan lähes varmasti annettu nimiä joukolle tehtyjä kirjoja yhdestä eniten keskinkertaiset presidentit. Tietyllä tavalla tämä väärä tieto todellakin perustuu sen koulutustietoihin.

Kuten tietojenkäsittelytieteessä, teen usein valituksia, jotka paljastavat yleisen väärinkäsityksen suurista kielimalleista, kuten ChatGPT:stä ja sen vanhemmista veljistä GPT3:sta ja GPT2:sta: että ne ovat jonkinlaisia "super Googles" tai viitekirjastonhoitajan digitaalisia versioita, jotka etsivät vastauksia joidenkin kysymyksiin. äärettömän suuri faktakirjasto tai tarinoiden ja hahmojen pastissien yhteen tasoittaminen. He eivät tee mitään siitä - ainakaan niitä ei ole nimenomaisesti suunniteltu.

Kuulostaa hyvältä

Kielimalli, kuten ChatGPT, joka tunnetaan muodollisemmin "generatiivisena esikoulutettuna muuntajana" (tätä G, P ja T tarkoittavat), ottaa nykyisen keskustelun, muodostaa todennäköisyyden kaikille sen sanoille. sanastoa kyseisen keskustelun perusteella ja valitsee sitten yhden niistä todennäköiseksi seuraavaksi sanaksi. Sitten se tekee sen uudestaan ja uudestaan ja uudestaan, kunnes se pysähtyy.

Sillä ei siis ole faktoja sinänsä. Se vain tietää, minkä sanan pitäisi tulla seuraavaksi. Toisin sanoen ChatGPT ei yritä kirjoittaa lauseita, jotka ovat totta. Mutta se yrittää kirjoittaa lauseita, jotka ovat uskottavia.

Puhuessaan yksityisesti kollegoille ChatGPT:stä, he usein huomauttavat, kuinka monta tosiasiallisesti väärää väitettä se tuottaa, ja hylkäävät sen. Minulle ajatus siitä, että ChatGPT on virheellinen tiedonhakujärjestelmä, on turha. Ihmiset ovat käyttäneet Googlea viimeisten kahden ja puolen vuosikymmenen ajan. Siellä on jo aika hyvä tiedonhakupalvelu.

Itse asiassa ainoa tapa varmistaa, olivatko kaikki presidentin kirjojen nimet oikeita, oli googlata ja sitten tarkistaa tulokset. Elämäni ei olisi paljon parempi, jos saisin ne tosiasiat keskusteluun sen sijaan, että olisin saanut ne lähes puolet elämästäni, hakemalla asiakirjoja ja tekemällä sitten kriittisen analyysin nähdäkseni voinko luottaa sisältöön.

Parannuskumppani

Toisaalta, jos voin puhua botin kanssa, joka antaa minulle uskottavia vastauksia sanoihini, se olisi hyödyllistä tilanteissa joissa tosiasioiden tarkkuus ei ole niin tärkeää. Muutama vuosi sitten eräs opiskelija ja minä yritimme luoda "improbotin", joka vastaisi kaikkeen, mitä sanoit "kyllä ja" pitääkseen keskustelun käynnissä. Näimme, a paperi, että meidän bot oli parempi "kyllä, ja-ing" kuin muut robotit tuolloin, mutta tekoälyssä kaksi vuotta on muinaista historiaa.

Kokeilin vuoropuhelua ChatGPT:n kanssa – tieteiskirjallisuuden avaruustutkijan skenaarion – joka ei poikkea tyypillisestä improkurssista. ChatGPT on paljon parempi "kyllä, ja-ing" kuin mitä teimme, mutta se ei varsinaisesti lisännyt dramatiikkaa ollenkaan. Tuntui kuin olisin tehnyt kaiken raskaan noston.

Muutaman muokkauksen jälkeen sain sen osallistumaan hieman enemmän, ja loppujen lopuksi tunsin, että se oli melko hyvä harjoitus minulle, joka ei ole tehnyt paljon improvisaatiota sen jälkeen, kun valmistuin yliopistosta yli 20 vuotta sitten. .

Toki, en haluaisi ChatGPT:n näkyvän "Kenen linja se muuten on?" ja tämä ei ole loistava "Star Trek" -juoni (vaikka se on silti vähemmän ongelmallinen kuin "Kunniamerkki”), mutta kuinka monta kertaa olet istunut kirjoittamaan jotain tyhjästä ja huomannut olevasi kauhuissasi edessäsi olevasta tyhjästä sivusta? Huonosta ensimmäisestä luonnoksesta aloittaminen voi murtautua kirjoittajan esteen läpi ja saada luovat mehut virtaamaan, ja ChatGPT ja suuret kielimallit näyttävät olevan oikeita työkaluja näiden harjoitusten avuksi.

Ja koneelle, joka on suunniteltu tuottamaan sanajonoja, jotka kuulostavat mahdollisimman hyvältä vastauksena antamiisi sanoihin – eikä tarjoamaan sinulle tietoa – mikä näyttää oikealta työkalun käytöstä.

Tämä artikkeli julkaistaan uudelleen Conversation Creative Commons -lisenssin alla. Lue alkuperäinen artikkeli.

Kuva pistetilanne: Justin Ha / Unsplash