ChatGPT è fantastico: lo stai solo usando in modo sbagliato

Ripubblicato da Platone

Seguaci: 0

Non ci vuole molto per ottenerlo ChatGPT commettere un errore di fatto. Mio figlio sta facendo un reportage sui presidenti degli Stati Uniti, quindi ho pensato di aiutarlo cercando alcune biografie. Ho provato a chiedere un elenco di libri su Abraham Lincoln, e ha fatto un ottimo lavoro:

cattura dello schermo del testo — Un ragionevole elenco di libri su Lincoln. Credito immagine: Cattura dello schermo di Jonathan May, CC BY-ND

Il numero 4 non è giusto. Garry Wills ha scritto notoriamente "Lincoln a Gettysburg" e lo stesso Lincoln ha scritto la proclamazione di emancipazione, ovviamente, ma non è un brutto inizio. Poi ho provato qualcosa di più difficile, chiedendo invece del molto più oscuro William Henry Harrison, e ha fornito coraggiosamente un elenco, quasi tutto sbagliato.

I numeri 4 e 5 sono corretti; il resto non esiste o non è stato creato da quelle persone. Ho ripetuto esattamente lo stesso esercizio e ho ottenuto risultati leggermente diversi:

Questa volta i numeri 2 e 3 sono corretti e gli altri tre non sono libri reali o non scritti da quegli autori. Il numero 4, "William Henry Harrison: His Life and Times" è un vero libro, ma è di James A. Green, non di Robert Remini, a noto storico dell'età jacksoniana.

Ho chiamato l'errore e ChatGPT si è corretto con entusiasmo e poi mi ha detto con sicurezza che il libro è stato effettivamente scritto da Gail Collins (che ha scritto un'altra biografia di Harrison), e poi ha continuato a dire di più sul libro e su di lei. Alla fine ho rivelato la verità e la macchina è stata felice di funzionare con la mia correzione. Poi ho mentito in modo assurdo, dicendo che durante i loro primi cento giorni i presidenti devono scrivere una biografia di qualche ex presidente, e ChatGPT mi ha chiamato a riguardo. Poi ho mentito sottilmente, attribuendo erroneamente la paternità della biografia di Harrison allo storico e scrittore Paul C. Nagel, e questo ha comprato la mia bugia.

Quando ho chiesto a ChatGPT se ero sicuro di non mentire, ha affermato che è solo un "modello di linguaggio AI" e non ha la capacità di verificare l'accuratezza. Tuttavia, ha modificato tale affermazione dicendo: "Posso solo fornire informazioni basate sui dati di formazione che mi sono stati forniti, e sembra che il libro 'William Henry Harrison: His Life and Times' sia stato scritto da Paul C. Nagel e pubblicato nel 1977.”

Questo non è vero.

Parole, non fatti

Da questa interazione può sembrare che a ChatGPT sia stata fornita una libreria di fatti, comprese affermazioni errate su autori e libri. Dopotutto, il creatore di ChatGPT, OpenAI, afferma di aver addestrato il chatbot su "enormi quantità di dati da Internet scritti da esseri umani. "

Tuttavia, quasi certamente non gli sono stati dati i nomi di una serie di libri inventati su uno dei più Presidenti mediocri. In un certo senso, però, questa falsa informazione si basa effettivamente sui suoi dati di addestramento.

Come un informatico, Spesso metto in campo lamentele che rivelano un malinteso comune su modelli linguistici di grandi dimensioni come ChatGPT e i suoi fratelli più anziani GPT3 e GPT2: che sono una sorta di "super Google" o versioni digitali di un bibliotecario di riferimento, cercando risposte alle domande di alcuni libreria di fatti infinitamente grande, o mescolando insieme pastiches di storie e personaggi. Non fanno niente di tutto ciò, almeno, non sono stati esplicitamente progettati per farlo.

Suona bene

Un modello linguistico come ChatGPT, che è più formalmente noto come "trasformatore generativo pre-addestrato" (questo è ciò che stanno per G, P e T), accetta la conversazione corrente, forma una probabilità per tutte le parole nella sua vocabolario dato quella conversazione, e poi sceglie uno di loro come probabile parola successiva. Poi lo fa ancora, e ancora, e ancora, finché non si ferma.

Quindi non ha fatti, di per sé. Sa solo quale parola dovrebbe venire dopo. In altre parole, ChatGPT non cerca di scrivere frasi vere. Ma cerca di scrivere frasi plausibili.

Quando si parla in privato con i colleghi di ChatGPT, spesso sottolineano quante affermazioni effettivamente false produce e lo respingono. Per me, l'idea che ChatGPT sia un sistema di recupero dati imperfetto è fuori luogo. Dopotutto, le persone usano Google da due decenni e mezzo. C'è già un buon servizio di accertamento dei fatti là fuori.

In effetti, l'unico modo in cui sono stato in grado di verificare se tutti quei titoli di libri presidenziali fossero accurati era tramite Google e poi verificando i risultati. La mia vita non sarebbe molto migliore se ricevessi quei fatti in una conversazione, invece del modo in cui li ho ottenuti per quasi metà della mia vita, recuperando documenti e poi facendo un'analisi critica per vedere se posso fidarmi dei contenuti.

Partner di improvvisazione

D'altra parte, se posso parlare con un bot che mi dia risposte plausibili alle cose che dico, sarebbe utile in situazioni dove l'accuratezza fattuale non è poi così importante. Alcuni anni fa uno studente e io abbiamo provato a creare un "bot di improvvisazione", uno che rispondesse a qualunque cosa tu dicessi con un "sì e" per mantenere viva la conversazione. Abbiamo mostrato, in a carta, che il nostro museruola era più bravo a "sì, e-ing" rispetto ad altri robot all'epoca, ma in AI, due anni sono storia antica.

Ho provato un dialogo con ChatGPT, uno scenario di esplorazione spaziale di fantascienza, che non è diverso da quello che potresti trovare in una tipica lezione di improvvisazione. ChatGPT è molto più bravo a "sì, e-ing" rispetto a quello che abbiamo fatto, ma non ha affatto accentuato il dramma. Mi sentivo come se stessi facendo tutto il lavoro pesante.

Dopo alcune modifiche sono riuscito a renderlo un po' più coinvolgente e, alla fine, ho sentito che era un buon esercizio per me, che non ho improvvisato molto da quando mi sono laureato al college più di 20 anni fa .

Certo, non vorrei che ChatGPT comparisse su "Di chi è questa linea, in ogni caso?" e questa non è una grande trama di "Star Trek" (anche se è ancora meno problematica di "Codice d'onore”), ma quante volte ti sei seduto a scrivere qualcosa da zero e ti sei ritrovato terrorizzato dalla pagina vuota davanti a te? Iniziare con una brutta prima bozza può superare il blocco dello scrittore e far fluire i succhi creativi, e ChatGPT e modelli linguistici di grandi dimensioni sembrano gli strumenti giusti per aiutare in questi esercizi.

E per una macchina progettata per produrre stringhe di parole che suonano nel miglior modo possibile in risposta alle parole che gli dai - e non per fornirti informazioni - sembra l'uso giusto per lo strumento.

Questo articolo è ripubblicato da The Conversation sotto una licenza Creative Commons. Leggi il articolo originale.

Immagine di credito: Justin Ha / Unsplash