ChatGPT ist großartig – Sie verwenden es nur falsch

Neuauflage von Plato

Verfolger: 0

Es braucht nicht viel, um es zu bekommen ChatGPT einen sachlichen Fehler machen. Mein Sohn macht einen Bericht über US-Präsidenten, also dachte ich mir, ich helfe ihm, indem ich ein paar Biografien nachschaue. Ich habe versucht, nach einer Liste von Büchern über Abraham Lincoln zu fragen, und es hat ziemlich gut funktioniert:

Bildschirmaufnahme von Text — Eine vernünftige Liste von Büchern über Lincoln. Bildnachweis: Screenshot von Jonathan May, CC BY-ND

Nummer 4 stimmt nicht. Garry Wills schrieb bekanntlich „Lincoln at Gettysburg“, und Lincoln selbst schrieb natürlich die Emanzipationserklärung, aber es ist kein schlechter Anfang. Dann versuchte ich etwas härter und fragte stattdessen nach dem viel obskureren William Henry Harrison, und es lieferte tapfer eine Liste, von der fast alles falsch war.

Nummer 4 und 5 sind richtig; der Rest existiert nicht oder wurde nicht von diesen Leuten verfasst. Ich wiederholte genau die gleiche Übung und bekam etwas andere Ergebnisse:

Diesmal sind die Nummern 2 und 3 korrekt und die anderen drei sind keine tatsächlichen Bücher oder nicht von diesen Autoren geschrieben. Nummer 4, „William Henry Harrison: Sein Leben und seine Zeit“ ist a echtes Buch, aber es ist von James A. Green, nicht von Robert Remini, a bekannter Historiker des Jacksonianischen Zeitalters.

Ich rief den Fehler an, und ChatGPT korrigierte sich eifrig und sagte mir dann selbstbewusst, dass das Buch tatsächlich von Gail Collins geschrieben wurde (die eine andere Harrison-Biografie schrieb), und fuhr dann fort, mehr über das Buch und über sie zu sagen. Endlich enthüllte ich die Wahrheit, und die Maschine lief glücklich mit meiner Korrektur. Dann habe ich absurderweise gelogen und gesagt, dass Präsidenten in ihren ersten hundert Tagen eine Biographie eines ehemaligen Präsidenten schreiben müssen, und ChatGPT hat mich darauf hingewiesen. Ich habe dann subtil gelogen, indem ich die Urheberschaft der Harrison-Biografie fälschlicherweise dem Historiker und Schriftsteller Paul C. Nagel zugeschrieben habe, und das hat meine Lüge erkauft.

Als ich ChatGPT fragte, ob es sicher sei, dass ich nicht lüge, behauptete es, dass es nur ein „KI-Sprachmodell“ sei und nicht in der Lage sei, die Genauigkeit zu überprüfen. Es änderte diese Behauptung jedoch mit den Worten: „Ich kann nur Informationen auf der Grundlage der mir zur Verfügung gestellten Trainingsdaten bereitstellen, und es scheint, dass das Buch ‚William Henry Harrison: His Life and Times‘ von Paul C. Nagel geschrieben und veröffentlicht wurde 1977.“

Das ist nicht wahr.

Worte, keine Fakten

Diese Interaktion mag den Anschein erwecken, dass ChatGPT eine Bibliothek mit Fakten zur Verfügung gestellt wurde, einschließlich falscher Behauptungen über Autoren und Bücher. Immerhin behauptet der Hersteller von ChatGPT, OpenAI, dass er den Chatbot auf „Unmengen von Daten aus dem Internet, die von Menschen geschrieben wurden"

Es wurden jedoch mit ziemlicher Sicherheit nicht die Namen eines Haufens erfundener Bücher über eines der meisten gegeben Mittelmäßige Präsidenten. In gewisser Weise basieren diese falschen Informationen jedoch tatsächlich auf seinen Trainingsdaten.

Als ein Computerwissenschaftler, Ich reiche oft Beschwerden ein, die ein weit verbreitetes Missverständnis über große Sprachmodelle wie ChatGPT und seine älteren Brüder GPT3 und GPT2 aufdecken: dass sie eine Art „Super-Googles“ oder digitale Versionen eines Referenzbibliothekars sind, die Antworten auf Fragen von einigen suchen eine unendlich große Bibliothek mit Fakten oder das Zusammenfügen von Nachahmungen von Geschichten und Charakteren. Sie tun nichts davon – zumindest wurden sie nicht ausdrücklich dafür entwickelt.

Klingt gut

Ein Sprachmodell wie ChatGPT, das eher als „generativer vortrainierter Transformator“ bekannt ist (dafür stehen G, P und T), nimmt die aktuelle Konversation auf und bildet eine Wahrscheinlichkeit für alle darin enthaltenen Wörter Vokabular bei diesem Gespräch und wählt dann eines davon als wahrscheinlich nächstes Wort aus. Dann tut es das wieder und wieder und wieder, bis es aufhört.

Es hat also per se keine Fakten. Es weiß nur, welches Wort als nächstes kommen soll. Anders ausgedrückt, ChatGPT versucht nicht, Sätze zu schreiben, die wahr sind. Aber es versucht, Sätze zu schreiben, die plausibel sind.

Wenn sie privat mit Kollegen über ChatGPT sprechen, weisen sie oft darauf hin, wie viele sachlich unwahre Aussagen es produziert, und lehnen es ab. Für mich ist die Idee, dass ChatGPT ein fehlerhaftes Datenabrufsystem ist, nebensächlich. Immerhin nutzen die Leute Google schon seit zweieinhalb Jahrzehnten. Es gibt bereits einen ziemlich guten Informationsdienst da draußen.

Tatsächlich konnte ich nur überprüfen, ob all diese Buchtitel des Präsidenten korrekt waren, indem ich googelte und sie dann überprüfte die Ergebnisse. Mein Leben wäre nicht viel besser, wenn ich mir diese Fakten im Gespräch bekäme, anstatt sie mir fast mein halbes Leben lang zu besorgen, indem ich Dokumente suche und dann eine kritische Analyse mache, um zu sehen, ob ich den Inhalten vertrauen kann.

Impro-Partner

Wenn ich andererseits mit einem Bot sprechen könnte, der mir plausible Antworten auf Dinge gibt, die ich sage, wäre dies in bestimmten Situationen nützlich wo sachliche Genauigkeit nicht so wichtig ist. Vor ein paar Jahren versuchten ein Student und ich, einen „Improvisations-Bot“ zu entwickeln, einen, der auf alles, was Sie sagten, mit einem „Ja und“ antwortet, um das Gespräch am Laufen zu halten. Wir zeigten in a Krepppapier, dass unsere bot war damals besser im „Ja, und-ing“ als andere Bots, aber in der KI sind zwei Jahre alte Geschichte.

Ich habe einen Dialog mit ChatGPT ausprobiert – einem Science-Fiction-Weltraumforscher-Szenario –, das dem in einem typischen Improvisationskurs nicht unähnlich ist. ChatGPT ist viel besser im „Ja, und-ing“ als das, was wir getan haben, aber es hat das Drama überhaupt nicht verstärkt. Ich fühlte mich, als würde ich die ganze schwere Arbeit erledigen.

Nach ein paar Optimierungen wurde es ein wenig komplizierter, und am Ende des Tages hatte ich das Gefühl, dass es eine ziemlich gute Übung für mich war, die seit meinem College-Abschluss vor über 20 Jahren nicht viel improvisiert hat .

Sicher, ich möchte nicht, dass ChatGPT auf „Whose Line Is It Anyway?“ und dies ist kein großartiger „Star Trek“-Plot (obwohl er immer noch weniger problematisch ist als „Ehrenkodex“), aber wie oft haben Sie sich hingesetzt, um etwas von Grund auf neu zu schreiben, und sich vor der leeren Seite vor Ihnen erschreckt? Mit einem schlechten ersten Entwurf zu beginnen, kann die Schreibblockade durchbrechen und die kreativen Säfte zum Fließen bringen, und ChatGPT und große Sprachmodelle scheinen die richtigen Werkzeuge zu sein, um diese Übungen zu unterstützen.

Und für eine Maschine, die darauf ausgelegt ist, möglichst gut klingende Wortfolgen als Reaktion auf die von Ihnen eingegebenen Wörter zu produzieren – und nicht, um Ihnen Informationen zu liefern –, scheint dies die richtige Verwendung für das Werkzeug zu sein.

Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.

Bild-Kredit: Justin H / Unsplash