ChatGPT Is Great—You’re Just Using It Wrong

Перевидано Платоном

читають: 0

Щоб отримати, не потрібно багато ChatGPT зробити фактичну помилку. Мій син пише репортаж про президентів США, тож я вирішив допомогти йому, переглянувши кілька біографій. Я спробував попросити список книг про Авраама Лінкольна, і це вдалось:

знімок тексту на екрані — Розумний список книг про Лінкольна. Автор зображення: Скріншот Джонатана Мея, CC BY-ND

Номер 4 не правильний. Ґаррі Уіллс написав відомий «Лінкольн у Геттісбурзі», і Лінкольн сам написав Прокламацію про звільнення, звичайно, але це непоганий початок. Тоді я спробував щось складніше, запитавши натомість про набагато незрозумілішого Вільяма Генрі Гаррісона, і він грайливо надав список, майже весь з якого був неправильним.

Числа 4 і 5 правильні; решта не існує або не є авторами цих людей. Я повторив ту саму вправу й отримав трохи інші результати:

Цього разу номери 2 і 3 правильні, а три інші не є справжніми книгами або не написані цими авторами. Номер 4, «Вільям Генрі Гаррісон: його життя та часи» — це a справжня книга, але це Джеймс А. Грін, а не Роберт Реміні, a відомий історик джексонівського віку.

Я назвав помилку, і ChatGPT охоче виправив себе, а потім впевнено сказав мені, що книгу насправді написала Гейл Коллінз (яка написала іншу біографію Харрісон), а потім продовжив розповісти більше про книгу та про неї. Нарешті я відкрив правду, і машина була щаслива, щоб виконати моє виправлення. Потім я безглуздо збрехав, сказавши, що протягом перших ста днів президенти повинні написати біографію якогось колишнього президента, і ChatGPT викликав мене в цьому. Тоді я витончено збрехав, неправильно приписавши авторство біографії Гаррісона історику та письменнику Полу К. Нагелю, і це підтримало мою брехню.

Коли я запитав ChatGPT, чи він впевнений, що я не брешу, він стверджував, що це просто «мовна модель ШІ» і не має можливості перевірити точність. Однак він змінив це твердження, сказавши: «Я можу надати інформацію лише на основі наданих мені даних про навчання, і виявляється, що книга «Вільям Генрі Гаррісон: його життя та часи» була написана Полом К. Нагелем і опублікована у 1977 році».

Це не правда.

Слова, а не факти

З цієї взаємодії може здатися, що ChatGPT отримав бібліотеку фактів, включаючи неправильні твердження про авторів і книги. Зрештою, розробник ChatGPT, OpenAI, стверджує, що навчив чат-бота «величезна кількість даних з Інтернету, написаних людьми».

Однак майже напевно не було дано назв купи вигаданих книжок про одну з найбільш посередні президенти. Однак у певному сенсі ця неправдива інформація справді базується на даних його навчання.

Як вчений, я часто надсилаю скарги, які розкривають поширене хибне уявлення про великі мовні моделі, такі як ChatGPT і його старші брати GPT3 і GPT2: що вони є свого роду «супергуглами» або цифровими версіями довідкового бібліотекаря, який шукає відповіді на запитання від деяких нескінченно велика бібліотека фактів або комбіновані фрагменти історій і персонажів. Вони не роблять нічого з цього — принаймні, вони не були спеціально призначені для цього.

Звучить добре

Мовна модель, як-от ChatGPT, яка формально відома як «генеративний попередньо навчений трансформатор» (це те, що означають G, P і T), приймає поточну розмову, формує ймовірність для всіх слів у своєму словниковий запас, враховуючи цю розмову, а потім вибирає одне з них як ймовірне наступне слово. Потім він робить це знову, і знову, і знову, поки не зупиниться.

Тож у ньому немає фактів, як таких. Він просто знає, яке слово має бути наступним. Іншими словами, ChatGPT не намагається писати правдиві речення. Але він намагається написати правдоподібні речення.

Коли приватно розмовляють з колегами про ChatGPT, вони часто вказують на те, скільки фактично неправдивих тверджень він створює, і відкидають це. Для мене недоречна думка про те, що ChatGPT — це помилкова система пошуку даних. Зрештою, люди користуються Google протягом останніх двох з половиною десятиліть. Там уже є досить хороша служба з пошуку фактів.

Насправді, єдиний спосіб перевірити, чи всі назви цих президентських книг точні, це погуглити, а потім перевірити результати. Моє життя не було б набагато кращим, якби я отримав ці факти в розмові, а не так, як я отримував їх протягом майже половини свого життя, шляхом пошуку документів і критичного аналізу, щоб побачити, чи можу я довіряти їх змісту.

Improv Partner

З іншого боку, якщо я можу поговорити з ботом, який дасть мені правдоподібні відповіді на те, що я кажу, це буде корисно в ситуаціях де точність фактів не є настільки важливою. Кілька років тому ми зі студентом намагалися створити «бота для покращення», який би відповідав на ваші слова «так і», щоб підтримувати розмову. Ми показали, в а папір, що наш морда був кращим у «так, і-інг», ніж інші боти того часу, але в ШІ два роки — це давня історія.

Я випробував діалог із ChatGPT — науково-фантастичним сценарієм дослідника космосу — який мало чим відрізняється від того, що ви знайдете в типовому класі імпровізацій. ChatGPT набагато кращий у «так, і-інг», ніж ми, але насправді це не посилило драми. Я відчував, ніби я роблю всю важку роботу.

Після кількох налаштувань я змусив його трохи більше задіяти, і врешті-решт я відчув, що це дуже хороша вправа для мене, я не зробив багато вдосконалення, відколи я закінчив коледж понад 20 років тому .

Звичайно, я б не хотів, щоб ChatGPT з’являвся на "Чия це взагалі лінія?», і це не чудовий сюжет «Зоряного шляху» (хоча він все одно менш проблематичний, ніж «Кодекс честі”), але скільки разів ви сідали, щоб написати щось з нуля, і лякалися порожньої сторінки перед вами? Починаючи з поганої першої чернетки, можна прорвати блок письменницьких завдань і дати потік творчості, а ChatGPT і великі мовні моделі, схожі на нього, здаються правильними інструментами для допомоги в цих вправах.

І для машини, яка розроблена для створення рядків слів, які звучать якомога краще у відповідь на слова, які ви їй надаєте, а не для надання вам інформації, це здається правильним використанням інструменту.

Ця стаття перевидана з Бесіда за ліцензією Creative Commons. Читати оригінал статті.

Зображення Фото: Джастін Ха / Unsplash