ChatGPT Sangat Bagus—Anda Hanya Salah Menggunakannya

Diterbitkan Ulang Oleh Plato

Followers: 0

Tidak perlu banyak untuk mendapatkannya ChatGPT untuk membuat kesalahan faktual. Putra saya sedang membuat laporan tentang presiden AS, jadi saya pikir saya akan membantunya dengan melihat beberapa biografi. Saya mencoba meminta daftar buku tentang Abraham Lincoln, dan hasilnya cukup bagus:

tangkapan layar teks — Daftar buku yang masuk akal tentang Lincoln. Kredit Gambar: Tangkapan layar oleh Jonathan May, CC BY-ND

Nomor 4 tidak benar. Garry Wills terkenal menulis "Lincoln di Gettysburg," dan Lincoln sendiri yang menulis Proklamasi Emansipasi, tentu saja, tapi itu bukan awal yang buruk. Kemudian saya mencoba sesuatu yang lebih keras, malah bertanya tentang William Henry Harrison yang jauh lebih tidak jelas, dan dengan gagah berani memberikan daftar, yang hampir semuanya salah.

Angka 4 dan 5 benar; sisanya tidak ada atau tidak ditulis oleh orang-orang tersebut. Saya mengulangi latihan yang sama persis dan mendapatkan hasil yang sedikit berbeda:

Kali ini nomor 2 dan 3 benar dan tiga lainnya bukan buku sebenarnya atau tidak ditulis oleh penulis tersebut. Nomor 4, "William Henry Harrison: Kehidupan dan Waktunya" adalah a buku asli, tetapi oleh James A. Green, bukan oleh Robert Remini, a sejarawan terkenal dari zaman Jacksonian.

Saya menyebutkan kesalahannya, dan ChatGPT dengan penuh semangat mengoreksi dirinya sendiri dan kemudian dengan percaya diri memberi tahu saya bahwa buku itu sebenarnya ditulis oleh Gail Collins (yang menulis biografi Harrison yang berbeda), dan kemudian berbicara lebih banyak tentang buku itu dan tentang dia. Saya akhirnya mengungkapkan kebenarannya, dan mesin senang bekerja dengan koreksi saya. Kemudian saya berbohong dengan tidak masuk akal, mengatakan selama seratus hari pertama presiden harus menulis biografi beberapa mantan presiden, dan ChatGPT memanggil saya untuk itu. Saya kemudian berbohong secara halus, dengan salah menghubungkan kepengarangan biografi Harrison dengan sejarawan dan penulis Paul C. Nagel, dan itu membeli kebohongan saya.

Ketika saya bertanya kepada ChatGPT apakah saya yakin saya tidak berbohong, ia mengklaim bahwa itu hanya "model bahasa AI" dan tidak memiliki kemampuan untuk memverifikasi akurasi. Namun, itu mengubah klaim tersebut dengan mengatakan, “Saya hanya dapat memberikan informasi berdasarkan data pelatihan yang telah saya berikan, dan tampaknya buku 'William Henry Harrison: His Life and Times' ditulis oleh Paul C. Nagel dan diterbitkan pada tahun 1977.”

Ini tidak benar.

Kata-kata, Bukan Fakta

Tampaknya dari interaksi ini ChatGPT diberi perpustakaan fakta, termasuk klaim yang salah tentang penulis dan buku. Lagi pula, pembuat ChatGPT, OpenAI, mengklaim telah melatih chatbot di “sejumlah besar data dari internet yang ditulis oleh manusia. "

Namun, hampir pasti tidak diberi nama dari sekumpulan buku yang dibuat-buat tentang salah satu yang paling banyak presiden yang biasa-biasa saja. Namun, di satu sisi, informasi palsu ini memang didasarkan pada data pelatihannya.

Sebagai ilmuwan komputer, saya sering mengajukan keluhan yang mengungkapkan kesalahpahaman umum tentang model bahasa besar seperti ChatGPT dan kakaknya GPT3 dan GPT2: bahwa mereka adalah semacam "Google super", atau versi digital dari pustakawan referensi, mencari jawaban atas pertanyaan dari beberapa perpustakaan fakta yang sangat besar, atau menyatukan cerita dan karakter. Mereka tidak melakukan semua itu—setidaknya, mereka tidak dirancang secara eksplisit untuk itu.

Kedengarannya bagus

Model bahasa seperti ChatGPT, yang lebih formal dikenal sebagai "transformator pra-terlatih generatif" (itulah singkatan dari G, P, dan T), mengambil percakapan saat ini, membentuk probabilitas untuk semua kata di dalamnya kosakata diberikan percakapan itu, dan kemudian memilih salah satu dari mereka sebagai kemungkinan kata berikutnya. Kemudian hal itu terjadi lagi, dan lagi, dan lagi, sampai berhenti.

Jadi itu tidak memiliki fakta, per se. Itu hanya tahu kata apa yang harus datang selanjutnya. Dengan kata lain, ChatGPT tidak mencoba menulis kalimat yang benar. Tapi itu memang mencoba menulis kalimat yang masuk akal.

Saat berbicara secara pribadi dengan rekan kerja tentang ChatGPT, mereka sering kali menunjukkan berapa banyak pernyataan yang tidak benar secara faktual yang dihasilkannya dan mengabaikannya. Bagi saya, gagasan bahwa ChatGPT adalah sistem pengambilan data yang cacat tidak penting. Orang-orang telah menggunakan Google selama dua setengah dekade terakhir. Sudah ada layanan pencarian fakta yang cukup bagus di luar sana.

Nyatanya, satu-satunya cara saya bisa memverifikasi apakah semua judul buku kepresidenan itu akurat adalah dengan Googling dan kemudian memverifikasi hasil. Hidup saya tidak akan jauh lebih baik jika saya mendapatkan fakta-fakta itu dalam percakapan, alih-alih cara saya mendapatkannya selama hampir separuh hidup saya, dengan mengambil dokumen dan kemudian melakukan analisis kritis untuk melihat apakah saya dapat mempercayai isinya.

Mitra Peningkatan

Di sisi lain, jika saya dapat berbicara dengan bot yang akan memberi saya tanggapan yang masuk akal untuk hal-hal yang saya katakan, itu akan berguna dalam situasi tertentu. di mana akurasi faktual tidak terlalu penting. Beberapa tahun yang lalu seorang siswa dan saya mencoba membuat "bot improvisasi", yang akan menanggapi apa pun yang Anda katakan dengan "ya, dan" untuk membuat percakapan tetap berjalan. Kami menunjukkan, dalam kertas, bahwa kami bot lebih baik dalam "ya, dan-ing" daripada bot lain pada saat itu, tetapi di AI, dua tahun adalah sejarah kuno.

Saya mencoba dialog dengan ChatGPT—skenario penjelajah ruang angkasa fiksi ilmiah—yang tidak berbeda dengan apa yang Anda temukan di kelas improvisasi pada umumnya. ChatGPT jauh lebih baik dalam "ya, dan-ing" daripada yang kami lakukan, tetapi itu tidak benar-benar meningkatkan drama sama sekali. Saya merasa seolah-olah saya melakukan semua pekerjaan berat.

Setelah beberapa penyesuaian, saya membuatnya sedikit lebih terlibat, dan pada akhirnya, saya merasa itu adalah latihan yang cukup bagus untuk saya, yang belum melakukan banyak peningkatan sejak saya lulus kuliah lebih dari 20 tahun yang lalu. .

Tentu, saya tidak ingin ChatGPT muncul di “Jalur Siapa Itu?” dan ini bukan plot “Star Trek” yang bagus (meski masih kurang bermasalah daripada “Kode Kehormatan”), tetapi berapa kali Anda duduk untuk menulis sesuatu dari awal dan mendapati diri Anda ketakutan dengan halaman kosong di depan Anda? Memulai dengan draf pertama yang buruk dapat menembus blok penulis dan membuat jus kreatif mengalir, dan ChatGPT serta model bahasa besar tampaknya merupakan alat yang tepat untuk membantu latihan ini.

Dan untuk mesin yang dirancang untuk menghasilkan rangkaian kata yang terdengar sebaik mungkin sebagai tanggapan atas kata yang Anda berikan—dan bukan untuk memberi Anda informasi—sepertinya penggunaan yang tepat untuk alat tersebut.

Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.

Gambar Kredit: Justin Ha / Unsplash