Propagasi Pemikiran: Pendekatan Analogis Terhadap Penalaran Kompleks Dengan Model Bahasa Besar - KDnuggets

Diterbitkan Ulang Oleh Plato

Followers: 0

Propagasi Pemikiran: Pendekatan Analogis terhadap Penalaran Kompleks dengan Model Bahasa Besar

Pengambilan Kunci

Propagasi Pemikiran (TP) adalah metode baru yang meningkatkan kemampuan penalaran kompleks Model Bahasa Besar (LLM).
TP memanfaatkan masalah analog dan solusinya untuk meningkatkan penalaran, daripada membuat alasan LLM dari awal.
Eksperimen pada berbagai tugas menunjukkan bahwa TP secara substansial mengungguli metode dasar, dengan peningkatan berkisar antara 12% hingga 15%.

TP pertama-tama meminta LLM untuk mengusulkan dan memecahkan serangkaian masalah analog yang terkait dengan masalah masukan. Kemudian, TP menggunakan kembali hasil permasalahan analog untuk secara langsung menghasilkan solusi baru atau memperoleh rencana eksekusi yang intensif pengetahuan untuk mengubah solusi awal yang diperoleh dari awal.

Keserbagunaan dan kekuatan komputasi Model Bahasa Besar (LLM) tidak dapat disangkal, namun bukannya tanpa batas. Salah satu tantangan yang paling signifikan dan konsisten terhadap LLM adalah pendekatan umum mereka terhadap pemecahan masalah, yang terdiri dari penalaran dari prinsip-prinsip pertama untuk setiap tugas baru yang dihadapi. Hal ini menimbulkan masalah, karena memungkinkan tingkat kemampuan beradaptasi yang tinggi, namun juga meningkatkan kemungkinan kesalahan, khususnya dalam tugas-tugas yang memerlukan penalaran multi-langkah.

Tantangan “penalaran dari awal” terutama terlihat dalam tugas-tugas kompleks yang menuntut banyak langkah logika dan inferensi. Misalnya, jika LLM diminta untuk menemukan jalur terpendek dalam jaringan titik yang saling berhubungan, biasanya LLM tidak akan memanfaatkan pengetahuan sebelumnya atau masalah serupa untuk menemukan solusi. Sebaliknya, ia akan berusaha memecahkan masalah secara terpisah, yang dapat mengakibatkan hasil yang kurang optimal atau bahkan kesalahan total. Memasuki Propagasi Pikiran (TP), sebuah metode yang dirancang untuk menambah kemampuan penalaran LLM. TP bertujuan untuk mengatasi keterbatasan yang melekat pada LLM dengan memungkinkan mereka mengambil sumber masalah analog dan solusi yang sesuai. Pendekatan inovatif ini tidak hanya meningkatkan keakuratan solusi yang dihasilkan LLM namun juga secara signifikan meningkatkan kemampuan mereka untuk menangani tugas-tugas penalaran multi-langkah dan kompleks. Dengan memanfaatkan kekuatan analogi, TP menyediakan kerangka kerja yang memperkuat kemampuan penalaran bawaan LLM, membawa kita selangkah lebih dekat pada realisasi sistem buatan yang benar-benar cerdas.

Penyebaran Pikiran melibatkan dua langkah utama:

Pertama, LLM diminta untuk mengusulkan dan memecahkan serangkaian masalah analog terkait dengan masalah masukan
Selanjutnya, solusi terhadap permasalahan serupa digunakan untuk menghasilkan solusi baru secara langsung atau untuk mengubah solusi awal

Proses mengidentifikasi masalah analogi memungkinkan LLM untuk menggunakan kembali strategi dan solusi pemecahan masalah, sehingga meningkatkan kemampuan penalarannya. TP kompatibel dengan metode dorongan yang ada, memberikan solusi yang dapat digeneralisasikan yang dapat dimasukkan ke dalam berbagai tugas tanpa rekayasa khusus tugas yang signifikan.

Proses Penyebaran Pikiran
Gambar 1: Proses Perbanyakan Pikiran (Gambar dari kertas)

Selain itu, kemampuan beradaptasi TP tidak boleh dianggap remeh. Kompatibilitasnya dengan metode dorongan yang ada menjadikannya alat yang sangat serbaguna. Ini berarti bahwa TP tidak terbatas pada domain pemecahan masalah tertentu. Hal ini membuka jalan menarik untuk penyesuaian dan optimalisasi tugas spesifik, sehingga meningkatkan kegunaan dan kemanjuran LLM dalam spektrum aplikasi yang luas.

Penerapan Propagasi Pemikiran dapat diintegrasikan ke dalam alur kerja LLM yang ada. Misalnya, dalam tugas Penalaran Jalur Terpendek, TP pertama-tama dapat menyelesaikan serangkaian masalah analog yang lebih sederhana untuk memahami berbagai kemungkinan jalur. Hal ini kemudian akan menggunakan wawasan ini untuk memecahkan masalah yang kompleks, sehingga meningkatkan kemungkinan menemukan solusi optimal.

Contoh 1

tugas: Penalaran jalur terpendek
Masalah Analogi: Jalur terpendek antara titik A dan B, Jalur terpendek antara titik B dan C
Solusi akhir: Jalur optimal dari titik A ke C dengan mempertimbangkan solusi permasalahan analog

Contoh 2

tugas: Penulisan Kreatif
Masalah Analogi: Menulis cerita pendek tentang persahabatan, Menulis cerita pendek tentang kepercayaan
Solusi akhir: Menulis cerita pendek kompleks yang memadukan tema persahabatan dan kepercayaan

Prosesnya melibatkan penyelesaian masalah-masalah serupa terlebih dahulu, dan kemudian menggunakan wawasan yang diperoleh untuk mengatasi tugas kompleks yang ada. Metode ini telah menunjukkan keefektifannya dalam berbagai tugas, dan menunjukkan peningkatan substansial dalam metrik kinerja.

Implikasi dari Penyebaran Pemikiran lebih dari sekedar meningkatkan metrik yang ada. Teknik dorongan ini berpotensi mengubah cara kita memahami dan menerapkan LLM. Metodologi ini menggarisbawahi pergeseran dari pendekatan pemecahan masalah yang terisolasi dan bersifat atomik menuju pendekatan yang lebih holistik dan saling berhubungan. Hal ini mendorong kita untuk mempertimbangkan bagaimana LLM dapat belajar tidak hanya dari data, namun dari proses pemecahan masalah itu sendiri. Dengan terus memperbarui pemahaman mereka melalui solusi terhadap permasalahan serupa, LLM yang dilengkapi dengan TP lebih siap menghadapi tantangan yang tidak terduga, menjadikan mereka lebih tangguh dan mudah beradaptasi dalam lingkungan yang berkembang pesat.

Propagasi Pemikiran adalah tambahan yang menjanjikan pada kotak peralatan metode dorongan yang bertujuan untuk meningkatkan kemampuan LLM. Dengan memungkinkan LLM memanfaatkan masalah analog dan solusinya, TP menyediakan metode penalaran yang lebih bernuansa dan efektif. Eksperimen mengkonfirmasi kemanjurannya, menjadikannya strategi kandidat untuk meningkatkan kinerja LLM di berbagai tugas. TP pada akhirnya dapat mewakili langkah maju yang signifikan dalam pencarian sistem AI yang lebih mumpuni.

Matius Mayo (@ mattmayo13) memegang gelar Master di bidang ilmu komputer dan diploma pascasarjana di bidang penambangan data. Sebagai Pemimpin Redaksi KDnuggets, Matthew bertujuan untuk membuat konsep ilmu data yang kompleks dapat diakses. Minat profesionalnya meliputi pemrosesan bahasa alami, algoritma pembelajaran mesin, dan eksplorasi AI yang sedang berkembang. Dia didorong oleh misi untuk mendemokratisasi pengetahuan dalam komunitas ilmu data. Matthew telah mengkode sejak dia berusia 6 tahun.