Efisiensi AI yang Menarik: Memadukan Model yang Lebih Kecil Melampaui Model Besar

Efisiensi AI yang Menarik: Memadukan Model yang Lebih Kecil Melampaui Model Besar

Stempel Waktu: 18 Januari 2024 9:48
Node Sumber: 3069830

Dalam beberapa tahun terakhir, bidang AI percakapan telah dipengaruhi secara signifikan oleh model seperti ChatGPT, yang ditandai dengan ukuran parameternya yang besar. Namun, pendekatan ini memiliki tuntutan besar pada sumber daya komputasi dan memori. Sebuah penelitian kini memperkenalkan konsep baru: memadukan beberapa model AI yang lebih kecil untuk mencapai atau melampaui kinerja model yang lebih besar. Pendekatan ini, disebut “Blending,” mengintegrasikan beberapa AI obrolan, menawarkan solusi efektif terhadap tantangan komputasi model besar.

Penelitian tersebut, yang dilakukan selama tiga puluh hari dengan basis pengguna yang besar pada platform penelitian Chai, menunjukkan bahwa memadukan model-model spesifik yang lebih kecil berpotensi mengungguli atau menyamai kemampuan model-model yang jauh lebih besar, seperti ChatGPT. Misalnya, mengintegrasikan hanya tiga model dengan parameter 6B/13B dapat menyaingi atau bahkan melampaui metrik performa model yang jauh lebih besar seperti ChatGPT dengan parameter 175B+.

Meningkatnya ketergantungan pada model bahasa besar (LLM) terlatih untuk beragam aplikasi, khususnya dalam obrolan AI, telah menyebabkan lonjakan pengembangan model dengan sejumlah besar parameter. Namun, model besar ini memerlukan infrastruktur khusus dan memiliki overhead inferensi yang signifikan, sehingga membatasi aksesibilitasnya. Sebaliknya, pendekatan Campuran menawarkan alternatif yang lebih efisien tanpa mengurangi kualitas percakapan.

Efektivitas Blended AI terlihat jelas dalam tingkat keterlibatan dan retensi pengguna. Selama pengujian A/B skala besar pada platform CHAI, ansambel Campuran, yang terdiri dari tiga LLM parameter 6-13 miliar, mengungguli ChatGPT parameter 175 miliar+ OpenAI, sehingga mencapai retensi dan keterlibatan pengguna yang jauh lebih tinggi. Hal ini menunjukkan bahwa pengguna menganggap AI Obrolan Campuran lebih menarik, menghibur, dan berguna, serta hanya memerlukan sedikit biaya inferensi dan overhead memori dibandingkan model yang lebih besar.

Metodologi penelitian ini melibatkan penggabungan berdasarkan prinsip statistik Bayesian, di mana kemungkinan respons tertentu dikonseptualisasikan sebagai ekspektasi marjinal yang diambil alih semua parameter AI chat yang masuk akal. Campuran secara acak memilih AI obrolan yang menghasilkan respons saat ini, memungkinkan AI obrolan berbeda untuk secara implisit memengaruhi keluarannya. Hal ini menghasilkan perpaduan kekuatan AI chat individu, yang menghasilkan respons yang lebih menawan dan beragam.

Terobosan dalam tren AI dan pembelajaran mesin pada tahun 2024 menekankan peralihan menuju model AI yang lebih praktis, efisien, dan dapat disesuaikan. Seiring dengan semakin terintegrasinya AI ke dalam operasi bisnis, terdapat peningkatan permintaan akan model yang dapat memenuhi kebutuhan spesifik, serta menawarkan privasi dan keamanan yang lebih baik. Pergeseran ini sejalan dengan prinsip inti pendekatan Campuran, yang menekankan efisiensi, efektivitas biaya, dan kemampuan beradaptasi.

Kesimpulannya, metode Campuran mewakili kemajuan signifikan dalam pengembangan AI. Dengan menggabungkan beberapa model yang lebih kecil, model ini menawarkan solusi yang efisien dan hemat biaya yang mempertahankan, dan dalam beberapa kasus, meningkatkan keterlibatan dan retensi pengguna dibandingkan dengan model yang lebih besar dan lebih banyak menggunakan sumber daya. Pendekatan ini tidak hanya mengatasi keterbatasan praktis AI berskala besar namun juga membuka kemungkinan baru penerapan AI di berbagai sektor.

Sumber gambar: Shutterstock

Stempel Waktu:

Lebih dari Berita Blockchain