Amazon Q Menghadapi Tantangan: Halusinasi dan Kebocoran Data

Diterbitkan Ulang Oleh Plato

Followers: 0

Asisten AI generatif Amazon, Amazon Q, sedang dalam pengawasan. Laporan menunjukkan adanya halusinasi dan kebocoran data, sehingga memicu perdebatan mengenai kesiapannya untuk digunakan oleh perusahaan.

Ketika kekhawatiran meningkat, para ahli menekankan pentingnya pengujian menyeluruh, potensi peraturan, dan peran Amazon dalam mengatasi tantangan ini.

Halusinasi dan masalah privasi muncul

Bocoran dokumen yang dilansir The Platformer mengungkap hal itu Amazon Q sedang bergulat dengan ketidakakuratan, termasuk halusinasi dan kebocoran data. Studi tersebut menyoroti ketidakakuratan model bahasa besar (LLM) ketika dihubungkan ke database perusahaan. Analis yang memantau industri ini berpendapat bahwa masalah ini membuat Amazon Q tidak cocok untuk pengambilan keputusan di lingkungan perusahaan.

Pareekh Jain, CEO EIIRTrend & Pareekh Consulting, menunjukkan keterbatasannya, dengan menyatakan, “Jika ada halusinasi, Anda tidak dapat menggunakannya untuk pengambilan keputusan di lingkungan perusahaan.” Meskipun Amazon memposisikan Q sebagai rekan kerja bagi jutaan orang, para analis mempertanyakan kesiapannya untuk digunakan secara luas oleh perusahaan.

Menguji tantangan dan pentingnya uji coba internal

Untuk mengatasi permasalahan ini, para ahli menekankan perlunya pengujian internal yang ekstensif sebelum AI generatif asisten siap untuk rilis komersial. Jain menekankan pentingnya mengevaluasi data dan algoritma untuk menentukan akar penyebab ketidakakuratan.

“Saya pikir mereka perlu melakukan lebih banyak pengujian dengan karyawan internal terlebih dahulu,” tambah Jain. “Mereka harus melihat apakah masalahnya ada pada data atau algoritmanya.” Amazon Q memanfaatkan kemahiran data dan pengembangan AWS selama 17 tahun, menekankan pertaruhan Amazon dalam lanskap AI yang berkembang pesat.

Pelatihan dan langkah-langkah menuju perbaikan

Meskipun halusinasi menimbulkan tantangan, Sharath Srinivasamurthy, wakil presiden asosiasi di IDC, menyoroti langkah-langkah untuk meningkatkan penggunaan AI generatif. Srinivasamurthy menyarankan model pelatihan pada data berkualitas lebih tinggi, augmentasi cepat, penyesuaian berkelanjutan pada data spesifik organisasi, dan menggabungkan pemeriksaan manusia untuk respons yang mencurigakan.

“Melatih model mengenai kualitas data yang lebih baik, terus menyempurnakan model pada data dan kebijakan spesifik organisasi atau industri, dan menambah lapisan pemeriksaan manusia jika responsnya mencurigakan adalah beberapa langkah yang perlu diambil untuk manfaatkan sebaik-baiknya teknologi baru ini,” kata Srinivasamurthy.

Masalah peraturan dan tuntutan akan AI yang bertanggung jawab

laporan halusinasi memicu diskusi tentang perlunya peraturan, namun Sanchit Vir Gogia, kepala analis dan CEO di Greyhound Research, memperingatkan terhadap potensi kontraproduktif. Gogia berpendapat bahwa peraturan yang terlalu ketat dapat menghambat pertukaran dan pemanfaatan data, dan menunjuk pada keberhasilan GPT OpenAI sebagai contoh manfaat dari industri yang kurang diatur.

Jain menggemakan sentimen ini, menekankan pentingnya pengaturan diri. “Regulasi mungkin ada, namun fokus utamanya adalah pada regulasi mandiri,” jelas Jain. “Penekanannya harus pada AI yang bertanggung jawab, dimana logikanya dapat dijelaskan kepada pelanggan dibandingkan menciptakan sistem ‘kotak hitam’.”

Saat Amazon memasuki dunia AI generatif, semua perhatian tertuju pada raksasa teknologi tersebut untuk mengatasi tantangan-tantangan ini, terutama mengingat mereka terlambat masuk dibandingkan dengan para pemimpin industri seperti Microsoft dan Google. Jain mencatat bahwa AWS adalah perusahaan yang lamban, sehingga meningkatkan ekspektasi dan pengawasan terhadap teknologi seperti chatbots.