Apa Itu Superalignment & Mengapa Penting? - KDnuggets

Diterbitkan Ulang Oleh Plato

Followers: 0

Apa itu Superalignment & Mengapa Penting?
Gambar oleh Penulis

Superintelligence berpotensi menjadi kemajuan teknologi paling signifikan dalam sejarah manusia. Hal ini dapat membantu kita mengatasi beberapa tantangan paling mendesak yang dihadapi umat manusia. Meskipun hal ini dapat membawa kemajuan pada era baru, hal ini juga menimbulkan risiko inheren tertentu yang harus ditangani secara hati-hati. Superintelligence dapat melemahkan umat manusia atau bahkan menyebabkan kepunahan manusia jika tidak ditangani atau diselaraskan dengan tepat.

Walaupun superintelligence mungkin masih jauh dari harapan, banyak ahli yakin hal ini bisa menjadi kenyataan dalam beberapa tahun mendatang. Untuk mengelola potensi risiko, kita harus membentuk badan pengatur baru dan mengatasi masalah penting penyelarasan superintelligence. Hal ini berarti memastikan bahwa sistem kecerdasan buatan yang akan segera melampaui kecerdasan manusia tetap selaras dengan tujuan dan niat manusia.

Di blog ini, kita akan belajar tentang Superalignmnet dan mempelajari pendekatan OpenAI untuk memecahkan tantangan teknis inti penyelarasan superintelligence.

Superalignment mengacu pada memastikan bahwa sistem kecerdasan buatan (AI) super, yang melampaui kecerdasan manusia di semua bidang, bertindak sesuai dengan nilai-nilai dan tujuan kemanusiaan. Ini adalah konsep penting di bidang keselamatan dan tata kelola AI, yang bertujuan untuk mengatasi risiko yang terkait dengan pengembangan dan penerapan AI yang sangat canggih.

As AI systems get more intelligent, it may become more challenging for humans to understand how they make decisions. It can cause problems if the AI acts in ways that go against human values. It’s essential to address this issue to prevent any harmful consequences.

Superalignment memastikan bahwa sistem AI yang super cerdas bertindak dengan cara yang selaras dengan nilai dan niat kemanusiaan. Hal ini memerlukan penentuan preferensi manusia secara akurat, perancangan sistem AI yang dapat memahaminya, dan pembuatan mekanisme untuk memastikan sistem AI mencapai tujuan tersebut.

Superalignment plays a crucial role in addressing the potential risks associated with superintelligence. Let’s delve into the reasons why we need Superalignment:

Mengurangi Skenario Rogue AI: Superalignment memastikan sistem AI super cerdas selaras dengan niat manusia, sehingga mengurangi risiko perilaku tidak terkendali dan potensi bahaya.
Menjaga Nilai-Nilai Kemanusiaan: Dengan menyelaraskan sistem AI dengan nilai-nilai kemanusiaan, Superalignment mencegah konflik di mana AI super cerdas dapat memprioritaskan tujuan yang tidak sesuai dengan norma dan prinsip masyarakat.
Menghindari Konsekuensi yang Tidak Disengaja: Penelitian superalignment mengidentifikasi dan memitigasi dampak buruk yang tidak diinginkan yang mungkin timbul dari sistem AI canggih, sehingga meminimalkan potensi dampak buruk.
Menjamin Otonomi Manusia: Superalignment berfokus pada perancangan sistem AI sebagai alat berharga yang meningkatkan kemampuan manusia, menjaga otonomi kita, dan mencegah ketergantungan berlebihan pada pengambilan keputusan AI.
Membangun Masa Depan AI yang Bermanfaat: Penelitian superalignment bertujuan untuk menciptakan masa depan di mana sistem AI super cerdas berkontribusi positif terhadap kesejahteraan manusia, mengatasi tantangan global sekaligus meminimalkan risiko.

OpenAI is building a human-level automated alignment researcher that will use vast amounts of compute to scale the efforts, and iteratively align superintelligence – Memperkenalkan Superalignment (openai.com).

Untuk menyelaraskan peneliti penyelarasan otomatis pertama, OpenAI perlu:

Kembangkan metode pelatihan yang terukur: OpenAI dapat menggunakan sistem AI untuk membantu mengevaluasi sistem AI lainnya pada tugas-tugas sulit yang sulit dinilai oleh manusia.
Validasi model yang dihasilkan: OpenAI akan mengotomatiskan pencarian perilaku bermasalah dan internal yang bermasalah.
Pengujian lawan: Uji sistem AI dengan sengaja melatih model yang tidak selaras, dan verifikasi bahwa metode yang digunakan dapat mengidentifikasi ketidakselarasan paling parah sekalipun dalam pipeline.

Tim

OpenAI membentuk tim untuk mengatasi tantangan penyelarasan superintelligence. Mereka akan mengalokasikan 20% sumber daya komputasi mereka selama empat tahun ke depan. Tim ini akan dipimpin oleh Ilya Sutskever dan Jan Leike, dan beranggotakan anggota dari tim penyelarasan sebelumnya dan departemen lain dalam perusahaan.

OpenAI saat ini sedang mencari peneliti dan insinyur luar biasa untuk berkontribusi pada misinya. Masalah penyelarasan superintelligence terutama terkait dengan pembelajaran mesin. Para ahli di bidang pembelajaran mesin, meskipun saat ini mereka tidak sedang mengerjakan penyelarasan, akan memainkan peran penting dalam menemukan solusi.

Anda

OpenAI telah menetapkan tujuan untuk mengatasi tantangan teknis penyelarasan superintelligence dalam waktu empat tahun. Meskipun hal ini merupakan tujuan yang ambisius dan tidak ada jaminan kesuksesan, OpenAI tetap optimis bahwa upaya yang terfokus dan penuh tekad dapat menghasilkan solusi untuk masalah ini.

Untuk mengatasi masalah ini, mereka harus menyajikan bukti dan argumen yang meyakinkan kepada komunitas pembelajaran mesin dan keselamatan. Memiliki tingkat kepercayaan yang tinggi terhadap solusi yang diusulkan sangatlah penting. Jika solusi yang diberikan tidak dapat diandalkan, masyarakat masih dapat menggunakan temuan tersebut untuk membuat rencana yang tepat.

OpenAI’s Superalignment initiative holds great promise in addressing the challenges of superintelligence alignment. With promising ideas emerging from preliminary experiments, the team has access to increasingly useful progress metrics and can leverage existing AI models to study these problems empirically.

It’s important to note that the Superalignment team’s efforts are complemented by OpenAI’s ongoing work to improve the safety of current models, including the widely used ChatGPT. OpenAI remains committed to understanding and mitigating various risks associated with AI, such as misuse, economic disruption, disinformation, bias and discrimination, addiction, and overreliance.

OpenAI bertujuan untuk membuka jalan bagi masa depan AI yang lebih aman dan bermanfaat melalui penelitian khusus, kolaborasi, dan pendekatan proaktif.

Abi Ali Awan (@1abidaliawan) adalah ilmuwan data profesional bersertifikat yang suka membuat model pembelajaran mesin. Saat ini, ia berfokus pada pembuatan konten dan penulisan blog teknis tentang pembelajaran mesin dan teknologi ilmu data. Abid memiliki gelar Magister Manajemen Teknologi dan gelar Sarjana Teknik Telekomunikasi. Visinya adalah untuk membangun produk AI menggunakan jaringan saraf grafik untuk siswa yang berjuang dengan penyakit mental.