Model dasar yang terdepan – IBM Blog

Model dasar (FM) menandai dimulainya era baru di pembelajaran mesin (ML) dan kecerdasan buatan (AI), yang mengarah pada pengembangan AI yang lebih cepat yang dapat disesuaikan dengan berbagai tugas hilir dan disesuaikan untuk berbagai aplikasi. 

Dengan semakin pentingnya pemrosesan data saat pekerjaan dilakukan, penyajian model AI di edge perusahaan memungkinkan prediksi hampir real-time, sekaligus mematuhi persyaratan kedaulatan data dan privasi. Dengan menggabungkan IBM Watsonx kemampuan platform data dan AI untuk FM dengan komputasi edge, perusahaan dapat menjalankan beban kerja AI untuk penyempurnaan FM dan inferensi pada edge operasional. Hal ini memungkinkan perusahaan untuk meningkatkan penerapan AI pada tingkat edge, sehingga mengurangi waktu dan biaya penerapan dengan waktu respons yang lebih cepat.

Pastikan untuk membaca semua bagian dalam rangkaian postingan blog tentang komputasi edge ini:

Apa model dasar?

Model dasar (FM), yang dilatih pada kumpulan data tak berlabel yang luas dan berskala besar, mendorong penerapan kecerdasan buatan (AI) yang canggih. Mereka dapat disesuaikan dengan berbagai tugas hilir dan disesuaikan untuk berbagai aplikasi. Model AI modern, yang menjalankan tugas tertentu dalam satu domain, digantikan oleh FM karena mereka belajar lebih umum dan bekerja lintas domain dan masalah. Seperti namanya, FM dapat menjadi landasan bagi banyak penerapan model AI.

FM mengatasi dua tantangan utama yang menghalangi perusahaan untuk meningkatkan adopsi AI. Pertama, perusahaan menghasilkan sejumlah besar data tak berlabel, hanya sebagian kecil saja yang diberi label untuk pelatihan model AI. Kedua, tugas pelabelan dan anotasi ini sangat menguras tenaga manusia, sering kali memerlukan waktu beberapa ratus jam dari ahli materi pelajaran (UKM). Hal ini membuat penskalaan di seluruh kasus penggunaan menjadi mahal karena memerlukan pasukan UKM dan pakar data. Dengan menyerap sejumlah besar data tak berlabel dan menggunakan teknik pengawasan mandiri untuk pelatihan model, FM telah menghilangkan hambatan ini dan membuka jalan bagi penerapan AI dalam skala luas di seluruh perusahaan. Data dalam jumlah besar yang ada di setiap bisnis menunggu untuk dirilis guna mendorong wawasan.

Apa yang dimaksud dengan model bahasa besar?

Model bahasa besar (LLM) adalah kelas model dasar (FM) yang terdiri dari lapisan jaringan saraf yang telah dilatih mengenai data tak berlabel dalam jumlah besar ini. Mereka menggunakan algoritme pembelajaran mandiri untuk melakukan berbagai hal pemrosesan bahasa alami (NLP) tugas dengan cara yang mirip dengan cara manusia menggunakan bahasa (lihat Gambar 1).

Skalakan dan percepat dampak AI

Ada beberapa langkah untuk membangun dan menerapkan model dasar (FM). Hal ini mencakup penyerapan data, pemilihan data, pra-pemrosesan data, pra-pelatihan FM, penyesuaian model ke satu atau beberapa tugas hilir, penyajian inferensi, serta tata kelola model data dan AI serta manajemen siklus hidup—semuanya dapat digambarkan sebagai FMOps.

Untuk membantu semua ini, IBM menawarkan kepada perusahaan alat dan kemampuan yang diperlukan untuk memanfaatkan kekuatan FM melalui IBM Watsonx, AI dan platform data yang siap digunakan untuk perusahaan yang dirancang untuk melipatgandakan dampak AI di seluruh perusahaan. IBM watsonx terdiri dari berikut ini:

1. IBM watsonx.ai membawa yang baru AI generatif kemampuan—didukung oleh FM dan pembelajaran mesin (ML) tradisional—menjadi studio canggih yang mencakup siklus hidup AI.
2. IBM watsonx.data adalah penyimpanan data yang sesuai untuk tujuan yang dibangun pada arsitektur open lakehouse untuk menskalakan beban kerja AI untuk semua data Anda, di mana saja.
3. IBM watsonx.pemerintahan adalah perangkat tata kelola siklus hidup AI otomatis menyeluruh yang dibuat untuk memungkinkan alur kerja AI yang bertanggung jawab, transparan, dan dapat dijelaskan.

Faktor kunci lainnya adalah semakin pentingnya komputasi di enterprise edge, seperti lokasi industri, pabrik, toko ritel, lokasi telco edge, dll. Lebih khusus lagi, AI di enterprise edge memungkinkan pemrosesan data di mana pekerjaan sedang dilakukan. analisis hampir real-time. Enterprise edge adalah tempat dimana sejumlah besar data perusahaan dihasilkan dan AI dapat memberikan wawasan bisnis yang berharga, tepat waktu, dan dapat ditindaklanjuti.

Melayani model AI di edge memungkinkan prediksi hampir real-time sambil mematuhi persyaratan kedaulatan data dan privasi. Hal ini secara signifikan mengurangi latensi yang sering dikaitkan dengan perolehan, transmisi, transformasi, dan pemrosesan data inspeksi. Bekerja di edge memungkinkan kami melindungi data sensitif perusahaan dan mengurangi biaya transfer data dengan waktu respons yang lebih cepat.

Namun, meningkatkan penerapan AI di edge bukanlah tugas yang mudah di tengah tantangan terkait data (heterogenitas, volume, dan peraturan) dan keterbatasan sumber daya (komputasi, konektivitas jaringan, penyimpanan, dan bahkan keterampilan TI). Ini secara garis besar dapat dijelaskan dalam dua kategori:

• Waktu/biaya untuk diterapkan: Setiap penerapan terdiri dari beberapa lapisan perangkat keras dan perangkat lunak yang perlu diinstal, dikonfigurasi, dan diuji sebelum penerapan. Saat ini, seorang profesional layanan dapat memerlukan waktu hingga satu atau dua minggu untuk pemasangan di setiap lokasi, sangat membatasi seberapa cepat dan hemat biaya perusahaan dapat meningkatkan penerapan di seluruh organisasi mereka.                                  
• Manajemen hari ke-2: Banyaknya jumlah edge yang diterapkan dan lokasi geografis setiap penerapan sering kali menjadikan penyediaan dukungan TI lokal di setiap lokasi untuk memantau, memelihara, dan memperbarui penerapan ini menjadi sangat mahal.

Penerapan Edge AI

IBM mengembangkan arsitektur edge yang mengatasi tantangan-tantangan ini dengan menghadirkan model peralatan perangkat keras/perangkat lunak (HW/SW) yang terintegrasi ke dalam penerapan AI edge. Ini terdiri dari beberapa paradigma utama yang membantu skalabilitas penerapan AI:

• Penyediaan seluruh tumpukan perangkat lunak tanpa sentuhan berbasis kebijakan.
• Pemantauan berkelanjutan terhadap kesehatan sistem edge
• Kemampuan untuk mengelola dan mendorong pembaruan perangkat lunak/keamanan/konfigurasi ke berbagai lokasi edge—semuanya dari lokasi pusat berbasis cloud untuk manajemen hari ke-2.

Arsitektur hub-and-spoke yang terdistribusi dapat dimanfaatkan untuk menskalakan penerapan AI perusahaan di edge, dimana cloud sentral atau pusat data perusahaan bertindak sebagai hub dan peralatan edge-in-a-box bertindak sebagai spoke di lokasi edge. Model hub and spoke ini, yang diperluas ke seluruh lingkungan hybrid cloud dan edge, menggambarkan dengan baik keseimbangan yang diperlukan untuk memanfaatkan sumber daya yang diperlukan untuk operasi FM secara optimal (lihat Gambar 2).

Pra-pelatihan model bahasa besar dasar (LLM) dan jenis model dasar lainnya menggunakan teknik pengawasan mandiri pada kumpulan data besar yang tidak berlabel sering kali memerlukan sumber daya komputasi (GPU) yang signifikan dan paling baik dilakukan di hub. Sumber daya komputasi yang hampir tak terbatas dan tumpukan data besar yang sering disimpan di cloud memungkinkan pra-pelatihan model parameter besar dan peningkatan berkelanjutan dalam keakuratan model fondasi dasar ini.

Di sisi lain, penyesuaian FM dasar ini untuk tugas-tugas hilir—yang hanya memerlukan beberapa puluh atau ratusan sampel data berlabel dan penyajian inferensi—dapat dicapai hanya dengan beberapa GPU di edge perusahaan. Hal ini memungkinkan data berlabel sensitif (atau data permata mahkota perusahaan) tetap aman dalam lingkungan operasional perusahaan sekaligus mengurangi biaya transfer data.

Dengan menggunakan pendekatan full-stack untuk menerapkan aplikasi ke edge, data scientist dapat melakukan penyesuaian, pengujian, dan penerapan model. Hal ini dapat dicapai dalam satu lingkungan sekaligus memperpendek siklus pengembangan untuk menyajikan model AI baru kepada pengguna akhir. Platform seperti Red Hat OpenShift Data Science (RHODS) dan Red Hat OpenShift AI yang baru-baru ini diumumkan menyediakan alat untuk mengembangkan dan menerapkan model AI siap produksi dengan cepat di awan terdistribusi dan lingkungan tepi.

Yang terakhir, menyajikan model AI yang telah disesuaikan di tingkat perusahaan secara signifikan mengurangi latensi yang sering dikaitkan dengan akuisisi, transmisi, transformasi, dan pemrosesan data. Memisahkan pra-pelatihan di cloud dari penyempurnaan dan inferensi pada edge akan menurunkan biaya operasional keseluruhan dengan mengurangi waktu yang diperlukan dan biaya perpindahan data yang terkait dengan tugas inferensi apa pun (lihat Gambar 3).

Untuk mendemonstrasikan proposisi nilai ini secara end-to-end, model landasan berbasis transformator visi yang patut dicontoh untuk infrastruktur sipil (yang telah dilatih sebelumnya menggunakan kumpulan data publik dan khusus industri) telah disesuaikan dan diterapkan untuk inferensi pada edge tiga node. (berbicara) cluster. Tumpukan perangkat lunak tersebut mencakup Red Hat OpenShift Container Platform dan Red Hat OpenShift Data Science. Cluster edge ini juga terhubung ke hub Red Hat Advanced Cluster Management for Kubernetes (RHACM) yang berjalan di cloud.

Penyediaan tanpa sentuhan

Penyediaan zero-touch berbasis kebijakan dilakukan dengan Red Hat Advanced Cluster Management for Kubernetes (RHACM) melalui kebijakan dan tag penempatan, yang mengikat cluster edge tertentu ke serangkaian komponen dan konfigurasi perangkat lunak. Komponen perangkat lunak ini—yang tersebar di seluruh tumpukan dan mencakup komputasi, penyimpanan, jaringan, dan beban kerja AI—diinstal menggunakan berbagai operator OpenShift, penyediaan layanan aplikasi yang diperlukan, dan S3 Bucket (penyimpanan).

Model dasar (FM) yang telah dilatih sebelumnya untuk infrastruktur sipil telah disempurnakan melalui Jupyter Notebook dalam Red Hat OpenShift Data Science (RHODS) menggunakan data berlabel untuk mengklasifikasikan enam jenis kerusakan yang ditemukan pada jembatan beton. Penyajian inferensi FM yang disetel dengan baik ini juga didemonstrasikan menggunakan server Triton. Selain itu, pemantauan kesehatan sistem edge ini dimungkinkan dengan menggabungkan metrik observasi dari komponen perangkat keras dan perangkat lunak melalui Prometheus ke dasbor RHACM pusat di cloud. Perusahaan infrastruktur sipil dapat menyebarkan FM ini di lokasi edge mereka dan menggunakan citra drone untuk mendeteksi kerusakan hampir secara real-time—mempercepat waktu untuk mendapatkan wawasan dan mengurangi biaya pemindahan data definisi tinggi dalam jumlah besar ke dan dari Cloud.

Kesimpulan

Menggabungkan IBM Watsonx kemampuan data dan platform AI untuk model dasar (FM) dengan peralatan edge-in-a-box memungkinkan perusahaan menjalankan beban kerja AI untuk penyempurnaan dan pengambilan kesimpulan FM di tepi operasional. Peralatan ini dapat menangani kasus penggunaan kompleks secara langsung, dan membangun kerangka kerja hub-and-spoke untuk manajemen terpusat, otomatisasi, dan layanan mandiri. Penerapan Edge FM dapat dikurangi dari hitungan minggu menjadi hitungan jam dengan keberhasilan yang berulang, ketahanan dan keamanan yang lebih tinggi.

Pelajari lebih lanjut tentang model dasar

Pastikan untuk membaca semua bagian dalam rangkaian postingan blog tentang komputasi edge ini: