Pertumbuhan Jaringan Neural Memerlukan Penskalaan Semikonduktor yang Belum Pernah Ada Sebelumnya

Kenyataannya adalah kita baru berada di awal revolusi Kecerdasan Buatan (AI). Kemampuan AI kini mulai menunjukkan petunjuk tentang apa yang akan terjadi di masa depan. Misalnya, mobil menggunakan model jaringan saraf kompleks yang besar tidak hanya untuk memahami lingkungannya, namun juga untuk mengarahkan dan mengendalikan dirinya sendiri. Untuk aplikasi apa pun harus ada data pelatihan untuk membuat jaringan yang berguna. Ukuran operasi pelatihan dan inferensi berkembang pesat seiring dengan dimasukkannya data dunia nyata yang berguna ke dalam model. Mari kita lihat pertumbuhan model selama beberapa tahun terakhir untuk memahami bagaimana hal ini mendorong kebutuhan kekuatan pemrosesan untuk pelatihan dan inferensi.

Dalam presentasi di Ansys 2021 Ideas Digital Forum, VP of Engineering Cerebras, Dhiraj Mallik, memberikan beberapa wawasan tentang pertumbuhan model jaringan saraf. Dalam dua tahun terakhir, ukuran model telah berkembang 1000X lipat, dari BERT Base (110 MB) menjadi GPT-3 (175 GB). Dan sebentar lagi ada model MSFT-1T dengan ukuran 1 TB. Model GPT-3 – yang merupakan topik menarik – dilatih dengan perangkat keras konvensional menggunakan 1024 GPU selama 4 bulan. Ini adalah model pemrosesan bahasa alami (NLP) yang menggunakan sebagian besar data teks di internet dan sumber lainnya. Ini dikembangkan oleh Open AI, dan sekarang menjadi dasar OpenAI Codex, yaitu aplikasi yang dapat menulis kode pemrograman berguna dalam beberapa bahasa dari instruksi bahasa sederhana dari pengguna. GPT-3 dapat digunakan untuk menulis artikel pendek yang sebagian besar pembaca tidak tahu bahwa artikel tersebut ditulis oleh program AI.

Seperti yang Anda lihat di atas, menjalankan 1024 GPU selama 4 bulan tidaklah mungkin. Dalam ceramahnya yang bertajuk “Mewujudkan Akselerasi AP yang Belum Pernah Ada Sebelumnya: Melampaui Hukum Moore” Dhiraj menegaskan bahwa kemajuan yang diperlukan untuk mendukung tingkat pertumbuhan semikonduktor ini jauh melampaui apa yang biasa kita lihat dalam Hukum Moore. Menanggapi kebutuhan pasar ini, Cerebras merilis mesin AI skala wafer WSE-1 pada tahun 2019 – 56 kali lebih besar dari chip mana pun yang pernah diproduksi. Satu setengah tahun kemudian mereka mengumumkan WSE-2, yang juga merupakan chip terbesar yang dibuat dengan:

• 6 triliun transistor
• 850,000 inti AI yang dioptimalkan
• 40 GB RAM
• Bandwidth memori 20 petabyte/dtk
• Bandwidth kain 220 petabyte
• Dibangun dengan proses N7 TSMC
• Sebuah wafer berisi 84 cetakan, masing-masing 550 mm².

Sistem CS-2 yang merangkum WSE-2 dapat memuat model AI dengan 120 triliun parameter. Yang lebih mengesankan lagi adalah sistem CS-2 dapat dibangun menjadi 192 unit cluster untuk memberikan peningkatan kinerja yang hampir linier. Cerebras telah mengembangkan subsistem memori yang memisahkan memori dan komputasi untuk memberikan penskalaan yang lebih baik dan peningkatan throughput untuk model yang sangat besar. Cerebras juga telah mengembangkan pengoptimalan untuk ketersebaran set pelatihan, yang menghemat waktu dan tenaga.

Presentasi Dhiraj menjelaskan lebih detail tentang kemampuan mereka, terutama dalam bidang penskalaan secara efisien dengan model yang lebih besar untuk mempertahankan throughput dan kapasitas. Dari perspektif semikonduktor, menarik juga untuk melihat bagaimana Cerebras menganalisis penurunan IR, migrasi listrik, dan penandaan ESD pada desain yang 2 kali lipat lebih besar dari apa pun yang pernah dilakukan oleh industri semikonduktor. Dhiraj berbicara tentang bagaimana di setiap tingkat desain – ubin, blok, dan wafer penuh – Cerebras menggunakan Ansys RedHawk-SC di beberapa CPU untuk penghentian IR statis dan dinamis. RedHawk-SC juga digunakan untuk pemeriksaan migrasi listrik dan sinyal listrik. Demikian pula, mereka menggunakan Ansys Pathfinder untuk pemeriksaan resistansi ESD dan kepadatan arus.

Dengan sepotong silikon sebesar ini pada 7nm, keputusan alat secara harfiah adalah “berhasil atau gagal”. Membangun silikon yang disruptif ini memerlukan banyak pilihan yang dipertimbangkan dengan baik dalam proses pengembangannya, dan tentu saja kapasitas yang tak tertandingi menjadi perhatian utama. Namun, seperti yang ditunjukkan dengan jelas dalam presentasi Dhiraj, peningkatan kekuatan pemrosesan CS-2 diperlukan untuk mengelola laju pertumbuhan yang kita lihat dalam model AI/ML. Tidak diragukan lagi kita akan melihat inovasi yang melampaui imajinasi kita saat ini di bidang AI. Sama seperti web dan cloud yang telah mengubah teknologi dan bahkan masyarakat, kita juga bisa berharap bahwa perkembangan teknologi AI baru akan mengubah dunia kita secara dramatis. Jika Anda tertarik untuk mempelajari lebih lanjut tentang silikon Cerebras, lihat presentasi Dhiraj di Ansys IDEAS Digital Forum di www.ansys.com/ideas.

Bagikan postingan ini melalui: Sumber: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/