GDDR6 Memberikan Kinerja Untuk Inferensi AI/ML

AI/ML berkembang dengan sangat cepat. Tidak ada satu minggu pun yang berlalu tanpa perkembangan baru dan menarik di bidang ini, dan aplikasi seperti ChatGPT telah membawa kemampuan AI generatif ke garis depan perhatian publik.

AI/ML sebenarnya adalah dua aplikasi: pelatihan dan inferensi. Masing-masing bergantung pada kinerja memori, dan masing-masing memiliki serangkaian persyaratan unik yang mendorong pilihan solusi memori terbaik.

Dengan pelatihan, bandwidth dan kapasitas memori merupakan persyaratan penting. Hal ini terutama mengingat ukuran dan kompleksitas model data jaringan saraf yang telah berkembang dengan kecepatan 10 kali lipat per tahun. Akurasi jaringan saraf bergantung pada kualitas dan kuantitas contoh dalam kumpulan data pelatihan yang berarti membutuhkan data dalam jumlah besar, dan juga bandwidth serta kapasitas memori.

Mengingat nilai yang diciptakan melalui pelatihan, terdapat insentif yang kuat untuk menyelesaikan pelatihan yang dijalankan secepat mungkin. Karena aplikasi pelatihan yang berjalan di pusat data semakin terbatas dalam hal daya dan ruang, solusi yang menawarkan efisiensi daya dan ukuran lebih kecil lebih disukai. Mengingat semua persyaratan ini, HBM3 adalah solusi memori ideal untuk perangkat keras pelatihan AI. Ini memberikan kemampuan bandwidth dan kapasitas yang sangat baik.

Keluaran dari pelatihan jaringan saraf adalah model inferensi yang dapat diterapkan secara luas. Dengan model ini, perangkat inferensi dapat memproses dan menafsirkan masukan di luar batas data pelatihan. Sebagai kesimpulan, kecepatan throughput memori dan latensi rendah sangat penting, terutama ketika diperlukan tindakan real-time. Dengan semakin banyaknya inferensi AI yang berpindah dari pusat data ke tepi jaringan, fitur memori ini menjadi semakin penting.

Para desainer memiliki sejumlah pilihan memori untuk inferensi AI/ML, namun pada parameter bandwidth yang penting, memori GDDR6 benar-benar unggul. Dengan kecepatan data 24 Gigabit per detik (Gb/s), dan antarmuka lebar 32-bit, perangkat GDDR6 dapat menghasilkan bandwidth memori sebesar 96 Gigabytes per detik (GB/s), lebih dari dua kali lipat dibandingkan DDR atau DDR alternatif mana pun. solusi LPDDR. Memori GDDR6 menawarkan kombinasi luar biasa antara kecepatan, bandwidth, dan performa latensi untuk inferensi AI/ML, khususnya untuk inferensi di edge.

Subsistem antarmuka memori Rambus GDDR6 menawarkan kinerja 24 Gb/s dan dibangun di atas fondasi keahlian integritas sinyal kecepatan tinggi dan integritas daya (SI/PI) selama lebih dari 30 tahun, yang sangat penting untuk mengoperasikan GDDR6 pada kecepatan tinggi. Ini terdiri dari PHY dan pengontrol digital – menyediakan subsistem antarmuka memori GDDR6 yang lengkap.

Bergabunglah dengan saya di webinar Rambus bulan ini di “Inferensi AI/ML Berkinerja Tinggi dengan Memori GDDR24 6G” untuk mengetahui bagaimana GDDR6 mendukung persyaratan memori dan kinerja beban kerja inferensi AI/ML dan mempelajari beberapa pertimbangan desain dan implementasi utama subsistem antarmuka memori GDDR6.

Sumber: