Sempurnakan dan terapkan model Llama 2 secara hemat biaya di Amazon SageMaker JumpStart dengan AWS Inferentia dan AWS Trainium | Layanan Web Amazon

Hari ini, kami dengan gembira mengumumkan ketersediaan inferensi Llama 2 dan dukungan penyesuaian Pelatihan AWS dan Inferensi AWS contoh dalam Mulai Lompatan Amazon SageMaker. Menggunakan instans berbasis AWS Trainium dan Inferentia, melalui SageMaker, dapat membantu pengguna menurunkan biaya penyesuaian hingga 50%, dan menurunkan biaya penerapan sebesar 4.7x, sekaligus menurunkan latensi per token. Llama 2 adalah model bahasa teks generatif auto-regresif yang menggunakan arsitektur transformator yang dioptimalkan. Sebagai model yang tersedia untuk umum, Llama 2 dirancang untuk banyak tugas NLP seperti klasifikasi teks, analisis sentimen, terjemahan bahasa, pemodelan bahasa, pembuatan teks, dan sistem dialog. Menyempurnakan dan menerapkan LLM, seperti Llama 2, dapat menjadi mahal atau menantang untuk memenuhi kinerja waktu nyata guna memberikan pengalaman pelanggan yang baik. Trainium dan AWS Inferentia, diaktifkan oleh Neuron AWS kit pengembangan perangkat lunak (SDK), menawarkan opsi performa tinggi dan hemat biaya untuk pelatihan dan inferensi model Llama 2.

Dalam postingan ini, kami mendemonstrasikan cara menerapkan dan menyempurnakan Llama 2 pada instans Trainium dan AWS Inferentia di SageMaker JumpStart.

Ikhtisar solusi

Di blog ini, kita akan membahas skenario berikut:

1. Terapkan Llama 2 pada instans AWS Inferentia di keduanya Studio Amazon SageMaker UI, dengan pengalaman penerapan sekali klik, dan SageMaker Python SDK.
2. Sempurnakan Llama 2 pada instans Trainium di UI SageMaker Studio dan SageMaker Python SDK.
3. Bandingkan performa model Llama 2 yang telah disempurnakan dengan model yang telah dilatih sebelumnya untuk menunjukkan efektivitas fine-tuning.

Untuk mendapatkan pengalaman langsung, lihat Buku catatan contoh GitHub.

Terapkan Llama 2 pada instans AWS Inferentia menggunakan SageMaker Studio UI dan Python SDK

Di bagian ini, kami mendemonstrasikan cara menerapkan Llama 2 pada instans AWS Inferentia menggunakan UI SageMaker Studio untuk penerapan sekali klik dan SDK Python.

Temukan model Llama 2 di SageMaker Studio UI

SageMaker JumpStart menyediakan akses ke domain publik dan kepemilikan model pondasi. Model fondasi diterapkan dan dikelola dari penyedia pihak ketiga dan milik sendiri. Oleh karena itu, mereka dirilis di bawah lisensi berbeda yang ditentukan oleh sumber model. Pastikan untuk meninjau lisensi untuk model pondasi apa pun yang Anda gunakan. Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi apa pun yang berlaku dan memastikan persyaratan tersebut dapat diterima untuk kasus penggunaan Anda sebelum mengunduh atau menggunakan konten.

Anda dapat mengakses model fondasi Llama 2 melalui SageMaker JumpStart di UI SageMaker Studio dan SageMaker Python SDK. Di bagian ini, kita akan membahas cara menemukan model di SageMaker Studio.

SageMaker Studio adalah lingkungan pengembangan terintegrasi (IDE) yang menyediakan antarmuka visual berbasis web tunggal tempat Anda dapat mengakses alat yang dibuat khusus untuk melakukan semua langkah pengembangan pembelajaran mesin (ML), mulai dari menyiapkan data hingga membangun, melatih, dan menerapkan ML Anda model. Untuk detail selengkapnya tentang cara memulai dan menyiapkan SageMaker Studio, lihat Studio Amazon SageMaker.

Setelah Anda berada di SageMaker Studio, Anda dapat mengakses SageMaker JumpStart, yang berisi model terlatih, notebook, dan solusi bawaan, di bawah Solusi bawaan dan otomatis. Untuk informasi lebih rinci tentang cara mengakses model kepemilikan, lihat Gunakan model fondasi kepemilikan dari Amazon SageMaker JumpStart di Amazon SageMaker Studio.

Dari halaman arahan SageMaker JumpStart, Anda dapat menelusuri solusi, model, buku catatan, dan sumber daya lainnya.

Jika Anda tidak melihat model Llama 2, perbarui versi SageMaker Studio Anda dengan mematikan dan memulai ulang. Untuk informasi lebih lanjut tentang pembaruan versi, lihat Matikan dan Perbarui Aplikasi Studio Classic.

Anda juga dapat menemukan varian model lainnya dengan memilih Jelajahi Semua Model Pembuatan Teks atau mencari llama or neuron di kotak pencarian. Anda akan dapat melihat model Llama 2 Neuron di halaman ini.

Terapkan model Llama-2-13b dengan SageMaker Jumpstart

Anda dapat memilih kartu model untuk melihat detail tentang model seperti lisensi, data yang digunakan untuk melatih, dan cara menggunakannya. Anda juga dapat menemukan dua tombol, Menyebarkan dan Buka buku catatan, yang membantu Anda menggunakan model menggunakan contoh tanpa kode ini.

Saat Anda memilih salah satu tombol, pop-up akan menampilkan Perjanjian Lisensi Pengguna Akhir dan Kebijakan Penggunaan yang Dapat Diterima (AUP) untuk Anda setujui.

Setelah Anda menyetujui kebijakan tersebut, Anda dapat menyebarkan titik akhir model dan menggunakannya melalui langkah-langkah di bagian berikutnya.

Terapkan model Llama 2 Neuron melalui Python SDK

Ketika Anda memilih Menyebarkan dan menyetujui persyaratannya, penerapan model akan dimulai. Alternatifnya, Anda dapat menyebarkan melalui contoh buku catatan dengan memilih Buka buku catatan. Contoh notebook memberikan panduan menyeluruh tentang cara menyebarkan model untuk inferensi dan membersihkan sumber daya.

Untuk menerapkan atau menyempurnakan model pada instans Trainium atau AWS Inferentia, Anda harus memanggil PyTorch Neuron (obor-neuronx) untuk mengkompilasi model menjadi grafik khusus Neuron, yang akan mengoptimalkannya untuk NeuronCores Inferentia. Pengguna dapat menginstruksikan kompiler untuk mengoptimalkan latensi terendah atau throughput tertinggi, bergantung pada tujuan aplikasi. Di JumpStart, kami melakukan pra-kompilasi grafik Neuron untuk berbagai konfigurasi, untuk memungkinkan pengguna mengambil langkah-langkah kompilasi, memungkinkan penyesuaian dan penerapan model yang lebih cepat.

Perhatikan bahwa grafik Neuron yang telah dikompilasi sebelumnya dibuat berdasarkan versi spesifik dari versi Neuron Compiler.

Ada dua cara untuk menerapkan LIama 2 pada instans berbasis AWS Inferentia. Metode pertama menggunakan konfigurasi bawaan, dan memungkinkan Anda menerapkan model hanya dalam dua baris kode. Yang kedua, Anda memiliki kontrol lebih besar atas konfigurasi. Mari kita mulai dengan metode pertama, dengan konfigurasi yang telah dibuat sebelumnya, dan menggunakan Model Neuron Llama 2 13B yang telah dilatih sebelumnya, sebagai contoh. Kode berikut menunjukkan cara menyebarkan Llama 13B hanya dengan dua baris:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Untuk melakukan inferensi pada model ini, Anda perlu menentukan argumennya accept_eula menjadi True sebagai bagian dari model.deploy() panggilan. Jika argumen ini benar, berarti Anda telah membaca dan menerima EULA model tersebut. EULA dapat ditemukan dalam deskripsi kartu model atau dari situs meta.

Tipe instans default untuk Llama 2 13B adalah ml.inf2.8xlarge. Anda juga dapat mencoba ID model lain yang didukung:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (model obrolan)
• meta-textgenerationneuron-llama-2-13b-f (model obrolan)

Alternatifnya, jika Anda ingin memiliki kontrol lebih besar atas konfigurasi penerapan, seperti panjang konteks, derajat paralel tensor, dan ukuran batch bergulir maksimum, Anda dapat memodifikasinya melalui variabel lingkungan, seperti yang ditunjukkan di bagian ini. Deep Learning Container (DLC) yang mendasari penerapannya adalah DLC NeuronX Inferensi Model Besar (LMI).. Variabel lingkungannya adalah sebagai berikut:

• OPTION_N_POSITIONS – Jumlah maksimum token input dan output. Misalnya, jika Anda mengkompilasi model dengan OPTION_N_POSITIONS sebagai 512, maka Anda dapat menggunakan token input 128 (ukuran prompt input) dengan token output maksimum 384 (total token input dan output harus 512). Untuk token keluaran maksimum, nilai apa pun di bawah 384 boleh saja, tetapi Anda tidak dapat melampauinya (misalnya, masukan 256 dan keluaran 512).
• OPTION_TENSOR_PARALLEL_DEGREE – Jumlah NeuronCores untuk memuat model di instans AWS Inferentia.
• OPTION_MAX_ROLLING_BATCH_SIZE – Ukuran batch maksimum untuk permintaan bersamaan.
• OPTION_DTYPE – Jenis tanggal untuk memuat model.

Kompilasi grafik Neuron bergantung pada panjang konteks (OPTION_N_POSITIONS), derajat paralel tensor (OPTION_TENSOR_PARALLEL_DEGREE), ukuran tumpukan maksimum (OPTION_MAX_ROLLING_BATCH_SIZE), dan tipe data (OPTION_DTYPE) untuk memuat model. SageMaker JumpStart telah mengkompilasi grafik Neuron untuk berbagai konfigurasi parameter sebelumnya guna menghindari kompilasi runtime. Konfigurasi grafik yang telah dikompilasi tercantum dalam tabel berikut. Selama variabel lingkungan termasuk dalam salah satu kategori berikut, kompilasi grafik Neuron akan dilewati.

Berikut ini adalah contoh penerapan Llama 2 13B dan pengaturan semua konfigurasi yang tersedia.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Sekarang kita telah menerapkan model Llama-2-13b, kita dapat menjalankan inferensi dengannya dengan memanggil titik akhir. Cuplikan kode berikut menunjukkan penggunaan parameter inferensi yang didukung untuk mengontrol pembuatan teks:

• panjang maksimal – Model menghasilkan teks hingga panjang output (yang mencakup panjang konteks input) tercapai max_length. Jika ditentukan, itu harus berupa bilangan bulat positif.
• max_new_tokens – Model menghasilkan teks hingga panjang keluaran (tidak termasuk panjang konteks masukan) tercapai max_new_tokens. Jika ditentukan, itu harus berupa bilangan bulat positif.
• nomor_balok – Ini menunjukkan jumlah sinar yang digunakan dalam pencarian serakah. Jika ditentukan, maka harus berupa bilangan bulat yang lebih besar dari atau sama dengan num_return_sequences.
• no_repeat_ngram_size – Model memastikan bahwa urutan kata-kata no_repeat_ngram_size tidak diulang dalam urutan output. Jika ditentukan, itu harus bilangan bulat positif lebih besar dari 1.
• suhu – Ini mengontrol keacakan dalam keluaran. Suhu yang lebih tinggi menghasilkan urutan keluaran dengan kata-kata dengan probabilitas rendah; suhu yang lebih rendah menghasilkan urutan keluaran dengan kata-kata dengan probabilitas tinggi. Jika temperature sama dengan 0, itu menghasilkan decoding serakah. Jika ditentukan, itu harus pelampung positif.
• awal_berhenti - Jika True, pembuatan teks selesai ketika semua hipotesis balok mencapai akhir token kalimat. Jika ditentukan, itu harus Boolean.
• lakukan_sampel - Jika True, model mengambil sampel kata berikutnya sesuai kemungkinannya. Jika ditentukan, itu harus Boolean.
• teratas_k – Dalam setiap langkah pembuatan teks, model hanya mengambil sampel dari top_k kata-kata yang paling mungkin. Jika ditentukan, itu harus berupa bilangan bulat positif.
• atas_p – Dalam setiap langkah pembuatan teks, model mengambil sampel dari kumpulan kata sekecil mungkin dengan probabilitas kumulatif sebesar top_p. Jika ditentukan, itu harus berupa float antara 0–1.
• berhenti – Jika ditentukan, itu harus berupa daftar string. Pembuatan teks berhenti jika salah satu dari string tertentu dihasilkan.

Kode berikut menunjukkan sebuah contoh:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

Keluaran:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

Untuk informasi lebih lanjut tentang parameter payload, lihat parameter rinci.

Anda juga dapat menjelajahi implementasi parameter di buku catatan untuk menambahkan lebih banyak informasi tentang tautan buku catatan.

Sempurnakan model Llama 2 pada instans Trainium menggunakan SageMaker Studio UI dan SageMaker Python SDK

Model dasar AI generatif telah menjadi fokus utama dalam ML dan AI, namun generalisasinya yang luas mungkin gagal dalam domain tertentu seperti layanan kesehatan atau keuangan, yang melibatkan kumpulan data unik. Keterbatasan ini menyoroti perlunya menyempurnakan model AI generatif ini dengan data spesifik domain untuk meningkatkan kinerjanya di bidang khusus tersebut.

Sekarang kita telah menerapkan versi model Llama 2 yang telah dilatih sebelumnya, mari kita lihat bagaimana kita dapat menyempurnakannya ke data spesifik domain untuk meningkatkan akurasi, meningkatkan model dalam hal penyelesaian yang cepat, dan mengadaptasi model ke kasus penggunaan dan data bisnis spesifik Anda. Anda dapat menyempurnakan model menggunakan SageMaker Studio UI atau SageMaker Python SDK. Kami membahas kedua metode di bagian ini.

Sempurnakan model Neuron Llama-2-13b dengan SageMaker Studio

Di SageMaker Studio, navigasikan ke model Neuron Llama-2-13b. Di Menyebarkan tab, Anda dapat menunjuk ke Layanan Penyimpanan Sederhana Amazon (Amazon S3) yang berisi kumpulan data pelatihan dan validasi untuk penyesuaian. Selain itu, Anda dapat mengonfigurasi konfigurasi penerapan, hyperparameter, dan pengaturan keamanan untuk penyesuaian. Lalu pilih Pelatihan VE untuk memulai tugas pelatihan pada instans SageMaker ML.

Untuk menggunakan model Llama 2, Anda harus menyetujui EULA dan AUP. Itu akan muncul kapan pun Anda memilih Pelatihan VE. Memilih Saya telah membaca dan menerima EULA dan AUP untuk memulai pekerjaan penyesuaian.

Anda dapat melihat status tugas pelatihan Anda untuk model yang telah disesuaikan di bawah konsol SageMaker dengan memilih Pekerjaan pelatihan di panel navigasi.

Anda dapat menyempurnakan model Neuron Llama 2 menggunakan contoh tanpa kode ini, atau menyempurnakannya melalui Python SDK, seperti yang ditunjukkan di bagian berikutnya.

Sempurnakan model Neuron Llama-2-13b melalui SageMaker Python SDK

Anda dapat menyempurnakan kumpulan data dengan format adaptasi domain atau penyempurnaan berbasis instruksi format. Berikut ini adalah petunjuk bagaimana data pelatihan harus diformat sebelum dikirim ke penyesuaian:

• Memasukkan - A train direktori yang berisi file berformat baris JSON (.jsonl) atau teks (.txt).
  • Untuk file baris JSON (.jsonl), setiap baris adalah objek JSON terpisah. Setiap objek JSON harus disusun sebagai pasangan nilai kunci, di mana kuncinya seharusnya berada text, dan nilainya adalah isi dari satu contoh pelatihan.
  • Jumlah file di bawah direktori kereta harus sama dengan 1.
• Keluaran – Model terlatih yang dapat diterapkan untuk inferensi.

Dalam contoh ini, kami menggunakan subset dari Kumpulan data Dolly dalam format penyetelan instruksi. Kumpulan data Dolly berisi sekitar 15,000 catatan mengikuti instruksi untuk berbagai kategori, seperti menjawab pertanyaan, meringkas, dan mengekstraksi informasi. Ini tersedia di bawah lisensi Apache 2.0. Kami menggunakan information_extraction contoh untuk penyesuaian.

1. Muat kumpulan data Dolly dan bagi menjadi train (untuk menyempurnakan) dan test (untuk evaluasi):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Gunakan templat cepat untuk memproses data terlebih dahulu dalam format instruksi untuk tugas pelatihan:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Periksa hyperparameter dan timpa untuk kasus penggunaan Anda sendiri:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Sempurnakan model dan mulai tugas pelatihan SageMaker. Skrip penyempurnaan didasarkan pada neuronx-nemo-megatron repositori, yang merupakan versi paket yang dimodifikasi nemo dan puncak yang telah diadaptasi untuk digunakan dengan instans Neuron dan EC2 Trn1. Itu neuronx-nemo-megatron repositori memiliki paralelisme 3D (data, tensor, dan pipeline) untuk memungkinkan Anda menyempurnakan skala LLM. Instans Trainium yang didukung adalah ml.trn1.32xlarge dan ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Terakhir, terapkan model yang telah disempurnakan di titik akhir SageMaker:

   finetuned_predictor = estimator.deploy()

Bandingkan respons antara model Llama 2 Neuron yang telah dilatih sebelumnya dan yang telah disempurnakan

Kini setelah kami menerapkan versi model Llama-2-13b yang telah dilatih sebelumnya dan menyempurnakannya, kami dapat melihat beberapa perbandingan performa penyelesaian cepat dari kedua model, seperti yang ditunjukkan dalam tabel berikut. Kami juga menawarkan contoh untuk menyempurnakan Llama 2 pada kumpulan data pengarsipan SEC dalam format .txt. Untuk detailnya, lihat Buku catatan contoh GitHub.

Kita dapat melihat bahwa respons dari model yang telah disempurnakan menunjukkan peningkatan yang signifikan dalam hal presisi, relevansi, dan kejelasan dibandingkan dengan respons dari model yang telah dilatih sebelumnya. Dalam beberapa kasus, menggunakan model terlatih untuk kasus penggunaan Anda mungkin tidak cukup, jadi menyempurnakannya menggunakan teknik ini akan membuat solusi lebih dipersonalisasi untuk kumpulan data Anda.

Membersihkan

Setelah Anda menyelesaikan tugas pelatihan dan tidak ingin menggunakan sumber daya yang ada lagi, hapus sumber daya menggunakan kode berikut:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

Kesimpulan

Penerapan dan penyempurnaan model Llama 2 Neuron di SageMaker menunjukkan kemajuan signifikan dalam mengelola dan mengoptimalkan model AI generatif skala besar. Model ini, termasuk varian seperti Llama-2-7b dan Llama-2-13b, menggunakan Neuron untuk pelatihan dan inferensi yang efisien pada instans berbasis AWS Inferentia dan Trainium, sehingga meningkatkan kinerja dan skalabilitasnya.

Kemampuan untuk menerapkan model ini melalui SageMaker JumpStart UI dan Python SDK menawarkan fleksibilitas dan kemudahan penggunaan. Neuron SDK, dengan dukungannya terhadap framework ML populer dan kemampuan performa tinggi, memungkinkan penanganan model besar ini secara efisien.

Menyempurnakan model-model ini pada data spesifik domain sangat penting untuk meningkatkan relevansi dan keakuratannya dalam bidang-bidang khusus. Prosesnya, yang dapat Anda lakukan melalui SageMaker Studio UI atau Python SDK, memungkinkan penyesuaian sesuai kebutuhan spesifik, sehingga menghasilkan peningkatan performa model dalam hal penyelesaian cepat dan kualitas respons.

Sebagai perbandingan, versi model yang telah dilatih sebelumnya, meskipun kuat, dapat memberikan respons yang lebih umum atau berulang. Penyempurnaan akan menyesuaikan model dengan konteks tertentu, sehingga menghasilkan respons yang lebih akurat, relevan, dan beragam. Penyesuaian ini terutama terlihat ketika membandingkan respons dari model yang telah dilatih sebelumnya dan model yang telah disempurnakan, dimana model yang telah disempurnakan menunjukkan peningkatan nyata dalam kualitas dan spesifisitas keluaran. Kesimpulannya, penerapan dan penyempurnaan model Neuron Llama 2 di SageMaker mewakili kerangka kerja yang kuat untuk mengelola model AI tingkat lanjut, menawarkan peningkatan signifikan dalam kinerja dan penerapan, terutama bila disesuaikan dengan domain atau tugas tertentu.

Mulailah hari ini dengan mereferensikan sampel SageMaker buku catatan.

Untuk informasi lebih lanjut tentang penerapan dan penyempurnaan model Llama 2 terlatih pada instans berbasis GPU, lihat Sempurnakan Llama 2 untuk pembuatan teks di Amazon SageMaker JumpStart dan Model alas bedak Llama 2 dari Meta kini tersedia di Amazon SageMaker JumpStart.

Para penulis ingin mengucapkan terima kasih atas kontribusi teknis dari Evan Kravitz, Christopher Whitten, Adam Kozdrowicz, Manan Shah, Jonathan Guinegagne dan Mike James.

Tentang Penulis

Xin Huang adalah Ilmuwan Terapan Senior untuk Amazon SageMaker JumpStart dan algoritme bawaan Amazon SageMaker. Dia berfokus pada pengembangan algoritme pembelajaran mesin yang dapat diskalakan. Minat penelitiannya adalah di bidang pemrosesan bahasa alami, pembelajaran mendalam yang dapat dijelaskan pada data tabular, dan analisis kuat pengelompokan ruang-waktu non-parametrik. Dia telah menerbitkan banyak makalah di konferensi ACL, ICDM, KDD, dan Royal Statistical Society: Series A.

Nitin Eusebius adalah Sr. Enterprise Solutions Architect di AWS, berpengalaman dalam Rekayasa Perangkat Lunak, Arsitektur Perusahaan, dan AI/ML. Dia sangat bersemangat mengeksplorasi kemungkinan AI generatif. Dia berkolaborasi dengan pelanggan untuk membantu mereka membangun aplikasi yang dirancang dengan baik di platform AWS, dan berdedikasi untuk memecahkan tantangan teknologi dan membantu perjalanan cloud mereka.

Madhur Prashant bekerja di ruang AI generatif di AWS. Dia sangat tertarik dengan titik temu antara pemikiran manusia dan AI generatif. Minatnya terletak pada AI generatif, khususnya membangun solusi yang bermanfaat dan tidak berbahaya, dan yang terpenting optimal bagi pelanggan. Di luar pekerjaan, dia suka melakukan yoga, hiking, menghabiskan waktu bersama saudara kembarnya, dan bermain gitar.

Dewan Choudhury adalah Insinyur Pengembangan Perangkat Lunak dengan Amazon Web Services. Dia mengerjakan algoritme Amazon SageMaker dan penawaran JumpStart. Selain membangun infrastruktur AI/ML, dia juga bersemangat membangun sistem terdistribusi yang dapat diskalakan.

Hao Zhou adalah Ilmuwan Riset di Amazon SageMaker. Sebelumnya, dia bekerja mengembangkan metode pembelajaran mesin untuk deteksi penipuan untuk Amazon Fraud Detector. Dia bersemangat menerapkan pembelajaran mesin, pengoptimalan, dan teknik AI generatif pada berbagai masalah dunia nyata. Beliau meraih gelar PhD di bidang Teknik Elektro dari Northwestern University.

Qinglan adalah Insinyur Pengembangan Perangkat Lunak di AWS. Dia telah mengerjakan beberapa produk yang menantang di Amazon, termasuk solusi inferensi ML kinerja tinggi dan sistem logging kinerja tinggi. Tim Qing berhasil meluncurkan model Billion-parameter pertama di Amazon Advertising dengan latensi yang sangat rendah. Qing memiliki pengetahuan mendalam tentang pengoptimalan infrastruktur dan akselerasi Deep Learning.

Dr Ashish Khetan adalah Ilmuwan Terapan Senior dengan algoritme bawaan Amazon SageMaker dan membantu mengembangkan algoritme pembelajaran mesin. Ia mendapatkan gelar PhD dari University of Illinois Urbana-Champaign. Dia adalah peneliti aktif dalam pembelajaran mesin dan inferensi statistik, dan telah menerbitkan banyak makalah di konferensi NeurIPS, ICML, ICLR, JMLR, ACL, dan EMNLP.

Dr Li Zhang adalah Manajer Produk Utama-Teknis untuk Amazon SageMaker JumpStart dan algoritma bawaan Amazon SageMaker, sebuah layanan yang membantu ilmuwan data dan praktisi pembelajaran mesin memulai pelatihan dan penerapan model mereka, dan menggunakan pembelajaran penguatan dengan Amazon SageMaker. Pekerjaan masa lalunya sebagai anggota staf peneliti utama dan penemu utama di IBM Research telah memenangkan penghargaan kertas uji waktu di IEEE INFOCOM.

Kamran Khan, Sr Manajer Pengembangan Bisnis Teknis untuk AWS Inferentina/Trianium di AWS. Dia memiliki pengalaman lebih dari satu dekade membantu pelanggan menerapkan dan mengoptimalkan pelatihan pembelajaran mendalam dan beban kerja inferensi menggunakan AWS Inferentia dan AWS Trainium.

Joe Senerchia adalah Manajer Produk Senior di AWS. Dia mendefinisikan dan membangun instans Amazon EC2 untuk pembelajaran mendalam, kecerdasan buatan, dan beban kerja komputasi kinerja tinggi.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/