Postingan ini ditulis bersama Jayadeep Pabbisetty, Sr. Specialist Data Engineering di Merck, dan Prabakaran Mathaiyan, Sr. ML Engineer di Tiger Analytics.
Siklus hidup pengembangan model pembelajaran mesin (ML) yang besar memerlukan proses rilis model yang dapat diskalakan serupa dengan pengembangan perangkat lunak. Pengembang model sering kali bekerja sama dalam mengembangkan model ML dan memerlukan platform MLOps yang kuat untuk bekerja. Platform MLOps yang dapat diskalakan perlu menyertakan proses untuk menangani alur kerja registri model ML, persetujuan, dan promosi ke tingkat lingkungan berikutnya (pengembangan, pengujian , UAT, atau produksi).
Pengembang model biasanya mulai bekerja di lingkungan pengembangan ML individual di dalamnya Amazon SageMaker. Ketika suatu model telah dilatih dan siap digunakan, model tersebut perlu disetujui setelah didaftarkan di Registri Model Amazon SageMaker. Dalam postingan ini, kami membahas bagaimana tim AWS AI/ML berkolaborasi dengan tim IT MLOps Merck Human Health untuk membangun solusi yang menggunakan alur kerja otomatis untuk persetujuan dan promosi model ML dengan intervensi manusia di tengahnya.
Ikhtisar solusi
Postingan ini berfokus pada solusi alur kerja yang dapat digunakan oleh siklus hidup pengembangan model ML antara pipeline pelatihan dan pipeline inferensi. Solusi ini memberikan alur kerja yang terukur bagi MLOps dalam mendukung proses persetujuan dan promosi model ML dengan intervensi manusia. Model ML yang didaftarkan oleh data scientist memerlukan pemberi persetujuan untuk meninjau dan menyetujui sebelum digunakan untuk pipeline inferensi dan di tingkat lingkungan berikutnya (pengujian, UAT, atau produksi). Solusinya menggunakan AWS Lambda, Gerbang API Amazon, Jembatan Acara Amazon, dan SageMaker untuk mengotomatiskan alur kerja dengan intervensi persetujuan manusia di tengahnya. Diagram arsitektur berikut menunjukkan keseluruhan desain sistem, layanan AWS yang digunakan, dan alur kerja untuk menyetujui dan mempromosikan model ML dengan intervensi manusia mulai dari pengembangan hingga produksi.
Alur kerja meliputi langkah-langkah berikut:
- Alur pelatihan mengembangkan dan mendaftarkan model di registri model SageMaker. Pada titik ini, status modelnya adalah
PendingManualApproval
. - EventBridge memantau peristiwa perubahan status untuk mengambil tindakan secara otomatis dengan aturan sederhana.
- Aturan peristiwa pendaftaran model EventBridge memanggil fungsi Lambda yang membuat email dengan tautan untuk menyetujui atau menolak model terdaftar.
- Pemberi persetujuan mendapat email berisi link untuk meninjau dan menyetujui atau menolak model.
- Pemberi persetujuan menyetujui model dengan mengikuti tautan dalam email ke titik akhir API Gateway.
- API Gateway memanggil fungsi Lambda untuk memulai pembaruan model.
- Registri model diperbarui untuk status model (
Approved
untuk lingkungan pengembang, tapiPendingManualApproval
untuk pengujian, UAT, dan produksi). - Detail model disimpan di Penyimpanan Parameter AWS, kemampuan Manajer Sistem AWS, termasuk versi model, lingkungan target yang disetujui, paket model.
- Alur inferensi mengambil model yang disetujui untuk lingkungan target dari Penyimpanan Parameter.
- Fungsi Lambda pemberitahuan pasca-inferensi mengumpulkan metrik inferensi batch dan mengirimkan email ke pemberi persetujuan untuk mempromosikan model ke lingkungan berikutnya.
Prasyarat
Alur kerja dalam postingan ini mengasumsikan lingkungan untuk alur pelatihan telah diatur di SageMaker, bersama dengan sumber daya lainnya. Masukan ke alur pelatihan adalah kumpulan data fitur. Detail pembuatan fitur tidak disertakan dalam postingan ini, tetapi berfokus pada registri, persetujuan, dan promosi model ML setelah dilatih. Model terdaftar di registri model dan diatur oleh kerangka pemantauan di Monitor Model Amazon SageMaker untuk mendeteksi penyimpangan apa pun dan melanjutkan ke pelatihan ulang jika terjadi penyimpangan model.
Detail alur kerja
Alur kerja persetujuan dimulai dengan model yang dikembangkan dari alur pelatihan. Saat data scientist mengembangkan model, mereka mendaftarkannya ke SageMaker Model Registry dengan status model PendingManualApproval
. EventBridge memantau SageMaker untuk peristiwa pendaftaran model dan memicu aturan peristiwa yang memanggil fungsi Lambda. Fungsi Lambda secara dinamis membuat email untuk persetujuan model dengan tautan ke titik akhir API Gateway ke fungsi Lambda lainnya. Ketika pemberi persetujuan mengikuti tautan untuk menyetujui model, API Gateway meneruskan tindakan persetujuan ke fungsi Lambda, yang memperbarui SageMaker Model Registry dan atribut model di Parameter Store. Pemberi persetujuan harus diautentikasi dan menjadi bagian dari grup pemberi persetujuan yang dikelola oleh Direktori Aktif. Persetujuan awal menandai model tersebut sebagai Approved
untuk dev tapi PendingManualApproval
untuk pengujian, UAT, dan produksi. Atribut model yang disimpan di Penyimpanan Parameter mencakup versi model, paket model, dan lingkungan target yang disetujui.
Saat pipeline inferensi perlu mengambil model, pipeline akan memeriksa Penyimpanan Parameter untuk versi model terbaru yang disetujui untuk lingkungan target dan mendapatkan detail inferensi. Ketika alur inferensi selesai, email pemberitahuan pasca-inferensi dikirim ke pemangku kepentingan yang meminta persetujuan untuk mempromosikan model ke tingkat lingkungan berikutnya. Email tersebut berisi detail tentang model dan metrik serta tautan persetujuan ke titik akhir API Gateway untuk fungsi Lambda yang memperbarui atribut model.
Berikut adalah urutan kejadian dan langkah implementasi alur kerja persetujuan/promosi model ML mulai dari pembuatan model hingga produksi. Model ini dipromosikan dari lingkungan pengembangan ke pengujian, UAT, dan produksi dengan persetujuan manusia yang eksplisit di setiap langkah.
Kami memulai dengan alur pelatihan, yang siap untuk pengembangan model. Versi model dimulai dengan 0 di SageMaker Model Registry.
- Alur pelatihan SageMaker mengembangkan dan mendaftarkan model di SageMaker Model Registry. Model versi 1 terdaftar dan dimulai dengan Menunggu Persetujuan Manual status.Metadata Model Registry memiliki empat bidang khusus untuk lingkungan:
dev, test, uat
, danprod
. - EventBridge memantau SageMaker Model Registry untuk melihat perubahan status agar secara otomatis mengambil tindakan dengan aturan sederhana.
- Aturan peristiwa pendaftaran model memanggil fungsi Lambda yang membuat email dengan tautan untuk menyetujui atau menolak model terdaftar.
- Pemberi persetujuan mendapat email berisi link untuk meninjau dan menyetujui (atau menolak) model.
- Pemberi persetujuan menyetujui model dengan mengikuti tautan ke titik akhir API Gateway di email.
- API Gateway memanggil fungsi Lambda untuk memulai pembaruan model.
- Registri Model SageMaker diperbarui dengan status model.
- Informasi detail model disimpan di Penyimpanan Parameter, termasuk versi model, lingkungan target yang disetujui, dan paket model.
- Alur inferensi mengambil model yang disetujui untuk lingkungan target dari Penyimpanan Parameter.
- Fungsi Lambda pemberitahuan pasca-inferensi mengumpulkan metrik inferensi batch dan mengirimkan email ke pemberi persetujuan untuk mempromosikan model ke lingkungan berikutnya.
- Pemberi persetujuan menyetujui promosi model ke tingkat berikutnya dengan mengikuti tautan ke titik akhir API Gateway, yang memicu fungsi Lambda untuk memperbarui SageMaker Model Registry dan Parameter Store.
Riwayat lengkap pembuatan versi dan persetujuan model disimpan untuk ditinjau di Penyimpanan Parameter.
Kesimpulan
Siklus hidup pengembangan model ML yang besar memerlukan proses persetujuan model ML yang dapat diskalakan. Dalam postingan ini, kami membagikan implementasi registri model ML, persetujuan, dan alur kerja promosi dengan intervensi manusia menggunakan SageMaker Model Registry, EventBridge, API Gateway, dan Lambda. Jika Anda mempertimbangkan proses pengembangan model ML yang dapat diskalakan untuk platform MLOps Anda, Anda dapat mengikuti langkah-langkah dalam postingan ini untuk mengimplementasikan alur kerja serupa.
Tentang penulis
Tom Kim adalah Arsitek Solusi Senior di AWS, yang membantu pelanggannya mencapai tujuan bisnis mereka dengan mengembangkan solusi di AWS. Beliau memiliki pengalaman luas dalam arsitektur dan operasi sistem perusahaan di beberapa industri – khususnya di bidang Layanan Kesehatan dan Ilmu Hayati. Tom selalu mempelajari teknologi baru yang memberikan hasil bisnis yang diinginkan pelanggan – misalnya. AI/ML, GenAI, dan Analisis Data. Dia juga senang bepergian ke tempat-tempat baru dan bermain golf baru kapan pun dia punya waktu.
Shamika Ariyawansa, menjabat sebagai Arsitek Solusi AI/ML Senior di divisi Layanan Kesehatan dan Ilmu Hayati di Amazon Web Services (AWS), yang berspesialisasi dalam AI Generatif, dengan fokus pada pelatihan Model Bahasa Besar (LLM), pengoptimalan inferensi, dan MLOps (Pembelajaran Mesin Operasi). Dia memandu pelanggan dalam menanamkan AI Generatif tingkat lanjut ke dalam proyek mereka, memastikan proses pelatihan yang kuat, mekanisme inferensi yang efisien, dan praktik MLOps yang disederhanakan untuk solusi AI yang efektif dan terukur. Di luar komitmen profesionalnya, Shamika dengan penuh semangat menekuni petualangan ski dan off-road.
Jayadeep Pabbisetty adalah Senior ML/Data Engineer di Merck, tempat dia merancang dan mengembangkan solusi ETL dan MLOps untuk membuka ilmu data dan analitik untuk bisnis. Dia selalu antusias mempelajari teknologi baru, menjelajahi peluang baru, dan memperoleh keterampilan yang diperlukan untuk berkembang seiring dengan industri TI yang terus berubah. Di waktu luangnya, ia mengikuti kecintaannya pada olahraga dan suka bepergian serta menjelajahi tempat-tempat baru.
Prabakaran Mathaiyan adalah Insinyur Pembelajaran Mesin Senior di Tiger Analytics LLC, di mana dia membantu pelanggannya mencapai tujuan bisnis mereka dengan memberikan solusi untuk pembuatan model, pelatihan, validasi, pemantauan, CICD, dan peningkatan solusi pembelajaran mesin di AWS. Prabakaran selalu mempelajari teknologi baru yang memberikan hasil bisnis yang diinginkan pelanggan – misalnya. AI/ML, GenAI, GPT, dan LLM. Dia juga menikmati bermain kriket kapan pun dia punya waktu.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 1
- 100
- 110
- 116
- a
- Tentang Kami
- Mencapai
- mengakuisisi
- di seluruh
- Tindakan
- tindakan
- aktif
- Active Directory
- maju
- petualangan
- Setelah
- AI
- AI / ML
- sepanjang
- juga
- selalu
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Layanan Web Amazon (AWS)
- an
- analisis
- dan
- Lain
- Apa pun
- api
- persetujuan
- menyetujui
- disetujui
- arsitektur
- ADALAH
- AS
- mengasumsikan
- At
- atribut
- dikonfirmasi
- mengotomatisasikan
- Otomatis
- secara otomatis
- jalan
- AWS
- BE
- sebelum
- makhluk
- antara
- Luar
- Bawah
- membangun
- Bangunan
- bis
- bisnis
- tapi
- by
- CAN
- kemampuan
- yang
- kasus
- perubahan
- Cek
- kode
- berkolaborasi
- mengumpulkan
- komitmen
- lengkap
- mengingat
- Pelatihan
- penciptaan
- jangkrik
- adat
- pelanggan
- data
- Data Analytics
- ilmu data
- ilmuwan data
- Mendesain
- desain
- diinginkan
- rinci
- rincian
- menemukan
- dev
- mengembangkan
- dikembangkan
- Pengembang
- pengembang
- berkembang
- Pengembangan
- mengembangkan
- membahas
- Divisi
- dinamis
- e
- setiap
- Efektif
- efisien
- embedding
- Titik akhir
- insinyur
- Teknik
- memastikan
- Enterprise
- antusias
- Lingkungan Hidup
- lingkungan
- Eter (ETH)
- Acara
- peristiwa
- selalu berubah
- berkembang
- pengalaman
- menyelidiki
- Menjelajahi
- luas
- Pengalaman yang luas
- Fitur
- Fitur
- Fields
- Menemukan
- Fokus
- berfokus
- mengikuti
- berikut
- berikut
- Untuk
- empat
- Kerangka
- dari
- fungsi
- pintu gerbang
- generasi
- generatif
- AI generatif
- golf
- diatur
- Kelompok
- Panduan
- Penanganan
- he
- Kesehatan
- Perawatan Kesehatan
- kesehatan
- membantu
- -nya
- sejarah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTML
- HTTPS
- manusia
- if
- melaksanakan
- implementasi
- perbaikan
- in
- memasukkan
- termasuk
- termasuk
- Termasuk
- sendiri-sendiri
- industri
- industri
- informasi
- mulanya
- memulai
- memasukkan
- integrasi
- intervensi
- ke
- memanggil
- IT
- Industri IT
- jpg
- bahasa
- besar
- Terbaru
- memimpin
- pengetahuan
- Tingkat
- Hidup
- Ilmu Kehidupan
- Biologi
- siklus hidup
- 'like
- LINK
- LLC
- mesin
- Mesin belajar
- berhasil
- panduan
- mekanisme
- Merck
- Metadata
- Metrik
- Tengah
- ML
- MLOps
- model
- model
- pemantauan
- monitor
- harus
- perlu
- kebutuhan
- New
- Teknologi baru
- berikutnya
- pemberitahuan
- target
- of
- sering
- on
- Operasi
- or
- Lainnya
- Hasil
- secara keseluruhan
- paket
- parameter
- bagian
- khususnya
- gairah
- pola
- pipa saluran
- Tempat
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- bermain
- Titik
- potret
- Pos
- praktek
- memproses
- proses
- proses
- Produksi
- profesional
- memprojeksikan
- mendorong
- dipromosikan
- mempromosikan
- promosi
- menyediakan
- menyediakan
- Mengejar
- siap
- daftar
- terdaftar
- register
- Pendaftaran
- pendaftaran
- melepaskan
- meminta
- membutuhkan
- membutuhkan
- Sumber
- pelatihan ulang
- ulasan
- kuat
- Rute
- Aturan
- aturan
- s
- pembuat bijak
- disimpan
- terukur
- Ilmu
- ILMU PENGETAHUAN
- ilmuwan
- ilmuwan
- mengirimkan
- senior
- mengirim
- Urutan
- Layanan
- porsi
- set
- beberapa
- berbagi
- Pertunjukkan
- mirip
- Sederhana
- keterampilan
- Perangkat lunak
- pengembangan perangkat lunak
- larutan
- Solusi
- spesialis
- spesialisasi
- Olahraga
- pemangku kepentingan
- awal
- dimulai
- Status
- Langkah
- Tangga
- menyimpan
- tersimpan
- efisien
- pendukung
- sistem
- sistem
- Mengambil
- target
- tim
- Teknologi
- uji
- bahwa
- Grafik
- mereka
- mereka
- ini
- Harimau
- waktu
- untuk
- bersama
- tom
- terlatih
- Pelatihan
- perjalanan
- Perjalanan
- khas
- membuka kunci
- Memperbarui
- diperbarui
- Pembaruan
- menggunakan
- bekas
- kegunaan
- menggunakan
- pengesahan
- versi
- we
- jaringan
- layanan web
- BAIK
- ketika
- kapan saja
- yang
- dengan
- dalam
- Kerja
- bekerja sama
- alur kerja
- kamu
- Anda
- zephyrnet.dll