Dette innlegget er skrevet sammen med Jayadeep Pabbisetty, Sr. Specialist Data Engineering hos Merck, og Prabakaran Mathaiyan, Sr. ML Engineer hos Tiger Analytics.
Livssyklusen for utvikling av store maskinlæringsmodeller (ML) krever en skalerbar modellutgivelsesprosess som ligner på programvareutvikling. Modellutviklere jobber ofte sammen om å utvikle ML-modeller og krever en robust MLOps-plattform å jobbe i. En skalerbar MLOps-plattform må inkludere en prosess for å håndtere arbeidsflyten til ML-modellregisteret, godkjenning og opprykk til neste miljønivå (utvikling, testing) , UAT eller produksjon).
En modellutvikler begynner vanligvis å jobbe i et individuelt ML-utviklingsmiljø Amazon SageMaker. Når en modell er opplært og klar til bruk, må den godkjennes etter å ha blitt registrert i Amazon SageMaker modellregister. I dette innlegget diskuterer vi hvordan AWS AI/ML-teamet samarbeidet med Merck Human Health IT MLOps-teamet for å bygge en løsning som bruker en automatisert arbeidsflyt for godkjenning og markedsføring av ML-modeller med menneskelig intervensjon i midten.
Oversikt over løsning
Dette innlegget fokuserer på en arbeidsflytløsning som livssyklusen for utvikling av ML-modellen kan bruke mellom treningspipeline og inferencing pipeline. Løsningen gir en skalerbar arbeidsflyt for MLOs for å støtte godkjennings- og promoteringsprosessen for ML-modellen med menneskelig intervensjon. En ML-modell registrert av en dataforsker trenger en godkjenner for å vurdere og godkjenne før den brukes til en inferensrørledning og i neste miljønivå (test, UAT eller produksjon). Løsningen bruker AWS Lambda, Amazon API-gateway, Amazon EventBridge, og SageMaker for å automatisere arbeidsflyten med menneskelig godkjenningsintervensjon i midten. Følgende arkitekturdiagram viser det overordnede systemdesignet, AWS-tjenestene som brukes og arbeidsflyten for godkjenning og promotering av ML-modeller med menneskelig inngripen fra utvikling til produksjon.
Arbeidsflyten inkluderer følgende trinn:
- Opplæringspipelinen utvikler og registrerer en modell i SageMaker modellregister. På dette tidspunktet er modellstatusen
PendingManualApproval
. - EventBridge overvåker statusendringer for automatisk å utføre handlinger med enkle regler.
- EventBridge-modellregistreringshendelsesregelen påkaller en Lambda-funksjon som konstruerer en e-post med en lenke for å godkjenne eller avvise den registrerte modellen.
- Godkjenneren får en e-post med lenken for å vurdere og godkjenne eller avvise modellen.
- Godkjenneren godkjenner modellen ved å følge koblingen i e-posten til et API Gateway-endepunkt.
- API Gateway påkaller en Lambda-funksjon for å starte modelloppdateringer.
- Modellregisteret er oppdatert for modellstatus (
Approved
for utviklingsmiljøet, menPendingManualApproval
for test, UAT og produksjon). - Modelldetaljene er lagret i AWS Parameter Store, en evne til AWS systemansvarlig, inkludert modellversjon, godkjent målmiljø, modellpakke.
- Inferensrørledningen henter modellen godkjent for målmiljøet fra Parameter Store.
- Lambda-funksjonen for post-inferensvarsling samler inn batch-inferensberegninger og sender en e-post til godkjenneren for å promotere modellen til neste miljø.
Forutsetninger
Arbeidsflyten i dette innlegget forutsetter at miljøet for opplæringspipeline er satt opp i SageMaker, sammen med andre ressurser. Inndataene til opplæringspipeline er funksjonsdatasettet. Funksjonsgenereringsdetaljene er ikke inkludert i dette innlegget, men det fokuserer på registret, godkjenningen og promoteringen av ML-modeller etter at de er opplært. Modellen er registrert i modellregisteret og er styrt av et overvåkingsrammeverk i Amazon SageMaker modellmonitor for å oppdage avdrift og fortsette til omskolering i tilfelle modelldrift.
Arbeidsflytdetaljer
Godkjenningsarbeidsflyten starter med en modell utviklet fra en opplæringspipeline. Når dataforskere utvikler en modell, registrerer de den til SageMaker Model Registry med modellstatusen til PendingManualApproval
. EventBridge overvåker SageMaker for modellregistreringshendelsen og utløser en hendelsesregel som påkaller en Lambda-funksjon. Lambda-funksjonen konstruerer dynamisk en e-post for godkjenning av modellen med en lenke til et API Gateway-endepunkt til en annen Lambda-funksjon. Når godkjenneren følger lenken for å godkjenne modellen, videresender API Gateway godkjenningshandlingen til Lambda-funksjonen, som oppdaterer SageMaker Model Registry og modellattributtene i Parameter Store. Godkjenneren må være autentisert og en del av godkjennergruppen administrert av Active Directory. Den første godkjenningen markerer modellen som Approved
for utvikler men PendingManualApproval
for test, UAT og produksjon. Modellattributtene som er lagret i Parameter Store inkluderer modellversjonen, modellpakken og godkjent målmiljø.
Når en inferensrørledning trenger å hente en modell, sjekker den Parameter Store for den nyeste modellversjonen som er godkjent for målmiljøet, og får slutningsdetaljene. Når slutningspipelinen er fullført, sendes en e-postmelding etter slutning til en interessent som ber om godkjenning for å promotere modellen til neste miljønivå. E-posten har detaljene om modellen og beregningene samt en godkjenningslenke til et API Gateway-endepunkt for en Lambda-funksjon som oppdaterer modellattributtene.
Følgende er sekvensen av hendelser og implementeringstrinn for godkjenning/promotering av ML-modellen fra modelloppretting til produksjon. Modellen fremmes fra utvikling til test-, UAT- og produksjonsmiljøer med en eksplisitt menneskelig godkjenning i hvert trinn.
Vi starter med treningspipeline, som er klar for modellutvikling. Modellversjonen starter som 0 i SageMaker Model Registry.
- SageMaker opplæringspipeline utvikler og registrerer en modell i SageMaker Model Registry. Modellversjon 1 er registrert og starter med Venter på manuell godkjenning status.Model Registry-metadata har fire tilpassede felt for miljøene:
dev, test, uat
ogprod
. - EventBridge overvåker SageMaker Model Registry for statusendringen for å automatisk iverksette tiltak med enkle regler.
- Regelen for modellregistrering aktiverer en Lambda-funksjon som konstruerer en e-post med lenken for å godkjenne eller avvise den registrerte modellen.
- Godkjenneren får en e-post med lenken for å vurdere og godkjenne (eller avvise) modellen.
- Godkjenneren godkjenner modellen ved å følge lenken til API Gateway-endepunktet i e-posten.
- API Gateway påkaller Lambda-funksjonen for å starte modelloppdateringer.
- SageMaker Model Registry er oppdatert med modellstatus.
- Modelldetaljinformasjonen lagres i Parameter Store, inkludert modellversjon, godkjent målmiljø og modellpakke.
- Inferensrørledningen henter modellen godkjent for målmiljøet fra Parameter Store.
- Lambda-funksjonen for post-inferensvarsling samler inn batch-inferensberegninger og sender en e-post til godkjenneren for å promotere modellen til neste miljø.
- Godkjenneren godkjenner modellpromosjonen til neste nivå ved å følge lenken til API Gateway-endepunktet, som utløser Lambda-funksjonen for å oppdatere SageMaker Model Registry and Parameter Store.
Den fullstendige historikken for modellversjon og godkjenning lagres for gjennomgang i Parameter Store.
konklusjonen
Livssyklusen for utvikling av store ML-modeller krever en skalerbar ML-modellgodkjenningsprosess. I dette innlegget delte vi en implementering av et ML-modellregister, godkjennings- og markedsføringsarbeidsflyt med menneskelig intervensjon ved bruk av SageMaker Model Registry, EventBridge, API Gateway og Lambda. Hvis du vurderer en skalerbar ML-modellutviklingsprosess for MLOps-plattformen din, kan du følge trinnene i dette innlegget for å implementere en lignende arbeidsflyt.
Om forfatterne
Tom Kim er Senior Solution Architect hos AWS, hvor han hjelper kundene sine med å nå sine forretningsmål ved å utvikle løsninger på AWS. Han har lang erfaring innen virksomhetssystemarkitektur og operasjoner på tvers av flere bransjer – spesielt innen helsevesen og biovitenskap. Tom lærer alltid nye teknologier som fører til ønsket forretningsresultat for kundene – f.eks. AI/ML, GenAI og Data Analytics. Han liker også å reise til nye steder og spille nye golfbaner når han har tid.
Shamika Ariyawansa, tjener som senior AI/ML Solutions Architect i Healthcare and Life Sciences-divisjonen hos Amazon Web Services (AWS), spesialiserer seg på Generative AI, med fokus på opplæring i Large Language Model (LLM), slutningsoptimaliseringer og MLOps (Machine Learning) Drift). Han veileder kunder i å bygge inn avansert generativ AI i prosjektene deres, og sikrer robuste opplæringsprosesser, effektive slutningsmekanismer og strømlinjeformet MLOps-praksis for effektive og skalerbare AI-løsninger. Utover sine profesjonelle forpliktelser, driver Shamika lidenskapelig med ski- og terrengeventyr.
Jayadeep Pabbisetty er Senior ML/Data Engineer hos Merck, hvor han designer og utvikler ETL- og MLOps-løsninger for å låse opp datavitenskap og analyser for virksomheten. Han er alltid entusiastisk for å lære nye teknologier, utforske nye veier og tilegne seg ferdighetene som er nødvendige for å utvikle seg med den stadig skiftende IT-bransjen. På fritiden følger han lidenskapen for sport og liker å reise og utforske nye steder.
Prabakaran Mathaiyan er en senior maskinlæringsingeniør hos Tiger Analytics LLC, hvor han hjelper kundene sine med å nå sine forretningsmål ved å tilby løsninger for modellbygging, opplæring, validering, overvåking, CICD og forbedring av maskinlæringsløsninger på AWS. Prabakaran lærer alltid nye teknologier som fører til ønsket forretningsresultat for kundene – f.eks. AI/ML, GenAI, GPT og LLM. Han liker også å spille cricket når han har tid.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 1
- 100
- 110
- 116
- a
- Om oss
- Oppnå
- anskaffe
- tvers
- Handling
- handlinger
- aktiv
- Active Directory
- avansert
- eventyr
- Etter
- AI
- AI / ML
- langs
- også
- alltid
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- analytics
- og
- En annen
- noen
- api
- godkjenning
- godkjenne
- godkjent
- arkitektur
- ER
- AS
- antar
- At
- attributter
- autentisert
- automatisere
- Automatisert
- automatisk
- veier
- AWS
- BE
- før du
- være
- mellom
- Beyond
- Bunn
- bygge
- Bygning
- buss
- virksomhet
- men
- by
- CAN
- evne
- hvilken
- saken
- endring
- Sjekker
- kode
- samarbeidet
- innsamler
- forpliktelser
- fullføre
- vurderer
- kurs
- skaperverket
- cricket
- skikk
- Kunder
- dato
- Data Analytics
- datavitenskap
- dataforsker
- utforming
- design
- ønsket
- detalj
- detaljer
- oppdage
- dev
- utvikle
- utviklet
- Utvikler
- utviklere
- utvikle
- Utvikling
- utvikler
- diskutere
- Divisjon
- dynamisk
- e
- hver enkelt
- Effektiv
- effektiv
- emalje
- embedding
- Endpoint
- ingeniør
- Ingeniørarbeid
- sikrer
- Enterprise
- entusiastisk
- Miljø
- miljøer
- Eter (ETH)
- Event
- hendelser
- stadig skiftende
- utvikle seg
- erfaring
- utforske
- Utforske
- omfattende
- Omfattende erfaring
- Trekk
- Egenskaper
- Felt
- Finn
- Fokus
- fokuserer
- følge
- etter
- følger
- Til
- fire
- Rammeverk
- fra
- funksjon
- gateway
- generasjonen
- generative
- Generativ AI
- golf
- styrt
- Gruppe
- Guider
- Håndtering
- he
- Helse
- Health Care
- helsetjenester
- hjelper
- hans
- historie
- Hvordan
- HTML
- HTTPS
- menneskelig
- if
- iverksette
- gjennomføring
- forbedring
- in
- inkludere
- inkludert
- inkluderer
- Inkludert
- individuelt
- bransjer
- industri
- informasjon
- innledende
- initiere
- inngang
- integrering
- intervensjon
- inn
- påkaller
- IT
- IT-bransjen
- jpg
- Språk
- stor
- siste
- føre
- læring
- Nivå
- Life
- Livskunnskap
- Life Sciences
- Livssyklus
- liker
- LINK
- LLC
- maskin
- maskinlæring
- fikk til
- håndbok
- mekanismer
- Merck
- metadata
- Metrics
- Middle
- ML
- MLOps
- modell
- modeller
- overvåking
- skjermer
- må
- nødvendig
- behov
- Ny
- Ny teknologi
- neste
- varsling
- mål
- of
- ofte
- on
- Drift
- or
- Annen
- Utfallet
- samlet
- pakke
- parameter
- del
- spesielt
- lidenskap
- Mønster
- rørledning
- steder
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- Point
- portrett
- Post
- praksis
- fortsette
- prosess
- Prosesser
- Produksjon
- profesjonell
- prosjekter
- fremme
- Forfremmet
- fremme
- forfremmelse
- gir
- gi
- Forfølger
- klar
- registrere
- registrert
- registre
- Registrering
- registret
- slipp
- ber om
- krever
- Krever
- Ressurser
- omskolering
- anmeldelse
- robust
- Rute
- Regel
- regler
- s
- sagemaker
- lagret
- skalerbar
- Vitenskap
- VITENSKAPER
- Forsker
- forskere
- sender
- senior
- sendt
- Sequence
- Tjenester
- servering
- sett
- flere
- delt
- Viser
- lignende
- Enkelt
- ferdigheter
- Software
- programvareutvikling
- løsning
- Solutions
- spesialist
- spesialisert
- Sports
- interessent
- Begynn
- starter
- status
- Trinn
- Steps
- oppbevare
- lagret
- strømlinjeformet
- Støtte
- system
- Systemer
- Ta
- Target
- lag
- Technologies
- test
- Det
- De
- deres
- de
- denne
- Tiger
- tid
- til
- sammen
- tom
- trent
- Kurs
- reiser
- Traveling
- typisk
- låse opp
- Oppdater
- oppdatert
- oppdateringer
- bruke
- brukt
- bruker
- ved hjelp av
- validering
- versjon
- we
- web
- webtjenester
- VI VIL
- når
- når som helst
- hvilken
- med
- innenfor
- Arbeid
- arbeide sammen
- arbeidsflyt
- du
- Din
- zephyrnet