Det här inlägget är skrivet tillsammans med Jayadeep Pabbisetty, Sr. Specialist Data Engineering på Merck, och Prabakaran Mathaiyan, Sr. ML Engineer på Tiger Analytics.
Den stora maskininlärningsmodellens livscykel (ML) kräver en skalbar modellutgivningsprocess som liknar den för mjukvaruutveckling. Modellutvecklare arbetar ofta tillsammans för att utveckla ML-modeller och kräver en robust MLOps-plattform att arbeta i. En skalbar MLOps-plattform måste inkludera en process för att hantera arbetsflödet för ML-modellregistret, godkännande och marknadsföring till nästa miljönivå (utveckling, test). , UAT eller produktion).
En modellutvecklare börjar vanligtvis arbeta i en individuell ML-utvecklingsmiljö inom Amazon SageMaker. När en modell är utbildad och redo att användas måste den godkännas efter att ha registrerats i Amazon SageMaker Model Registry. I det här inlägget diskuterar vi hur AWS AI/ML-teamet samarbetade med Merck Human Health IT MLOps-teamet för att bygga en lösning som använder ett automatiserat arbetsflöde för ML-modellgodkännande och marknadsföring med mänsklig intervention i mitten.
Översikt över lösningen
Det här inlägget fokuserar på en arbetsflödeslösning som livscykeln för ML-modellutveckling kan använda mellan utbildningspipeline och slutledningspipeline. Lösningen tillhandahåller ett skalbart arbetsflöde för MLO:er för att stödja ML-modellens godkännande och marknadsföringsprocessen med mänskligt ingripande. En ML-modell registrerad av en datavetare behöver en godkännare för att granska och godkänna innan den används för en slutledningspipeline och i nästa miljönivå (test, UAT eller produktion). Lösningen använder AWS Lambda, Amazon API Gateway, Amazon EventBridge, och SageMaker för att automatisera arbetsflödet med mänskligt godkännandeintervention i mitten. Följande arkitekturdiagram visar den övergripande systemdesignen, AWS-tjänsterna som används och arbetsflödet för att godkänna och marknadsföra ML-modeller med mänsklig inblandning från utveckling till produktion.
Arbetsflödet innehåller följande steg:
- Utbildningspipelinen utvecklar och registrerar en modell i SageMakers modellregister. Vid denna tidpunkt är modellstatusen
PendingManualApproval
. - EventBridge övervakar statusändringshändelser för att automatiskt vidta åtgärder med enkla regler.
- EventBridge modellregistreringshändelseregeln anropar en Lambda-funktion som konstruerar ett e-postmeddelande med en länk för att godkänna eller avvisa den registrerade modellen.
- Godkännaren får ett e-postmeddelande med länken för att granska och godkänna eller avvisa modellen.
- Godkännaren godkänner modellen genom att följa länken i e-postmeddelandet till en API Gateway-slutpunkt.
- API Gateway anropar en Lambda-funktion för att initiera modelluppdateringar.
- Modellregistret uppdateras för modellstatus (
Approved
för utvecklingsmiljön, menPendingManualApproval
för test, UAT och produktion). - Modelldetaljen lagras i AWS Parameter Store, en förmåga av AWS systemchef, inklusive modellversionen, godkänd målmiljö, modellpaket.
- Slutledningspipelinen hämtar modellen som godkänts för målmiljön från Parameter Store.
- Lambdafunktionen för avisering efter slutledning samlar in batch-inferensmått och skickar ett e-postmeddelande till godkännaren för att marknadsföra modellen till nästa miljö.
Förutsättningar
Arbetsflödet i det här inlägget förutsätter att miljön för utbildningspipeline är inställd i SageMaker, tillsammans med andra resurser. Indata till utbildningspipeline är funktionsdataset. Funktionsgenereringsdetaljerna ingår inte i det här inlägget, men det fokuserar på registret, godkännandet och marknadsföringen av ML-modeller efter att de har utbildats. Modellen registreras i modellregistret och styrs av ett övervakningsramverk i Amazon SageMaker modellmonitor för att upptäcka eventuell avdrift och fortsätta till omträning vid modellavdrift.
Arbetsflödesdetaljer
Godkännandearbetsflödet börjar med en modell utvecklad från en utbildningspipeline. När dataforskare utvecklar en modell registrerar de den till SageMaker Model Registry med modellstatusen PendingManualApproval
. EventBridge övervakar SageMaker för modellregistreringshändelsen och utlöser en händelseregel som anropar en Lambda-funktion. Lambdafunktionen konstruerar dynamiskt ett e-postmeddelande för ett godkännande av modellen med en länk till en API Gateway-slutpunkt till en annan Lambdafunktion. När godkännaren följer länken för att godkänna modellen vidarebefordrar API Gateway godkännandeåtgärden till Lambda-funktionen, som uppdaterar SageMaker Model Registry och modellattributen i Parameter Store. Godkännaren måste vara autentiserad och en del av godkännargruppen som hanteras av Active Directory. Det första godkännandet markerar modellen som Approved
för dev men PendingManualApproval
för test, UAT och produktion. Modellattributen som sparas i Parameter Store inkluderar modellversionen, modellpaketet och godkänd målmiljö.
När en inferenspipeline behöver hämta en modell, kontrollerar den Parameter Store för den senaste modellversionen som är godkänd för målmiljön och får slutledningsdetaljerna. När slutledningspipelinen är klar skickas ett e-postmeddelande efter slutledning till en intressent som begär ett godkännande för att marknadsföra modellen till nästa miljönivå. E-postmeddelandet har detaljerna om modellen och mätvärdena samt en godkännandelänk till en API Gateway-slutpunkt för en Lambda-funktion som uppdaterar modellattributen.
Följande är sekvensen av händelser och implementeringssteg för ML-modellens godkännande/marknadsföringsarbetsflöde från modellskapande till produktion. Modellen främjas från utveckling till test-, UAT- och produktionsmiljöer med ett uttryckligt mänskligt godkännande i varje steg.
Vi börjar med utbildningspipeline som är redo för modellutveckling. Modellversionen börjar som 0 i SageMaker Model Registry.
- SageMakers utbildningspipeline utvecklar och registrerar en modell i SageMaker Model Registry. Modellversion 1 är registrerad och börjar med Väntar på manuellt godkännande status.Model Registry-metadata har fyra anpassade fält för miljöerna:
dev, test, uat
ochprod
. - EventBridge övervakar SageMaker Model Registry för statusändring för att automatiskt vidta åtgärder med enkla regler.
- Händelseregeln för modellregistrering anropar en Lambda-funktion som skapar ett e-postmeddelande med länken för att godkänna eller avvisa den registrerade modellen.
- Godkännaren får ett e-postmeddelande med länken för att granska och godkänna (eller avvisa) modellen.
- Godkännaren godkänner modellen genom att följa länken till API Gateway-slutpunkten i e-postmeddelandet.
- API Gateway anropar Lambda-funktionen för att initiera modelluppdateringar.
- SageMaker Model Registry uppdateras med modellstatus.
- Modellens detaljinformation lagras i Parameter Store, inklusive modellversion, godkänd målmiljö och modellpaket.
- Slutledningspipelinen hämtar modellen som godkänts för målmiljön från Parameter Store.
- Lambdafunktionen för avisering efter slutledning samlar in batch-inferensmått och skickar ett e-postmeddelande till godkännaren för att marknadsföra modellen till nästa miljö.
- Godkännaren godkänner modellkampanjen till nästa nivå genom att följa länken till API Gateway-slutpunkten, som utlöser Lambda-funktionen för att uppdatera SageMaker Model Registry and Parameter Store.
Den fullständiga historiken för modellversionering och godkännande sparas för granskning i Parameter Store.
Slutsats
Livscykeln för utveckling av stora ML-modeller kräver en skalbar process för godkännande av ML-modeller. I det här inlägget delade vi en implementering av ett ML-modellregister, godkännande och marknadsföringsarbetsflöde med mänskligt ingripande med hjälp av SageMaker Model Registry, EventBridge, API Gateway och Lambda. Om du funderar på en skalbar ML-modellutvecklingsprocess för din MLOps-plattform kan du följa stegen i det här inlägget för att implementera ett liknande arbetsflöde.
Om författarna
Tom Kim är Senior Solution Architect på AWS, där han hjälper sina kunder att nå sina affärsmål genom att utveckla lösningar på AWS. Han har lång erfarenhet av företagssystemarkitektur och verksamhet inom flera branscher – särskilt inom hälsovård och livsvetenskap. Tom lär sig alltid ny teknik som leder till önskat affärsresultat för kunderna – t.ex. AI/ML, GenAI och Data Analytics. Han tycker också om att resa till nya platser och spela nya golfbanor när han har tid.
Shamika Ariyawansa, tjänstgör som senior AI/ML Solutions Architect inom Healthcare and Life Sciences divisionen på Amazon Web Services (AWS), specialiserad på generativ AI, med fokus på Large Language Model (LLM) utbildning, slutledningsoptimeringar och MLOps (Machine Learning) Operationer). Han guidar kunder i att bädda in avancerad generativ AI i sina projekt, vilket säkerställer robusta utbildningsprocesser, effektiva slutledningsmekanismer och strömlinjeformade MLOps-praxis för effektiva och skalbara AI-lösningar. Utöver sina professionella åtaganden ägnar Shamika passionerat sig åt skidåkning och terrängäventyr.
Jayadeep Pabbisetty är Senior ML/Data Engineer på Merck, där han designar och utvecklar ETL- och MLOps-lösningar för att låsa upp datavetenskap och analys för verksamheten. Han är alltid entusiastisk över att lära sig ny teknik, utforska nya vägar och skaffa sig de färdigheter som krävs för att utvecklas med den ständigt föränderliga IT-branschen. På fritiden följer han sin passion för sport och gillar att resa och utforska nya platser.
Prabakaran Mathaiyan är Senior Machine Learning Engineer på Tiger Analytics LLC, där han hjälper sina kunder att uppnå sina affärsmål genom att tillhandahålla lösningar för modellbyggande, utbildning, validering, övervakning, CICD och förbättring av maskininlärningslösningar på AWS. Prabakaran lär sig alltid ny teknik som leder till önskat affärsresultat för kunderna – t.ex. AI/ML, GenAI, GPT och LLM. Han tycker också om att spela cricket när han har tid.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- : har
- :är
- :inte
- :var
- $UPP
- 1
- 100
- 110
- 116
- a
- Om oss
- Uppnå
- förvärvande
- tvärs
- Handling
- åtgärder
- aktiv
- Active Directory
- avancerat
- Äventyr
- Efter
- AI
- AI / ML
- längs
- också
- alltid
- amason
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- analytics
- och
- Annan
- vilken som helst
- api
- godkännande
- godkänna
- godkänd
- arkitektur
- ÄR
- AS
- antar
- At
- attribut
- authenticated
- automatisera
- Automatiserad
- automatiskt
- vägar
- AWS
- BE
- innan
- Där vi får lov att vara utan att konstant prestera,
- mellan
- Bortom
- Botten
- SLUTRESULTAT
- Byggnad
- Bussen
- företag
- men
- by
- KAN
- kapacitet
- vilken
- Vid
- byta
- Kontroller
- koda
- samarbetat
- samlar
- åtaganden
- fullborda
- med tanke på
- kurser
- skapande
- kricket
- beställnings
- Kunder
- datum
- Data Analytics
- datavetenskap
- datavetare
- Designa
- mönster
- önskas
- detalj
- detaljer
- upptäcka
- dev
- utveckla
- utvecklade
- Utvecklare
- utvecklare
- utveckla
- Utveckling
- utvecklar
- diskutera
- division
- dynamiskt
- e
- varje
- Effektiv
- effektiv
- inbäddning
- Slutpunkt
- ingenjör
- Teknik
- säkerställa
- Företag
- entusiastiska
- Miljö
- miljöer
- Eter (ETH)
- händelse
- händelser
- ständigt föränderliga
- utvecklas
- erfarenhet
- utforska
- Utforska
- omfattande
- Omfattande erfarenhet
- Leverans
- Funktioner
- Fält
- hitta
- Fokus
- fokuserar
- följer
- efter
- följer
- För
- fyra
- Ramverk
- från
- fungera
- nätbryggan
- generering
- generativ
- Generativ AI
- golf
- regleras
- Grupp
- Guider
- Arbetsmiljö
- he
- Hälsa
- Hälsovård
- hälso-och sjukvård
- hjälper
- hans
- historia
- Hur ser din drömresa ut
- html
- HTTPS
- humant
- if
- genomföra
- genomförande
- förbättring
- in
- innefattar
- ingår
- innefattar
- Inklusive
- individuellt
- industrier
- industrin
- informationen
- inledande
- initiera
- ingång
- integrering
- ingripande
- in
- anropar
- IT
- IT-branschen
- jpg
- språk
- Large
- senaste
- leda
- inlärning
- Nivå
- livet
- Livsvetenskap
- Life Sciences
- livscykel
- gillar
- LINK
- LLC
- Maskinen
- maskininlärning
- förvaltade
- manuell
- mekanismer
- Merck
- metadata
- Metrics
- Mitten
- ML
- MLOps
- modell
- modeller
- övervakning
- monitorer
- måste
- nödvändigt för
- behov
- Nya
- Ny teknik
- Nästa
- anmälan
- mål
- of
- Ofta
- on
- Verksamhet
- or
- Övriga
- Resultat
- övergripande
- paket
- parameter
- del
- särskilt
- brinner
- Mönster
- rörledning
- platser
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- i
- Punkt
- porträtt
- Inlägg
- praxis
- Fortsätt
- process
- processer
- Produktion
- professionell
- projekt
- främja
- främjas
- främja
- främjande
- ger
- tillhandahålla
- Förföljer
- redo
- registrera
- registrerat
- register
- Registrering
- register
- frigöra
- begärande
- kräver
- Kräver
- Resurser
- omskolning
- översyn
- robusta
- Rutt
- Regel
- regler
- s
- sagemaker
- sparade
- skalbar
- Vetenskap
- VETENSKAPER
- Forskare
- vetenskapsmän
- sänder
- senior
- skickas
- Sekvens
- Tjänster
- portion
- in
- flera
- delas
- Visar
- liknande
- Enkelt
- färdigheter
- Mjukvara
- mjukvaruutveckling
- lösning
- Lösningar
- specialist
- specialiserat
- Sporter
- intressenter
- starta
- startar
- status
- Steg
- Steg
- lagra
- lagras
- strömlinjeformad
- Stödjande
- system
- System
- Ta
- Målet
- grupp
- Tekniken
- testa
- den där
- Smakämnen
- deras
- de
- detta
- Tiger mönster
- tid
- till
- tillsammans
- tom
- tränad
- Utbildning
- färdas
- Traveling
- typiskt
- låsa
- Uppdatering
- uppdaterad
- Uppdateringar
- användning
- Begagnade
- användningar
- med hjälp av
- godkännande
- version
- we
- webb
- webbservice
- VÄL
- när
- närhelst
- som
- med
- inom
- Arbete
- jobba tillsammans
- arbetsflöde
- dig
- Din
- zephyrnet