Tämä viesti on kirjoitettu yhdessä Jayadeep Pabbisettyn, Merckin tietotekniikan vanhempi asiantuntijan, ja Prabakaran Mathaiyanin, Tiger Analyticsin vanhempi ML-insinöörin kanssa.
Laajan koneoppimismallin (ML) kehittämisen elinkaaren aikana tarvitaan skaalautuva mallin julkaisuprosessi, joka on samanlainen kuin ohjelmistokehitys. Mallin kehittäjät työskentelevät usein yhdessä kehittäessään ML-malleja ja vaativat vankan MLOps-alustan toimiakseen. Skaalautuvan MLOps-alustan on sisällettävä prosessi ML-mallirekisterin työnkulun käsittelemiseksi, hyväksyntä ja ylennys seuraavalle ympäristötasolle (kehitys, testaus). , UAT tai tuotanto).
Mallin kehittäjä alkaa yleensä työskennellä yksittäisessä ML-kehitysympäristössä Amazon Sage Maker. Kun malli on koulutettu ja valmis käytettäväksi, se on hyväksyttävä sen jälkeen, kun se on rekisteröity Amazon SageMaker -mallirekisteri. Tässä viestissä keskustelemme siitä, kuinka AWS AI/ML -tiimi teki yhteistyötä Merck Human Health IT MLOps -tiimin kanssa rakentaakseen ratkaisun, joka käyttää automatisoitua työnkulkua ML-mallin hyväksyntään ja edistämiseen ihmisen toiminnan keskellä.
Katsaus ratkaisuun
Tämä viesti keskittyy työnkulkuratkaisuun, jota ML-mallin kehittämisen elinkaari voi käyttää koulutusputken ja päättelyputken välillä. Ratkaisu tarjoaa skaalautuvan työnkulun MLOps:ille tukemaan ML-mallin hyväksymis- ja edistämisprosessia ihmisen toimesta. Tietotieteilijän rekisteröimä ML-malli tarvitsee hyväksyjän tarkastettavaksi ja hyväksyttäväksi, ennen kuin sitä käytetään päättelyprosessissa ja seuraavalla ympäristötasolla (testi, UAT tai tuotanto). Ratkaisu käyttää AWS Lambda, Amazon API -yhdyskäytävä, Amazon EventBridge, ja SageMaker automatisoimaan työnkulun ihmisen hyväksynnällä. Seuraava arkkitehtuurikaavio näyttää järjestelmän yleisen suunnittelun, käytetyt AWS-palvelut ja työnkulun ML-mallien hyväksymiseksi ja edistämiseksi ihmisen toimesta kehityksestä tuotantoon.
Työnkulku sisältää seuraavat vaiheet:
- Koulutusputki kehittää ja rekisteröi mallin SageMaker-mallirekisteriin. Tässä vaiheessa mallin tila on
PendingManualApproval
. - EventBridge valvoo tilanmuutostapahtumia ryhtyäkseen toimiin automaattisesti yksinkertaisten sääntöjen mukaisesti.
- EventBridge-mallin rekisteröintitapahtumasääntö kutsuu Lambda-funktion, joka muodostaa sähköpostin, jossa on linkki rekisteröidyn mallin hyväksymiseen tai hylkäämiseen.
- Hyväksyjä saa sähköpostin, jossa on linkki mallin tarkistamiseen ja hyväksymiseen tai hylkäämiseen.
- Hyväksyjä hyväksyy mallin seuraamalla sähköpostissa olevaa linkkiä API-yhdyskäytävän päätepisteeseen.
- API-yhdyskäytävä kutsuu Lambda-funktion käynnistämään mallin päivitykset.
- Mallirekisteri päivitetään mallin tilan mukaan (
Approved
kehitysympäristölle, muttaPendingManualApproval
testiä, UAT:ta ja tuotantoa varten). - Mallin tiedot on tallennettu AWS-parametrikauppa, kyky AWS-järjestelmien päällikkö, mukaan lukien malliversio, hyväksytty kohdeympäristö, mallipaketti.
- Päätelmäliukuhihna hakee kohdeympäristöön hyväksytyn mallin Parameter Storesta.
- Päättelyn jälkeinen ilmoitus Lambda-toiminto kerää eräpäätelmämittauksia ja lähettää hyväksyjälle sähköpostin, jolla malli voidaan viedä seuraavaan ympäristöön.
Edellytykset
Tämän viestin työnkulku olettaa, että koulutusprosessin ympäristö on määritetty SageMakerissa muiden resurssien kanssa. Koulutusputken syöte on ominaisuuksien tietojoukko. Ominaisuuden sukupolven tiedot eivät sisälly tähän viestiin, mutta se keskittyy ML-mallien rekisteriin, hyväksymiseen ja mainostamiseen niiden koulutuksen jälkeen. Malli on rekisteröity mallirekisteriin, ja sitä hallitsee valvontakehys Amazon SageMaker -mallimonitori havaitsemaan mahdollisen ajautumisen ja jatkamaan uudelleenkoulutusta mallin ajautuessa.
Työnkulun tiedot
Hyväksyntätyönkulku alkaa koulutusputkesta kehitetystä mallista. Kun datatieteilijät kehittävät mallin, he rekisteröivät sen SageMaker-mallirekisteriin mallin tilalla PendingManualApproval
. EventBridge tarkkailee SageMakeria mallin rekisteröintitapahtuman varalta ja laukaisee tapahtumasäännön, joka kutsuu Lambda-funktion. Lambda-funktio rakentaa dynaamisesti sähköpostin mallin hyväksymistä varten, jossa on linkki API-yhdyskäytävän päätepisteeseen toiseen Lambda-funktioon. Kun hyväksyjä seuraa mallin hyväksymislinkkiä, API Gateway välittää hyväksymistoiminnon Lambda-funktiolle, joka päivittää SageMaker-mallirekisterin ja mallin attribuutit Parameter Storessa. Hyväksyjän on oltava todennettu ja kuuluttava Active Directoryn hallinnoimaan hyväksyntäryhmään. Alkuperäinen hyväksyntä merkitsee mallia nimellä Approved
kehittäjälle mutta PendingManualApproval
testausta, UAT:tä ja tuotantoa varten. Parametrisäilöön tallennetut mallin attribuutit sisältävät mallin version, mallipaketin ja hyväksytyn kohdeympäristön.
Kun päätelmäliukuhihnan on noudettava malli, se tarkistaa Parameter Storesta uusimman kohdeympäristöön hyväksytyn malliversion ja saa päättelytiedot. Kun päättelyputki on valmis, sidosryhmälle lähetetään päättelyn jälkeinen ilmoitussähköposti, jossa pyydetään hyväksyntää mallin nostamiseen seuraavalle ympäristötasolle. Sähköpostissa on tiedot mallista ja mittareista sekä hyväksyntälinkki API Gateway -päätepisteeseen Lambda-funktiolle, joka päivittää mallin attribuutteja.
Seuraavassa on tapahtumasarja ja toteutusvaiheet ML-mallin hyväksymis-/promootiotyönkululle mallin luomisesta tuotantoon. Mallia edistetään kehityksestä testi-, UAT- ja tuotantoympäristöihin ihmisen nimenomaisella hyväksynnällä jokaisessa vaiheessa.
Aloitamme koulutusputkesta, joka on valmis mallinkehitykseen. Malliversio alkaa 0:sta SageMaker-mallirekisterissä.
- SageMaker-koulutusputki kehittää ja rekisteröi mallin SageMaker-mallirekisteriin. Mallin versio 1 on rekisteröity ja alkaa Odottaa manuaalista hyväksyntää tila.Mallirekisterin metatiedoissa on neljä mukautettua kenttää ympäristöjä varten:
dev, test, uat
japrod
. - EventBridge tarkkailee SageMaker-mallirekisteriä tilanmuutoksen varalta ja ryhtyy automaattisesti toimiin yksinkertaisten sääntöjen mukaisesti.
- Mallin rekisteröintitapahtumasääntö kutsuu Lambda-funktion, joka muodostaa sähköpostin, jossa on linkki rekisteröidyn mallin hyväksymiseen tai hylkäämiseen.
- Hyväksyjä saa sähköpostin, jossa on linkki mallin tarkistamiseen ja hyväksymiseen (tai hylkäämiseen).
- Hyväksyjä hyväksyy mallin seuraamalla sähköpostissa olevaa linkkiä API Gateway -päätepisteeseen.
- API-yhdyskäytävä käynnistää mallipäivitykset Lambda-toiminnon avulla.
- SageMaker-mallirekisteri päivitetään mallin tilan mukaan.
- Mallin tiedot, mukaan lukien mallin versio, hyväksytty kohdeympäristö ja mallipaketti, tallennetaan Parameter Storeen.
- Päätelmäliukuhihna hakee kohdeympäristöön hyväksytyn mallin Parameter Storesta.
- Päättelyn jälkeinen ilmoitus Lambda-toiminto kerää eräpäätelmämittauksia ja lähettää hyväksyjälle sähköpostin, jolla malli voidaan viedä seuraavaan ympäristöön.
- Hyväksyjä hyväksyy mallin ylennyksen seuraavalle tasolle seuraamalla linkkiä API Gateway -päätepisteeseen, joka käynnistää Lambda-toiminnon päivittämään SageMaker-mallirekisterin ja parametrivaraston.
Mallin versioinnin ja hyväksynnän täydellinen historia tallennetaan tarkistettavaksi Parameter Storessa.
Yhteenveto
Laaja ML-mallin kehittämisen elinkaari vaatii skaalautuvan ML-mallin hyväksymisprosessin. Tässä viestissä jaoimme ML-mallirekisterin, hyväksynnän ja promootiotyönkulun toteutuksen ihmisen toimilla SageMaker-mallirekisterin, EventBridgen, API Gatewayn ja Lambdan avulla. Jos harkitset skaalautuvaa ML-mallin kehitysprosessia MLOps-alustallesi, voit toteuttaa samanlaisen työnkulun noudattamalla tämän viestin vaiheita.
Tietoja kirjoittajista
Tom Kim on AWS:n Senior Solution Architect, jossa hän auttaa asiakkaitaan saavuttamaan liiketoimintatavoitteensa kehittämällä ratkaisuja AWS:lle. Hänellä on laaja kokemus yritysten järjestelmäarkkitehtuurista ja toiminnasta useilla toimialoilla – erityisesti terveydenhuollon ja biotieteiden aloilla. Tom oppii jatkuvasti uusia teknologioita, jotka johtavat asiakkaiden toivottuun liiketoimintatulokseen – mm. AI/ML, GenAI ja Data Analytics. Hän nauttii myös matkustamisesta uusiin paikkoihin ja uusien golfkenttien pelaamiseen aina, kun aikaa löytyy.
Shamika Ariyawansa, joka toimii vanhempana tekoäly/ML-ratkaisuarkkitehtina Amazon Web Services (AWS) Healthcare and Life Sciences -divisioonassa, on erikoistunut generatiiviseen tekoälyyn keskittyen Large Language Model (LLM) -koulutukseen, päätelmien optimointiin ja MLOps:iin (Machine Learning). Operaatiot). Hän opastaa asiakkaita upottamaan kehittynyttä generatiivista tekoälyä projekteihinsä, varmistaen vankat koulutusprosessit, tehokkaat päättelymekanismit ja virtaviivaistetut MLOps-käytännöt tehokkaita ja skaalautuvia tekoälyratkaisuja varten. Ammatillisten sitoumustensa lisäksi Shamika harrastaa intohimoisesti hiihtoa ja maastoajelua.
Jayadeep Pabbisetty on Senior ML/Data Engineer Merckissä, jossa hän suunnittelee ja kehittää ETL- ja MLOps-ratkaisuja avatakseen datatieteen ja analytiikan liiketoiminnalle. Hän on aina innostunut oppimaan uusia teknologioita, tutkimaan uusia mahdollisuuksia ja hankkimaan taitoja, joita tarvitaan kehittyäkseen jatkuvasti muuttuvan IT-alan mukana. Vapaa-ajallaan hän seuraa intohimoaan urheiluun ja tykkää matkustaa ja tutustua uusiin paikkoihin.
Prabakaran Mathaiyan on vanhempi koneoppimisinsinööri Tiger Analytics LLC:ssä, jossa hän auttaa asiakkaitaan saavuttamaan liiketoimintatavoitteensa tarjoamalla ratkaisuja mallin rakentamiseen, koulutukseen, validointiin, seurantaan, CICD:hen ja koneoppimisratkaisujen parantamiseen AWS:ssä. Prabakaran oppii jatkuvasti uusia teknologioita, jotka johtavat asiakkaiden toivottuun liiketoimintatulokseen – mm. AI/ML, GenAI, GPT ja LLM. Hän pelaa myös krikettiä aina kun ehtii.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 100
- 110
- 116
- a
- Meistä
- Saavuttaa
- hankkiminen
- poikki
- Toiminta
- toimet
- aktiivinen
- Active Directory
- kehittynyt
- seikkailuja
- Jälkeen
- AI
- AI / ML
- pitkin
- Myös
- aina
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- Analytics
- ja
- Toinen
- Kaikki
- api
- hyväksyminen
- hyväksyä
- hyväksytty
- arkkitehtuuri
- OVAT
- AS
- olettaa
- At
- attribuutteja
- todennettu
- automatisoida
- Automatisoitu
- automaattisesti
- väyliä
- AWS
- BE
- ennen
- ovat
- välillä
- Jälkeen
- pohja
- rakentaa
- Rakentaminen
- bussi
- liiketoiminta
- mutta
- by
- CAN
- valmiudet
- joka
- tapaus
- muuttaa
- Tarkastukset
- koodi
- yhteistyötä
- kerää
- sitoumukset
- täydellinen
- ottaen huomioon
- kurssit
- luominen
- kriketti
- asiakassuhde
- Asiakkaat
- tiedot
- Data Analytics
- tietojenkäsittely
- tietojen tutkija
- Malli
- mallit
- haluttu
- yksityiskohta
- yksityiskohdat
- havaita
- dev
- kehittää
- kehitetty
- Kehittäjä
- kehittäjille
- kehittämällä
- Kehitys
- kehittää
- pohtia
- Divisioona
- dynaamisesti
- e
- kukin
- Tehokas
- tehokas
- upottamisen
- päätepiste
- insinööri
- Tekniikka
- varmistamalla
- yritys
- innostunut
- ympäristö
- ympäristöissä
- Eetteri (ETH)
- tapahtuma
- Tapahtumat
- jatkuvasti muuttuva
- kehittää
- experience
- tutkia
- Tutkiminen
- laaja
- Kattava kokemus
- Ominaisuus
- Ominaisuudet
- Fields
- Löytää
- Keskittää
- keskittyy
- seurata
- jälkeen
- seuraa
- varten
- neljä
- Puitteet
- alkaen
- toiminto
- portti
- sukupolvi
- generatiivinen
- Generatiivinen AI
- golf
- säännellään
- Ryhmä
- Oppaat
- Käsittely
- he
- terveys
- Terveydenhuolto
- terveydenhuollon
- auttaa
- hänen
- historia
- Miten
- HTML
- HTTPS
- ihmisen
- if
- toteuttaa
- täytäntöönpano
- parannus
- in
- sisältää
- mukana
- sisältää
- Mukaan lukien
- henkilökohtainen
- teollisuuden
- teollisuus
- tiedot
- ensimmäinen
- aloittaa
- panos
- integraatio
- interventio
- tulee
- vedotaan
- IT
- IT-teollisuus
- jpg
- Kieli
- suuri
- uusin
- johtaa
- oppiminen
- Taso
- elämä
- Life Science
- Life Sciences
- elinkaari
- tykkää
- LINK
- LLC
- kone
- koneoppiminen
- onnistui
- manuaalinen
- mekanismit
- Merck
- Metadata
- Metrics
- Keskimmäinen
- ML
- MLOps
- malli
- mallit
- seuranta
- näytöt
- täytyy
- välttämätön
- tarpeet
- Uusi
- Uudet teknologiat
- seuraava
- ilmoituksen
- tavoitteet
- of
- usein
- on
- Operations
- or
- Muut
- Tulos
- yleinen
- paketti
- parametri
- osa
- erityisesti
- intohimo
- Kuvio
- putki
- paikat
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- Kohta
- muotokuva
- Kirje
- käytännöt
- jatkaa
- prosessi
- Prosessit
- tuotanto
- ammatillinen
- hankkeet
- edistää
- Ylennetty
- Edistäminen
- edistäminen
- tarjoaa
- tarjoamalla
- Jatka
- valmis
- ilmoittautua
- kirjattu
- rekisterit
- Rekisteröinti
- rekisterin
- vapauta
- pyytävät
- edellyttää
- Vaatii
- Esittelymateriaalit
- uudelleenkoulutus
- arviot
- luja
- Reitti
- Sääntö
- säännöt
- s
- sagemaker
- tallennettu
- skaalautuva
- tiede
- tieteet
- Tiedemies
- tutkijat
- lähettää
- vanhempi
- lähetetty
- Järjestys
- Palvelut
- palvelevat
- setti
- useat
- yhteinen
- Näytä
- samankaltainen
- Yksinkertainen
- taitoja
- Tuotteemme
- ohjelmistokehitys
- ratkaisu
- Ratkaisumme
- asiantuntija
- erikoistunut
- Urheilu
- sidosryhmien
- Alkaa
- alkaa
- Tila
- Vaihe
- Askeleet
- verkkokaupasta
- tallennettu
- virtaviivainen
- Tukea
- järjestelmä
- järjestelmät
- ottaa
- Kohde
- joukkue-
- Technologies
- testi
- että
- -
- heidän
- ne
- tätä
- Tiikeri
- aika
- että
- yhdessä
- tom
- koulutettu
- koulutus
- matkustaa
- Matkustaminen
- tyypillisesti
- avata
- Päivitykset
- päivitetty
- Päivitykset
- käyttää
- käytetty
- käyttötarkoituksiin
- käyttämällä
- validointi
- versio
- we
- verkko
- verkkopalvelut
- HYVIN
- kun
- aina kun
- joka
- with
- sisällä
- Referenssit
- työskennellä yhdessä
- työnkulku
- te
- Sinun
- zephyrnet