Introduktion af hybrid maskinlæring

Gartner forudsiger, at ved udgangen af ​​2024 vil 75 % af virksomhederne skifte fra at pilotere til at operationalisere kunstig intelligens (AI), og langt de fleste arbejdsbyrder vil ende i skyen i det lange løb. For nogle virksomheder, der planlægger at migrere til skyen, kan kompleksiteten, omfanget og længden af ​​migreringer være skræmmende. Hastigheden af ​​forskellige teams og deres appetit på nyt værktøj kan variere dramatisk. En virksomheds datavidenskabsteam kan være sulten efter at tage den nyeste cloud-teknologi i brug, mens applikationsudviklingsteamet er fokuseret på at køre deres webapplikationer på stedet. Selv med en flerårig cloud-migreringsplan skal nogle af produktudgivelserne bygges på skyen for at opfylde virksomhedens forretningsresultater.

Til disse kunder foreslår vi hybride maskinlæringsmønstre (ML) som et mellemtrin i din rejse til skyen. Hybride ML-mønstre er dem, der involverer minimum to computermiljøer, typisk lokale computerressourcer såsom personlige bærbare computere eller firmadatacentre og skyen. Med de hybride ML-arkitekturmønstre, der er beskrevet i dette indlæg, kan virksomheder nå deres ønskede forretningsmål uden at skulle vente på, at skymigreringen er fuldført. I slutningen af ​​dagen ønsker vi at støtte kundernes succes i alle afskygninger.

Vi har udgivet et nyt whitepaper, Hybrid maskinlæring, for at hjælpe dig med at integrere skyen med eksisterende ML-infrastruktur på stedet. For flere whitepapers fra AWS, se AWS Whitepapers & Guides.

Hybrid ML arkitektur mønstre

Whitepaperet giver dig et overblik over de forskellige hybride ML-mønstre på tværs af hele ML-livscyklussen, herunder udvikling af ML-model, dataforberedelse, træning, implementering og løbende styring. Følgende tabel opsummerer de otte forskellige hybride ML-arkitektoniske mønstre, vi diskuterer i hvidbogen. For hvert mønster giver vi en foreløbig referencearkitektur ud over fordele og ulemper. Vi identificerer også et "hvornår du skal flytte"-kriterium for at hjælpe dig med at træffe beslutninger – for eksempel når indsatsniveauet for at vedligeholde og skalere et givet mønster har overskredet den værdi, det giver.

Udvikling	Kurser	Deployment
Udvikle på personlige computere, træne og hoste i skyen	Træn lokalt, implementer i skyen	Server ML-modeller i skyen til applikationer, der hostes på stedet
Udvikle på lokale servere, træne og hoste i skyen	Gem data lokalt, træne og implementer i skyen	Host ML-modeller med Lambda@Edge til applikationer på stedet
	Udvikl i skyen, mens du opretter forbindelse til data, der hostes på stedet	Træn med en tredjeparts SaaS-udbyder for at være vært i skyen
	Træn i skyen, implementer ML-modeller på stedet	Orkestrer hybride ML-arbejdsbelastninger med Kubeflow og Amazon EKS Anywhere

I dette indlæg dykker vi dybt ned i det hybride arkitekturmønster til implementering med fokus på at betjene modeller hostet i skyen til applikationer hostet på stedet.

Arkitektur oversigt

Den mest almindelige anvendelse af dette hybride mønster er virksomhedsmigreringer. Dit datavidenskabsteam er muligvis klar til at implementere til skyen, men dit applikationsteam omdanner stadig deres kode til at være vært på cloud-native tjenester. Denne tilgang gør det muligt for datavidenskabsmænd at bringe deres nyeste modeller på markedet, mens applikationsteamet separat overvejer hvornår, hvor og hvordan resten af ​​applikationen skal flyttes til skyen.

Følgende diagram viser arkitekturen for hosting af en ML-model via Amazon SageMaker i en AWS-region, der serverer svar på anmodninger fra applikationer, der hostes på stedet.

Teknisk dybde dyk

I dette afsnit dykker vi dybt ned i den tekniske arkitektur og fokuserer på de forskellige komponenter, der udgør den hybride arbejdsbyrde eksplicit og henviser til ressourcer andre steder efter behov.

Lad os tage en reel brugssag af en detailvirksomhed, hvis applikationsudviklingsteam har hostet deres e-handelswebapplikation på stedet. Virksomheden ønsker at forbedre brandloyalitet, øge salg og omsætning og øge effektiviteten ved at bruge data til at skabe mere sofistikerede og unikke kundeoplevelser. De har til hensigt at øge kundeengagementet med 50 % ved at tilføje en "anbefalet til dig"-widget på deres startskærm. De kæmper dog for at levere personlige oplevelser på grund af begrænsningerne af statiske, regelbaserede systemer, kompleksiteter og omkostninger og friktion med platformintegration på grund af deres nuværende arv, on-premises arkitektur.

Applikationsteamet har en 5-årig virksomhedsmigreringsstrategi for at omstrukturere deres webapplikation ved hjælp af cloud-native arkitektur for at flytte til skyen, mens datavidenskabsteamene er klar til at begynde implementeringen i skyen. Med det hybride arkitekturmønster, der er beskrevet i dette indlæg, kan virksomheden opnå deres ønskede forretningsresultat hurtigt uden at skulle vente på, at den 5-årige virksomhedsmigrering er fuldført.

Dataforskerne udvikler ML-modellen, udfører træning og implementerer den trænede model i skyen. E-handelswebapplikationen, der hostes på stedet, bruger ML-modellen via de udsatte slutpunkter. Lad os gennemgå dette i detaljer.

I modeludviklingsfasen kan dataforskere bruge lokale udviklingsmiljøer, såsom PyCharm- eller Jupyter-installationer på deres personlige computer, og derefter oprette forbindelse til skyen via AWS identitets- og adgangsstyring (IAM) tilladelser og grænseflade med AWS service API'er gennem AWS kommandolinjegrænseflade (AWS CLI) eller et AWS SDK (såsom Boto3). De har også fleksibiliteten til at bruge Amazon SageMaker Studio, en enkelt webbaseret visuel grænseflade, der leveres med almindelige datavidenskabspakker og kerner forudinstalleret til modeludvikling.

Dataforskere kan drage fordel af SageMakers træningsfunktioner, herunder adgang til on-demand CPU- og GPU-instanser, automatisk modeljustering, administrerede Spot-instanser, checkpointing for at gemme modellernes tilstand, administreret distribueret træning og mange flere ved hjælp af SageMaker-trænings-SDK'et og API'er. For en oversigt over træningsmodeller med SageMaker, se Træn en model med Amazon SageMaker.

Efter at modellen er trænet, kan dataforskere implementere modellerne ved hjælp af SageMaker-hostingfunktioner og afsløre et REST HTTP(s)-endepunkt, der betjener forudsigelser for slutapplikationer, der hostes på stedet. Applikationsudviklingsteamene kan integrere deres on-premises-applikationer for at interagere med ML-modellen via SageMaker-hostede slutpunkter for at få slutningsresultaterne. Applikationsudviklere kan få adgang til de implementerede modeller gennem API-anmodninger (Application Programming Interface) med responstider så lave som et par millisekunder. Dette understøtter use cases, der kræver realtidssvar, såsom personlige produktanbefalinger.

Klientapplikationen på stedet forbinder med ML-modellen hostet på det SageMaker-hostede slutpunkt på AWS over et privat netværk ved hjælp af VPN- eller Direct Connect-forbindelse for at give slutbrugere resultater. Klientapplikationen kan bruge et hvilket som helst klientbibliotek til at kalde slutpunktet ved hjælp af en HTTP Post-anmodning sammen med nødvendige godkendelsesoplysninger konfigureret programmatisk og den forventede nyttelast. SageMaker har også kommandoer og biblioteker, der abstraherer nogle af detaljerne på lavt niveau, såsom godkendelse ved hjælp af AWS-legitimationsoplysningerne, der er gemt i vores klientapplikationsmiljø, såsom SageMaker påberåbe-endepunkt runtime-kommando fra AWS CLI, SageMaker runtime-klient fra Boto3 (AWS SDK for Python), og Predictor-klassen fra SageMaker Python SDK.

For at gøre slutpunktet tilgængeligt over internettet, kan vi bruge Amazon API Gateway. Selvom du kan få direkte adgang til SageMaker-hostede slutpunkter fra API Gateway, er et almindeligt mønster, du kan bruge, at tilføje en AWS Lambda funktion imellem. Du kan bruge Lambda-funktionen til enhver forbehandling, som kan være nødvendig for at sende anmodningen i det format, der forventes af slutpunktet, eller efterbehandling til at transformere svaret til det format, der kræves af klientapplikationen. For mere information, se Kald et Amazon SageMaker-modelslutpunkt ved hjælp af Amazon API Gateway og AWS Lambda.

Klientapplikationen på stedet forbinder med ML-modeller hostet på SageMaker på AWS over et privat netværk ved hjælp af VPN eller Direct Connect-forbindelse, for at give slutbrugere resultater.

Følgende diagram illustrerer, hvordan datavidenskabsteamet udvikler ML-modellen, udfører træning og implementerer den trænede model i skyen, mens applikationsudviklingsteamet udvikler og implementerer e-handelswebapplikationen på stedet.

Efter modellen er implementeret i produktionsmiljøet, kan dine dataforskere bruge Amazon SageMaker Model Monitor til løbende at overvåge kvaliteten af ​​ML-modellerne i realtid. De kan også opsætte et automatisk alarmudløsningssystem, når der opstår afvigelser i modelkvaliteten, såsom datadrift og uregelmæssigheder. Amazon CloudWatch-logfiler indsamler logfiler, der overvåger modelstatus og giver dig besked, når modellens kvalitet når bestemte tærskler. Dette gør det muligt for dine dataforskere at tage korrigerende handlinger, såsom genoptræning af modeller, revision af upstream-systemer eller fikse kvalitetsproblemer uden at skulle overvåge modeller manuelt. Med AWS Managed Services kan dit datavidenskabsteam undgå ulemperne ved at implementere overvågningsløsninger fra bunden.

Dine dataforskere kan reducere den samlede tid, der kræves for at implementere deres ML-modeller i produktionen ved at automatisere belastningstest og modeljustering på tværs af SageMaker ML-instanser ved at bruge Amazon SageMaker Inference Recommender. Det hjælper dine dataforskere med at vælge den bedste forekomsttype og -konfiguration (såsom antal forekomster, containerparametre og modeloptimeringer) til deres ML-modeller.

Endelig er det altid en god praksis at afkoble hosting af din ML-model fra hosting af din applikation. I denne tilgang bruger dataforskerne dedikerede ressourcer til at hoste deres ML-model, specifikt dem, der er adskilt fra applikationen, hvilket i høj grad forenkler processen for at skubbe bedre modeller. Dette er et nøgletrin i innovationssvinghjulet. Dette forhindrer også enhver form for tæt kobling mellem den hostede ML-model og applikationen, hvilket gør det muligt for modellen at være yderst performant.

Ud over at forbedre modellens ydeevne med opdaterede forskningstendenser, giver denne tilgang mulighed for at geninstallere en model med opdaterede data. Den globale COVID-19-pandemi har demonstreret den virkelighed, at markederne ændrer sig hele tiden, og ML-modellen skal holde sig ajour med de nyeste trends. Den eneste måde, du kan leve op til dette krav på, er ved at være i stand til at omskole og omdisponere din model med opdaterede data.

Konklusion

Tjek hvidbogen Hybrid maskinlæring, hvor vi ser på yderligere mønstre for hosting af ML-modeller via Lambda@Edge, AWS forposter, AWS lokale zonerog AWS bølgelængde. Vi udforsker hybride ML-mønstre på tværs af hele ML-livscyklussen. Vi ser på at udvikle lokalt, mens vi træner og implementerer i skyen. Vi diskuterer mønstre for træning lokalt til implementering i skyen og endda til at hoste ML-modeller i skyen for at betjene applikationer på stedet.

Hvordan integrerer du skyen med din eksisterende lokale ML-infrastruktur? Del venligst din feedback om hybrid ML i kommentarerne, så vi kan fortsætte med at forbedre vores produkter, funktioner og dokumentation. Hvis du ønsker at engagere forfatterne af dette dokument for at få råd om din skymigrering, så kontakt os på hybrid-ml-support@amazon.com.

---

Om forfatterne

Alak Eswaradass er Solutions Architect hos AWS med base i Chicago, Illinois. Hun brænder for at hjælpe kunder med at designe cloud-arkitekturer ved at bruge AWS-tjenester til at løse forretningsmæssige udfordringer. Hun hænger ud med sine døtre og udforsker udendørs i sin fritid.

Emily Webber sluttede sig til AWS lige efter SageMaker lancerede, og har forsøgt at fortælle verden om det lige siden! Ud over at bygge nye ML-oplevelser for kunder, nyder Emily at meditere og studere tibetansk buddhisme.

Roop Bains er Solutions Architect hos AWS med fokus på AI/ML. Han brænder for maskinlæring og hjælper kunder med at nå deres forretningsmål. I sin fritid holder han af at læse og vandre.

Kilde: https://aws.amazon.com/blogs/machine-learning/introducing-hybrid-machine-learning/