Amazonas grunnfjell er en fullstendig administrert tjeneste levert av AWS som gir utviklere tilgang til grunnmodeller (FM-er) og verktøyene for å tilpasse dem for spesifikke applikasjoner. Det lar utviklere bygge og skalere generative AI-applikasjoner ved å bruke FM-er gjennom en API, uten å administrere infrastruktur. Du kan velge mellom ulike FM-er fra Amazon og ledende AI-startups som AI21 Labs, Anthropic, Cohere og Stability AI for å finne modellen som er best egnet for ditt bruksområde. Med Amazon Bedrock serverløse opplevelse kan du raskt komme i gang, enkelt eksperimentere med FM-er, tilpasse dem privat med dine egne data, og sømløst integrere og distribuere dem i applikasjonene dine ved hjelp av AWS-verktøy og -funksjoner.
Kunder bygger innovative generative AI-applikasjoner ved å bruke Amazon Bedrock APIer ved å bruke sine egne proprietære data. Når kunder får tilgang til Amazon Bedrock API-er, leter kunder etter mekanismer for å sette opp en dataperimeter uten å eksponere dataene deres for internett, slik at de kan redusere potensielle trusselvektorer fra internetteksponering. Amazon Bedrock VPC-endepunktet drevet av AWS PrivateLink lar deg etablere en privat forbindelse mellom VPC-en på kontoen din og Amazon Bedrock-tjenestekontoen. Det gjør det mulig for VPC-instanser å kommunisere med tjenesteressurser uten behov for offentlige IP-adresser.
I dette innlegget viser vi hvordan du setter opp privat tilgang på AWS-kontoen din for å få tilgang til Amazon Bedrock APIer VPC-endepunkter drevet av PrivateLink for å hjelpe deg med å bygge generative AI-applikasjoner sikkert med dine egne data.
Løsningsoversikt
Du kan bruke generativ AI til å utvikle et mangfold av applikasjoner, for eksempel tekstoppsummering, innholdsmoderering og andre funksjoner. Når man bygger slike generative AI-applikasjoner ved hjelp av FM-er eller basismodeller, ønsker kunder å generere et svar uten å gå over det offentlige internett eller basert på deres proprietære data som kan ligge i deres bedriftsdatabaser.
I det følgende diagrammet viser vi en arkitektur for å sette opp infrastrukturen din for å lese dine proprietære data som ligger i Amazon Relational Database Service (Amazon RDS) og forsterk Amazon Bedrock API-forespørselen med produktinformasjon når du svarer på produktrelaterte spørsmål fra din generative AI-applikasjon. Selv om vi bruker Amazon RDS i dette diagrammet for illustrasjonsformål, kan du teste den private tilgangen til Amazon Bedrock API-er fra ende til annen ved å bruke instruksjonene i dette innlegget.
Arbeidsflyttrinnene er som følger:
- AWS Lambda som kjører i ditt private VPC-undernett mottar forespørselen fra den generative AI-applikasjonen.
- Lambda ringer til proprietær RDS-database og forsterker spørringskonteksten (for eksempel ved å legge til produktinformasjon) og påkaller Amazon Bedrock API med den utvidede spørringsforespørselen.
- API-kallet rutes til Amazon Bedrock VPC-endepunktet som er knyttet til VPC-endepunktspolicyen med Tillat tillatelser til Amazon Bedrock APIer.
- Amazon Bedrock service API-endepunktet mottar API-forespørselen over PrivateLink uten å krysse det offentlige internett.
- Du kan endre Amazon Bedrock VPC-endepunktspolicyen til Nekt tillatelser for å validere at Amazon Bedrock API-anrop nektes.
- Du kan også privat få tilgang til Amazon Bedrock APIer over VPC-endepunktet fra bedriftens nettverk gjennom en AWS Direct Connect inngangsport.
Forutsetninger
Før du begynner, må du kontrollere at du har følgende forutsetninger:
- An AWS-konto
- An AWS identitets- og tilgangsadministrasjon (IAM) føderasjonsrolle med tilgang til å gjøre følgende:
- Opprett, rediger, vis og slett VPC-nettverksressurser
- Opprett, rediger, vis og slett Lambda-funksjoner
- Opprett, rediger, vis og slett IAM-roller og -policyer
- List opp grunnmodeller og påkall Amazons grunnfjellsmodell
- For dette innlegget bruker vi
us-east-1
Region - Be tilgang til grunnmodellen via Amazon Bedrock-konsollen
Sett opp den private tilgangsinfrastrukturen
I denne delen setter vi opp infrastrukturen som VPC, private undernett, sikkerhetsgrupper og Lambda-funksjonen ved å bruke en AWS skyformasjon mal.
Bruk følgende mal å lage infrastrukturstabelen Bedrock-GenAI-Stack
i AWS-kontoen din.
CloudFormation-malen oppretter følgende ressurser på dine vegne:
- En VPC med to private undernett i separate tilgjengelighetssoner
- Sikkerhetsgrupper og rutetabeller
- IAMs rolle og retningslinjer for bruk av Lambda, Amazon Bedrock og Amazon Elastic Compute Cloud (Amazon EC2)
Sett opp VPC-endepunktet for Amazon Bedrock
I denne delen bruker vi Amazon Virtual Private Cloud (Amazon VPC) for å sette opp VPC-endepunktet for Amazon Bedrock for å lette privat tilkobling fra din VPC til Amazon Bedrock.
- På Amazon VPC-konsollen, under Virtuell privat sky Velg navigasjonsruten endepunkter.
- Velg Lag endepunkt.
- Til Navneskilt, Tast inn
bedrock-vpce
. - Under Tjenester, søk etter grunnfjell-runtime og velg
com.amazonaws.<region>.bedrock-runtime
. - Til VPC, spesifiser VPC
Bedrock-GenAI-Project-vpc
som du opprettet gjennom CloudFormation-stakken i forrige seksjon. - på subnett seksjonen, og velg Availability Zones og velg de tilsvarende subnett-ID-ene fra rullegardinmenyen.
- Til Sikkerhetsgrupper, velg sikkerhetsgruppen med gruppenavnet
Bedrock-GenAI-Stack-VPCEndpointSecurityGroup-
og beskrivelseAllow TLS for VPC Endpoint
.
En sikkerhetsgruppe fungerer som en virtuell brannmur for din instans for å kontrollere innkommende og utgående trafikk. Vær oppmerksom på at denne VPC-endepunktsikkerhetsgruppen bare tillater trafikk som stammer fra sikkerhetsgruppen knyttet til dine VPC-private undernett, og legger til et lag med beskyttelse.
- Velg Lag endepunkt.
- på Retningslinjer seksjon, velg Custom og angi følgende minsterettighetspolicy for å sikre at bare visse handlinger er tillatt på den spesifiserte grunnmodellressursen,
arn:aws:bedrock:*::foundation-model/anthropic.claude-instant-v1
for en gitt rektor (for eksempel Lambda-funksjon IAM-rolle).
Det kan ta opptil 2 minutter før grensesnittendepunktet er opprettet og statusen endres til Tilgjengelig. Du kan oppdatere siden for å sjekke den siste statusen.
Sett opp Lambda-funksjonen over private VPC-undernett
Fullfør følgende trinn for å konfigurere Lambda-funksjonen:
- Velg Lambda-konsollen Funksjoner i navigasjonsruten.
- Velg funksjonen
gen-ai-lambda-stack-BedrockTestLambdaFunction-XXXXXXXXXXXX
. - På Konfigurasjon kategorien, velg Tillatelser i venstre rute.
- Under Utførelsesrolle¸ velg lenken for rollen
gen-ai-lambda-stack-BedrockTestLambdaFunctionRole-XXXXXXXXXXXX
.
Du blir omdirigert til IAM-konsollen.
- på Retningslinjer for tillatelser delen velger Legg til tillatelser Og velg Lag inline policy.
- På JSON fanen, endre policyen som følger:
- Velg neste.
- Til Policynavn, Tast inn
enivpce-policy
. - Velg Opprett policy.
- Legg til følgende innebygde policy (oppgi kilde-VPC-endepunktene dine) for å begrense Lambda-tilgang til Amazon Bedrock APIer kun via VPC-endepunkter:
- På Lambda-funksjonssiden, på Konfigurasjon kategorien, velg VPC i venstre rute, og velg deretter Rediger.
- Til VPC, velg
Bedrock-GenAI-Project-vpc
. - Til subnett, velg de private undernettene.
- Til Sikkerhetsgrupper, velg
gen-ai-lambda-stack-SecurityGroup-
(sikkerhetsgruppen for Amazons grunnfjellsarbeidsmengde i private undernett). - Velg Spar.
Test private tilgangskontroller
Nå kan du teste de private tilgangskontrollene (Amazon Bedrock APIer over VPC-endepunkter).
- Velg Lambda-konsollen Funksjoner i navigasjonsruten.
- Velg funksjonen
gen-ai-lambda-stack-BedrockTestLambdaFunction-XXXXXXXXXXXX
. - På Kode kategorien, velg Test.
Du bør se følgende svar fra Amazon Bedrock API-kallet (Status: Vellykket).
- For å nekte tilgang til Amazon Bedrock APIer over VPC-endepunkter, naviger til Amazon VPC-konsollen.
- Under Virtuell privat sky Velg navigasjonsruten endepunkter.
- Velg din policy og naviger til Politikk-fanen.
For øyeblikket er VPC-endepunktspolicyen satt til Allow
.
- For å nekte tilgang, velg Rediger policy.
- Endring
Allow
tilDeny
Og velg Spar.
Det kan ta opptil 2 minutter før policyen for VPC-endepunktet oppdateres.
- Gå tilbake til Lambda-funksjonssiden og på Kode kategorien, velg Test.
Som vist i følgende skjermbilde, ble tilgangsforespørselen til Amazon Bedrock over VPC-endepunktet avvist (Status: Mislyktes).
Gjennom denne testprosessen demonstrerte vi hvordan trafikk fra din VPC til Amazon Bedrock API-endepunktet går over PrivateLink-tilkoblingen og ikke gjennom internettforbindelsen.
Rydd opp
Følg disse trinnene for å unngå fremtidige kostnader:
konklusjonen
I dette innlegget demonstrerte vi hvordan du setter opp og operasjonaliserer en privat forbindelse mellom en generativ AI-arbeidsbelastning distribuert på kundens VPC og Amazon Bedrock ved å bruke et grensesnitt VPC-endepunkt drevet av PrivateLink. Når du bruker arkitekturen som er diskutert i dette innlegget, vil ikke trafikken mellom kundens VPC og Amazon Bedrock forlate Amazon-nettverket, noe som sikrer at dataene dine ikke blir eksponert for det offentlige internett og dermed hjelper deg med samsvarskravene dine.
Som et neste trinn kan du prøve løsningen i kontoen din og dele tilbakemeldingen din.
Om forfatterne
Ram Vittal er en rektor ML Solutions Architect ved AWS. Han har over 3 tiår med erfaring med å bygge og bygge distribuerte, hybride og skyapplikasjoner. Han brenner for å bygge sikre og skalerbare AI/ML- og big data-løsninger for å hjelpe bedriftskunder med deres skyadopsjon og optimaliseringsreise for å forbedre forretningsresultatene deres. På fritiden kjører han motorsykkel og går tur med sin 3 år gamle Sheepadoodle!
Ray Khorsandi er en AI/ML-spesialist hos AWS, og støtter strategiske kunder med AI/ML beste praksis. Med en M.Sc. og Ph.D. i elektroteknikk og informatikk leder han bedrifter til å bygge sikre, skalerbare AI/ML- og big data-løsninger for å optimalisere skyadopsjonen deres. Hans lidenskaper inkluderer datasyn, NLP, generativ AI og MLOps. Ray liker å spille fotball og tilbringe kvalitetstid med familien.
Michael Daniels er AI/ML-spesialist hos AWS. Hans ekspertise ligger i å bygge og lede AI/ML og generative AI-løsninger for komplekse og utfordrende forretningsproblemer, som forsterkes av hans Ph.D. fra Univ. fra Texas og hans M.Sc. i informatikk spesialisering i maskinlæring fra Georgia Institute of Technology. Han utmerker seg i å bruke banebrytende skyteknologier for å innovere, inspirere og transformere bransjeledende organisasjoner, samtidig som han kommuniserer effektivt med interessenter på alle nivåer og skalaer. På fritiden kan du ta Michael på ski eller snowboard i fjellet.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/use-aws-privatelink-to-set-up-private-access-to-amazon-bedrock/
- : har
- :er
- :ikke
- $OPP
- 1
- 100
- 13
- 16
- 225
- 7
- 8
- 9
- 937
- a
- Om oss
- adgang
- Tilgang
- Logg inn
- Handling
- handlinger
- handlinger
- legge
- adresser
- Adopsjon
- AI
- AI / ML
- tillate
- tillatt
- tillater
- også
- Selv
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- og
- Antropisk
- noen
- api
- APIer
- Søknad
- søknader
- påføring
- arkitektur
- ER
- AS
- assosiert
- At
- øke
- augmented
- forstørrelser
- tilgjengelighet
- tilgjengelig
- unngå
- AWS
- basen
- basert
- vegne
- BEST
- beste praksis
- mellom
- Stor
- Store data
- bygge
- Bygning
- virksomhet
- by
- ring
- Samtaler
- CAN
- evner
- saken
- Catch
- viss
- utfordrende
- endring
- Endringer
- avgifter
- sjekk
- Velg
- Cloud
- skyadopsjon
- sky applikasjoner
- kommunisere
- kommunisere
- komplekse
- samsvar
- Beregn
- datamaskin
- informatikk
- Datamaskin syn
- tilstand
- tilkobling
- Tilkobling
- Konsoll
- innhold
- innholdsmoderasjon
- kontekst
- kontroll
- kontroller
- Bedriftens
- Tilsvarende
- skape
- opprettet
- skaper
- kunde
- Kunder
- tilpasse
- skjærekant
- dato
- Database
- databaser
- tiår
- demonstrere
- demonstrert
- utplassere
- utplassert
- beskrivelse
- utvikle
- utviklere
- direkte
- diskutert
- distribueres
- diverse
- do
- lett
- effekt
- effektivt
- elektroteknikk
- muliggjør
- slutt
- Endpoint
- Endpoint sikkerhet
- endepunkter
- Ingeniørarbeid
- forbedret
- sikre
- sikrer
- Enter
- Enterprise
- bedriftskunder
- bedrifter
- etablere
- Eter (ETH)
- eksempel
- erfaring
- eksperiment
- ekspertise
- utsatt
- Eksponering
- legge til rette
- Mislyktes
- familie
- Føderasjon
- tilbakemelding
- Finn
- brannmur
- etter
- følger
- Til
- Fundament
- fra
- fullt
- funksjon
- framtid
- gateway
- generere
- generative
- Generativ AI
- Georgia
- Georgia Institute of Technology
- få
- gitt
- skal
- Gruppe
- Gruppens
- Ha
- he
- hjelpe
- hjelpe
- hans
- Hvordan
- Hvordan
- HTML
- http
- HTTPS
- Hybrid
- IAM
- ID
- Identitet
- ids
- forbedre
- in
- inkludere
- bransjeledende
- informasjon
- Infrastruktur
- innovere
- innovative
- inspirere
- f.eks
- forekomster
- Institute
- instruksjoner
- integrere
- Interface
- Internet
- Internett-tilkobling
- inn
- påkaller
- IP
- IP-adresser
- IT
- reise
- jpg
- Labs
- siste
- lag
- ledende
- Fører
- læring
- minst
- Permisjon
- venstre
- Nivå
- ligger
- LINK
- ser
- maskin
- maskinlæring
- gjøre
- GJØR AT
- fikk til
- administrerende
- Kan..
- mekanisme
- Meny
- Michael
- minutter
- Minske
- ML
- MLOps
- modell
- modeller
- moderasjon
- modifisere
- motorsykkel
- navn
- Naviger
- Navigasjon
- Trenger
- nettverk
- neste
- nlp
- note
- of
- Tilbud
- on
- bare
- optimalisering
- Optimalisere
- or
- organisasjoner
- opprinnelse
- Annen
- ut
- utfall
- enn
- egen
- side
- brød
- lidenskapelig
- tillatelser
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- Politikk
- politikk
- Post
- potensiell
- powered
- praksis
- forutsetninger
- forrige
- Principal
- privat
- privilegium
- problemer
- prosess
- Produkt
- Produktinformasjon
- proprietær
- beskyttelse
- gi
- forutsatt
- offentlig
- formål
- kvalitet
- spørsmål
- raskt
- område
- RAY
- Lese
- mottar
- anmode
- Krav
- ressurs
- Ressurser
- svar
- begrense
- rides
- Rolle
- roller
- ruting
- rennende
- SC
- skalerbar
- Skala
- Vitenskap
- sømløst
- Søk
- Seksjon
- sikre
- sikkert
- sikkerhet
- se
- separat
- server~~POS=TRUNC
- tjeneste
- Tjenester
- sett
- Del
- bør
- vist
- So
- Fotball
- løsning
- Solutions
- kilde
- spesialist
- spesifikk
- spesifisert
- utgifter
- Stabilitet
- stable
- interessenter
- startet
- startups
- Uttalelse
- status
- Trinn
- Steps
- Strategisk
- subnett
- subnett
- slik
- Støtte
- sikker
- Ta
- Technologies
- Teknologi
- mal
- test
- Testing
- texas
- tekst
- Det
- De
- deres
- Dem
- deretter
- derved
- Disse
- de
- denne
- trussel
- Gjennom
- tid
- TLS
- til
- verktøy
- trafikk
- Transform
- prøve
- to
- etter
- til
- Oppdater
- bruke
- bruk sak
- ved hjelp av
- VALIDERE
- ulike
- versjon
- av
- Se
- virtuelle
- syn
- vandringer
- ønsker
- var
- we
- web
- webtjenester
- når
- hvilken
- mens
- vil
- med
- uten
- arbeidsflyt
- yaml
- du
- Din
- zephyrnet
- soner