Dette er et gjesteblogginnlegg skrevet sammen med Zack Rossman fra Alcion.
Alcion, en sikkerhets-første, AI-drevet backup-as-a-service (BaaS)-plattform, hjelper Microsoft 365-administratorer raskt og intuitivt å beskytte data mot cybertrusler og utilsiktet tap av data. I tilfelle tap av data må Alcion-kunder søke metadata etter de sikkerhetskopierte elementene (filer, e-poster, kontakter, hendelser og så videre) for å velge spesifikke elementversjoner for gjenoppretting. Alcion bruker Amazon OpenSearch-tjeneste for å gi kundene nøyaktige, effektive og pålitelige søkemuligheter i denne sikkerhetskopikatalogen. Plattformen er multi-tenant, noe som betyr at Alcion krever dataisolering og sterk sikkerhet for å sikre at leietakere kun kan søke i sine egne data.
OpenSearch Service er en fullstendig administrert tjeneste som gjør det enkelt å distribuere, skalere og betjene OpenSearch i AWS Cloud. OpenSearch er en Apache-2.0-lisensiert, åpen kildekode-søke- og analysesuite, som består av OpenSearch (en søke-, analysemotor og vektordatabase), OpenSearch Dashboards (et brukergrensesnitt for visualisering og verktøy) og plugins som gir avanserte funksjoner som foretak. -Sikkerhet, avviksdeteksjon, observerbarhet, varsling og mye mer. Amazon OpenSearch Serverless er et serverløst distribusjonsalternativ som gjør det enkelt å bruke OpenSearch uten å konfigurere, administrere og skalere OpenSearch Service-domener.
I dette innlegget deler vi hvordan bruken av OpenSearch Serverless gjorde det mulig for Alcion å møte deres skalakrav, redusere driftskostnader og sikre leietakernes data ved å håndheve leietaker isolasjon innenfor deres multi-tenant miljø.
OpenSearch Service-administrerte domener
For den første gjentakelsen av søkearkitekturen deres, valgte Alcion distribusjonsalternativet for administrerte domener i OpenSearch Service og var i stand til å lansere søkefunksjonaliteten deres i produksjon på mindre enn en måned. For å oppfylle kravene til sikkerhet, omfang og leieforhold, lagret de data for hver leietaker i en dedikert indeks og brukte finmasket adgangskontroll i OpenSearch Service for å forhindre datalekkasjer på tvers av leietakere. Etter hvert som arbeidsmengden deres utviklet seg, sporet Alcion-ingeniører bruk av OpenSearch-domene via det oppgitte Amazon CloudWatch beregninger, gjøre endringer for å øke lagringsplassen og optimalisere dataressursene deres.
Teamet hos Alcion brukte flere funksjoner i OpenSearch Service-administrerte domener for å forbedre sin operasjonelle holdning. De introduserte indeksaliaser, som gir et enkelt aliasnavn for å få tilgang til (lese og skrive) flere underliggende indekser. De konfigurerte også Indeks State Management (ISM)-policyer for å hjelpe dem med å kontrollere datalivssyklusen ved å rulle indekser over basert på indeksstørrelse. Sammen var ISM-policyene og indeksaliasene nødvendige for å skalere indekser for store leietakere. Alcion også brukt indeksmaler å definere shards per indeks (partisjonering) av deres data for å automatisere deres datalivssyklus og forbedre ytelsen og stabiliteten til deres domener.
Følgende arkitekturdiagram viser hvordan Alcion konfigurerte sine OpenSearch-administrerte domener.
Følgende diagram viser hvordan Microsoft 365-data ble indeksert til og forespurt fra leietakerspesifikke indekser. Alcion implementerte forespørselsautentisering ved å gi OpenSearch primærbrukerlegitimasjon med hver API-forespørsel.
OpenSearch Serverløs oversikt og alternativer for leiemodeller
OpenSearch Service-administrerte domener ga et stabilt grunnlag for Alcions søkefunksjonalitet, men teamet trengte å tildele ressurser manuelt til domenene for den høyeste arbeidsbelastningen. Dette ga rom for kostnadsoptimaliseringer fordi Alcions arbeidsmengde er sprengt – det er store variasjoner i antall søke- og indekseringstransaksjoner per sekund, både for en enkelt kunde og sett under ett. For å redusere kostnadene og driftsbyrden henvendte teamet seg til OpenSearch Serverless, som tilbyr automatisk skalering.
For å bruke OpenSearch Serverless, er det første trinnet å opprette en samling. EN samling er en gruppe med OpenSearch-indekser som fungerer sammen for å støtte en spesifikk arbeidsbelastning eller brukstilfelle. Beregningsressursene for en samling, kalt OpenSearch Compute Units (OCUer), deles på tvers av alle samlinger i en konto som deler en krypteringsnøkkel. Poolen av OCUer skaleres automatisk opp og ned for å møte kravene til indeksering og søketrafikk.
Innsatsnivået som kreves for å migrere fra et OpenSearch Service-administrert domene til OpenSearch Serverless var håndterbart takket være det faktum at OpenSearch Serverless-samlinger støtter de samme OpenSearch APIene og bibliotekene som OpenSearch Service-administrerte domener. Dette tillot Alcion å fokusere på å optimalisere leiemodellen for den nye søkearkitekturen. Spesifikt trengte teamet å bestemme hvordan de skulle partisjonere leietakerdata i samlinger og indekser mens de balanserte sikkerhet og totale eierkostnader. Alcion-ingeniører, i samarbeid med OpenSearch Serverless-teamet, vurdert tre leiemodeller:
- Silomodell: Lag en samling for hver leietaker
- Bassengmodell: Lag en enkelt samling og bruk en enkelt indeks for flere leietakere
- Bromodell: Lag en enkelt samling og bruk en enkelt indeks per leietaker
Alle tre designvalgene hadde fordeler og avveininger som måtte vurderes for å utforme den endelige løsningen.
Silomodell: Lag en samling for hver leietaker
I denne modellen ville Alcion opprette en ny kolleksjon hver gang en ny kunde kom ombord på plattformen deres. Selv om leietakerdata ville være ren separert mellom samlinger, ble dette alternativet diskvalifisert fordi samlingens opprettelsestid betydde at kunder ikke ville kunne sikkerhetskopiere og søke etter data umiddelbart etter registrering.
Bassengmodell: Lag en enkelt samling og bruk en enkelt indeks for flere leietakere
I denne modellen vil Alcion opprette en enkelt samling per AWS-konto og indeksere leietakerspesifikke data i en av mange delte indekser som tilhører den samlingen. I utgangspunktet var det attraktivt å samle leietakerdata i delte indekser fra et skalaperspektiv fordi dette førte til den mest effektive bruken av indeksressurser. Men etter ytterligere analyse fant Alcion at de ville være godt innenfor indekskvoten per samling selv om de tildelte en indeks for hver leietaker. Med denne skalerbarhetsbekymringen løst, fulgte Alcion det tredje alternativet fordi siloing av leietakerdata i dedikerte indekser resulterer i sterkere leietakerisolasjon enn den delte indeksmodellen.
Bromodell: Lag en enkelt samling og bruk en enkelt indeks per leietaker
I denne modellen ville Alcion opprette en enkelt samling per AWS-konto og opprette en indeks for hver av de hundrevis av leietakere som administreres av den kontoen. Ved å tilordne hver leietaker til en dedikert indeks og samle disse indeksene i en enkelt samling, reduserte Alcion innføringstiden for nye leietakere og satte leietakerdata inn i rent adskilte bøtter.
Implementere rollebasert tilgangskontroll for å støtte multi-tenancy
OpenSearch Serverless tilbyr et flerpunkts, arvbart sett med sikkerhetskontroller, som dekker datatilgang, nettverkstilgang og kryptering. Alcion utnyttet OpenSearch Serverless fullt ut retningslinjer for datatilgang å implementere rollebasert tilgangskontroll (RBAC) for hver leietakerspesifikk indeks med følgende detaljer:
- Tildel en indeks med et felles prefiks og leietaker-ID (f.eks.
index-v1-<tenantID>
) - Lag en dedikert AWS identitets- og tilgangsadministrasjon (IAM)-rolle som brukes til å signere forespørsler til OpenSearch Serverless-samlingen
- Opprett en OpenSearch Serverless datatilgangspolicy som gir dokument lese-/skrivetillatelser innenfor en dedikert leietakerindeks til IAM-rollen for den leietakeren
- OpenSearch API-forespørsler til en leietakerindeks er signert med midlertidig legitimasjon som tilhører den leietakerspesifikke IAM-rollen
Følgende er et eksempel på OpenSearch Serverless datatilgangspolicy for en falsk leietaker med ID t-eca0acc1-12345678910
. Denne policyen gir IAM-rolledokumentet lese-/skrivetilgang til den dedikerte leietakertilgangen.
Det følgende arkitekturdiagrammet viser hvordan Alcion implementerte indeksering og søking etter Microsoft 365-ressurser ved å bruke OpenSearch Serverless-tilnærmingen til delt samling.
Følgende er eksempelkodebiten for å sende en API-forespørsel til en OpenSearch Serverless-samling. Legg merke til hvordan API-klienten initialiseres med et signeringsobjekt som signerer forespørsler med samme IAM-prinsipp som er koblet til OpenSearch Serverless datatilgangspolicy fra forrige kodebit.
konklusjonen
I mai 2023 lanserte Alcion sin søkearkitektur basert på den delte samlingen og dedikerte indeks-per-leietaker-modellen i alle produksjons- og preproduksjonsmiljøer. Teamet var i stand til å rive ut kompleks kode og operasjonelle prosesser som var dedikert til å skalere OpenSearch Service-administrerte domener. Videre, takket være de automatiske skaleringsmulighetene til OpenSearch Serverless, har Alcion redusert sine OpenSearch-kostnader med 30 % og forventer at kostnadsprofilen skal skaleres gunstig.
På reisen fra administrert til serverløs OpenSearch Service, hadde Alcion fordel av deres første valg av OpenSearch Service-administrerte domener. Når de migrerte videre, var de i stand til å gjenbruke de samme OpenSearch APIene og bibliotekene for sine OpenSearch Serverless-samlinger som de brukte for deres OpenSearch Service-administrerte domene. I tillegg oppdaterte de leiemodellen for å dra nytte av OpenSearch Serverless datatilgangspolicyer. Med OpenSearch Serverless kunne de enkelt tilpasse seg kundenes skalabehov samtidig som de sikret leietakerisolasjon.
For mer informasjon om Alcion, besøk deres nettsted.
Om forfatterne
Zack Rossman er medlem av teknisk stab hos Alcion. Han er teknisk leder for søke- og AI-plattformene. Før Alcion var Zack Senior Software Engineer hos Okta, og utviklet kjernearbeidsstyrkeidentitet og tilgangsadministrasjonsprodukter for Directories-teamet.
Niraj Jetly er en programvareutviklingssjef for Amazon OpenSearch Serverless. Niraj leder flere dataflyteam som er ansvarlige for lanseringen av Amazon OpenSearch Serverless. Før AWS ledet Niraj flere produkt- og ingeniørteam som CTO, VP of Engineering og Head of Product Management i over 15 år. Niraj er mottaker av over 15 innovasjonspriser, inkludert å bli kåret til årets CIO i 2014 og topp 100 CIO i 2013 og 2016. Han er hyppig foredragsholder på flere konferanser, og har blitt sitert i NPR, WSJ og The Boston Globe.
Jon Handler er Senior Principal Solutions Architect hos Amazon Web Services med base i Palo Alto, CA. Jon jobber tett med OpenSearch og Amazon OpenSearch Service, og gir hjelp og veiledning til et bredt spekter av kunder som har søke- og logganalysearbeidsmengder som de ønsker å flytte til AWS Cloud. Før han begynte i AWS, inkluderte Jons karriere som programvareutvikler 4 år med koding av en storstilt e-handelssøkemotor. Jon har en Bachelor of the Arts fra University of Pennsylvania og en Master of Science og en PhD i informatikk og kunstig intelligens fra Northwestern University.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- : har
- :er
- $OPP
- 10
- 100
- 15 år
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- I stand
- Om oss
- adgang
- tilgangsstyring
- Logg inn
- nøyaktig
- tvers
- tilpasse
- I tillegg
- adresser
- administratorer
- vedta
- avansert
- Fordel
- Etter
- AI
- Alle
- allokert
- tillate
- tillatt
- også
- Selv
- Amazon
- Amazon Web Services
- an
- analyse
- analytics
- og
- anomali påvisning
- api
- APIer
- tilnærming
- arkitektur
- ER
- kunstig
- kunstig intelligens
- Arts
- AS
- At
- attraktiv
- Autentisering
- auto
- automatisere
- automatisk
- premieringer
- AWS
- Baas
- tilbake
- Backup
- balansering
- basert
- BE
- fordi
- vært
- være
- Fordeler
- mellom
- Blogg
- kroppen
- boston
- både
- bred
- byrde
- men
- by
- CA
- som heter
- CAN
- evner
- evne
- Karriere
- saken
- katalog
- Endringer
- valg
- valg
- valgte
- CIO
- kunde
- tett
- Cloud
- kode
- Koding
- samarbeid
- samling
- samlinger
- Felles
- komplekse
- omfattende
- Beregn
- datamaskin
- informatikk
- Bekymring
- konferanser
- konfigurert
- ansett
- kontakter
- kontekst
- kontroll
- kontroller
- Kjerne
- Kostnad
- Kostnader
- dekker
- skape
- Opprette
- skaperverket
- Credentials
- CTO
- kunde
- Kunder
- cyber
- oversikter
- dato
- data tilgang
- Data Loss
- Database
- bestemme
- dedikert
- Misligholde
- krav
- utplassere
- distribusjon
- beskrivelse
- utforming
- utforme
- detaljer
- Gjenkjenning
- Utvikler
- utvikle
- Utvikling
- kataloger
- dokument
- dokumenter
- domene
- domener
- ned
- hver enkelt
- lett
- e-handel
- effektiv
- innsats
- e-post
- aktivert
- kryptering
- håndheving
- Motor
- ingeniør
- Ingeniørarbeid
- Ingeniører
- sikre
- sikrer
- enterprise-klasse
- Miljø
- miljøer
- feil
- feil
- Eter (ETH)
- Selv
- Event
- hendelser
- utviklet seg
- eksempel
- forventer
- Faktisk
- Egenskaper
- Filer
- slutt~~POS=TRUNC
- Først
- Fokus
- etter
- Til
- Forward
- funnet
- Fundament
- hyppig
- fra
- fullt
- fullt
- funksjonalitet
- videre
- Dess
- få
- GitHub
- globus
- tilskudd
- Gruppe
- Gjest
- Gjesteblogg
- veiledning
- HAD
- Ha
- he
- hode
- hjelpe
- hjelper
- holder
- Hvordan
- Hvordan
- HTML
- http
- HTTPS
- Hundrevis
- IAM
- ID
- Identitet
- styring av identitet og tilgang
- if
- umiddelbart
- iverksette
- implementert
- importere
- forbedre
- in
- inkludert
- Inkludert
- Øke
- indeks
- indeksert
- indekser
- informasjon
- innledende
- i utgangspunktet
- Innovasjon
- innovasjonspriser
- Intelligens
- Interface
- inn
- introdusert
- isolasjon
- IT
- varer
- køyring
- DET ER
- sammenføyning
- jon
- reise
- jpg
- JSON
- nøkkel
- stor
- storskala
- lansere
- lansere
- føre
- Fører
- Lekkasjer
- Led
- venstre
- mindre
- Nivå
- bibliotekene
- Livssyklus
- i likhet med
- knyttet
- lasting
- logg
- tap
- GJØR AT
- Making
- fikk til
- ledelse
- leder
- administrerende
- manuelt
- mange
- Master
- Match
- Kan..
- midler
- ment
- Møt
- medlem
- metadata
- Metrics
- Microsoft
- Microsoft 365
- migrere
- Migrere
- modell
- Måned
- mer
- mest
- flytte
- mye
- flere
- navn
- oppkalt
- nødvendig
- Trenger
- nødvendig
- behov
- nettverk
- Nettverkstilgang
- Ny
- Northwestern University
- Legge merke til..
- Antall
- objekt
- of
- Tilbud
- OKTA
- on
- onboarding
- ONE
- bare
- åpen kildekode
- betjene
- operasjonell
- Optimalisere
- optimalisere
- Alternativ
- or
- Oss
- ut
- enn
- oversikt
- egen
- eierskap
- side
- Palo Alto
- Topp
- Pennsylvania
- for
- ytelse
- tillatelse
- tillatelser
- perspektiv
- plattform
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- plugins
- Politikk
- politikk
- basseng
- Post
- forebygge
- forrige
- primære
- Principal
- Før
- Prosesser
- Produkt
- produktledelse
- Produksjon
- Produkter
- Profil
- beskytte
- gi
- forutsatt
- leverandør
- gi
- forsyning
- raskt
- område
- Lese
- Reader
- redusere
- Redusert
- Registrering
- pålitelig
- anmode
- forespørsler
- påkrevd
- Krav
- Krever
- løst
- ressurs
- Ressurser
- svar
- ansvarlig
- gjenopprette
- Resultater
- retur
- gjenbruk
- Rolle
- Valsede
- rullende
- rom
- regler
- samme
- skalerbarhet
- Skala
- skalering
- Vitenskap
- omfang
- Søk
- søkemotor
- søker
- Sekund
- sikre
- sikkerhet
- sending
- senior
- server~~POS=TRUNC
- tjeneste
- Tjenester
- sett
- flere
- Del
- delt
- Viser
- undertegne
- signert
- Skilt
- Enkelt
- enkelt
- Størrelse
- tekstutdrag
- So
- Software
- programvareutvikling
- Software Engineer
- løsning
- Solutions
- Høyttaler
- spesifikk
- spesielt
- Stabilitet
- stabil
- Staff
- Tilstand
- Trinn
- lagring
- lagret
- String
- sterk
- sterkere
- suite
- støtte
- Støtte
- Støtter
- Ta
- tatt
- lag
- lag
- tech
- Teknisk
- midlertidig
- leietaker
- enn
- Takk
- Det
- De
- deres
- Dem
- Disse
- de
- Tredje
- denne
- trusler
- tre
- tid
- til
- sammen
- tok
- topp
- Totalt
- trafikk
- Transaksjoner
- transaksjoner per sekund
- snudde
- underliggende
- lomper
- universitet
- University of Pennsylvania
- oppdatert
- bruke
- bruk sak
- brukt
- Bruker
- Brukergrensesnitt
- bruker
- ved hjelp av
- verktøyet
- Verdier
- av
- Besøk
- visualisering
- vp
- ønsker
- var
- we
- web
- webtjenester
- VI VIL
- var
- når som helst
- hvilken
- mens
- HVEM
- hele
- med
- innenfor
- uten
- Arbeid
- arbeide sammen
- arbeidsstyrke
- virker
- ville
- skrive
- WSJ
- år
- år
- zephyrnet