Dette er et gæsteblogindlæg skrevet sammen med Zack Rossman fra Alcion.
Alcion, en sikkerheds-først, AI-drevet backup-as-a-service (BaaS) platform, hjælper Microsoft 365-administratorer med hurtigt og intuitivt at beskytte data mod cybertrusler og utilsigtet datatab. I tilfælde af datatab skal Alcion-kunder søge metadata efter de sikkerhedskopierede elementer (filer, e-mails, kontakter, begivenheder og så videre) for at vælge specifikke vareversioner til gendannelse. Alcion bruger Amazon OpenSearch Service at give deres kunder nøjagtige, effektive og pålidelige søgemuligheder på tværs af dette backupkatalog. Platformen er multi-tenant, hvilket betyder, at Alcion kræver dataisolering og stærk sikkerhed for at sikre, at lejere kun kan søge i deres egne data.
OpenSearch Service er en fuldt administreret tjeneste, der gør det nemt at implementere, skalere og betjene OpenSearch i AWS Cloud. OpenSearch er en Apache-2.0-licenseret, open source-søge- og analysepakke, der omfatter OpenSearch (en søge-, analysemaskine og vektordatabase), OpenSearch Dashboards (en brugergrænseflade til visualisering og hjælpeprogrammer) og plugins, der giver avancerede funktioner som f.eks. -grade sikkerhed, opdagelse af anomalier, observerbarhed, alarmering og meget mere. Amazon OpenSearch Serverløs er en serverløs implementeringsmulighed, der gør det nemt at bruge OpenSearch uden at konfigurere, administrere og skalere OpenSearch Service-domæner.
I dette indlæg fortæller vi, hvordan implementeringen af OpenSearch Serverless gjorde det muligt for Alcion at opfylde deres skalakrav, reducere deres driftsomkostninger og sikre deres lejeres data ved at håndhæve lejer isolation inden for deres miljø med flere lejere.
OpenSearch Service-administrerede domæner
Til den første iteration af deres søgearkitektur valgte Alcion implementeringsmuligheden for administrerede domæner i OpenSearch Service og var i stand til at lancere deres søgefunktionalitet i produktion på mindre end en måned. For at opfylde deres sikkerheds-, skala- og lejekrav gemte de data for hver lejer i et dedikeret indeks og brugte finmasket adgangskontrol i OpenSearch Service for at forhindre datalæk på tværs af lejere. Efterhånden som deres arbejdsbyrde udviklede sig, sporede Alcions ingeniører OpenSearch-domæneudnyttelsen via det medfølgende amazoncloudwatch metrics, foretage ændringer for at øge lagerpladsen og optimere deres computerressourcer.
Teamet hos Alcion brugte flere funktioner i OpenSearch Service-administrerede domæner til at forbedre deres operationelle holdning. De introducerede indeksaliaser, som giver et enkelt aliasnavn for at få adgang til (læse og skrive) flere underliggende indekser. De konfigurerede også Indeksstatsstyring (ISM)-politikker for at hjælpe dem med at kontrollere deres datalivscyklus ved at rulle indekser over baseret på indeksstørrelse. Tilsammen var ISM-politikkerne og indeksaliasserne nødvendige for at skalere indekser for store lejere. Alcion også brugt indeks skabeloner at definere shards pr. indeks (partitionering) af deres data for at automatisere deres datalivscyklus og forbedre ydeevnen og stabiliteten af deres domæner.
Følgende arkitekturdiagram viser, hvordan Alcion konfigurerede deres OpenSearch-administrerede domæner.
Følgende diagram viser, hvordan Microsoft 365-data blev indekseret til og forespurgt fra lejerspecifikke indekser. Alcion implementerede anmodningsgodkendelse ved at give OpenSearch primære brugerlegitimationsoplysninger med hver API-anmodning.
OpenSearch Serverløs oversigt og muligheder for lejemodel
OpenSearch Service-administrerede domæner gav et stabilt grundlag for Alcions søgefunktionalitet, men teamet var nødt til manuelt at levere ressourcer til domænerne for deres spidsbelastning. Dette gav plads til omkostningsoptimeringer, fordi Alcions arbejdsbyrde er sprængfyldt – der er store variationer i antallet af søge- og indekseringstransaktioner pr. sekund, både for en enkelt kunde og taget som helhed. For at reducere omkostninger og driftsbyrde henvendte teamet sig til OpenSearch Serverless, som tilbyder automatisk skalering.
For at bruge OpenSearch Serverless er det første skridt at oprette en samling. EN samling er en gruppe af OpenSearch-indekser, der arbejder sammen for at understøtte en specifik arbejdsbyrde eller use case. Beregningsressourcerne for en samling, kaldet OpenSearch Compute Units (OCU'er), deles på tværs af alle samlinger på en konto, der deler en krypteringsnøgle. Puljen af OCU'er skaleres automatisk op og ned for at imødekomme kravene til indeksering og søgetrafik.
Indsatsniveauet, der kræves for at migrere fra et OpenSearch Service-administreret domæne til OpenSearch Serverless, var overskueligt takket være det faktum, at OpenSearch Serverless-samlinger understøtter de samme OpenSearch API'er og biblioteker som OpenSearch Service-administrerede domæner. Dette gjorde det muligt for Alcion at fokusere på at optimere lejemålsmodellen til den nye søgearkitektur. Specifikt skulle teamet beslutte, hvordan lejerdata skulle opdeles i samlinger og indekser, mens sikkerheden og de samlede ejeromkostninger blev afbalanceret. Alcion-ingeniører i samarbejde med OpenSearch Serverless-teamet, betragtet tre lejemålsmodeller:
- Silomodel: Opret en samling for hver lejer
- Poolmodel: Opret en enkelt samling og brug et enkelt indeks for flere lejere
- Bromodel: Opret en enkelt samling og brug et enkelt indeks pr. lejer
Alle tre designvalg havde fordele og afvejninger, der skulle overvejes for at designe den endelige løsning.
Silomodel: Opret en samling for hver lejer
I denne model ville Alcion skabe en ny kollektion, hver gang en ny kunde kom ombord på deres platform. Selvom lejerdata ville være rent adskilt mellem samlinger, blev denne mulighed diskvalificeret, fordi samlingens oprettelsestid betød, at kunderne ikke ville være i stand til at sikkerhedskopiere og søge i data umiddelbart efter registreringen.
Poolmodel: Opret en enkelt samling og brug et enkelt indeks for flere lejere
I denne model ville Alcion oprette en enkelt samling pr. AWS-konto og indeksere lejerspecifikke data i et af mange delte indekser, der tilhører denne samling. Oprindeligt var det attraktivt at samle lejerdata i delte indekser fra et skalaperspektiv, fordi dette førte til den mest effektive brug af indeksressourcer. Men efter yderligere analyse fandt Alcion ud af, at de ville være godt inden for indekskvoten pr. indsamling, selvom de tildelte et indeks for hver lejer. Da problemet med skalerbarheden var løst, forfulgte Alcion den tredje mulighed, fordi siloing af lejerdata i dedikerede indekser resulterer i stærkere lejerisolation end den delte indeksmodel.
Bromodel: Opret en enkelt samling og brug et enkelt indeks pr. lejer
I denne model ville Alcion oprette en enkelt samling pr. AWS-konto og oprette et indeks for hver af de hundredvis af lejere, der administreres af denne konto. Ved at tildele hver lejer til et dedikeret indeks og samle disse indekser i en enkelt samling, reducerede Alcion onboarding-tiden for nye lejere og indlejrede lejerdata i rent adskilte buckets.
Implementering af rollebaseret adgangskontrol til understøttelse af multi-tenancy
OpenSearch Serverless tilbyder et flerpunkts, arveligt sæt sikkerhedskontroller, der dækker dataadgang, netværksadgang og kryptering. Alcion udnyttede OpenSearch Serverless fuldt ud dataadgangspolitikker at implementere rollebaseret adgangskontrol (RBAC) for hvert lejerspecifikt indeks med følgende detaljer:
- Tildel et indeks med et fælles præfiks og lejer-id (f.eks.
index-v1-<tenantID>
) - Opret en dedikeret AWS identitets- og adgangsstyring (IAM) rolle, der bruges til at signere anmodninger til OpenSearch Serverless-samlingen
- Opret en OpenSearch Serverløs dataadgangspolitik, der giver dokument læse-/skrivetilladelser inden for et dedikeret lejerindeks til IAM-rollen for den pågældende lejer
- OpenSearch API-anmodninger til et lejerindeks er signeret med midlertidige legitimationsoplysninger, der tilhører den lejerspecifikke IAM-rolle
Følgende er et eksempel på OpenSearch Serverless dataadgangspolitik for en falsk lejer med ID t-eca0acc1-12345678910
. Denne politik giver IAM-rolledokumentet læse-/skriveadgang til den dedikerede lejeradgang.
Følgende arkitekturdiagram viser, hvordan Alcion implementerede indeksering og søgning efter Microsoft 365-ressourcer ved hjælp af OpenSearch Serverless delt samlingstilgang.
Følgende er eksempelkodestykket til at sende en API-anmodning til en OpenSearch Serverless-samling. Bemærk, hvordan API-klienten initialiseres med et underskriverobjekt, der signerer anmodninger med den samme IAM-principal, som er knyttet til OpenSearch Serverless-dataadgangspolitikken fra det forrige kodestykke.
Konklusion
I maj 2023 udrullede Alcion sin søgearkitektur baseret på den delte samling og dedikerede indeks-per-lejer-model i alle produktions- og præproduktionsmiljøer. Teamet var i stand til at rive kompleks kode og operationelle processer ud, der var dedikeret til at skalere OpenSearch Service-administrerede domæner. Takket være de automatiske skaleringsfunktioner i OpenSearch Serverless har Alcion desuden reduceret deres OpenSearch-omkostninger med 30 % og forventer, at omkostningsprofilen vil skalere positivt.
I deres rejse fra administreret til serverløs OpenSearch Service, fik Alcion fordel af deres første valg af OpenSearch Service-administrerede domæner. Ved at migrere fremad var de i stand til at genbruge de samme OpenSearch API'er og biblioteker til deres OpenSearch Serverless-samlinger, som de brugte til deres OpenSearch Service-administrerede domæne. Derudover opdaterede de deres lejemodel for at drage fordel af OpenSearch Serverless dataadgangspolitikker. Med OpenSearch Serverless var de i stand til ubesværet at tilpasse sig deres kunders skalabehov, samtidig med at de sikrede lejerisolation.
For mere information om Alcion, besøg deres hjemmeside.
Om forfatterne
Zack Rossman er medlem af teknisk personale hos Alcion. Han er tech lead for søge- og AI-platformene. Før Alcion var Zack Senior Software Engineer hos Okta, hvor han udviklede kernemedarbejderidentitet og adgangsstyringsprodukter til Directories-teamet.
Niraj Jetly er en softwareudviklingschef for Amazon OpenSearch Serverless. Niraj leder adskillige dataflyteams, der er ansvarlige for lanceringen af Amazon OpenSearch Serverless. Før AWS ledede Niraj adskillige produkt- og ingeniørteams som CTO, VP of Engineering og Head of Product Management i over 15 år. Niraj har modtaget over 15 innovationspriser, herunder at blive kåret som årets CIO i 2014 og top 100 CIO i 2013 og 2016. Han er en hyppig taler på flere konferencer og er blevet citeret i NPR, WSJ og The Boston Globe.
Jon Handler er en Senior Principal Solutions Architect hos Amazon Web Services baseret i Palo Alto, CA. Jon arbejder tæt sammen med OpenSearch og Amazon OpenSearch Service og yder hjælp og vejledning til en bred vifte af kunder, som har søge- og loganalyse-arbejdsbelastninger, som de ønsker at flytte til AWS Cloud. Før han kom til AWS, omfattede Jons karriere som softwareudvikler 4 års kodning af en storstilet e-handelssøgemaskine. Jon har en Bachelor of the Arts fra University of Pennsylvania og en Master of Science og en PhD i Computer Science og Artificial Intelligence fra Northwestern University.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :har
- :er
- $OP
- 10
- 100
- 15 år
- 15 %
- 16
- 2013
- 2014
- 2016
- 2023
- a
- I stand
- Om
- adgang
- adgangsstyring
- Konto
- præcis
- tværs
- tilpasse
- Derudover
- adresser
- administratorer
- Vedtagelsen
- fremskreden
- Fordel
- Efter
- AI
- Alle
- allokeret
- tillade
- tilladt
- også
- Skønt
- Amazon
- Amazon Web Services
- an
- analyse
- analytics
- ,
- afsløring af anomalier
- api
- API'er
- tilgang
- arkitektur
- ER
- kunstig
- kunstig intelligens
- Arts
- AS
- At
- attraktivt
- Godkendelse
- auto
- automatisere
- automatisk
- Præmier
- AWS
- Baas
- tilbage
- backup
- afbalancering
- baseret
- BE
- fordi
- været
- være
- fordele
- mellem
- Blog
- krop
- boston
- både
- bred
- byrde
- men
- by
- CA
- kaldet
- CAN
- kapaciteter
- kapacitet
- Karriere
- tilfælde
- katalog
- Ændringer
- valg
- valg
- valgte
- CIO
- kunde
- nøje
- Cloud
- kode
- Kodning
- samarbejde
- samling
- samlinger
- Fælles
- komplekse
- omfattende
- Compute
- computer
- Datalogi
- Bekymring
- konferencer
- konfigureret
- betragtes
- kontakter
- sammenhæng
- kontrol
- kontrol
- Core
- Koste
- Omkostninger
- dækker
- skabe
- Oprettelse af
- skabelse
- Legitimationsoplysninger
- CTO
- kunde
- Kunder
- Cyber
- dashboards
- data
- dataadgang
- datatab
- Database
- beslutte
- dedikeret
- Standard
- krav
- indsætte
- implementering
- beskrivelse
- Design
- designe
- detaljer
- Detektion
- Udvikler
- udvikling
- Udvikling
- mapper
- dokumentet
- dokumenter
- domæne
- Domæner
- ned
- hver
- let
- ecommerce
- effektiv
- indsats
- emails
- aktiveret
- kryptering
- håndhæve
- Engine (Motor)
- ingeniør
- Engineering
- Ingeniører
- sikre
- sikring
- enterprise-grade
- Miljø
- miljøer
- fejl
- fejl
- Ether (ETH)
- Endog
- begivenhed
- begivenheder
- udviklet sig
- eksempel
- forventer
- Faktisk
- Funktionalitet
- Filer
- endelige
- Fornavn
- Fokus
- efter
- Til
- Videresend
- fundet
- Foundation
- hyppig
- fra
- fuld
- fuldt ud
- funktionalitet
- yderligere
- Endvidere
- få
- GitHub
- kloden
- tilskud
- gruppe
- Gæst
- Gæsteblog
- vejledning
- havde
- Have
- he
- hoved
- hjælpe
- hjælper
- besidder
- Hvordan
- How To
- HTML
- http
- HTTPS
- Hundreder
- IAM
- ID
- Identity
- identitets- og adgangsstyring
- if
- straks
- gennemføre
- implementeret
- importere
- Forbedre
- in
- medtaget
- Herunder
- Forøg
- indeks
- indekseret
- indekser
- oplysninger
- initial
- i første omgang
- Innovation
- innovationspriser
- Intelligens
- grænseflade
- ind
- introduceret
- isolation
- IT
- Varer
- iteration
- ITS
- sammenføjning
- jon
- rejse
- jpg
- json
- Nøgle
- stor
- storstilet
- lancere
- lancering
- føre
- Leads
- Lækager
- Led
- til venstre
- mindre
- Niveau
- biblioteker
- livscyklus
- ligesom
- forbundet
- lastning
- log
- off
- maerker
- Making
- lykkedes
- ledelse
- leder
- styring
- manuelt
- mange
- Master
- Match
- Kan..
- midler
- betød
- Mød
- medlem
- Metadata
- Metrics
- microsoft
- Microsoft 365
- migrere
- migrere
- model
- Måned
- mere
- mest
- bevæge sig
- meget
- flere
- navn
- Som hedder
- nødvendig
- Behov
- behov
- behov
- netværk
- Netværksadgang
- Ny
- Northwestern University
- Varsel..
- nummer
- objekt
- of
- Tilbud
- Okta
- on
- onboarding
- ONE
- kun
- open source
- betjene
- operationelle
- Optimer
- optimering
- Option
- or
- Os
- ud
- i løbet af
- oversigt
- egen
- ejerskab
- side
- Palo Alto
- Peak
- Pennsylvania
- per
- ydeevne
- tilladelse
- Tilladelser
- perspektiv
- perron
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- Plugins
- politikker
- politik
- pool
- Indlæg
- forhindre
- tidligere
- primære
- Main
- Forud
- Processer
- Produkt
- produktstyring
- produktion
- Produkter
- Profil
- beskytte
- give
- forudsat
- udbyder
- leverer
- bestemmelse
- hurtigt
- rækkevidde
- Læs
- Læser
- reducere
- Reduceret
- Registrering
- pålidelig
- anmode
- anmodninger
- påkrævet
- Krav
- Kræver
- løst
- ressource
- Ressourcer
- svar
- ansvarlige
- genoprette
- Resultater
- afkast
- genbruge
- roller
- Rullet
- Rullende
- Værelse
- regler
- samme
- Skalerbarhed
- Scale
- skalering
- Videnskab
- rækkevidde
- Søg
- søgemaskine
- søgning
- Anden
- sikker
- sikkerhed
- afsendelse
- senior
- Serverless
- tjeneste
- Tjenester
- sæt
- flere
- Del
- delt
- Shows
- underskrive
- underskrevet
- Skilte
- Simpelt
- enkelt
- Størrelse
- uddrag
- So
- Software
- softwareudvikling
- Software Engineer
- løsninger
- Løsninger
- Højttaler
- specifikke
- specifikt
- Stabilitet
- stabil
- Personale
- Tilstand
- Trin
- opbevaring
- opbevaret
- String
- stærk
- stærkere
- suite
- support
- Støtte
- Understøtter
- Tag
- taget
- hold
- hold
- tech
- Teknisk
- midlertidig
- lejer
- end
- tak
- at
- deres
- Them
- Disse
- de
- Tredje
- denne
- trusler
- tre
- tid
- til
- sammen
- tog
- top
- I alt
- Trafik
- Transaktioner
- transaktioner pr. sekund
- Drejede
- underliggende
- enheder
- universitet
- University of Pennsylvania
- opdateret
- brug
- brug tilfælde
- anvendte
- Bruger
- Brugergrænseflade
- bruger
- ved brug af
- nytte
- Værdier
- via
- Besøg
- visualisering
- vp
- ønsker
- var
- we
- web
- webservices
- GODT
- var
- når
- som
- mens
- WHO
- Hele
- med
- inden for
- uden
- Arbejde
- arbejde sammen
- Workforce
- virker
- ville
- skriver
- WSJ
- år
- år
- zephyrnet