Dit is een gastblogpost die is geschreven in samenwerking met Zack Rossman van Alcion.
Alcion, een op beveiliging gericht AI-gestuurd back-up-as-a-service (BaaS)-platform, helpt Microsoft 365-beheerders snel en intuïtief gegevens te beschermen tegen cyberdreigingen en onbedoeld gegevensverlies. In het geval van gegevensverlies moeten Alcion-klanten metadata doorzoeken voor de geback-upte items (bestanden, e-mails, contacten, gebeurtenissen, enzovoort) om specifieke itemversies te selecteren voor herstel. Alcion gebruikt Amazon OpenSearch-service om hun klanten nauwkeurige, efficiënte en betrouwbare zoekmogelijkheden te bieden in deze back-upcatalogus. Het platform is multi-tenant, wat betekent dat Alcion gegevensisolatie en sterke beveiliging nodig heeft om ervoor te zorgen dat huurders alleen hun eigen gegevens kunnen doorzoeken.
OpenSearch Service is een volledig beheerde service die het eenvoudig maakt om OpenSearch in de AWS Cloud te implementeren, te schalen en te bedienen. OpenSearch is een open-source zoek- en analysesuite met Apache-2.0-licentie, bestaande uit OpenSearch (een zoek-, analyse-engine en vectordatabase), OpenSearch Dashboards (een gebruikersinterface voor visualisatie en hulpprogramma's) en plug-ins die geavanceerde mogelijkheden bieden, zoals Hoogwaardige beveiliging, afwijkingsdetectie, waarneembaarheid, waarschuwingen en nog veel meer. Amazon OpenSearch Serverloos is een serverloze implementatieoptie die het eenvoudig maakt om OpenSearch te gebruiken zonder OpenSearch Service-domeinen te configureren, beheren en schalen.
In dit bericht delen we hoe het gebruik van OpenSearch Serverless Alcion in staat stelde om aan hun schaalvereisten te voldoen, hun operationele overhead te verminderen en de gegevens van hun huurders te beveiligen door isolatie van huurders binnen hun multi-tenant omgeving.
Door OpenSearch Service beheerde domeinen
Voor de eerste iteratie van hun zoekarchitectuur koos Alcion voor de implementatieoptie voor beheerde domeinen in OpenSearch Service en kon hun zoekfunctionaliteit in minder dan een maand in productie worden genomen. Om te voldoen aan hun beveiligings-, schaal- en huurvereisten, hebben ze gegevens voor elke tenant opgeslagen in een speciale index en gebruikt fijnmazige toegangscontrole in OpenSearch Service om datalekken tussen huurders te voorkomen. Naarmate hun werklast evolueerde, volgden de ingenieurs van Alcion het gebruik van OpenSearch-domeinen via de meegeleverde Amazon Cloud Watch statistieken, wijzigingen aanbrengen om de opslag te vergroten en hun rekenbronnen te optimaliseren.
Het team van Alcion gebruikte verschillende functies van door OpenSearch Service beheerde domeinen om hun operationele positie te verbeteren. Ze introduceerden indexaliassen, die een enkele aliasnaam bieden voor toegang (lezen en schrijven) tot meerdere onderliggende indexen. Ze hebben ook geconfigureerd Index staatsbeheer (ISM)-beleid om hen te helpen hun gegevenslevenscyclus te beheersen door indexen te laten rollen op basis van indexgrootte. Samen waren het ISM-beleid en de indexaliassen nodig om indexen voor grote huurders te schalen. Alcion gebruikte ook index-sjablonen om de shards per index (partitionering) van hun gegevens te definiëren om hun gegevenslevenscyclus te automatiseren en de prestaties en stabiliteit van hun domeinen te verbeteren.
Het volgende architectuurdiagram laat zien hoe Alcion hun door OpenSearch beheerde domeinen heeft geconfigureerd.
Het volgende diagram laat zien hoe Microsoft 365-gegevens zijn geïndexeerd naar en opgevraagd bij tenantspecifieke indexen. Alcion implementeerde verzoekauthenticatie door bij elk API-verzoek de primaire gebruikersreferenties van OpenSearch te verstrekken.
OpenSearch Serverloos overzicht en huurmodelopties
De door OpenSearch Service beheerde domeinen vormden een stabiele basis voor de zoekfunctionaliteit van Alcion, maar het team moest de domeinen handmatig voorzien van middelen voor hun piekwerklast. Dit liet ruimte voor kostenoptimalisaties omdat de werklast van Alcion enorm is: er zijn grote variaties in het aantal zoek- en indexeringstransacties per seconde, zowel voor een enkele klant als voor het geheel. Om kosten en operationele lasten te verminderen, wendde het team zich tot OpenSearch Serverless, dat automatische schaalbaarheid biedt.
Om OpenSearch Serverless te gebruiken, is de eerste stap het maken van een collectie. A Collectie is een groep OpenSearch-indexen die samenwerken om een specifieke workload of use case te ondersteunen. De rekenbronnen voor een verzameling, OpenSearch Compute Units (OCU's) genoemd, worden gedeeld door alle verzamelingen in een account die een coderingssleutel delen. De pool van OCU's wordt automatisch omhoog en omlaag geschaald om te voldoen aan de eisen van indexering en zoekverkeer.
De inspanning die nodig was om te migreren van een door OpenSearch Service beheerd domein naar OpenSearch Serverless was beheersbaar dankzij het feit dat OpenSearch Serverless collecties dezelfde OpenSearch API's en bibliotheken ondersteunen als door OpenSearch Service beheerde domeinen. Hierdoor kon Alcion zich richten op het optimaliseren van het huurmodel voor de nieuwe zoekarchitectuur. Het team moest met name beslissen hoe de gegevens van de huurders in verzamelingen en indexen moesten worden verdeeld, waarbij tegelijkertijd de beveiliging en de totale eigendomskosten in evenwicht moesten worden gehouden. Alcion-ingenieurs, in samenwerking met het OpenSearch Serverless-team, drie huurmodellen overwogen:
- Silomodel: maak een verzameling voor elke huurder
- Poolmodel: maak één verzameling en gebruik één index voor meerdere tenants
- Overbruggings model: maak één verzameling en gebruik één index per Tenant
Alle drie de ontwerpkeuzes hadden voordelen en compromissen waarmee rekening moest worden gehouden bij het ontwerpen van de uiteindelijke oplossing.
Silomodel: maak een verzameling voor elke huurder
In dit model zou Alcion een nieuwe collectie creëren wanneer een nieuwe klant aan boord van hun platform komt. Hoewel tenantgegevens netjes gescheiden zouden worden tussen verzamelingen, werd deze optie gediskwalificeerd omdat de aanmaaktijd van de verzameling betekende dat klanten niet direct na registratie een back-up van gegevens konden maken en zoeken.
Poolmodel: maak één verzameling en gebruik één index voor meerdere tenants
In dit model zou Alcion één verzameling per AWS-account maken en huurderspecifieke gegevens indexeren in een van de vele gedeelde indexen die bij die verzameling horen. Aanvankelijk was het bundelen van huurdergegevens in gedeelde indexen vanuit schaalperspectief aantrekkelijk, omdat dit leidde tot het meest efficiënte gebruik van indexbronnen. Maar na verdere analyse ontdekte Alcion dat ze ruim binnen het indexquotum per collectie zouden blijven, zelfs als ze één index voor elke huurder zouden toewijzen. Nu dat probleem met de schaalbaarheid was opgelost, koos Alcion voor de derde optie, omdat het onderbrengen van huurdergegevens in speciale indexen resulteert in een sterkere huurderisolatie dan het gedeelde indexmodel.
Overbruggings model: maak één verzameling en gebruik één index per Tenant
In dit model zou Alcion één verzameling per AWS-account maken en een index maken voor elk van de honderden tenants die door dat account worden beheerd. Door elke tenant aan een speciale index toe te wijzen en deze indexen in één verzameling te bundelen, verkortte Alcion de onboarding-tijd voor nieuwe tenants en werden de gegevens van huurders gescheiden in netjes gescheiden buckets.
Implementatie van op rollen gebaseerd toegangscontrole ter ondersteuning van multi-tenancy
OpenSearch Serverless biedt een overerfbare set beveiligingscontroles met meerdere punten, waaronder gegevenstoegang, netwerktoegang en codering. Alcion profiteerde optimaal van OpenSearch Serverless beleid voor gegevenstoegang om op rollen gebaseerd toegangsbeheer (RBAC) te implementeren voor elke tenantspecifieke index met de volgende details:
- Wijs een index toe met een gemeenschappelijk voorvoegsel en de Tenant-ID (bijvoorbeeld
index-v1-<tenantID>
) - Maak een speciale AWS Identiteits- en toegangsbeheer (IAM) rol die wordt gebruikt om aanvragen voor de OpenSearch Serverless-verzameling te ondertekenen
- Maak een OpenSearch Serverless-beleid voor gegevenstoegang dat lees-/schrijfmachtigingen voor documenten toekent binnen een toegewezen tenantindex aan de IAM-rol voor die tenant
- OpenSearch API-verzoeken aan een tenant-index worden ondertekend met tijdelijke inloggegevens die horen bij de tenant-specifieke IAM-rol
Het volgende is een voorbeeld van OpenSearch Serverless-gegevenstoegangsbeleid voor een mock-tenant met ID t-eca0acc1-12345678910
. Dit beleid verleent het IAM-roldocument lees-/schrijftoegang tot de specifieke tenanttoegang.
Het volgende architectuurdiagram laat zien hoe Alcion het indexeren en zoeken naar Microsoft 365-bronnen implementeerde met behulp van de OpenSearch Serverless shared collection-benadering.
Het volgende is het voorbeeld van een codefragment voor het verzenden van een API-verzoek naar een OpenSearch Serverless-verzameling. Merk op hoe de API-client wordt geïnitialiseerd met een ondertekenaarobject dat verzoeken ondertekent met dezelfde IAM-principal die is gekoppeld aan het OpenSearch Serverless-gegevenstoegangsbeleid uit het vorige codefragment.
Conclusie
In mei 2023 rolde Alcion zijn zoekarchitectuur uit op basis van de gedeelde verzameling en het speciale index-per-tenant-model in alle productie- en preproductieomgevingen. Het team was in staat om complexe code en operationele processen los te koppelen die waren gewijd aan het opschalen van door OpenSearch Service beheerde domeinen. Bovendien heeft Alcion, dankzij de automatische schalingsmogelijkheden van OpenSearch Serverless, zijn OpenSearch-kosten met 30% verlaagd en verwacht het kostenprofiel gunstig te schalen.
Tijdens hun reis van beheerde naar serverloze OpenSearch-service profiteerde Alcion van hun eerste keuze voor door OpenSearch Service beheerde domeinen. Door verder te migreren konden ze dezelfde OpenSearch API's en bibliotheken hergebruiken voor hun OpenSearch Serverless-collecties die ze gebruikten voor hun door OpenSearch Service beheerde domein. Bovendien hebben ze hun huurmodel bijgewerkt om te profiteren van het OpenSearch Serverless-beleid voor gegevenstoegang. Met OpenSearch Serverless waren ze in staat om zich moeiteloos aan te passen aan de schaalbehoeften van hun klanten en tegelijkertijd te zorgen voor isolatie van de huurders.
Voor meer informatie over Alcion, bezoek hun van de.
Over de auteurs
Zack Rossman is lid van de technische staf bij Alcion. Hij is de technische leider voor de zoek- en AI-platforms. Voordat hij bij Alcion kwam, was Zack Senior Software Engineer bij Okta, waar hij kernproducten voor identiteits- en toegangsbeheer voor het Directories-team ontwikkelde.
Niraj Jetly is een Software Development Manager voor Amazon OpenSearch Serverless. Niraj leidt verschillende dataplane-teams die verantwoordelijk zijn voor de lancering van Amazon OpenSearch Serverless. Voorafgaand aan AWS leidde Niraj meer dan 15 jaar verschillende product- en engineeringteams als CTO, VP of Engineering en Head of Product Management. Niraj heeft meer dan 15 innovatieprijzen ontvangen, waaronder de titel CIO van het jaar in 2014 en top 100 CIO in 2013 en 2016. Hij is een veelgevraagd spreker op verschillende conferenties en wordt geciteerd in NPR, WSJ en The Boston Globe.
Jon Handler is een Senior Principal Solutions Architect bij Amazon Web Services in Palo Alto, CA. Jon werkt nauw samen met OpenSearch en Amazon OpenSearch Service en biedt hulp en begeleiding aan een breed scala aan klanten die werklasten voor zoek- en loganalyse hebben die ze naar de AWS Cloud willen verplaatsen. Voordat hij bij AWS kwam, omvatte Jon's carrière als softwareontwikkelaar 4 jaar coderen van een grootschalige e-commerce zoekmachine. Jon heeft een Bachelor of the Arts van de University of Pennsylvania en een Master of Science en een doctoraat in computerwetenschappen en kunstmatige intelligentie van Northwestern University.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- : heeft
- :is
- $UP
- 10
- 100
- 15 jaar
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- in staat
- Over
- toegang
- toegangsbeheer
- Account
- accuraat
- over
- aanpassen
- Daarnaast
- adressen
- beheerders
- De goedkeuring van
- vergevorderd
- Voordeel
- Na
- AI
- Alles
- toegewezen
- toelaten
- toegestaan
- ook
- Hoewel
- Amazone
- Amazon Web Services
- an
- analyse
- analytics
- en
- onregelmatigheidsdetectie
- api
- APIs
- nadering
- architectuur
- ZIJN
- kunstmatig
- kunstmatige intelligentie
- Kunst
- AS
- At
- aantrekkelijk
- authenticatie
- auto
- automatiseren
- webmaster.
- awards
- AWS
- BaaS
- terug
- backup
- balancing
- gebaseerde
- BE
- omdat
- geweest
- wezen
- betekent
- tussen
- Blog
- lichaam
- Boston
- zowel
- breed
- last
- maar
- by
- CA
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- CAN
- mogelijkheden
- bekwaamheid
- Carrière
- geval
- catalogus
- Wijzigingen
- keuze
- keuzes
- koos
- CIO
- klant
- van nabij
- Cloud
- code
- codering
- samenwerking
- Collectie
- collecties
- Gemeen
- complex
- omvattende
- Berekenen
- computer
- Computer Science
- Bezorgdheid
- conferenties
- geconfigureerd
- beschouwd
- contacten
- verband
- onder controle te houden
- controles
- Kern
- Kosten
- Kosten
- aan het bedekken
- en je merk te creëren
- Wij creëren
- het aanmaken
- Geloofsbrieven
- CTO
- klant
- Klanten
- cyber
- dashboards
- gegevens
- toegang tot data
- Data Loss
- Database
- beslissen
- toegewijd aan
- Standaard
- eisen
- implementeren
- inzet
- beschrijving
- Design
- ontwerpen
- gegevens
- Opsporing
- Ontwikkelaar
- het ontwikkelen van
- Ontwikkeling
- directories
- document
- documenten
- domein
- domeinen
- beneden
- elk
- En het is heel gemakkelijk
- ecommerce
- doeltreffend
- inspanning
- e-mails
- ingeschakeld
- encryptie
- afdwingen
- Motor
- ingenieur
- Engineering
- Ingenieurs
- verzekeren
- zorgen
- enterprise-kwaliteit
- Milieu
- omgevingen
- fout
- fouten
- Ether (ETH)
- Zelfs
- Event
- EVENTS
- evolueerde
- voorbeeld
- verwacht
- feit
- Voordelen
- Bestanden
- finale
- Voornaam*
- Focus
- volgend
- Voor
- Naar voren
- gevonden
- Foundation
- veelvuldig
- oppompen van
- vol
- geheel
- functionaliteit
- verder
- Bovendien
- het krijgen van
- GitHub
- wereldbol
- subsidies
- Groep
- Gast
- Gast blog
- leiding
- HAD
- Hebben
- he
- hoofd
- hulp
- helpt
- houdt
- Hoe
- How To
- HTML
- http
- HTTPS
- Honderden
- IAM
- ID
- Identiteit
- identiteits- en toegangsbeheer
- if
- per direct
- uitvoeren
- geïmplementeerd
- importeren
- verbeteren
- in
- inclusief
- Inclusief
- Laat uw omzet
- index
- geïndexeerd
- indexen
- informatie
- eerste
- eerste
- Innovatie
- innovatieprijzen
- Intelligentie
- Interface
- in
- geïntroduceerd
- isolatie
- IT
- artikelen
- herhaling
- HAAR
- aansluiting
- jon
- jpg
- json
- sleutel
- Groot
- grootschalig
- lancering
- lancering
- leiden
- Leads
- Lekken
- LED
- links
- minder
- Niveau
- bibliotheken
- levenscyclus van uw product
- als
- gekoppeld
- het laden
- inloggen
- uit
- MERKEN
- maken
- beheerd
- management
- manager
- beheren
- handmatig
- veel
- meester
- Match
- Mei..
- middel
- betekende
- Maak kennis met
- lid
- Metadata
- Metriek
- Microsoft
- Microsoft 365
- trekken
- migreren
- model
- Maand
- meer
- meest
- beweging
- veel
- meervoudig
- naam
- Genoemd
- noodzakelijk
- Noodzaak
- nodig
- behoeften
- netwerk
- Netwerktoegang
- New
- Northwestern University
- Merk op..
- aantal
- object
- of
- Aanbod
- OCTA
- on
- Onboarding
- EEN
- Slechts
- open source
- besturen
- operationele
- Optimaliseer
- optimaliseren
- Keuze
- or
- Ons
- uit
- over
- overzicht
- het te bezitten.
- ownership
- pagina
- Palo Alto
- Hoogtepunt
- Pennsylvania
- voor
- prestatie
- toestemming
- permissies
- perspectief
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- plugins
- beleidsmaatregelen door te lezen.
- beleidsmaatregelen
- zwembad
- Post
- voorkomen
- vorig
- primair
- Principal
- Voorafgaand
- processen
- Product
- product management
- productie
- Producten
- Profiel
- beschermen
- zorgen voor
- mits
- leverancier
- het verstrekken van
- voorziening
- snel
- reeks
- Lees
- Lezer
- verminderen
- Gereduceerd
- Registratie
- betrouwbaar
- te vragen
- verzoeken
- nodig
- Voorwaarden
- vereist
- opgelost
- hulpbron
- Resources
- antwoord
- verantwoordelijk
- herstellen
- Resultaten
- terugkeer
- hergebruiken
- Rol
- Opgerold
- Rollen
- Kamer
- reglement
- dezelfde
- Schaalbaarheid
- Scale
- scaling
- Wetenschap
- omvang
- Ontdek
- zoekmachine
- zoeken
- Tweede
- beveiligen
- veiligheid
- verzending
- senior
- Serverless
- service
- Diensten
- reeks
- verscheidene
- Delen
- gedeeld
- Shows
- teken
- Gesigneerd
- Signs
- Eenvoudig
- single
- Maat
- snipper
- So
- Software
- software development
- Software Engineer
- oplossing
- Oplossingen
- Spreker
- specifiek
- specifiek
- Stabiliteit
- stabiel
- Medewerkers
- Land
- Stap voor
- mediaopslag
- opgeslagen
- Draad
- sterke
- sterker
- suite
- ondersteuning
- Ondersteuning
- steunen
- Nemen
- ingenomen
- team
- teams
- tech
- Technisch
- tijdelijk
- huurder
- neem contact
- bedankt
- dat
- De
- hun
- Ze
- Deze
- ze
- Derde
- dit
- bedreigingen
- drie
- niet de tijd of
- naar
- samen
- nam
- top
- Totaal
- verkeer
- Transacties
- transacties per seconde
- Gedraaid
- die ten grondslag liggen
- eenheden
- universiteit-
- University of Pennsylvania
- bijgewerkt
- .
- use case
- gebruikt
- Gebruiker
- User Interface
- toepassingen
- gebruik
- utility
- Values
- via
- Bezoek
- visualisatie
- vp
- willen
- was
- we
- web
- webservices
- GOED
- waren
- telkens als
- welke
- en
- WIE
- geheel
- Met
- binnen
- zonder
- Mijn werk
- samenwerken
- Workforce
- Bedrijven
- zou
- schrijven
- WSJ
- jaar
- jaar
- zephyrnet