To je gostujoča objava v blogu, ki jo je napisal skupaj z Zackom Rossmanom iz Alciona.
Alcion, prva varnostna platforma za varnostno kopiranje kot storitev (BaaS), ki temelji na umetni inteligenci, pomaga skrbnikom Microsoft 365 hitro in intuitivno zaščititi podatke pred kibernetskimi grožnjami in nenamerno izgubo podatkov. V primeru izgube podatkov morajo stranke Alciona poiskati metapodatke za varnostno kopirane elemente (datoteke, e-pošto, stike, dogodke itd.), da izberejo določene različice elementov za obnovitev. Alcion uporablja Storitev Amazon OpenSearch da svojim strankam zagotovijo natančno, učinkovito in zanesljivo možnost iskanja po tem rezervnem katalogu. Platforma je večnajemniška, kar pomeni, da Alcion zahteva izolacijo podatkov in močno varnost, da zagotovi, da lahko najemniki iščejo samo svoje podatke.
Storitev OpenSearch je popolnoma upravljana storitev, ki olajša uvajanje, prilagajanje in upravljanje OpenSearch v oblaku AWS. OpenSearch je odprtokodni iskalni in analitični paket z licenco Apache-2.0, ki obsega OpenSearch (iskalni, analitični mehanizem in vektorsko bazo podatkov), nadzorne plošče OpenSearch (uporabniški vmesnik za vizualizacijo in pripomočke) ter vtičnike, ki zagotavljajo napredne zmogljivosti, kot je podjetje -stopenjska varnost, odkrivanje anomalij, opazljivost, opozarjanje in še veliko več. Amazon OpenSearch brez strežnika je možnost uvajanja brez strežnika, ki omogoča preprosto uporabo OpenSearch brez konfiguriranja, upravljanja in skaliranja domen OpenSearch Service.
V tej objavi delimo, kako je uporaba OpenSearch Serverless omogočila družbi Alcion, da je izpolnila svoje zahteve glede obsega, zmanjšala operativne stroške in zavarovala podatke svojih najemnikov z uveljavljanjem izolacija najemnika znotraj svojega okolja z več najemniki.
Upravljane domene OpenSearch Service
Za prvo ponovitev njihove iskalne arhitekture je Alcion izbral možnost uvajanja upravljanih domen v storitvi OpenSearch in v manj kot enem mesecu je lahko zagnal njihovo funkcijo iskanja v proizvodnji. Da bi izpolnili svoje zahteve po varnosti, obsegu in najemništvu, so shranili podatke za vsakega najemnika v namenski indeks in uporabili natančen nadzor dostopa v storitvi OpenSearch, da preprečite uhajanje podatkov med najemniki. Ko se je njihova delovna obremenitev razvijala, so Alcionovi inženirji sledili uporabi domene OpenSearch prek priloženega amazoncloudwatch metrike, spreminjanje za povečanje prostora za shranjevanje in optimizacijo svojih računalniških virov.
Ekipa pri Alcionu je uporabila več funkcij upravljanih domen OpenSearch Service, da bi izboljšala svoj operativni položaj. Uvedli so vzdevke indeksa, ki zagotavljajo eno ime vzdevka za dostop (branje in pisanje) do več osnovnih indeksov. Prav tako so konfigurirali Upravljanje stanja indeksa (ISM), ki jim pomaga nadzorovati njihov življenjski cikel podatkov s premikanjem indeksov na podlagi velikosti indeksa. Politike ISM in vzdevki indeksov so bili skupaj potrebni za skaliranje indeksov za velike najemnike. Uporablja se tudi Alcion predloge kazala da definirajo drobce na indeks (razdelitev) svojih podatkov, da avtomatizirajo svoj življenjski cikel podatkov in izboljšajo delovanje in stabilnost svojih domen.
Naslednji diagram arhitekture prikazuje, kako je Alcion konfiguriral svoje upravljane domene OpenSearch.
Naslednji diagram prikazuje, kako so bili podatki Microsoft 365 indeksirani v indekse, specifične za najemnika, in iz njih poizvedovali. Alcion je implementiral preverjanje pristnosti zahteve tako, da je z vsako zahtevo API-ja zagotovil poverilnice primarnega uporabnika OpenSearch.
Pregled brez strežnika OpenSearch in možnosti modela najema
Upravljane domene storitve OpenSearch Service so zagotovile stabilno osnovo za iskalno funkcijo Alcion, vendar je ekipa morala ročno zagotoviti vire za domene za njihovo največjo delovno obremenitev. To je pustilo prostor za optimizacijo stroškov, ker je Alcionova delovna obremenitev velika – obstajajo velike razlike v številu transakcij iskanja in indeksiranja na sekundo, tako za posamezno stranko kot za celotno stranko. Da bi zmanjšali stroške in operativno breme, se je ekipa obrnila na OpenSearch Serverless, ki ponuja zmožnost samodejnega skaliranja.
Če želite uporabljati OpenSearch Serverless, je prvi korak ustvariti zbirko. A zbirka je skupina indeksov OpenSearch, ki skupaj podpirajo določeno delovno obremenitev ali primer uporabe. Računalniška sredstva za zbirko, imenovana OpenSearch Compute Units (OCU), so v skupni rabi med vsemi zbirkami v računu, ki imajo skupen šifrirni ključ. Skupina OCU-jev se samodejno povečuje in zmanjšuje, da ustreza zahtevam indeksiranja in iskalnega prometa.
Stopnja truda, ki je bila potrebna za selitev z domene, ki jo upravlja OpenSearch Service, na OpenSearch Serverless, je bila obvladljiva zaradi dejstva, da zbirke OpenSearch Serverless podpirajo iste API-je in knjižnice OpenSearch kot domene, ki jih upravlja OpenSearch Service. To je Alcionu omogočilo, da se je osredotočil na optimizacijo modela najema za novo iskalno arhitekturo. Natančneje, ekipa se je morala odločiti, kako razdeliti podatke o najemnikih znotraj zbirk in indeksov, pri tem pa uravnotežiti varnost in skupne stroške lastništva. Inženirji Alcion so v sodelovanju z ekipo OpenSearch Serverless upoštevali tri najemne modele:
- Silos model: ustvarite zbirko za vsakega najemnika
- Model skupine: ustvarite eno zbirko in uporabite en sam indeks za več najemnikov
- Premostitveni model: ustvarite eno zbirko in uporabite en sam indeks na najemnika
Vse tri izbire oblikovanja so imele prednosti in kompromise, ki jih je bilo treba upoštevati pri oblikovanju končne rešitve.
Silos model: ustvarite zbirko za vsakega najemnika
V tem modelu bi Alcion ustvaril novo zbirko vsakič, ko bi se nova stranka vkrcala na njihovo platformo. Čeprav bi bili podatki najemnikov jasno ločeni med zbirkami, je bila ta možnost zavrnjena, ker je čas ustvarjanja zbirke pomenil, da stranke ne bi mogle varnostno kopirati in iskati podatkov takoj po registraciji.
Model skupine: ustvarite eno zbirko in uporabite en sam indeks za več najemnikov
V tem modelu bi Alcion ustvaril eno zbirko na račun AWS in indeksiral podatke, specifične za najemnika, v enem od številnih skupnih indeksov, ki pripadajo tej zbirki. Na začetku je bilo združevanje podatkov o najemnikih v indekse v skupni rabi privlačno z vidika obsega, ker je to vodilo do najučinkovitejše uporabe virov indeksa. Toda po nadaljnji analizi je Alcion ugotovil, da bi bili v okviru kvote indeksa na zbirko, tudi če bi vsakemu najemniku dodelili en indeks. Ko je ta pomislek glede razširljivosti odpravljen, se je Alcion odločil za tretjo možnost, ker selitev podatkov o najemnikih v namenske indekse povzroči močnejšo izolacijo najemnikov kot model skupnega indeksa.
Premostitveni model: ustvarite eno zbirko in uporabite en sam indeks na najemnika
V tem modelu bi Alcion ustvaril eno zbirko na račun AWS in ustvaril indeks za vsakega od sto najemnikov, ki jih upravlja ta račun. Z dodelitvijo vsakega najemnika namenskemu indeksu in združevanjem teh indeksov v eno samo zbirko je Alcion skrajšal čas vkrcanja za nove najemnike in podatke o najemnikih ločil v čisto ločene segmente.
Implementacija nadzora dostopa na podlagi vlog za podporo večnajemništvu
OpenSearch Serverless ponuja večtočkovni, podedljivi nabor varnostnih kontrol, ki zajemajo dostop do podatkov, dostop do omrežja in šifriranje. Alcion je v celoti izkoristil OpenSearch Serverless politike dostopa do podatkov za implementacijo nadzora dostopa na podlagi vlog (RBAC) za vsak indeks, specifičen za najemnika, z naslednjimi podrobnostmi:
- Dodelite indeks s skupno predpono in ID-jem najemnika (npr.
index-v1-<tenantID>
) - Ustvari namensko AWS upravljanje identitete in dostopa (IAM), ki se uporablja za podpisovanje zahtev zbirki OpenSearch Serverless
- Ustvarite pravilnik o dostopu do podatkov brez strežnika OpenSearch, ki podeljuje dovoljenja za branje/pisanje dokumenta znotraj namenskega indeksa najemnika vlogi IAM za tega najemnika
- Zahteve API-ja OpenSearch za indeks najemnika so podpisane z začasnimi poverilnicami, ki pripadajo vlogi IAM, specifični za najemnika
Sledi primer pravilnika o dostopu do podatkov brez strežnika OpenSearch za lažnega najemnika z ID-jem t-eca0acc1-12345678910
. Ta pravilnik podeljuje dostop za branje/pisanje dokumenta vloge IAM do namenskega dostopa najemnika.
Naslednji diagram arhitekture prikazuje, kako je Alcion implementiral indeksiranje in iskanje virov Microsoft 365 z uporabo pristopa zbiranja v skupni rabi OpenSearch Serverless.
Sledi vzorčni delček kode za pošiljanje zahteve API v zbirko OpenSearch Serverless. Opazite, kako je odjemalec API inicializiran z objektom podpisnika, ki podpisuje zahteve z istim principalom IAM, ki je povezan s pravilnikom o dostopu do podatkov brez strežnika OpenSearch iz prejšnjega izrezka kode.
zaključek
Maja 2023 je Alcion uvedel svojo iskalno arhitekturo, ki temelji na skupni zbirki in namenskem modelu indeksa na najemnika v vseh produkcijskih in predprodukcijskih okoljih. Ekipi je uspelo iztrgati zapleteno kodo in operativne postopke, ki so bili namenjeni skaliranju domen, ki jih upravlja OpenSearch Service. Poleg tega je Alcion zaradi zmožnosti samodejnega skaliranja OpenSearch Serverless znižal svoje stroške OpenSearch za 30 % in pričakuje, da se bo stroškovni profil ugodno povečal.
Na poti od upravljane do brezstrežniške storitve OpenSearch je Alcionu koristila njihova prvotna izbira upravljanih domen OpenSearch Service. Pri nadaljnji selitvi so lahko znova uporabili iste API-je OpenSearch in knjižnice za svoje zbirke OpenSearch Serverless, ki so jih uporabili za svojo upravljano domeno OpenSearch Service. Poleg tega so posodobili svoj najemniški model, da bi izkoristili politike dostopa do podatkov brez strežnika OpenSearch. Z OpenSearch Serverless so se lahko brez truda prilagodili potrebam po obsegu svojih strank, hkrati pa zagotovili izolacijo najemnikov.
Za več informacij o Alcion obiščite njihovo spletna stran.
O avtorjih
Zack Rossman je član tehničnega osebja pri Alcionu. Je tehnični vodja platform za iskanje in umetno inteligenco. Pred Alcionom je bil Zack višji programski inženir pri Okti, kjer je razvijal osnovno identiteto delovne sile in izdelke za upravljanje dostopa za ekipo Directories.
Niraj Jetly je vodja razvoja programske opreme za Amazon OpenSearch Serverless. Niraj vodi več skupin podatkovne ravnine, odgovornih za uvedbo Amazon OpenSearch Serverless. Pred AWS je Niraj več kot 15 let vodil več produktnih in inženirskih skupin kot tehnični direktor, podpredsednik inženiringa in vodja produktnega upravljanja. Niraj je prejemnik več kot 15 nagrad za inovacije, vključno z imenovanjem za CIO leta 2014 in 100 najboljših CIO v letih 2013 in 2016. Kot pogost govornik na več konferencah so ga citirali v NPR, WSJ in The Boston Globe.
Jon Handler je višji glavni arhitekt rešitev pri Amazon Web Services s sedežem v Palo Altu v Kaliforniji. Jon tesno sodeluje z OpenSearch in Amazon OpenSearch Service ter zagotavlja pomoč in smernice širokemu krogu strank, ki imajo delovne obremenitve analitike iskanja in dnevnika, ki jih želijo preseliti v oblak AWS. Preden se je pridružil AWS, je Jonova kariera razvijalca programske opreme vključevala 4 leta kodiranja obsežnega iskalnika za e-trgovino. Jon je diplomiral iz umetnosti na Univerzi v Pensilvaniji ter magistriral in doktoriral iz računalništva in umetne inteligence na Univerzi Northwestern.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :ima
- : je
- $GOR
- 10
- 100
- 15 let
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Sposobna
- O meni
- dostop
- upravljanje dostopa
- Račun
- natančna
- čez
- prilagodijo
- Poleg tega
- naslovi
- administratorji
- Sprejem
- napredno
- Prednost
- po
- AI
- vsi
- dodeljenih
- omogočajo
- dovoljene
- Prav tako
- Čeprav
- Amazon
- Amazon Web Services
- an
- Analiza
- analitika
- in
- odkrivanje anomalije
- API
- API-ji
- pristop
- Arhitektura
- SE
- umetni
- Umetna inteligenca
- Umetnost
- AS
- At
- privlačen
- Preverjanje pristnosti
- avto
- avtomatizirati
- samodejno
- Nagrade
- AWS
- Baas
- nazaj
- backup
- uravnoteženje
- temeljijo
- BE
- ker
- bilo
- počutje
- Prednosti
- med
- Blog
- telo
- maribor
- tako
- široka
- obremenitev
- vendar
- by
- CA
- se imenuje
- CAN
- Zmogljivosti
- zmožnost
- Kariera
- primeru
- Katalog
- Spremembe
- izbira
- možnosti
- izbral
- CIO
- stranke
- tesno
- Cloud
- Koda
- Kodiranje
- sodelovanje
- zbirka
- Zbirke
- Skupno
- kompleksna
- obsegajo
- Izračunajte
- računalnik
- Računalništvo
- Skrb
- konference
- konfigurirano
- šteje
- kontakti
- ozadje
- nadzor
- Nadzor
- Core
- strošek
- stroški
- kritje
- ustvarjajo
- Ustvarjanje
- Oblikovanje
- Mandatno
- CTO
- stranka
- Stranke, ki so
- cyber
- nadzorne plošče
- datum
- dostop do podatkov
- izguba podatkov
- Baze podatkov
- odloča
- namenjen
- privzeto
- zahteve
- razporedi
- uvajanje
- opis
- Oblikovanje
- oblikovanje
- Podrobnosti
- Odkrivanje
- Razvojni
- razvoju
- Razvoj
- imeniki
- dokument
- Dokumenti
- domena
- domen
- navzdol
- vsak
- lahka
- elektronskem poslovanju
- učinkovite
- prizadevanje
- e-pošta
- omogočena
- šifriranje
- uveljavljanje
- Motor
- inženir
- Inženiring
- Inženirji
- zagotovitev
- zagotoviti
- podjetniškega razreda
- okolje
- okolja
- Napaka
- napake
- Eter (ETH)
- Tudi
- Event
- dogodki
- razvil
- Primer
- pričakuje
- Dejstvo
- Lastnosti
- datoteke
- končna
- prva
- Osredotočite
- po
- za
- Naprej
- je pokazala,
- Fundacija
- pogosto
- iz
- polno
- v celoti
- funkcionalnost
- nadalje
- Poleg tega
- pridobivanje
- GitHub
- globus
- nepovratna sredstva
- skupina
- Gost
- Blog za goste
- Navodila
- imel
- Imajo
- he
- Glava
- pomoč
- Pomaga
- drži
- Kako
- Kako
- HTML
- http
- HTTPS
- Stotine
- IAM
- ID
- identiteta
- upravljanje identitete in dostopa
- if
- takoj
- izvajati
- izvajali
- uvoz
- izboljšanje
- in
- vključeno
- Vključno
- Povečajte
- Indeks
- indeksirane
- indekse
- Podatki
- začetna
- na začetku
- Inovacije
- nagrade za inovacije
- Intelligence
- vmesnik
- v
- Uvedeno
- izolacija
- IT
- Izdelkov
- ponovitev
- ITS
- pridružil
- Jon
- Potovanje
- jpg
- json
- Ključne
- velika
- obsežne
- kosilo
- začetek
- vodi
- Interesenti
- puščanje
- Led
- levo
- manj
- Stopnja
- knjižnice
- življenski krog
- kot
- povezane
- nalaganje
- prijavi
- off
- IZDELA
- Izdelava
- upravlja
- upravljanje
- upravitelj
- upravljanje
- ročno
- več
- mojster
- Stave
- Maj ..
- pomeni
- pomenilo
- Srečati
- član
- metapodatki
- Meritve
- Microsoft
- Microsoft 365
- selitev
- selitev
- Model
- mesec
- več
- Najbolj
- premikanje
- veliko
- več
- Ime
- Imenovan
- potrebno
- Nimate
- potrebna
- potrebe
- mreža
- Dostop do omrežja
- Novo
- Northwestern University
- Opaziti..
- Številka
- predmet
- of
- Ponudbe
- OKTA
- on
- Na vkrcanje
- ONE
- samo
- open source
- deluje
- operativno
- Optimizirajte
- optimizacijo
- Možnost
- or
- Oss
- ven
- več
- pregled
- lastne
- lastništvo
- Stran
- Palo Alto
- Peak
- Pennsylvania
- za
- performance
- Dovoljenje
- Dovoljenja
- perspektiva
- platforma
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- plugins
- politike
- politika
- bazen
- Prispevek
- preprečiti
- prejšnja
- primarni
- , ravnateljica
- Predhodna
- Procesi
- Izdelek
- upravljanje izdelkov
- proizvodnja
- Izdelki
- profil
- zaščito
- zagotavljajo
- če
- Ponudnik
- zagotavljanje
- zagotavljanje
- hitro
- območje
- Preberi
- Bralec
- zmanjša
- Zmanjšana
- registracija
- zanesljiv
- zahteva
- zahteva
- obvezna
- Zahteve
- zahteva
- rešiti
- vir
- viri
- Odgovor
- odgovorna
- obnovitev
- Rezultati
- vrnitev
- ponovna
- vloga
- Valjani
- Valjanje
- soba
- pravila
- Enako
- Prilagodljivost
- Lestvica
- skaliranje
- Znanost
- Obseg
- Iskalnik
- iskalnik
- iskanje
- drugi
- zavarovanje
- varnost
- pošiljanja
- višji
- Brez strežnika
- Storitev
- Storitve
- nastavite
- več
- Delite s prijatelji, znanci, družino in partnerji :-)
- deli
- Razstave
- podpisati
- podpisano
- Znaki
- Enostavno
- sam
- Velikosti
- delček
- So
- Software
- Razvoj programske opreme
- Software Engineer
- Rešitev
- rešitve
- Zvočniki
- specifična
- posebej
- Stabilnost
- stabilna
- Osebje
- Država
- Korak
- shranjevanje
- shranjeni
- String
- močna
- močnejši
- apartma
- podpora
- Podpora
- Podpira
- Bodite
- sprejeti
- skupina
- Skupine
- tech
- tehnični
- začasna
- najemnik
- kot
- hvala
- da
- O
- njihove
- Njih
- te
- jih
- tretja
- ta
- grožnje
- 3
- čas
- do
- skupaj
- vzel
- vrh
- Skupaj za plačilo
- Prometa
- Transakcije
- transakcij na sekundo
- Obrnjen
- osnovni
- enote
- univerza
- Univerza v Pensilvaniji
- posodobljeno
- uporaba
- primeru uporabe
- Rabljeni
- uporabnik
- Uporabniški vmesnik
- uporablja
- uporabo
- pripomoček
- Vrednote
- preko
- obisk
- vizualizacija
- vp
- želeli
- je
- we
- web
- spletne storitve
- Dobro
- so bili
- kadar koli
- ki
- medtem
- WHO
- celoti
- z
- v
- brez
- delo
- delati skupaj
- Delovna sila
- deluje
- bi
- pisati
- WSJ
- leto
- let
- zefirnet