Aceasta este o postare pe blog pentru invitați, scrisă împreună cu Zack Rossman de la Alcion.
Alcion, o platformă BaaS (BaaS) bazată pe securitate, bazată pe AI, ajută administratorii Microsoft 365 să protejeze rapid și intuitiv datele împotriva amenințărilor cibernetice și a pierderii accidentale de date. În cazul pierderii de date, clienții Alcion trebuie să caute metadate pentru elementele pentru care au făcut copii de rezervă (fișiere, e-mailuri, contacte, evenimente și așa mai departe) pentru a selecta versiuni specifice de elemente pentru restaurare. Alcion folosește Serviciul Amazon OpenSearch pentru a oferi clienților lor capabilități de căutare precise, eficiente și de încredere în acest catalog de rezervă. Platforma este multi-chiriași, ceea ce înseamnă că Alcion necesită izolarea datelor și securitate puternică, astfel încât să se asigure că chiriașii pot căuta doar propriile date.
OpenSearch Service este un serviciu complet gestionat care facilitează implementarea, scalarea și operarea OpenSearch în AWS Cloud. OpenSearch este o suită de căutare și analiză open-source, cu licență Apache-2.0, care cuprinde OpenSearch (un motor de căutare, analiză și bază de date vectorială), OpenSearch Dashboards (o interfață de utilizator de vizualizare și utilitate) și pluginuri care oferă capabilități avansate, cum ar fi întreprinderile -grad de securitate, detectarea anomaliilor, observabilitate, alertă și multe altele. Amazon OpenSearch Serverless este o opțiune de implementare fără server care simplifică utilizarea OpenSearch fără configurarea, gestionarea și scalarea domeniilor OpenSearch Service.
În această postare, împărtășim modul în care adoptarea OpenSearch Serverless i-a permis lui Alcion să-și îndeplinească cerințele de scară, să-și reducă cheltuielile operaționale și să securizeze datele chiriașilor prin aplicarea izolarea chiriașului în mediul lor multi-locatari.
Domeniile gestionate de OpenSearch Service
Pentru prima iterație a arhitecturii lor de căutare, Alcion a ales opțiunea de implementare a domeniilor gestionate în OpenSearch Service și a putut să-și lanseze funcționalitatea de căutare în producție în mai puțin de o lună. Pentru a îndeplini cerințele lor de securitate, scalare și închiriere, au stocat datele pentru fiecare chiriaș într-un index dedicat și au folosit control al accesului fin în OpenSearch Service pentru a preveni scurgerile de date între chiriași. Pe măsură ce volumul lor de muncă a evoluat, inginerii Alcion au urmărit utilizarea domeniului OpenSearch prin intermediul programului furnizat Amazon CloudWatch metrici, făcând modificări pentru a crește spațiul de stocare și a-și optimiza resursele de calcul.
Echipa de la Alcion a folosit mai multe caracteristici ale domeniilor gestionate de OpenSearch Service pentru a-și îmbunătăți poziția operațională. Au introdus alias-uri de index, care oferă un singur nume de alias pentru a accesa (citește și scrie) mai mulți indecși de bază. S-au si configurat Managementul statului indicelui (ISM) pentru a-i ajuta să-și controleze ciclul de viață al datelor prin transferarea indicilor în funcție de dimensiunea indexului. Împreună, politicile ISM și aliasurile de index au fost necesare pentru a scala indici pentru chiriașii mari. A folosit și Alcion șabloane de index să definească fragmentele pe index (partiționare) ale datelor lor, astfel încât să le automatizeze ciclul de viață al datelor și să îmbunătățească performanța și stabilitatea domeniilor lor.
Următoarea diagramă de arhitectură arată modul în care Alcion și-a configurat domeniile gestionate OpenSearch.
Următoarea diagramă arată modul în care datele Microsoft 365 au fost indexate și interogate din indecși specifici locatarului. Alcion a implementat autentificarea solicitărilor furnizând acreditările de utilizator principal OpenSearch cu fiecare solicitare API.
Prezentare generală OpenSearch Serverless și opțiuni de model de închiriere
Domeniile gestionate de OpenSearch Service au oferit o bază stabilă pentru funcționalitatea de căutare a Alcion, dar echipa trebuia să furnizeze manual resurse pentru domenii pentru volumul maxim de lucru al acestora. Acest lucru a lăsat loc pentru optimizarea costurilor, deoarece volumul de lucru al Alcion este exploziv — există variații mari în numărul de tranzacții de căutare și indexare pe secundă, atât pentru un singur client, cât și în ansamblu. Pentru a reduce costurile și sarcina operațională, echipa a apelat la OpenSearch Serverless, care oferă capacitate de scalare automată.
Pentru a utiliza OpenSearch Serverless, primul pas este crearea unei colecții. A colectare este un grup de indici OpenSearch care lucrează împreună pentru a sprijini o anumită sarcină de lucru sau un caz de utilizare specific. Resursele de calcul pentru o colecție, numite OpenSearch Compute Units (OCU), sunt partajate în toate colecțiile dintr-un cont care partajează o cheie de criptare. Grupul de OCU este mărit și redus automat pentru a satisface cerințele de indexare și trafic de căutare.
Nivelul de efort necesar pentru a migra de la un domeniu gestionat OpenSearch Service la OpenSearch Serverless a fost gestionabil datorită faptului că colecțiile OpenSearch Serverless acceptă aceleași API-uri și biblioteci OpenSearch ca și domeniile gestionate OpenSearch Service. Acest lucru a permis lui Alcion să se concentreze pe optimizarea modelului de închiriere pentru noua arhitectură de căutare. Mai exact, echipa trebuia să decidă cum să partiționeze datele chiriașilor în colecții și indici, echilibrând în același timp securitatea și costul total de proprietate. Inginerii Alcion, în colaborare cu echipa OpenSearch Serverless, luate în considerare trei modele de închiriere:
- Model siloz: Creați o colecție pentru fiecare chiriaș
- Model de grup: creați o singură colecție și utilizați un singur index pentru mai mulți chiriași
- Model Bridge: creați o singură colecție și utilizați un singur index pentru fiecare chiriaș
Toate cele trei opțiuni de proiectare au avut beneficii și compromisuri care au trebuit să fie luate în considerare pentru proiectarea soluției finale.
Model siloz: Creați o colecție pentru fiecare chiriaș
În acest model, Alcion ar crea o nouă colecție ori de câte ori un client nou intra pe platforma lor. Deși datele chiriașilor ar fi clar separate între colecții, această opțiune a fost descalificată deoarece timpul de creare a colecției a însemnat că clienții nu ar putea să facă copii de siguranță și să caute datele imediat după înregistrare.
Model de grup: creați o singură colecție și utilizați un singur index pentru mai mulți chiriași
În acest model, Alcion ar crea o singură colecție pentru fiecare cont AWS și ar indexa datele specifice locatarului într-unul dintre numeroșii indecși partajați care aparțin acelei colecții. Inițial, punerea în comun a datelor chiriașilor în indici partajați a fost atractivă dintr-o perspectivă la scară, deoarece aceasta a condus la utilizarea cea mai eficientă a resurselor de index. Dar, după o analiză suplimentară, Alcion a constatat că s-ar încadra cu mult în cota de indice per colecție, chiar dacă ar aloca câte un indice pentru fiecare chiriaș. Odată soluționată această problemă de scalabilitate, Alcion a urmărit a treia opțiune, deoarece împingerea datelor chiriașilor în indici dedicați are ca rezultat o izolare mai puternică a chiriașilor decât modelul de index partajat.
Model Bridge: creați o singură colecție și utilizați un singur index pentru fiecare chiriaș
În acest model, Alcion ar crea o singură colecție per cont AWS și va crea un index pentru fiecare dintre sutele de chiriași gestionați de acel cont. Prin atribuirea fiecărui chiriaș unui index dedicat și gruparea acestor indici într-o singură colecție, Alcion a redus timpul de integrare pentru noii chiriași și a pus datele locatariilor în compartimente curate separate.
Implementarea controlului accesului bazat pe roluri pentru susținerea multi-tenancy
OpenSearch Serverless oferă un set de controale de securitate în mai multe puncte, moștenite, care acoperă accesul la date, accesul la rețea și criptarea. Alcion a profitat din plin de OpenSearch Serverless politicile de acces la date pentru a implementa controlul accesului bazat pe rol (RBAC) pentru fiecare index specific chiriașului cu următoarele detalii:
- Alocați un index cu un prefix comun și ID-ul chiriașului (de exemplu,
index-v1-<tenantID>
) - Creați un dedicat Gestionarea identității și accesului AWS (IAM) care este utilizat pentru a semna cereri către colecția OpenSearch Serverless
- Creați o politică de acces la date OpenSearch Serverless care acordă permisiuni de citire/scriere document într-un index dedicat locatarului rolului IAM pentru acel chiriaș
- Solicitările API OpenSearch către un index de locatari sunt semnate cu acreditări temporare aparținând rolului IAM specific chiriașului
Următorul este un exemplu de politică de acces la date OpenSearch Serverless pentru un chiriaș simulat cu ID t-eca0acc1-12345678910
. Această politică acordă documentului de rol IAM acces de citire/scriere accesului locatarului dedicat.
Următoarea diagramă de arhitectură ilustrează modul în care Alcion a implementat indexarea și căutarea resurselor Microsoft 365 folosind abordarea de colectare partajată OpenSearch Serverless.
Următorul este exemplul de fragment de cod pentru trimiterea unei solicitări API către o colecție OpenSearch Serverless. Observați cum clientul API este inițializat cu un obiect semnatar care semnează cereri cu același principal IAM care este legat de politica de acces la date OpenSearch Serverless din fragmentul de cod anterior.
Concluzie
În mai 2023, Alcion și-a lansat arhitectura de căutare bazată pe colecția partajată și modelul dedicat index-per-chiriaș în toate mediile de producție și pre-producție. Echipa a reușit să elimine coduri complexe și procese operaționale care au fost dedicate scalării domeniilor gestionate de OpenSearch Service. În plus, datorită capacităților de scalare automată ale OpenSearch Serverless, Alcion și-a redus costurile cu OpenSearch cu 30% și se așteaptă ca profilul de cost să se scaleze favorabil.
În călătoria lor de la Serviciul OpenSearch administrat la Serviciu OpenSearch fără server, Alcion a beneficiat de alegerea inițială a domeniilor gestionate de Serviciu OpenSearch. În migrarea înainte, ei au putut să refolosească aceleași API-uri și biblioteci OpenSearch pentru colecțiile lor OpenSearch Serverless pe care le-au folosit pentru domeniul lor administrat OpenSearch Service. În plus, și-au actualizat modelul de închiriere pentru a profita de politicile de acces la date OpenSearch Serverless. Cu OpenSearch Serverless, aceștia au putut să se adapteze fără efort la nevoile clienților lor, asigurând în același timp izolarea chiriașilor.
Pentru mai multe informații despre Alcion, vizitați-le .
Despre Autori
Zack Rossman este membru al personalului tehnic la Alcion. El este liderul tehnologic pentru platformele de căutare și AI. Înainte de Alcion, Zack a fost inginer senior software la Okta, dezvoltând produse de bază de gestionare a identității forței de muncă și a accesului pentru echipa Directoare.
Niraj Jetly este manager de dezvoltare software pentru Amazon OpenSearch Serverless. Niraj conduce mai multe echipe de date responsabile de lansarea Amazon OpenSearch Serverless. Înainte de AWS, Niraj a condus mai multe echipe de produse și inginerie în calitate de CTO, VP de Inginerie și Șef de Management de Produs timp de peste 15 ani. Niraj a primit peste 15 premii pentru inovație, inclusiv a fost numit CIO al anului în 2014 și top 100 CIO în 2013 și 2016. Vorbitor frecvent la mai multe conferințe, a fost citat în NPR, WSJ și The Boston Globe.
Jon Handler este arhitect principal principal de soluții la Amazon Web Services cu sediul în Palo Alto, CA. Jon lucrează îndeaproape cu OpenSearch și Amazon OpenSearch Service, oferind ajutor și îndrumări unei game largi de clienți care au sarcini de lucru de analiză de căutare și jurnal pe care doresc să le mute în AWS Cloud. Înainte de a se alătura AWS, cariera lui Jon ca dezvoltator de software a inclus 4 ani de codificare a unui motor de căutare de comerț electronic la scară largă. Jon deține o licență în arte de la Universitatea din Pennsylvania și un master în știință și un doctorat în informatică și inteligență artificială de la Universitatea Northwestern.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :are
- :este
- $UP
- 10
- 100
- ani 15
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Capabil
- Despre Noi
- acces
- managementul accesului
- Cont
- precis
- peste
- adapta
- În plus,
- adrese
- administratori
- Adoptarea
- avansat
- Avantaj
- După
- AI
- TOATE
- alocate
- permite
- permis
- de asemenea
- Cu toate ca
- Amazon
- Amazon Web Services
- an
- analiză
- Google Analytics
- și
- detectarea anomaliilor
- api
- API-uri
- abordare
- arhitectură
- SUNT
- artificial
- inteligență artificială
- Arte
- AS
- At
- atractiv
- Autentificare
- Auto
- automatizarea
- în mod automat
- Premii
- AWS
- Baas
- înapoi
- Backup
- de echilibrare
- bazat
- BE
- deoarece
- fost
- fiind
- Beneficiile
- între
- Blog
- corp
- boston
- atât
- larg
- povară
- dar
- by
- CA
- denumit
- CAN
- capacități
- capacitate
- Carieră
- caz
- catalog
- Modificări
- alegere
- alegeri
- a ales
- CIO
- client
- îndeaproape
- Cloud
- cod
- Codificare
- colaborare
- colectare
- colecții
- Comun
- complex
- care cuprinde
- Calcula
- calculator
- Informatică
- Îngrijorare
- conferințe
- configurat
- luate în considerare
- contacte
- context
- Control
- controale
- Nucleu
- A costat
- Cheltuieli
- acoperire
- crea
- Crearea
- creaţie
- scrisori de acreditare
- CTO
- client
- clienţii care
- Cyber
- tablouri de bord
- de date
- accesul la date
- pierderi de date
- Baza de date
- decide
- dedicat
- Mod implicit
- cererile
- implementa
- desfășurarea
- descriere
- Amenajări
- proiect
- detalii
- Detectare
- Dezvoltator
- în curs de dezvoltare
- Dezvoltare
- directoare
- document
- documente
- domeniu
- domenii
- jos
- fiecare
- uşor
- E-commerce
- eficient
- efort
- e-mailuri
- activat
- criptare
- aplicarea
- Motor
- inginer
- Inginerie
- inginerii
- asigura
- asigurare
- íntreprindere
- Mediu inconjurator
- medii
- eroare
- Erori
- Eter (ETH)
- Chiar
- eveniment
- evenimente
- evoluat
- exemplu
- se așteaptă
- fapt
- DESCRIERE
- Fişiere
- final
- First
- Concentra
- următor
- Pentru
- Înainte
- găsit
- Fundație
- frecvent
- din
- Complet
- complet
- funcționalitate
- mai mult
- În plus
- obtinerea
- GitHub
- glob
- subvenții
- grup
- Oaspete
- Blog de invitați
- îndrumare
- HAD
- Avea
- he
- cap
- ajutor
- ajută
- deține
- Cum
- Cum Pentru a
- HTML
- http
- HTTPS
- sute
- IAM
- ID
- Identitate
- gestionarea identității și accesului
- if
- imediat
- punerea în aplicare a
- implementat
- import
- îmbunătăţi
- in
- inclus
- Inclusiv
- Crește
- index
- indexate
- indexurile
- informații
- inițială
- inițial
- Inovaţie
- premii pentru inovare
- Inteligență
- interfaţă
- în
- introdus
- izolare
- IT
- articole
- repetare
- ESTE
- aderarea
- jon
- călătorie
- jpg
- JSON
- Cheie
- mare
- pe scară largă
- lansa
- lansare
- conduce
- Conduce
- Scurgeri
- Led
- stânga
- mai puțin
- Nivel
- biblioteci
- ciclu de viață
- ca
- legate de
- încărcare
- log
- de pe
- FACE
- Efectuarea
- gestionate
- administrare
- manager
- de conducere
- manual
- multe
- maestru
- Meci
- Mai..
- mijloace
- a însemnat
- Întâlni
- membru
- Metadata
- Metrici
- Microsoft
- Microsoft 365
- migra
- Migrarea
- model
- Lună
- mai mult
- cele mai multe
- muta
- mult
- multiplu
- nume
- Numit
- necesar
- Nevoie
- necesar
- nevoilor
- reţea
- Acces la retea
- Nou
- Universitatea Northwestern
- Înștiințare..
- număr
- obiect
- of
- promoții
- OKTA
- on
- La imbarcare
- ONE
- afară
- open-source
- funcionar
- operațional
- Optimizați
- optimizarea
- Opțiune
- or
- Ne
- afară
- peste
- Prezentare generală
- propriu
- proprietate
- pagină
- Palo Alto
- Vârf
- Pennsylvania
- pentru
- performanță
- permisiune
- permisiuni
- perspectivă
- platformă
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- Plugin-uri
- Politicile
- Politica
- piscină
- Post
- împiedica
- precedent
- primar
- Principal
- anterior
- procese
- Produs
- management de produs
- producere
- Produse
- Profil
- proteja
- furniza
- prevăzut
- furnizorul
- furnizarea
- dispoziţie
- repede
- gamă
- Citeste
- Cititor
- reduce
- Redus
- Înscriere
- de încredere
- solicita
- cereri de
- necesar
- Cerinţe
- Necesită
- hotărât
- resursă
- Resurse
- răspuns
- responsabil
- restabili
- REZULTATE
- reveni
- reutilizarea
- Rol
- Produse laminate
- Rulare
- Cameră
- norme
- acelaşi
- scalabilitate
- Scară
- scalare
- Ştiinţă
- domeniu
- Caută
- motor de cautare
- căutare
- Al doilea
- sigur
- securitate
- trimitere
- senior
- serverless
- serviciu
- Servicii
- set
- câteva
- Distribuie
- comun
- Emisiuni
- semna
- semnat
- Semne
- simplu
- singur
- Mărimea
- fragment
- So
- Software
- de dezvoltare de software
- Inginer Software
- soluţie
- soluţii
- Vorbitor
- specific
- specific
- Stabilitate
- stabil
- Personal
- Stat
- Pas
- depozitare
- stocate
- Şir
- puternic
- puternic
- suită
- a sustine
- De sprijin
- Sprijină
- Lua
- luate
- echipă
- echipe
- tech
- Tehnic
- temporar
- chiriaş
- decât
- Mulțumiri
- acea
- lor
- Lor
- Acestea
- ei
- Al treilea
- acest
- amenințări
- trei
- timp
- la
- împreună
- a luat
- top
- Total
- trafic
- Tranzacții
- tranzacțiile pe secundă
- transformat
- care stau la baza
- de unităţi
- universitate
- Universitatea din Pennsylvania
- actualizat
- utilizare
- carcasa de utilizare
- utilizat
- Utilizator
- User Interface
- utilizări
- folosind
- utilitate
- Valori
- de
- Vizita
- vizualizare
- vp
- vrea
- a fost
- we
- web
- servicii web
- BINE
- au fost
- oricând
- care
- în timp ce
- OMS
- întreg
- cu
- în
- fără
- Apartamente
- lucram impreuna
- Forta de munca
- fabrică
- ar
- scrie
- WSJ
- an
- ani
- zephyrnet