Ez egy vendég blogbejegyzés, amelyet Zack Rossmannel az Alcionból közösen írtunk.
Az Alcion, a biztonság előtt álló, mesterséges intelligencia által vezérelt biztonsági mentés szolgáltatásként (BaaS) platform, amely segít a Microsoft 365 rendszergazdáinak gyorsan és intuitív módon megvédeni az adatokat a számítógépes fenyegetésektől és a véletlen adatvesztéstől. Adatvesztés esetén az Alcion ügyfeleinek meg kell keresniük a mentett elemek (fájlok, e-mailek, névjegyek, események és így tovább) metaadatait, hogy kiválasszák a visszaállításhoz szükséges konkrét tételverziókat. Alcion használ Amazon OpenSearch szolgáltatás hogy ügyfeleiknek pontos, hatékony és megbízható keresési lehetőséget biztosítsanak ebben a biztonsági mentési katalógusban. A platform több bérlős, ami azt jelenti, hogy az Alcion adatszigetelést és erős biztonságot igényel annak érdekében, hogy a bérlők csak a saját adataikban kereshessenek.
Az OpenSearch Service egy teljesen felügyelt szolgáltatás, amely megkönnyíti az OpenSearch telepítését, méretezését és működtetését az AWS felhőben. Az OpenSearch egy Apache-2.0 licenccel rendelkező, nyílt forráskódú kereső és elemző programcsomag, amely tartalmazza az OpenSearch-t (kereső, elemző motor és vektoros adatbázis), az OpenSearch irányítópultokat (vizualizációs és segédprogram felhasználói felület), valamint olyan bővítményeket, amelyek fejlett funkciókat biztosítanak, mint például a vállalati. - szintű biztonság, anomáliák észlelése, megfigyelhetőség, riasztás és még sok más. Amazon OpenSearch kiszolgáló nélküli egy kiszolgáló nélküli telepítési lehetőség, amely egyszerűvé teszi az OpenSearch használatát az OpenSearch szolgáltatási tartományok konfigurálása, kezelése és méretezése nélkül.
Ebben a bejegyzésben megosztjuk, hogy az OpenSearch Serverless bevezetése hogyan tette lehetővé az Alcion számára, hogy megfeleljen méretkövetelményeinek, csökkentse működési költségeit, és biztosítsa bérlői adatait bérlői elszigeteltség több bérlős környezetükön belül.
OpenSearch Service által kezelt domainek
A keresési architektúra első iterációjához az Alcion a felügyelt tartományok telepítési opcióját választotta az OpenSearch Service-ben, és kevesebb mint egy hónapon belül elindíthatta keresési funkcióját élesben. Biztonsági, méretarányos és bérleti követelményeik teljesítése érdekében minden bérlő adatait külön indexben tárolták, és felhasználták finomszemcsés hozzáférés-szabályozás az OpenSearch szolgáltatásban a bérlői adatszivárgások elkerülése érdekében. Ahogy a munkaterhelés fejlődött, az Alcion mérnökei nyomon követték az OpenSearch domain kihasználtságát a rendelkezésre álló eszközökön keresztül amazonfelhőóra mérőszámokat, változtatásokat hajtanak végre a tárhely növelése és számítási erőforrásaik optimalizálása érdekében.
Az Alcion csapata az OpenSearch Service által kezelt domainek számos funkcióját használta működési helyzetük javítására. Bevezették az indexálneveket, amelyek egyetlen álnevet biztosítanak több mögöttes index eléréséhez (olvasásához és írásához). Be is konfigurálták Index Államgazdálkodás (ISM) házirendek, amelyek segítenek nekik szabályozni adatéletciklusukat az indexek indexmérete alapján történő görgetésével. Az ISM-irányelvek és az indexálnevek együttesen szükségesek voltak a nagy bérlők indexeinek méretezéséhez. Alcion is használt indexsablonok adataik indexenkénti (particionálása) szilánkjainak meghatározása az adatéletciklus automatizálása és a tartományaik teljesítményének és stabilitásának javítása érdekében.
A következő architektúra diagram bemutatja, hogyan konfigurálta az Alcion az OpenSearch felügyelt tartományait.
A következő diagram bemutatja, hogyan indexelték a Microsoft 365-adatokat, és hogyan kérdezték le őket a bérlőspecifikus indexekből. Az Alcion úgy valósította meg a kérés-hitelesítést, hogy minden API-kérelemhez megadta az OpenSearch elsődleges felhasználói hitelesítő adatait.
OpenSearch szerver nélküli áttekintés és bérleti modell opciók
Az OpenSearch Service által kezelt tartományok stabil alapot biztosítottak az Alcion keresési funkcióihoz, de a csapatnak manuálisan kellett erőforrásokat biztosítania a tartományokhoz a csúcsterheléshez. Ez teret hagyott a költségoptimalizálásra, mivel az Alcion munkaterhelése nagy – nagy eltérések mutatkoznak a másodpercenkénti keresési és indexelési tranzakciók számában, mind egy ügyfélre, mind pedig az egészre nézve. A költségek és a működési terhek csökkentése érdekében a csapat az OpenSearch Serverlesshez fordult, amely automatikus skálázási lehetőséget kínál.
Az OpenSearch Serverless használatához az első lépés egy gyűjtemény létrehozása. A gyűjtemény az OpenSearch indexek csoportja, amelyek együtt működnek egy adott munkaterhelés vagy használati eset támogatásában. Az OpenSearch számítási egységek (OCU) nevű gyűjtemény számítási erőforrásai meg vannak osztva egy fiók összes gyűjteményében, amely megosztja a titkosítási kulcsot. Az OCU-készlet automatikusan felfelé és lefelé skálázódik, hogy megfeleljen az indexelés és a keresési forgalom igényeinek.
Az OpenSearch Service által felügyelt tartományról az OpenSearch Serverlessre való migrációhoz szükséges erőfeszítések kezelhetőek voltak, köszönhetően annak a ténynek, hogy az OpenSearch Serverless gyűjtemények ugyanazokat az OpenSearch API-kat és könyvtárakat támogatják, mint az OpenSearch Service felügyelt tartományai. Ez lehetővé tette az Alcion számára, hogy a bérleti modell optimalizálására összpontosítson az új keresési architektúrához. Pontosabban, a csapatnak el kellett döntenie, hogyan lehet particionálni a bérlői adatokat a gyűjteményekben és indexekben, miközben egyensúlyba hozza a biztonságot és a teljes birtoklási költséget. Az Alcion mérnökei az OpenSearch Serverless csapattal együttműködve, három bérleti modellt vett figyelembe:
- Silómodell: Hozzon létre egy gyűjteményt minden bérlő számára
- Pool modell: Hozzon létre egyetlen gyűjteményt, és használjon egyetlen indexet több bérlő számára
- Hídmodell: Hozzon létre egyetlen gyűjteményt, és használjon bérlőnként egyetlen indexet
Mindhárom tervezési választásnak voltak előnyei és kompromisszumai, amelyeket figyelembe kellett venni a végső megoldás megtervezésekor.
Silómodell: Hozzon létre egy gyűjteményt minden bérlő számára
Ebben a modellben az Alcion új kollekciót hoz létre, amikor új ügyfél csatlakozik a platformjukhoz. Bár a bérlői adatok egyértelműen elkülönülnének a gyűjtemények között, ezt a lehetőséget kizárták, mert a gyűjtemény létrehozásának ideje miatt az ügyfelek nem tudnak azonnal biztonsági másolatot készíteni és keresni az adatokban a regisztráció után.
Pool modell: Hozzon létre egyetlen gyűjteményt, és használjon egyetlen indexet több bérlő számára
Ebben a modellben az Alcion egyetlen gyűjteményt hoz létre AWS-fiókonként, és a bérlőspecifikus adatokat indexelné a gyűjteményhez tartozó számos megosztott index egyikében. Kezdetben a bérlői adatok megosztott indexekbe gyűjtése vonzó volt a skála szempontjából, mert ez vezetett az index-erőforrások leghatékonyabb felhasználásához. De további elemzés után az Alcion úgy találta, hogy még akkor is bőven belül lennének a gyűjteményenkénti indexkvótán, ha minden bérlő számára egy indexet osztanának ki. Miután ez a méretezhetőségi aggály megoldódott, az Alcion a harmadik lehetőséget választotta, mivel a bérlői adatok dedikált indexekbe való áthelyezése erősebb bérlői elszigeteltséget eredményez, mint a megosztott indexmodell.
Hídmodell: Hozzon létre egyetlen gyűjteményt, és használjon bérlőnként egyetlen indexet
Ebben a modellben az Alcion egyetlen gyűjteményt hoz létre AWS-fiókonként, és létrehoz egy indexet az adott fiók által kezelt több száz bérlő mindegyikéhez. Azzal, hogy minden bérlőt hozzárendelt egy dedikált indexhez, és ezeket az indexeket egyetlen gyűjteményben egyesítette, az Alcion csökkentette az új bérlők belépési idejét, és a bérlői adatokat tisztán elkülönített gyűjtőhelyekbe csoportosította.
Szerepalapú hozzáférés-vezérlés megvalósítása több bérlés támogatásához
Az OpenSearch Serverless többpontos, örökölhető biztonsági vezérlőket kínál, beleértve az adathozzáférést, a hálózati hozzáférést és a titkosítást. Alcion teljes mértékben kihasználta az OpenSearch Serverless előnyeit adathozzáférési szabályzatok szerepalapú hozzáférés-vezérlés (RBAC) megvalósítása minden bérlő-specifikus indexhez a következő részletekkel:
- Rendeljen hozzá egy indexet egy közös előtaggal és a bérlői azonosítóval (például
index-v1-<tenantID>
) - Hozzon létre egy dedikált AWS Identity and Access Management (IAM) szerepkör, amely az OpenSearch Serverless gyűjtemény kérelmeinek aláírására szolgál
- Hozzon létre egy OpenSearch szerver nélküli adathozzáférési házirendet, amely dokumentum olvasási/írási engedélyeket ad egy dedikált bérlői indexen belül az adott bérlő IAM-szerepére.
- A bérlői indexhez intézett OpenSearch API-kérelmek a bérlőspecifikus IAM-szerepkörhöz tartozó ideiglenes hitelesítő adatokkal vannak aláírva
Az alábbiakban egy példa az OpenSearch kiszolgáló nélküli adathozzáférési szabályzata egy azonosítóval rendelkező álbérlőhöz t-eca0acc1-12345678910
. Ez a házirend olvasási/írási hozzáférést biztosít az IAM szerepkör dokumentumának a dedikált bérlői hozzáféréshez.
A következő architektúra diagram bemutatja, hogyan valósította meg az Alcion az indexelést és a Microsoft 365-erőforrások keresését az OpenSearch Serverless megosztott gyűjtési megközelítéssel.
A következő mintakódrészlet egy API-kérés OpenSearch kiszolgáló nélküli gyűjteménybe történő küldéséhez. Figyelje meg, hogyan inicializálják az API-klienst egy aláíró objektummal, amely a kéréseket ugyanazzal az IAM-névvel írja alá, amely az előző kódrészletben található OpenSearch Serverless adathozzáférési szabályzathoz kapcsolódik.
Következtetés
2023 májusában az Alcion minden éles és gyártás előtti környezetben bevezette a megosztott gyűjteményre és a bérlőnkénti indexre épülő keresési architektúráját. A csapat képes volt kitépni az OpenSearch Service által kezelt tartományok méretezésére szánt összetett kódot és működési folyamatokat. Ezenkívül az OpenSearch Serverless automatikus skálázási képességeinek köszönhetően az Alcion 30%-kal csökkentette OpenSearch költségeit, és arra számít, hogy a költségprofil kedvezően skálázódik.
A felügyelt OpenSearch szolgáltatástól a kiszolgáló nélküli OpenSearch szolgáltatásig vezető út során az Alcion profitált abból, hogy kezdetben az OpenSearch Service felügyelt domainjeit választotta. Az átállás során ugyanazokat az OpenSearch API-kat és könyvtárakat tudták újra használni az OpenSearch kiszolgáló nélküli gyűjteményeikhez, amelyeket az OpenSearch Service által kezelt tartományukhoz használtak. Ezenkívül frissítették bérleti modelljüket, hogy kihasználják az OpenSearch kiszolgáló nélküli adathozzáférési szabályzatát. Az OpenSearch Serverless segítségével könnyedén alkalmazkodhattak ügyfeleik méretigényeihez, miközben biztosították a bérlői elszigeteltséget.
További információért Alcionról látogassa meg őket .
A szerzőkről
Zack Rossman az Alcion műszaki személyzetének tagja. Ő a keresési és mesterséges intelligencia platformok műszaki vezetője. Az Alcion előtt Zack az Okta vezető szoftvermérnöke volt, és alapvető munkaerő-identitás- és hozzáférés-kezelési termékeket fejlesztett ki a Directories csapat számára.
Niraj Jetly az Amazon OpenSearch Serverless szoftverfejlesztési menedzsere. Niraj több adatsík-csapatot vezet, amelyek felelősek az Amazon OpenSearch Serverless elindításáért. Az AWS előtt Niraj több termék- és mérnöki csapatot vezetett CTO-ként, mérnöki alelnökként és termékmenedzsment-vezetőként több mint 15 évig. Niraj több mint 15 innovációs díjat kapott, köztük 2014-ben az év informatikai igazgatójának, 100-ban és 2013-ban pedig a 2016 legjobb informatikai igazgatónak választották. Számos konferencia gyakori előadója, az NPR, a WSJ és a The Boston Globe idézi.
Jon Handler az Amazon Web Services vezető megoldási építésze, Palo Altoban, Kaliforniában. Jon szorosan együttműködik az OpenSearch-vel és az Amazon OpenSearch Service-vel, segítséget és útmutatást nyújtva azon ügyfelek széles körének, akiknek keresési és naplózási munkaterhelése van, és szeretnének áthelyezni az AWS-felhőbe. Mielőtt csatlakozott volna az AWS-hez, Jon szoftverfejlesztői karrierje 4 éven át egy nagyszabású, e-kereskedelmi keresőmotor kódolását jelentette. Jon a Pennsylvaniai Egyetemen szerzett Bachelor of the Arts fokozatot, valamint a Northwestern Egyetemen szerzett Master of Science fokozatot, valamint PhD fokozatot számítástechnika és mesterséges intelligencia szakon.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :van
- :is
- $ UP
- 10
- 100
- 15 év
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Képes
- Rólunk
- hozzáférés
- jogosultság kezelés
- Fiók
- pontos
- át
- alkalmazkodni
- Ezen kívül
- címek
- adminisztrátorok
- Elfogadása
- fejlett
- Előny
- Után
- AI
- Minden termék
- elkülönített
- lehetővé
- megengedett
- Is
- Bár
- amazon
- Az Amazon Web Services
- an
- elemzés
- analitika
- és a
- anomália észlelése
- api
- API-k
- megközelítés
- építészet
- VANNAK
- mesterséges
- mesterséges intelligencia
- Művészetek
- AS
- At
- vonzó
- Hitelesítés
- auto
- automatizált
- automatikusan
- Díjak
- AWS
- Baas
- vissza
- mentés
- kiegyensúlyozó
- alapján
- BE
- mert
- óta
- hogy
- Előnyök
- között
- Blog
- test
- Boston
- mindkét
- széles
- teher
- de
- by
- CA
- hívott
- TUD
- képességek
- képesség
- Karrier
- eset
- katalógus
- Változások
- választás
- választás
- választotta
- CIO
- vásárló
- szorosan
- felhő
- kód
- Kódolás
- együttműködés
- gyűjtemény
- gyűjtemény
- Közös
- bonyolult
- azzal jellemezve,
- Kiszámít
- számítógép
- Computer Science
- Vonatkozik
- konferenciák
- konfigurálva
- figyelembe vett
- Kapcsolatok
- kontextus
- ellenőrzés
- ellenőrzések
- Mag
- Költség
- kiadások
- fedő
- teremt
- létrehozása
- teremtés
- Hitelesítő adatok
- CTO
- vevő
- Ügyfelek
- cyber
- műszerfalak
- dátum
- adat hozzáférés
- adatvesztés
- adatbázis
- dönt
- elszánt
- alapértelmezett
- igények
- telepíteni
- bevetés
- leírás
- Design
- tervezés
- részletek
- Érzékelés
- Fejlesztő
- fejlesztése
- Fejlesztés
- könyvtárak
- dokumentum
- dokumentumok
- domain
- domainek
- le-
- minden
- könnyű
- e-kereskedelem
- hatékony
- erőfeszítés
- e-mailek
- engedélyezve
- titkosítás
- érvényesítése
- Motor
- mérnök
- Mérnöki
- Mérnökök
- biztosítására
- biztosítása
- vállalati szintű
- Környezet
- környezetek
- hiba
- hibák
- Eter (ETH)
- Még
- esemény
- események
- alakult ki
- példa
- elvárja
- tény
- Jellemzők
- Fájlok
- utolsó
- vezetéknév
- Összpontosít
- következő
- A
- Előre
- talált
- Alapítvány
- gyakori
- ból ből
- Tele
- teljesen
- funkcionalitás
- további
- Továbbá
- szerzés
- GitHub
- földgolyó
- támogatások
- Csoport
- Vendég
- Vendégblog
- útmutatást
- kellett
- Legyen
- he
- fej
- segít
- segít
- tart
- Hogyan
- How To
- HTML
- http
- HTTPS
- Több száz
- IAM
- ID
- Identitás
- identitás- és hozzáférés-kezelés
- if
- azonnal
- végre
- végre
- importál
- javul
- in
- beleértve
- Beleértve
- Növelje
- index
- indexelt
- indexek
- információ
- kezdetben
- alapvetően
- Innováció
- innovációs díjak
- Intelligencia
- Felület
- bele
- Bevezetett
- szigetelés
- IT
- tételek
- ismétlés
- ITS
- csatlakozott
- jon
- utazás
- jpg
- json
- Kulcs
- nagy
- nagyarányú
- indít
- indítás
- vezet
- vezetékek
- Szivárgás
- Led
- balra
- kevesebb
- szint
- könyvtárak
- életciklus
- mint
- összekapcsolt
- betöltés
- log
- le
- KÉSZÍT
- Gyártás
- sikerült
- vezetés
- menedzser
- kezelése
- kézzel
- sok
- mester
- Mérkőzés
- Lehet..
- eszközök
- jelentett
- Találkozik
- tag
- Metaadatok
- Metrics
- microsoft
- Microsoft 365
- vándorol
- vándorló
- modell
- Hónap
- több
- a legtöbb
- mozog
- sok
- többszörös
- név
- Nevezett
- elengedhetetlen
- Szükség
- szükséges
- igények
- hálózat
- Hálózati hozzáférés
- Új
- Northwestern University
- Értesítés..
- szám
- tárgy
- of
- Ajánlatok
- OKTA
- on
- Beszállás
- ONE
- csak
- nyílt forráskódú
- működik
- operatív
- Optimalizálja
- optimalizálása
- opció
- or
- Minket
- ki
- felett
- áttekintés
- saját
- tulajdon
- oldal
- Palo Alto
- Csúcs
- Pennsylvania
- mert
- teljesítmény
- engedély
- engedélyek
- perspektíva
- emelvény
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- Plugins
- Politikák
- politika
- medence
- állás
- megakadályozása
- előző
- elsődleges
- Fő
- Előzetes
- Folyamatok
- Termékek
- termékmenedzsment
- Termelés
- Termékek
- profil
- védelme
- ad
- feltéve,
- ellátó
- amely
- ellátás
- gyorsan
- hatótávolság
- Olvass
- Olvasó
- csökkenteni
- Csökkent
- Bejegyzés
- megbízható
- kérni
- kéri
- kötelező
- követelmények
- megköveteli,
- megoldódott
- forrás
- Tudástár
- válasz
- felelős
- visszaad
- Eredmények
- visszatérés
- újra
- Szerep
- tekercselt
- Gördülő
- Szoba
- szabályok
- azonos
- skálázhatóság
- Skála
- skálázás
- Tudomány
- hatálya
- Keresés
- kereső
- keres
- Második
- biztonság
- biztonság
- elküldés
- idősebb
- vagy szerver
- szolgáltatás
- Szolgáltatások
- készlet
- számos
- Megosztás
- megosztott
- Műsorok
- <p></p>
- aláírt
- Jelek
- Egyszerű
- egyetlen
- Méret
- töredék
- So
- szoftver
- szoftverfejlesztés
- Software Engineer
- megoldások
- Megoldások
- Hangszóró
- különleges
- kifejezetten
- Stabilitás
- stabil
- Személyzet
- Állami
- Lépés
- tárolás
- memorizált
- Húr
- erős
- erősebb
- kíséret
- támogatás
- Támogató
- Támogatja
- Vesz
- meghozott
- csapat
- csapat
- tech
- Műszaki
- ideiglenes
- bérlő
- mint
- köszönöm
- hogy
- A
- azok
- Őket
- Ezek
- ők
- Harmadik
- ezt
- fenyegetések
- három
- idő
- nak nek
- együtt
- vett
- felső
- Végösszeg
- forgalom
- Tranzakciók
- tranzakciók másodpercenként
- Fordult
- mögöttes
- egységek
- egyetemi
- University of Pennsylvania
- frissítve
- használ
- használati eset
- használt
- használó
- felhasználói felület
- használ
- segítségével
- hasznosság
- Értékek
- keresztül
- Látogat
- megjelenítés
- vp
- akar
- volt
- we
- háló
- webes szolgáltatások
- JÓL
- voltak
- bármikor
- ami
- míg
- WHO
- egész
- val vel
- belül
- nélkül
- Munka
- együtt dolgozni
- munkaerő
- művek
- lenne
- ír
- WSJ
- év
- év
- zephyrnet