See on külaliste ajaveebi postitus, mis on kirjutatud koos Zack Rossmaniga Alcionist.
Alcion, esmajoones turvalisusel põhinev tehisintellektil põhinev varundus-teenusena (BaaS) platvorm, aitab Microsoft 365 administraatoritel kiiresti ja intuitiivselt kaitsta andmeid küberohtude ja juhusliku andmekao eest. Andmete kaotsimineku korral peavad Alcioni kliendid otsima varundatud üksuste (failid, meilid, kontaktid, sündmused jne) metaandmeid, et valida taastamiseks konkreetsed üksuste versioonid. Alcion kasutab Amazon OpenSearchi teenus et pakkuda oma klientidele täpset, tõhusat ja usaldusväärset otsinguvõimalust selles varukataloogis. Platvorm on mitme üürnikuga, mis tähendab, et Alcion nõuab andmete isoleerimist ja tugevat turvalisust, et üürnikud saaksid otsida ainult oma andmeid.
OpenSearch Service on täielikult hallatav teenus, mis muudab OpenSearchi AWS-i pilves juurutamise, skaleerimise ja kasutamise lihtsaks. OpenSearch on Apache-2.0 litsentsiga avatud lähtekoodiga otsingu- ja analüüsikomplekt, mis sisaldab OpenSearchi (otsingu-, analüüsimootor ja vektorandmebaas), OpenSearchi juhtpaneele (visualiseerimis- ja utiliidi kasutajaliides) ning lisandmooduleid, mis pakuvad täiustatud võimalusi, nagu ettevõtte jaoks. -taseme turvalisus, anomaaliate tuvastamine, jälgitavus, hoiatus ja palju muud. Amazon OpenSearch Serverita on serverita juurutusvalik, mis muudab OpenSearchi kasutamise lihtsaks ilma OpenSearch teenuse domeene konfigureerimata, haldama ja skaleerimata.
Selles postituses jagame, kuidas OpenSearch Serverlessi kasutuselevõtt võimaldas Alcionil täita oma mastaabinõudeid, vähendada nende tegevuskulusid ja kaitsta oma üürnike andmeid jõustades üürniku isolatsioon mitme üürnikuga keskkonnas.
OpenSearch Service hallatavad domeenid
Otsinguarhitektuuri esimeseks iteratsiooniks valis Alcion OpenSearch Service'is hallatavate domeenide juurutamise valiku ja suutis oma otsingufunktsioonid tootmises käivitada vähem kui kuuga. Turvalisuse, ulatuse ja üürinõuete täitmiseks salvestasid nad iga rentniku andmed spetsiaalsesse registrisse ja kasutasid peeneteraline juurdepääsukontroll OpenSearch Service'is, et vältida rentnikeüleseid andmelekkeid. Nende töökoormuse arenedes jälgisid Alcioni insenerid OpenSearchi domeeni kasutust pakutavate andmete kaudu Amazon CloudWatch mõõdikuid, tehes muudatusi salvestusruumi suurendamiseks ja arvutusressursside optimeerimiseks.
Alcioni meeskond kasutas oma tööseisundi parandamiseks mitmeid OpenSearch Service'i hallatavate domeenide funktsioone. Nad võtsid kasutusele indeksi pseudonüümid, mis pakuvad ühe varjunime, et pääseda juurde (lugeda ja kirjutada) mitmele alusindeksile. Nad konfigureerisid ka Indeks State Management (ISM) poliitikad, mis aitavad neil oma andmete elutsüklit juhtida, tõstes indekseid indeksi suuruse alusel üle. Üheskoos olid ISM-i poliitikad ja indeksi varjunimed vajalikud suurte üürnike indeksite skaleerimiseks. Alcion kasutas ka indeksi mallid määratleda killud oma andmete indeksi kohta (jaotamine), et automatiseerida nende andmete elutsükkel ning parandada nende domeenide jõudlust ja stabiilsust.
Järgmine arhitektuuriskeem näitab, kuidas Alcion oma OpenSearchi hallatud domeene konfigureeris.
Järgmine diagramm näitab, kuidas Microsoft 365 andmeid rentnikupõhistesse indeksitesse indekseeriti ja nendest päringuid tehti. Alcion rakendas päringu autentimist, pakkudes iga API päringuga OpenSearchi peamise kasutaja mandaadi.
OpenSearch Serverita ülevaade ja rendimudeli valikud
OpenSearch Service'i hallatavad domeenid pakkusid Alcioni otsingufunktsioonidele stabiilse aluse, kuid meeskond pidi nende suurima töökoormuse jaoks domeenidele käsitsi ressursse varustama. See jättis ruumi kulude optimeerimiseks, kuna Alcioni töökoormus on kiire – otsingu- ja indekseerimistehingute arv sekundis varieerub nii üksiku kliendi kui ka tervikuna. Kulude ja tegevuskoormuse vähendamiseks pöördus meeskond OpenSearch Serverlessi poole, mis pakub automaatse skaleerimise võimalust.
OpenSearch Serverlessi kasutamiseks tuleb kõigepealt luua kogu. A kogumine on OpenSearchi indeksite rühm, mis töötavad koos konkreetse töökoormuse või kasutusjuhtumi toetamiseks. Kogu arvutusressursse, mida nimetatakse OpenSearchi arvutusüksusteks (OCU), jagatakse kõigi konto kogude vahel, mis jagavad krüpteerimisvõtit. OCU-de kogumit suurendatakse automaatselt üles ja alla, et vastata indekseerimise ja otsinguliikluse nõudmistele.
OpenSearch Service’i hallatud domeenilt OpenSearch Serverless’ile üleminekuks vajalike jõupingutuste tase oli hallatav tänu sellele, et OpenSearch Serverlessi kogud toetavad samu OpenSearch API-sid ja teeke nagu OpenSearch Service’i hallatavad domeenid. See võimaldas Alcionil keskenduda uue otsinguarhitektuuri üürimudeli optimeerimisele. Täpsemalt pidi meeskond otsustama, kuidas rentnike andmeid kogudes ja indeksites jaotada, tasakaalustades samal ajal turvalisust ja kogu omandikulusid. Alcioni insenerid koostöös OpenSearch Serverless meeskonnaga kaalus kolme üürimudelit:
- Silomudel: looge iga üürniku jaoks kollektsioon
- Kogumi mudel: looge üks kogu ja kasutage mitme rentniku jaoks ühte registrit
- Sillamudel: looge üks kogu ja kasutage rentniku kohta ühte registrit
Kõigil kolmel disainivalikul oli eeliseid ja kompromisse, millega tuli lõpplahenduse kujundamisel arvestada.
Silomudel: looge iga üürniku jaoks kollektsioon
Selles mudelis loob Alcion uue kollektsiooni alati, kui nende platvormile siseneb uus klient. Kuigi rentnike andmed oleksid kogude vahel selgelt eraldatud, keelati see valik, kuna kogu loomise aeg tähendas, et kliendid ei saanud andmeid kohe pärast registreerimist varundada ja otsida.
Kogumi mudel: looge üks kogu ja kasutage mitme rentniku jaoks ühte registrit
Selles mudelis loob Alcion ühe AWS-i konto kohta ühe kogu ja indekseeriks rentnikupõhised andmed ühes paljudest sellesse kogusse kuuluvatest jagatud indeksitest. Algselt oli üürnike andmete koondamine jagatud indeksitesse mastaabi seisukohast atraktiivne, kuna see viis indeksiressursside kõige tõhusama kasutamiseni. Kuid pärast täiendavat analüüsi leidis Alcion, et nad jääksid kogu indeksi kvoodi piiresse, isegi kui nad eraldaksid iga üürniku jaoks ühe indeksi. Kui see mastaapsuse probleem oli lahendatud, kasutas Alcion kolmandat võimalust, kuna üürnike andmete koondamine spetsiaalsetesse indeksitesse toob kaasa üürnike tugevama isolatsiooni kui jagatud indeksi mudel.
Sillamudel: looge üks kogu ja kasutage rentniku kohta ühte registrit
Selles mudelis loob Alcion ühe AWS-i konto kohta ühe kogu ja loob indeksi iga sadade selle konto hallatavate üürnike jaoks. Määrates iga üürniku spetsiaalsesse registrisse ja koondades need indeksid ühte kogusse, vähendas Alcion uute rentnike liitumisaega ja koondas üürnike andmed puhtalt eraldatud ämbritesse.
Rollipõhise juurdepääsukontrolli rakendamine mitme üürilepingu toetamiseks
OpenSearch Serverless pakub mitmepunktilist pärilikku turbekontrollikomplekti, mis hõlmab juurdepääsu andmetele, juurdepääsu võrgule ja krüptimist. Alcion kasutas OpenSearch Serverlessi kõiki eeliseid andmetele juurdepääsu eeskirjad juurutada iga rentnikupõhise indeksi jaoks rollipõhine juurdepääsukontroll (RBAC) järgmiste üksikasjadega.
- Määrake indeks ühise eesliite ja üürniku ID-ga (näiteks
index-v1-<tenantID>
) - Looge pühendatud AWS-i identiteedi- ja juurdepääsuhaldus (IAM) roll, mida kasutatakse OpenSearchi serverita kogusse päringute allkirjastamiseks
- Looge OpenSearchi serverita andmetele juurdepääsu poliitika, mis annab selle rentniku IAM-i rollile dokumendi lugemis-/kirjutusõigused spetsiaalses rentniku registris
- OpenSearch API päringud rentniku indeksile allkirjastatakse ajutiste mandaatidega, mis kuuluvad rentnikupõhisesse IAM-i rolli
Järgmine on OpenSearchi serverita andmetele juurdepääsu poliitika näide ID-ga näidisüürniku jaoks t-eca0acc1-12345678910
. See reegel annab IAM-i rollidokumendile lugemise/kirjutamise juurdepääsu spetsiaalsele rentnikule.
Järgmisel arhitektuuridiagrammil on kujutatud, kuidas Alcion rakendas indekseerimist ja Microsoft 365 ressursside otsimist, kasutades OpenSearchi serverita jagatud kogumise lähenemisviisi.
Järgmine on näidiskoodilõik API päringu saatmiseks OpenSearchi serverita kogusse. Pange tähele, kuidas API klient lähtestatakse allkirjastajaobjektiga, mis allkirjastab päringud sama IAM-i printsiibiga, mis on lingitud eelmise koodilõigu OpenSearchi serverita andmete juurdepääsu poliitikaga.
Järeldus
2023. aasta mais tutvustas Alcion kõigis tootmis- ja tootmiseelsetes keskkondades oma otsinguarhitektuuri, mis põhineb jagatud kogul ja sihtotstarbelisel rentnikupõhisel indeksmudelil. Meeskond suutis lahti rebida keeruka koodi ja tööprotsessid, mis olid pühendatud OpenSearch Service'i hallatavate domeenide skaleerimisele. Lisaks on Alcion tänu OpenSearch Serverlessi automaatsele skaleerimise võimalustele vähendanud oma OpenSearchi kulusid 30% ja loodab, et kuluprofiil skaleerub soodsalt.
Oma teekonnal hallatavast OpenSearchi teenusest serverita OpenSearchi teenuseni sai Alcion kasuks OpenSearch teenuse hallatavate domeenide esialgse valiku. Edasirändamisel said nad oma OpenSearchi serverita kogude jaoks uuesti kasutada samu OpenSearch API-sid ja teeke, mida nad kasutasid oma OpenSearch Service hallatava domeeni jaoks. Lisaks värskendasid nad oma üürimudelit, et kasutada ära OpenSearchi serverita andmetele juurdepääsu eeskirju. OpenSearch Serverlessi abil suutsid nad vaevata kohaneda oma klientide mastaabivajadustega, tagades samas rentnike isolatsiooni.
Alcioni kohta lisateabe saamiseks külastage nende veebisait.
Autoritest
Zack Rossman on Alcioni tehnilise personali liige. Ta on otsingu- ja tehisintellektiplatvormide tehniline juht. Enne Alcionit töötas Zack Okta vanemtarkvarainsenerina, arendades kataloogide meeskonna jaoks põhilisi tööjõu identiteedi- ja juurdepääsuhaldustooteid.
Niraj Jetly on Amazon OpenSearch Serverlessi tarkvaraarenduse juht. Niraj juhib mitmeid andmetasandi meeskondi, kes vastutavad Amazon OpenSearch Serverlessi käivitamise eest. Enne AWS-i juhtis Niraj mitut toote- ja insenerimeeskonda CTO, inseneriosakonna asepresident ja tootehalduse juhina üle 15 aasta. Niraj on pälvinud üle 15 innovatsiooniauhinna, sealhulgas 2014. aastal aasta IT-juhiks ning 100. ja 2013. aastal 2016 parima infotehnoloogiajuhi tiitli. Ta on sageli esineja mitmel konverentsil, teda on tsiteeritud ajakirjades NPR, WSJ ja The Boston Globe.
Jon Handler on Palo Altos, CA, Amazon Web Services'i vanemlahenduste arhitekt. Jon teeb tihedat koostööd OpenSearchi ja Amazon OpenSearch Service'iga, pakkudes abi ja juhiseid paljudele klientidele, kellel on otsingu- ja logianalüütika töökoormus, mida nad soovivad AWS-i pilve üle viia. Enne AWS-iga liitumist hõlmas Joni karjäär tarkvaraarendajana 4 aastat suuremahulise e-kaubanduse otsingumootori kodeerimist. Jonil on bakalaureusekraad Pennsylvania ülikoolist ning magistrikraad ning doktorikraad arvutiteaduse ja tehisintellekti alal Northwesterni ülikoolist.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :on
- :on
- $ UP
- 10
- 100
- 15 aastat
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Võimalik
- MEIST
- juurdepääs
- juurdepääsu haldamine
- konto
- täpne
- üle
- kohandama
- Lisaks
- aadressid
- administraatorid
- Vastuvõtmine
- edasijõudnud
- ADEelis
- pärast
- AI
- Materjal: BPA ja flataatide vaba plastik
- paigutatud
- võimaldama
- lubatud
- Ka
- Kuigi
- Amazon
- Amazon Web Services
- an
- analüüs
- analytics
- ja
- anomaalia tuvastamine
- API
- API-liidesed
- lähenemine
- arhitektuur
- OLEME
- kunstlik
- tehisintellekti
- Arts
- AS
- At
- ahvatlev
- Autentimine
- auto
- automatiseerima
- automaatselt
- Auhinnad
- AWS
- Baas
- tagasi
- Varundamine
- tasakaalustamine
- põhineb
- BE
- sest
- olnud
- on
- Kasu
- vahel
- Blogi
- keha
- boston
- mõlemad
- lai
- koormus
- kuid
- by
- CA
- kutsutud
- CAN
- võimeid
- võime
- Karjäär
- juhul
- kataloog
- Vaidluste lahendamine
- valik
- valikuid
- Valisin
- CIO
- klient
- lähedalt
- Cloud
- kood
- Kodeerimine
- koostöö
- kogumine
- Kollektsioonid
- ühine
- keeruline
- koosnevad
- Arvutama
- arvuti
- Arvutiteadus
- Murettekitav
- konverentsid
- konfigureeritud
- kaaluda
- sidemed
- kontekst
- kontrollida
- kontrolli
- tuum
- Maksma
- kulud
- kattes
- looma
- loomine
- loomine
- volikiri
- CTO
- klient
- Kliendid
- cyber
- armatuurlauad
- andmed
- juurdepääs andmetele
- andmete kadu
- andmebaas
- otsustama
- pühendunud
- vaikimisi
- nõudmisi
- juurutada
- kasutuselevõtu
- kirjeldus
- Disain
- projekteerimine
- detailid
- Detection
- arendaja
- arenev
- & Tarkvaraarendus
- kataloogid
- dokument
- dokumendid
- domeen
- Domeenid
- alla
- iga
- lihtne
- pood
- tõhus
- jõupingutusi
- kirju
- lubatud
- krüpteerimist
- jõustamisel
- Mootor
- insener
- Inseneriteadus
- Inseneride
- tagama
- tagades
- ettevõtte tasemel
- keskkond
- keskkondades
- viga
- vead
- Eeter (ETH)
- Isegi
- sündmus
- sündmused
- arenenud
- näide
- ootab
- asjaolu
- FUNKTSIOONID
- Faile
- lõplik
- esimene
- Keskenduma
- Järel
- eest
- edasi
- avastatud
- Sihtasutus
- sage
- Alates
- täis
- täielikult
- funktsionaalsus
- edasi
- Pealegi
- saamine
- GitHub
- maakera
- toetusi
- Grupp
- külaline
- Külaliste blogi
- juhised
- olnud
- Olema
- he
- juhataja
- aitama
- aitab
- omab
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- sajad
- IAM
- ID
- Identity
- identiteedi ja juurdepääsu haldamine
- if
- kohe
- rakendada
- rakendatud
- import
- parandama
- in
- lisatud
- Kaasa arvatud
- Suurendama
- indeks
- indekseeritud
- indeksid
- info
- esialgne
- esialgu
- Innovatsioon
- innovatsiooniauhinnad
- Intelligentsus
- Interface
- sisse
- sisse
- isolatsioon
- IT
- kirjed
- iteratsioon
- ITS
- liitumine
- Jon
- teekond
- jpg
- Json
- Võti
- suur
- suuremahuline
- algatama
- käivitamine
- viima
- Leads
- Lekked
- Led
- lahkus
- vähem
- Tase
- raamatukogud
- eluring
- nagu
- seotud
- laadimine
- logi
- kaotus
- TEEB
- Tegemine
- juhitud
- juhtimine
- juht
- juhtiv
- käsitsi
- palju
- meister
- Vastama
- mai..
- vahendid
- tähendas
- Vastama
- liige
- Metaandmed
- Meetrika
- Microsoft
- Microsoft 365
- rännanud
- rändavad
- mudel
- kuu
- rohkem
- kõige
- liikuma
- palju
- mitmekordne
- nimi
- Nimega
- vajalik
- Vajadus
- vaja
- vajadustele
- võrk
- Juurdepääs võrgule
- Uus
- Northwestern University
- Märka..
- number
- objekt
- of
- Pakkumised
- OKTA
- on
- Pardal
- ONE
- ainult
- avatud lähtekoodiga
- töötama
- töökorras
- optimeerima
- optimeerimine
- valik
- or
- Oss
- välja
- üle
- ülevaade
- enda
- omandiõigus
- lehekülg
- Palo Alto
- tipp
- Pennsylvania
- kohta
- jõudlus
- luba
- Õigused
- perspektiiv
- inimesele
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- pluginad
- Poliitika
- poliitika
- ujula
- post
- vältida
- eelmine
- esmane
- Peamine
- Eelnev
- Protsessid
- Toode
- tootehaldus
- Produktsioon
- Toodet
- profiil
- kaitsma
- anda
- tingimusel
- tarnija
- pakkudes
- säte
- kiiresti
- valik
- Lugenud
- lugeja
- vähendama
- Lühendatud
- Registreerimine
- usaldusväärne
- taotleda
- Taotlusi
- nõutav
- Nõuded
- Vajab
- lahendatud
- ressurss
- Vahendid
- vastus
- vastutav
- taastama
- Tulemused
- tagasipöördumine
- taaskasutada
- Roll
- Valtsitud
- Rolling
- ruum
- eeskirjade
- sama
- Skaalautuvus
- Skaala
- ketendamine
- teadus
- ulatus
- Otsing
- otsingumootor
- otsimine
- Teine
- kindlustama
- turvalisus
- saatmine
- vanem
- Serverita
- teenus
- Teenused
- komplekt
- mitu
- Jaga
- jagatud
- Näitused
- kirjutama
- allkirjastatud
- Märgid
- lihtne
- ühekordne
- SUURUS
- jupp
- So
- tarkvara
- tarkvaraarenduse
- Tarkvara insener
- lahendus
- Lahendused
- Kõneleja
- konkreetse
- eriti
- Stabiilsus
- stabiilne
- Personal
- riik
- Samm
- ladustamine
- ladustatud
- nöör
- tugev
- tugevam
- komplekt
- toetama
- Toetamine
- Toetab
- Võtma
- võtnud
- meeskond
- meeskonnad
- tech
- Tehniline
- ajutine
- üürnik
- kui
- tänan
- et
- .
- oma
- Neile
- Need
- nad
- Kolmas
- see
- ähvardused
- kolm
- aeg
- et
- kokku
- võttis
- ülemine
- Summa
- liiklus
- Tehingud
- tehingud sekundis
- Pöördunud
- aluseks
- üksused
- Ülikool
- University of Pennsylvania
- ajakohastatud
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutaja
- Kasutajaliides
- kasutusalad
- kasutamine
- kasulikkus
- Väärtused
- kaudu
- visiit
- visualiseerimine
- vp
- tahan
- oli
- we
- web
- veebiteenused
- Hästi
- olid
- millal iganes
- mis
- kuigi
- WHO
- kogu
- koos
- jooksul
- ilma
- Töö
- koos töötama
- Tööjõud
- töötab
- oleks
- kirjutama
- WSJ
- aasta
- aastat
- sephyrnet