Tämä on vierasblogiviesti, joka on kirjoitettu yhdessä Zack Rossmanin kanssa Alcionista.
Alcion, tietoturvaan keskittyvä, tekoälyyn perustuva varmuuskopiointipalvelu (BaaS) -alusta auttaa Microsoft 365 -järjestelmänvalvojia suojaamaan tietoja nopeasti ja intuitiivisesti kyberuhkilta ja vahingossa tapahtuvilta tietojen katoamiselta. Jos tiedot katoavat, Alcion-asiakkaiden on etsittävä varmuuskopioitujen kohteiden (tiedostot, sähköpostit, yhteystiedot, tapahtumat ja niin edelleen) metatiedoista valitakseen tietyt kohdeversiot palautettavaksi. Alcion käyttää Amazon OpenSearch-palvelu tarjota asiakkailleen tarkat, tehokkaat ja luotettavat hakuominaisuudet tästä varmuuskopioluettelosta. Alusta on usean vuokralaisen kanssa, mikä tarkoittaa, että Alcion vaatii tietojen eristämistä ja vahvaa tietoturvaa, jotta vuokralaiset voivat hakea vain omia tietojaan.
OpenSearch Service on täysin hallittu palvelu, jonka avulla on helppo ottaa käyttöön, skaalata ja käyttää OpenSearchia AWS-pilvessä. OpenSearch on Apache-2.0-lisensoitu avoimen lähdekoodin haku- ja analytiikkapaketti, joka sisältää OpenSearchin (haku-, analytiikkakone ja vektoritietokanta), OpenSearch Dashboardit (visualisointi- ja apuohjelman käyttöliittymä) ja laajennuksia, jotka tarjoavat edistyneitä ominaisuuksia, kuten yrityskäyttöä. -luokan turvallisuus, poikkeamien havaitseminen, havaittavuus, hälytykset ja paljon muuta. Amazon OpenSearch palvelimeton on palvelimeton käyttöönottovaihtoehto, joka tekee OpenSearchin käyttämisestä helppoa ilman OpenSearch-palvelun verkkotunnuksien määrittämistä, hallintaa ja skaalausta.
Tässä viestissä kerromme, kuinka OpenSearch Serverlessin käyttöönotto auttoi Alcionia täyttämään mittakaavavaatimukset, vähentämään toimintakustannuksiaan ja turvaamaan vuokralaistensa tiedot pakottamalla vuokralaisen eristäminen usean vuokralaisen ympäristössä.
OpenSearch Servicen hallinnoimat verkkotunnukset
Hakuarkkitehtuurinsa ensimmäistä iteraatiota varten Alcion valitsi hallittujen verkkotunnusten käyttöönottovaihtoehdon OpenSearch Servicessä ja pystyi käynnistämään hakutoimintonsa tuotannossa alle kuukaudessa. Turvallisuus-, mittakaava- ja vuokravaatimustensa täyttämiseksi he tallensivat kunkin vuokralaisen tiedot omaan hakemistoon ja käyttivät niitä hienorakeinen kulunvalvonta OpenSearch-palvelussa vuokralaisten välisten tietovuodojen estämiseksi. Kun heidän työtaakkansa kehittyi, Alcionin insinöörit seurasivat OpenSearch-verkkotunnuksen käyttöä tarjotun palvelun kautta amazonin pilvikello mittareita, tekemällä muutoksia tallennustilan lisäämiseksi ja laskentaresurssien optimoimiseksi.
Alcionin tiimi käytti useita OpenSearch Servicen hallinnoimien verkkotunnusten ominaisuuksia parantaakseen toimintatapaansa. He esittelivät hakemistoaliaksia, jotka tarjoavat yhden aliaksenimen useiden taustalla olevien indeksien käyttämiseen (lukemiseen ja kirjoittamiseen). He myös konfiguroivat Indeksin valtionhallinta (ISM) -käytännöt, jotka auttavat heitä hallitsemaan tietojen elinkaariaan siirtämällä indeksejä indeksin koon mukaan. Yhdessä ISM-käytännöt ja indeksialiakset olivat välttämättömiä suurten vuokralaisten indeksien skaalaamiseksi. Alcion myös käytetty hakemistomalleja määrittää sirpaleet indeksikohtaisesti (osiointi) tietojensa elinkaaren automatisoimiseksi ja toimialueidensa suorituskyvyn ja vakauden parantamiseksi.
Seuraava arkkitehtuurikaavio näyttää, kuinka Alcion määritti OpenSearch-hallitut verkkotunnuksensa.
Seuraava kaavio näyttää, kuinka Microsoft 365 -tiedot indeksoitiin vuokraajakohtaisiin indekseihin ja kysyttiin niistä. Alcion toteutti pyyntötodennuksen antamalla OpenSearchin ensisijaiset käyttäjätiedot jokaisen API-pyynnön yhteydessä.
OpenSearch Serverless yleiskatsaus ja vuokramallivaihtoehdot
OpenSearch-palvelun hallitut verkkotunnukset tarjosivat vakaan perustan Alcionin hakutoiminnalle, mutta tiimin täytyi tarjota verkkotunnuksille resurssit manuaalisesti huipputyökuormituksensa vuoksi. Tämä jätti tilaa kustannusten optimoinnille, koska Alcionin työtaakka on räjähdysmäinen – haku- ja indeksointitapahtumien määrässä sekunnissa on suuria eroja sekä yksittäisen asiakkaan että kokonaisuutena tarkasteltuna. Kustannusten ja käyttötaakan vähentämiseksi tiimi kääntyi OpenSearch Serverlessin puoleen, joka tarjoaa automaattisen skaalauksen.
Käyttääksesi OpenSearch Serverless -palvelua, ensimmäinen askel on luoda kokoelma. A kokoelma on ryhmä OpenSearch-indeksejä, jotka tukevat yhdessä tiettyä työmäärää tai käyttötapausta. Kokoelman laskentaresurssit, nimeltään OpenSearch Compute Units (OCU), jaetaan kaikille tilin kokoelmille, joilla on yhteinen salausavain. OCU-varasto skaalataan automaattisesti ylös ja alas vastaamaan indeksoinnin ja hakuliikenteen vaatimuksia.
OpenSearch-palvelun hallinnoimasta toimialueesta OpenSearch Serverlessiin siirtymiseen tarvittava vaiva oli hallittavissa, koska OpenSearch Serverless -kokoelmat tukevat samoja OpenSearch API:ita ja kirjastoja kuin OpenSearch Servicen hallinnoimat toimialueet. Tämä antoi Alcionille mahdollisuuden keskittyä vuokrausmallin optimointiin uutta hakuarkkitehtuuria varten. Erityisesti tiimin oli päätettävä, kuinka vuokralaistiedot osioidaan kokoelmissa ja indekseissä samalla kun tasapainotetaan tietoturvaa ja kokonaiskustannuksia. Alcionin insinöörit yhteistyössä OpenSearch Serverless -tiimin kanssa, harkittiin kolmea vuokramallia:
- Siilomalli: Luo kokoelma jokaiselle vuokralaiselle
- Poolimalli: Luo yksi kokoelma ja käytä yhtä hakemistoa useille vuokralaisille
- Siltamalli: Luo yksi kokoelma ja käytä yhtä indeksiä vuokralaista kohden
Kaikissa kolmessa suunnitteluvaihtoehdossa oli etuja ja kompromisseja, jotka piti ottaa huomioon lopullisen ratkaisun suunnittelussa.
Siilomalli: Luo kokoelma jokaiselle vuokralaiselle
Tässä mallissa Alcion loisi uuden kokoelman aina, kun uusi asiakas astuu heidän alustaansa. Vaikka vuokralaisen tiedot erotettaisiin selkeästi kokoelmien välillä, tämä vaihtoehto hylättiin, koska kokoelman luontiaika merkitsi sitä, että asiakkaat eivät voi varmuuskopioida ja etsiä tietoja heti rekisteröinnin jälkeen.
Poolimalli: Luo yksi kokoelma ja käytä yhtä hakemistoa useille vuokralaisille
Tässä mallissa Alcion loisi yhden kokoelman AWS-tiliä kohden ja indeksoisi vuokralaiskohtaiset tiedot yhteen monista tähän kokoelmaan kuuluvista jaetuista hakemistoista. Aluksi vuokralaisten tietojen yhdistäminen jaetuiksi indekseiksi oli houkuttelevaa mittakaavan näkökulmasta, koska tämä johti indeksiresurssien tehokkaimpaan käyttöön. Mutta lisäanalyysin jälkeen Alcion havaitsi, että he olisivat hyvin kokoelmakohtaisen indeksikiintiön sisällä, vaikka he osoittaisivat yhden indeksin jokaista vuokralaista kohden. Kun tämä skaalautuvuusongelma oli ratkaistu, Alcion valitsi kolmannen vaihtoehdon, koska vuokralaisten tietojen yhdistäminen omistettuihin indekseihin johtaa vuokralaisten eristykseen vahvemmin kuin jaettu indeksimalli.
Siltamalli: Luo yksi kokoelma ja käytä yhtä indeksiä vuokralaista kohden
Tässä mallissa Alcion loisi yhden kokoelman AWS-tiliä kohden ja luo indeksin kullekin sadoille kyseisen tilin hallinnoimille vuokralaisille. Määrittämällä jokaisen vuokralaisen omaan hakemistoon ja yhdistämällä nämä indeksit yhdeksi kokoelmaksi Alcion lyhensi uusien vuokralaisten käyttöönottoaikaa ja siiloi vuokralaisten tiedot selkeästi erotettuihin ryhmiin.
Roolipohjaisen kulunvalvonnan käyttöönotto usean vuokrauksen tukemiseksi
OpenSearch Serverless tarjoaa monipisteisen, periytyvän suojauksen joukon, joka kattaa tiedon käytön, verkkokäytön ja salauksen. Alcion käytti OpenSearch Serverlessin täyden hyödyn tietojen käyttökäytännöt ottaa käyttöön roolipohjainen pääsynhallinta (RBAC) jokaiselle vuokraajakohtaiselle indeksille seuraavilla tiedoilla:
- Varaa hakemisto, jossa on yhteinen etuliite ja vuokralaisen tunnus (esim.
index-v1-<tenantID>
) - Luo omistettu AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) rooli, jota käytetään pyyntöjen allekirjoittamiseen OpenSearch Serverless -kokoelmaan
- Luo OpenSearch-palvelimeton tiedonkäyttökäytäntö, joka myöntää asiakirjojen luku-/kirjoitusoikeudet erillisessä vuokraajahakemistossa kyseisen vuokralaisen IAM-roolille
- OpenSearch API -pyynnöt vuokraajahakemistoon allekirjoitetaan väliaikaisilla valtuustiedoilla, jotka kuuluvat vuokraajakohtaiseen IAM-rooliin
Seuraavassa on esimerkki OpenSearch Serverless -tietojen käyttökäytännöstä valevuokralaiselle, jolla on tunnus t-eca0acc1-12345678910
. Tämä käytäntö myöntää IAM-rooliasiakirjalle luku-/kirjoitusoikeuden omistetulle vuokraajalle.
Seuraava arkkitehtuurikaavio kuvaa, kuinka Alcion toteutti indeksoinnin ja Microsoft 365 -resurssien etsimisen käyttämällä OpenSearch Serverless -jaetun kokoelman lähestymistapaa.
Seuraavassa on esimerkkikoodinpätkä API-pyynnön lähettämiseksi OpenSearch Serverless -kokoelmaan. Huomaa, kuinka API-asiakas alustetaan allekirjoittajaobjektilla, joka allekirjoittaa pyynnöt samalla IAM-pääkirjalla, joka on linkitetty edellisen koodinpätkän OpenSearch Serverless -tietojen käyttökäytäntöön.
Yhteenveto
Toukokuussa 2023 Alcion otti käyttöön jaettuun kokoelmaan ja omaan indeksikohtaiseen vuokralaismalliin perustuvan hakuarkkitehtuurinsa kaikissa tuotanto- ja esituotantoympäristöissä. Tiimi pystyi purkamaan monimutkaisen koodin ja toimintaprosessit, jotka oli omistettu OpenSearch-palvelun hallinnoimien verkkotunnusten skaalaukseen. Lisäksi OpenSearch Serverlessin automaattisten skaalausominaisuuksien ansiosta Alcion on alentanut OpenSearch-kustannuksiaan 30 % ja odottaa kustannusprofiilin skaalautuvan suotuisasti.
Matkallaan hallituksesta palvelimettomaan OpenSearch-palveluun Alcion hyötyi alkuperäisestä OpenSearch-palvelun hallinnoimien verkkotunnusten valinnasta. Siirtyessään eteenpäin he pystyivät käyttämään uudelleen samoja OpenSearch-sovellusliittymiä ja kirjastoja OpenSearch-palvelimettomissa kokoelmissaan, joita he käyttivät OpenSearch-palvelun hallinnoimassa verkkotunnuksessaan. Lisäksi he päivittivät vuokramallinsa hyödyntääkseen OpenSearch Serverless -tietojen käyttökäytäntöjä. OpenSearch Serverlessin avulla he pystyivät vaivattomasti mukautumaan asiakkaidensa mittakaavatarpeisiin varmistaen samalla vuokralaisten eristyneisyyden.
Lisätietoja Alcionista on heidän osoitteessa verkkosivusto.
Tietoja Tekijät
Zack Rossman on Alcionin teknisen henkilöstön jäsen. Hän on haku- ja tekoälyalustojen tekninen johtaja. Ennen Alcionia Zack oli vanhempi ohjelmistosuunnittelija Oktassa kehittäen ydintyövoimaiden identiteetin ja pääsynhallintatuotteita Directories-tiimille.
Niraj Jetly on ohjelmistokehityspäällikkö Amazon OpenSearch Serverlessille. Niraj johtaa useita datatasoryhmiä, jotka vastaavat Amazon OpenSearch Serverlessin käynnistämisestä. Ennen AWS:ää Niraj johti useita tuote- ja suunnittelutiimejä teknologiajohtajana, suunnittelujohtajana ja tuotehallinnan johtajana yli 15 vuoden ajan. Niraj on saanut yli 15 innovaatiopalkintoa, mukaan lukien vuoden tietohallintojohtajaksi 2014 ja 100 parhaan tietohallintojohtajaksi vuosina 2013 ja 2016. Hän on usein puhunut useissa konferensseissa, ja häntä on lainattu NPR:ssä, WSJ:ssä ja The Boston Globessa.
Jon Handler on vanhempi ratkaisuarkkitehti Amazon Web Servicesissä Palo Altossa, Kaliforniassa. Jon tekee tiivistä yhteistyötä OpenSearchin ja Amazon OpenSearch Servicen kanssa tarjoten apua ja opastusta laajalle joukolle asiakkaita, joilla on haku- ja lokianalyysityökuormia, jotka he haluavat siirtää AWS Cloudiin. Ennen AWS:ään liittymistä Jonin ura ohjelmistokehittäjänä sisälsi 4 vuotta laajan verkkokaupan hakukoneen koodauksen. Jon on suorittanut taiteiden kandidaatin tutkinnon Pennsylvanian yliopistosta ja maisterin tutkinnon tietojenkäsittelytieteestä ja tekoälystä Northwestern Universitystä.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :on
- :On
- $ YLÖS
- 10
- 100
- 15 vuotta
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- pystyy
- Meistä
- pääsy
- käyttöoikeuksien hallinta
- Tili
- tarkka
- poikki
- sopeuttaa
- Lisäksi
- osoitteet
- ylläpitäjät
- hyväksymällä
- kehittynyt
- Etu
- Jälkeen
- AI
- Kaikki
- kohdennetaan
- sallia
- sallittu
- Myös
- Vaikka
- Amazon
- Amazon Web Services
- an
- analyysi
- Analytics
- ja
- poikkeavuuden havaitseminen
- api
- API
- lähestymistapa
- arkkitehtuuri
- OVAT
- keinotekoinen
- tekoäly
- Arts
- AS
- At
- houkutteleva
- Authentication
- auto
- automatisoida
- automaattisesti
- palkinnot
- AWS
- Baas
- takaisin
- Varmuuskopiointi
- tasapainotus
- perustua
- BE
- koska
- ollut
- ovat
- Hyödyt
- välillä
- Blogi
- elin
- boston
- sekä
- laaja
- taakka
- mutta
- by
- CA
- nimeltään
- CAN
- kyvyt
- valmiudet
- Ura
- tapaus
- luettelo
- Muutokset
- valinta
- valintoja
- valitsi
- CIO
- asiakas
- tarkasti
- pilvi
- koodi
- Koodaus
- yhteistyö
- kokoelma
- kokoelmat
- Yhteinen
- monimutkainen
- joka käsittää
- Laskea
- tietokone
- Tietojenkäsittelyoppi
- Koskea
- konferenssit
- määritetty
- harkittu
- Yhteydet
- tausta
- ohjaus
- valvonta
- Ydin
- Hinta
- kustannukset
- päällyste
- luoda
- Luominen
- luominen
- Valtakirja
- CTO
- asiakas
- Asiakkaat
- cyber
- mittaristot
- tiedot
- tietojen käyttö
- tietojen menetys
- tietokanta
- päättää
- omistautunut
- oletusarvo
- vaatii
- sijoittaa
- käyttöönotto
- kuvaus
- Malli
- suunnittelu
- yksityiskohdat
- Detection
- Kehittäjä
- kehittämällä
- Kehitys
- hakemistot
- asiakirja
- asiakirjat
- verkkotunnuksen
- verkkotunnuksia
- alas
- kukin
- helppo
- verkkokaupan
- tehokas
- vaivaa
- sähköpostit
- käytössä
- salaus
- täytäntöön
- Moottori
- insinööri
- Tekniikka
- Engineers
- varmistaa
- varmistamalla
- yritystason
- ympäristö
- ympäristöissä
- virhe
- virheet
- Eetteri (ETH)
- Jopa
- tapahtuma
- Tapahtumat
- kehittynyt
- esimerkki
- odottaa
- tosiasia
- Ominaisuudet
- Asiakirjat
- lopullinen
- Etunimi
- Keskittää
- jälkeen
- varten
- Eteenpäin
- löytyi
- perusta
- tiheä
- alkaen
- koko
- täysin
- toiminnallisuus
- edelleen
- Lisäksi
- saada
- GitHub
- maapallo
- avustukset
- Ryhmä
- vieras
- Vierasblogi
- ohjaus
- HAD
- Olla
- he
- pää
- auttaa
- auttaa
- pitää
- Miten
- Miten
- HTML
- http
- HTTPS
- Sadat
- IAM
- ID
- Identiteetti
- identiteetin ja pääsyn hallinta
- if
- heti
- toteuttaa
- täytäntöön
- tuoda
- parantaa
- in
- mukana
- Mukaan lukien
- Kasvaa
- indeksi
- indeksoitu
- indeksit
- tiedot
- ensimmäinen
- ensin
- Innovaatio
- innovaatiopalkinnot
- Älykkyys
- liitäntä
- tulee
- käyttöön
- eristäminen
- IT
- kohdetta
- iteraatio
- SEN
- tuloaan
- jon
- matka
- jpg
- json
- avain
- suuri
- laaja
- käynnistää
- käynnistäminen
- johtaa
- Liidit
- Vuodot
- Led
- vasemmalle
- vähemmän
- Taso
- kirjastot
- elinkaari
- pitää
- liittyvät
- lastaus
- log
- pois
- TEE
- Tekeminen
- onnistui
- johto
- johtaja
- toimitusjohtaja
- käsin
- monet
- mestari
- ottelu
- Saattaa..
- välineet
- tarkoitti
- Tavata
- jäsen
- Metadata
- Metrics
- Microsoft
- Microsoft 365
- vaeltaa
- siirtyvät
- malli
- Kuukausi
- lisää
- eniten
- liikkua
- paljon
- moninkertainen
- nimi
- nimetty
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- verkko
- Verkkoyhteys
- Uusi
- Northwestern University
- Ilmoitus..
- numero
- objekti
- of
- Tarjoukset
- OKTA
- on
- perehdytyksessä
- ONE
- vain
- avoimen lähdekoodin
- käyttää
- toiminta-
- Optimoida
- optimoimalla
- Vaihtoehto
- or
- Meitä
- ulos
- yli
- yleiskatsaus
- oma
- omistus
- sivulla
- Palo Alto
- Peak
- Pennsylvania
- varten
- suorituskyky
- lupa
- Oikeudet
- näkökulma
- foorumi
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- liitännäiset
- politiikkaa
- politiikka
- pool
- Kirje
- estää
- edellinen
- ensisijainen
- Pääasiallinen
- Aikaisempi
- Prosessit
- Tuotteet
- tuotehallinta
- tuotanto
- Tuotteemme
- Profiili
- suojella
- toimittaa
- mikäli
- toimittaja
- tarjoamalla
- säännös
- nopeasti
- alue
- Lue
- lukija
- vähentää
- Vähentynyt
- Rekisteröinti
- luotettava
- pyyntö
- pyynnöt
- tarvitaan
- vaatimukset
- Vaatii
- ratkaistu
- resurssi
- Esittelymateriaalit
- vastaus
- vastuullinen
- palauttaa
- tulokset
- palata
- uudelleenkäyttö
- Rooli
- Valssattu
- Rolling
- Huone
- säännöt
- sama
- skaalautuvuus
- Asteikko
- skaalaus
- tiede
- laajuus
- Haku
- hakukone
- haku
- Toinen
- turvallinen
- turvallisuus
- lähettäminen
- vanhempi
- serverless
- palvelu
- Palvelut
- setti
- useat
- Jaa:
- yhteinen
- Näytä
- merkki
- allekirjoitettu
- Signs
- Yksinkertainen
- single
- Koko
- pätkä
- So
- Tuotteemme
- ohjelmistokehitys
- Software Engineer
- ratkaisu
- Ratkaisumme
- Kaiutin
- erityinen
- erityisesti
- Pysyvyys
- vakaa
- Henkilöstö
- Osavaltio
- Vaihe
- Levytila
- tallennettu
- jono
- vahva
- vahvempi
- sviitti
- tuki
- Tukea
- Tukee
- ottaa
- otettava
- joukkue-
- tiimit
- teknologia
- Tekninen
- tilapäinen
- vuokralainen
- kuin
- Kiitos
- että
- -
- heidän
- Niitä
- Nämä
- ne
- kolmas
- tätä
- uhat
- kolmella
- aika
- että
- yhdessä
- otti
- ylin
- Yhteensä
- liikenne
- Liiketoimet
- sekunnissa
- Sorvatut
- taustalla oleva
- yksiköt
- yliopisto
- University of Pennsylvania
- päivitetty
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- Käyttöliittymä
- käyttötarkoituksiin
- käyttämällä
- hyödyllisyys
- arvot
- kautta
- Vierailla
- visualisointi
- vp
- haluta
- oli
- we
- verkko
- verkkopalvelut
- HYVIN
- olivat
- aina kun
- joka
- vaikka
- KUKA
- koko
- with
- sisällä
- ilman
- Referenssit
- työskennellä yhdessä
- työvoima
- toimii
- olisi
- kirjoittaa
- WSJ
- vuosi
- vuotta
- zephyrnet