Konfigurirajte storitev Amazon OpenSearch za visoko razpoložljivost | Spletne storitve Amazon

Konfigurirajte storitev Amazon OpenSearch za visoko razpoložljivost | Spletne storitve Amazon

Časovni žig: 31. maj 2023 12:56
Izvorno vozlišče: 2691649

Storitev Amazon OpenSearch je popolnoma odprtokodni iskalnik in analitični mehanizem, ki varno odklene iskanje, spremljanje in analizo poslovnih in operativnih podatkov v realnem času za primere uporabe, kot so mehanizmi za priporočila, spletna mesta za e-trgovino in iskanje po katalogih. Če želite biti uspešni v svojem poslu, potrebujete, da so vaši sistemi visoko razpoložljivi in ​​zmogljivi, kar zmanjšuje čas izpada in se izogiba napakam. Ko uporabljate storitev OpenSearch kot primarno sredstvo za spremljanje vaše infrastrukture, morate zagotoviti tudi njeno razpoložljivost. Nedelovanje storitve OpenSearch lahko pomembno vpliva na vaše poslovne rezultate, kot je izguba prihodka, izguba produktivnosti, izguba vrednosti blagovne znamke in drugo.

O industrijski standard za merjenje razpoložljivosti je razred devetk. Storitev OpenSearch zagotavlja 3 9 razpoložljivosti, ko sledite najboljše prakse, kar pomeni, da zagotavlja manj kot 43.83 minut nedelovanja na mesec. V tej objavi boste izvedeli, kako lahko konfigurirate svojo domeno OpenSearch Service za visoko razpoložljivost in zmogljivost z upoštevanjem najboljših praks in priporočil med nastavitvijo domene.

Na razpoložljivost vaše domene vplivata dva bistvena elementa: uporaba virov vaše domene, ki je večinoma odvisna od vaše delovne obremenitve, in zunanji dogodki, kot so okvare infrastrukture. Čeprav je prvega mogoče nadzirati z nenehnim spremljanjem delovanja in zdravja domene ter ustreznim prilagajanjem domene, drugega ni mogoče. Če želite ublažiti vpliv zunanjih dogodkov, kot je izpad območja razpoložljivosti, okvara primerka ali diska ali težave z omrežjem na vaši domeni, morate zagotoviti dodatno zmogljivost, porazdeljeno na več območij razpoložljivosti, in hraniti več kopij podatkov. Če tega ne storite, lahko pride do poslabšanja delovanja, nedosegljivosti in v najslabšem primeru izgube podatkov.

Oglejmo si možnosti, ki so vam na voljo, da zagotovite, da je domena na voljo in učinkovita.

Konfiguracija gruče

V tem razdelku bomo govorili o različnih konfiguracijskih možnostih, ki jih potrebujete za pravilno nastavitev gruče, kar vključuje določanje števila AZ za razmestitev, nastavitev glavnega in podatkovnih vozlišč, nastavitev indeksov in drobcev.

Uvajanje v več AZ

Podatkovna vozlišča so odgovorna za obdelavo indeksiranja in iskalnih zahtev v vaši domeni. Namestitev vaših podatkovnih vozlišč v več območjih razpoložljivosti izboljša razpoložljivost vaše domene z dodajanjem redundantnega shranjevanja in obdelave podatkov na območje. Z uvedbo Multi-AZ lahko vaša domena ostane na voljo tudi, ko celotno območje razpoložljivosti postane nedosegljivo. Za proizvodne delovne obremenitve, AWS priporoča uporabo treh območij razpoložljivosti za vašo domeno. Za izboljšano razpoložljivost uporabite dve coni razpoložljivosti za regije, ki podpirata samo dve. To zagotavlja, da je vaša domena na voljo v primeru napake Single-AZ.

Namenski upravitelj gruč (glavna vozlišča)

AWS priporoča uporabo treh namenskih vozlišč upravitelja gruč (CM). za vse proizvodne obremenitve. Vozlišča CM sledijo zdravju gruče, stanju in lokaciji njenih indeksov in drobcev, preslikavi za vse indekse in razpoložljivosti podatkovnih vozlišč ter vzdržuje seznam opravil na ravni gruče v procesu. Brez namenskih vozlišč CM gruča uporablja podatkovna vozlišča, zaradi česar je gruča občutljiva na zahteve delovne obremenitve. Vozlišča CM bi morali določiti glede na velikost naloge – šteje predvsem podatkovno vozlišče, šteje indeks in šteje delček. Storitev OpenSearch vedno razmesti vozlišča CM v treh območjih razpoložljivosti, če jih podpira regija (dve v enem območju razpoložljivosti in eno v drugih območjih razpoložljivosti, če imajo regije samo dve coni razpoložljivosti). Za delujočo domeno samo eno od treh vozlišč CM deluje kot izvoljeni vodja. Drugi dve vozlišči CM sodelujeta pri volitvah, če izbrano vozlišče CM ne uspe.

Naslednja tabela prikazuje priporočila AWS za velikost CM. Vozlišča CM delujejo na podlagi števila vozlišč, indeksov, drobcev in preslikav. Več dela, več računalništva in pomnilnika potrebujete in delate s stanjem gruče.

Število primerov Velikost RAM vozlišča upravljalnika gruče Največje podprto število drobcev Priporočena najmanjša namenska vrsta primerka upravitelja gruč
1-10 8 GiB 10,000 m5.large.search ali m6g.large.search
11-30 16 GiB 30,000 c5.2xlarge.search ali c6g.2xlarge.search
31-75 32 GiB 40,000 c5.4xlarge.search ali c6g.4xlarge.search
76 - 125 64 GiB 75,000 r5.2xlarge.search ali r6g.2xlarge.search
126 - 200 128 GiB 75,000 r5.4xlarge.search ali r6g.4xlarge.search

Indeksi in drobci

Indeksi so logični konstrukt, ki hrani zbirko dokumentov. Indeks razdelite za vzporedno obdelavo tako, da določite primarno število drobcev, kjer drobci predstavljajo fizično enoto za shranjevanje in obdelavo podatkov. V storitvi OpenSearch Service je delček lahko bodisi primarni delec bodisi replika delca. Replike uporabljate za vzdržljivost – če se primarni drobec izgubi, storitev OpenSearch eno od replik poviša v primarno – in za izboljšanje prepustnosti iskanja. Storitev OpenSearch zagotavlja, da so primarni in dvojni delci nameščeni v različnih vozliščih in v različnih območjih razpoložljivosti, če so razporejeni v več kot enem območju razpoložljivosti. Za visoko razpoložljivost AWS priporoča konfiguracijo vsaj dveh replik za vsak indeks v nastavitvi s tremi conami, da se izognete motnjam v delovanju in razpoložljivosti. Pri nastavitvi Multi-AZ boste še vedno imeli kopijo podatkov, če vozlišče odpove ali v redkem najslabšem primeru odpove območje razpoložljivosti.

Spremljanje in upravljanje grozdov

Kot smo že omenili, je izbira vaše konfiguracije na podlagi najboljših praks le polovica dela. Prav tako moramo stalno spremljati uporabo virov in zmogljivost, da ugotovimo, ali je treba domeno povečati. Premalo oskrbovana ali preveč uporabljena domena lahko povzroči poslabšanje delovanja in sčasoma nerazpoložljivost.

Izkoriščenost CPE

Za izvajanje delovne obremenitve uporabljate CPE v svoji domeni. Splošno pravilo je, da morate ciljati na 60-odstotno povprečno izkoriščenost procesorja za katero koli podatkovno vozlišče, z vrhovi pri 80 % in dopuščati majhne skoke do 100 %. Ko razmišljate o razpoložljivosti in še posebej glede na nedosegljivost polne cone, obstajata dva scenarija. Če imate dve coni razpoložljivosti, potem vsaka cona obravnava 50 % prometa. Če območje postane nedosegljivo, bo drugo območje prevzelo ves ta promet in podvojilo izkoriščenost procesorja. V tem primeru morate imeti približno 30–40-odstotno povprečno izkoriščenost procesorja v vsakem območju, da ohranite razpoložljivost. Če uporabljate tri območja razpoložljivosti, vsako območje prevzame 33 % prometa. Če območje postane nedosegljivo, bo vsako drugo območje pridobilo približno 17 % prometa. V tem primeru bi morali ciljati na 50–60 % povprečno izkoriščenost procesorja.

Poraba pomnilnika

Storitev OpenSearch podpira dve vrsti zbiranja smeti. Prvi je zbiranje smeti G1 (G1GC), ki ga uporabljajo vozlišča OpenSearch Service, ki jih poganja AWS Graviton 2. Drugi je Concurrent Mark Sweep (CMS), ki ga uporabljajo vsa vozlišča, ki jih poganjajo drugi procesorji. Od vsega pomnilnika, dodeljenega vozlišču, je polovica pomnilnika (do 32 GB) dodeljena kopici Java, preostali pomnilnik pa uporabljajo druga opravila operacijskega sistema, predpomnilnik datotečnega sistema itd. Če želite ohraniti razpoložljivost za domeno, priporočamo, da ohranite največjo uporabo JVM na približno 80 % v CMS in 95 % v G1GC. Vse, kar presega to, bi vplivalo na razpoložljivost vaše domene in naredilo vašo gručo nezdravo. Priporočamo tudi, da omogočite samodejno uravnavanje, ki aktivno spremlja porabo pomnilnika in sproži zbiralnik smeti.

Poraba prostora za shranjevanje

Storitev OpenSearch objavlja več smernic za dimenzioniranje domen. Nudimo empirično formulo, da lahko določite pravo količino prostora za shranjevanje, ki je potrebna za vaše zahteve. Vendar je pomembno, da ste pozorni na izčrpavanje prostora za shranjevanje s časom in spremembe v značilnostih delovne obremenitve. Če želite zagotoviti, da domeni ne zmanjka prostora za shranjevanje in lahko še naprej indeksira podatke, morate konfigurirati amazoncloudwatch alarme in spremljajte svoj prosti prostor za shranjevanje.

AWS priporoča tudi izbiro primarnega števila drobcev, tako da je vsak drobec znotraj optimalnega obsega velikosti. Optimalno velikost delca lahko določite s testiranjem dokaza koncepta s svojimi podatki in prometom. Za primere uporabe pri iskanju uporabljamo 10–30 GB primarnih velikosti razdelkov in 45–50 GB primarnih velikosti razdelkov za primere uporabe analitike dnevnika. Ker so drobci delavci v vaši domeni, so neposredno odgovorni za porazdelitev delovne obremenitve po podatkovnih vozliščih. Če so vaši drobci preveliki, boste morda opazili stres v kopici Java zaradi velikih združevanj, slabše zmogljivosti poizvedb in slabše zmogljivosti pri opravilih na ravni gruče, kot so ponovno uravnoteženje drobcev, posnetki in selitve iz vročega v toplo. Če so vaši drobci premajhni, lahko preobremenijo prostor kopice Java domene, poslabšajo zmogljivost poizvedb zaradi prekomernega notranjega povezovanja v omrežje in upočasnijo naloge na ravni gruče. Priporočamo tudi, da je število drobcev na vozlišče sorazmerno z razpoložljivo kopico (polovica RAM-a instance do 32 GB) – 25 drobcev na GB kopice Java. To pomeni praktično omejitev 1,000 drobcev na katerem koli podatkovnem vozlišču v vaši domeni.

zaključek

V tej objavi ste se naučili različnih nasvetov in trikov za nastavitev zelo razpoložljive domene s storitvijo OpenSearch, ki vam pomaga ohranjati zmogljivost in razpoložljivost storitve OpenSearch tako, da jo izvajate v treh območjih razpoložljivosti.

Spremljajte vrsto objav, ki se osredotočajo na različne funkcije in funkcionalnosti storitve OpenSearch. Če imate povratne informacije o tej objavi, jih pošljite v razdelek za komentarje. Če imate vprašanja o tej objavi, odprite novo nit na Forum storitve OpenSearch ali stik Podpora AWS.

O avtorjih

Rohin Bhargava je višji produktni vodja pri ekipi Amazon OpenSearch Service. Njegova strast pri AWS je pomagati strankam najti pravo mešanico storitev AWS za doseganje uspeha pri njihovih poslovnih ciljih.

Prashant Agrawal je starejši arhitekt za rešitve strokovnjaka za iskanje pri Amazon OpenSearch Service. Tesno sodeluje s strankami, da bi jim pomagal pri selitvi njihovih delovnih obremenitev v oblak in obstoječim strankam pomaga pri natančnejši nastavitvi njihovih gruč, da bi dosegli boljšo zmogljivost in prihranili pri stroških. Preden se je pridružil AWS, je pomagal različnim strankam pri uporabi OpenSearch in Elasticsearch za primere uporabe analitike iskanja in dnevnika. Ko ni v službi, ga lahko najdete na potovanju in raziskovanju novih krajev. Skratka, rad dela Eat → Travel → Repeat.

Časovni žig:

Več od Veliki podatki AWS