Konfigureerige Amazon OpenSearch Service kõrge saadavuse tagamiseks | Amazoni veebiteenused

Konfigureerige Amazon OpenSearch Service kõrge saadavuse tagamiseks | Amazoni veebiteenused

Ajatempel: 31. mai 2023 12:56
Allikasõlm: 2691649

Amazon OpenSearchi teenus on täielikult avatud lähtekoodiga otsingu- ja analüüsimootor, mis avab turvaliselt reaalajas äri- ja tegevusandmete otsingu, jälgimise ja analüüsi selliste kasutusjuhtumite jaoks nagu soovitusmootorid, e-kaubanduse saidid ja kataloogiotsing. Et olla oma ettevõttes edukas, peavad teie süsteemid olema väga kättesaadavad ja tõhusad, minimeerides seisakuid ja vältides rikkeid. Kui kasutate OpenSearch teenust oma infrastruktuuri jälgimise peamise vahendina, peate tagama ka selle kättesaadavuse. OpenSearch Service'i seisakuajal võib olla märkimisväärne mõju teie äritulemustele, näiteks tulude vähenemine, tootlikkuse vähenemine, kaubamärgi väärtuse vähenemine ja palju muud.

. tööstusstandard saadavuse mõõtmiseks on üheksaklass. OpenSearch Service pakub 3 9 kättesaadavust, kui jälgite parimaid tavasid, mis tähendab, et see garanteerib vähem kui 43.83 minutit seisakuid kuus. Sellest postitusest saate teada, kuidas saate konfigureerida oma OpenSearch Service'i domeeni kõrge kättesaadavuse ja jõudluse tagamiseks, järgides oma domeeni seadistamisel häid tavasid ja soovitusi.

Teie domeeni saadavust mõjutavad kaks olulist elementi: teie domeeni ressursikasutus, mis on peamiselt tingitud teie töökoormusest, ja välised sündmused, nagu infrastruktuuri tõrked. Kuigi esimest saab kontrollida domeeni toimivuse ja seisundi pideva jälgimise ning domeeni vastavalt skaleerimise kaudu, ei saa teist. Väliste sündmuste (nt Kättesaadavustsooni katkestus, eksemplar või kettatõrge või võrguprobleemid oma domeenis) mõju leevendamiseks peate pakkuma lisavõimsust, mis on jaotatud mitme saadavustsooni vahel, ja säilitama mitu andmete koopiat. Selle eiramine võib põhjustada jõudluse halvenemise, kättesaamatuse ja halvimal juhul andmete kadumise.

Vaatame teile saadaolevaid valikuid, et tagada domeeni kättesaadavus ja toimivus.

Klastri konfiguratsioon

Selles jaotises räägime erinevatest konfiguratsioonisuvanditest, mille peate oma klastri õigesti seadistama, mis hõlmab juurutamiseks kasutatavate AZ-de arvu määramist, põhi- ja andmesõlmede seadistamist, indeksite ja kildude seadistamist.

Mitme AZ kasutuselevõtt

Andmesõlmed vastutavad teie domeeni indekseerimis- ja otsingupäringute töötlemise eest. Andmesõlmede juurutamine mitmes saadavuse tsoonis parandab teie domeeni saadavust, lisades üleliigse tsoonipõhise andmesalvestuse ja -töötluse. Multi-AZ-i juurutamise korral võib teie domeen jääda kättesaadavaks isegi siis, kui täielik saadavuse tsoon muutub kättesaamatuks. Tootmiskoormuste jaoks, AWS soovitab kasutada oma domeeni jaoks kolme saadavuse tsooni. Kasutage piirkondade jaoks kahte saadavuse tsooni, mis toetavad ainult kahte kättesaadavuse parandamiseks. See tagab, et teie domeen on saadaval ühe AZ-i tõrke korral.

Spetsiaalne klastrihaldur (peasõlmed)

AWS soovitab kasutada kolme spetsiaalset klastrihalduri (CM) sõlme kõigi tootmiskoormuste jaoks. CM-i sõlmed jälgivad klastri seisundit, selle indeksite ja kildude olekut ja asukohta, kõigi indeksite vastendamist ja andmesõlmede saadavust ning säilitavad protsessis olevate klastritaseme ülesannete loendi. Ilma spetsiaalsete CM-i sõlmedeta kasutab klaster andmesõlmi, mis muudab klastri töökoormuse nõudmiste suhtes haavatavaks. Peaksite CM-sõlmede suurust määrama ülesande suuruse alusel – eelkõige loendab andmesõlme, loendab indeksit ja kildu. OpenSearch Service juurutab CM-i sõlmed alati kolmes saadavuse tsoonis, kui piirkond seda toetab (kaks ühes saadavuse tsoonis ja üks teistes saadavuse tsoonides, kui piirkondadel on ainult kaks saadavuse tsooni). Töötava domeeni puhul töötab valitud juhina ainult üks kolmest CM-i sõlmest. Ülejäänud kaks CM-sõlme osalevad valimistel, kui valitud CM-sõlm ebaõnnestub.

Järgmine tabel näitab AWS-i soovitusi CM-i suuruse määramiseks. CM-i sõlmed töötavad sõlmede arvu, indeksite, kildude ja kaardistuse alusel. Mida rohkem tööd, seda rohkem arvutus- ja mälumahtu on teil vaja klastri oleku hoidmiseks ja sellega töötamiseks.

Eksemplaride arv Klastrihalduri sõlme RAM-i suurus Maksimaalne toetatud kildude arv Soovitatav minimaalne pühendatud klastrihalduri eksemplari tüüp
1-10 8 GiB 10,000 m5.large.search või m6g.large.search
11-30 16 GiB 30,000 c5.2xlarge.search või c6g.2xlarge.search
31-75 32 GiB 40,000 c5.4xlarge.search või c6g.4xlarge.search
76 - 125 64 GiB 75,000 r5.2xlarge.search või r6g.2xlarge.search
126 - 200 128 GiB 75,000 r5.4xlarge.search või r6g.4xlarge.search

Indeksid ja killud

Indeksid on loogiline konstruktsioon, mis sisaldab dokumentide kogu. Jagate oma indeksi paralleelseks töötlemiseks, määrates esmase kildude arvu, kus killud kujutavad endast füüsilist ühikut andmete salvestamiseks ja töötlemiseks. OpenSearch Service'is võib kild olla kas esmane kild või koopiakild. Kasutate koopiaid vastupidavuse tagamiseks – kui esmane kild kaob, muudab OpenSearch Service ühe koopia esmaseks – ja otsingu läbilaskevõime parandamiseks. OpenSearch Service tagab, et esmased ja koopiakillud paigutatakse erinevatesse sõlmedesse ja erinevatesse saadavustsoonidesse, kui need on juurutatud rohkem kui ühes saadavuse tsoonis. Kõrge kättesaadavuse tagamiseks soovitab AWS kolmetsoonilises seadistuses konfigureerida iga indeksi jaoks vähemalt kaks koopiat, et vältida toimivuse ja saadavuse häireid. Kui sõlm ebaõnnestub või halvimal juhul saadavuse tsoon ebaõnnestub, on Multi-AZ-i seadistuses andmete koopia alles.

Klastrite seire ja juhtimine

Nagu varem mainitud, on konfiguratsiooni valimine parimate tavade põhjal vaid pool tööst. Samuti peame pidevalt jälgima ressursside kasutamist ja jõudlust, et teha kindlaks, kas domeeni on vaja skaleerida. Alavarustatud või ülekasutatud domeen võib põhjustada jõudluse halvenemist ja lõpuks kättesaamatuks muutumist.

Protsessori kasutamine

Töökoormuse käitamiseks kasutate oma domeeni CPU-d. Üldreeglina peaksite iga andmesõlme puhul sihtima 60% keskmist CPU kasutust, tipptasemega 80% ja taluma väikeseid hüppeid kuni 100%. Kui arvestada saadavust ja eriti täistsooni kättesaamatust, on kaks stsenaariumi. Kui teil on kaks saadavuse tsooni, haldab iga tsoon 50% liiklusest. Kui mõni tsoon muutub kättesaamatuks, võtab teine ​​tsoon kogu selle liikluse, kahekordistades protsessori kasutust. Sel juhul peate kättesaadavuse säilitamiseks olema igas tsoonis umbes 30–40% keskmise protsessori kasutusega. Kui kasutate kolme saadavuse tsooni, võtab iga tsoon 33% liiklusest. Kui mõni tsoon muutub kättesaamatuks, saavad kõik teised tsoonid ligikaudu 17% liiklusest. Sel juhul peaksite sihtima 50–60% keskmist protsessori kasutust.

Mälu kasutamine

OpenSearch Service toetab kahte tüüpi prügikoristust. Esimene neist on G1 prügikogumine (G1GC), mida kasutavad OpenSearch Service sõlmed, mida toidab AWS Graviton 2. Teine on Concurrent Mark Sweep (CMS), mida kasutavad kõik teiste protsessorite toiteallikad. Kogu sõlmele eraldatud mälust on pool mälust (kuni 32 GB) määratud Java hunnikule ja ülejäänud mälu kasutavad muud operatsioonisüsteemi toimingud, failisüsteemi vahemälu jne. Domeeni saadavuse säilitamiseks soovitame hoida JVM-i maksimaalse kasutuse CMS-is umbes 80% ja G95GC-s 1%. Kõik peale selle mõjutaks teie domeeni saadavust ja muudaks teie klastri ebatervislikuks. Soovitame lubada ka automaatse häälestuse, mis jälgib aktiivselt mälukasutust ja käivitab prügikoguja.

Ladustuse kasutamine

OpenSearch Service avaldab selle jaoks mitmeid juhiseid domeenide suuruse määramine. Pakume empiirilist valemit, et saaksite määrata teie vajadustele vastava vajaliku salvestusruumi. Siiski on oluline jälgida, et salvestusruum aja jooksul ja töökoormuse omaduste muutumisel ammendub. Tagamaks, et domeeni salvestusruum ei saaks otsa ja et saaks jätkata andmete indekseerimist, peaksite konfigureerima Amazon CloudWatch häireid ja jälgige oma vaba salvestusruumi.

AWS soovitab valida ka esmase kildude arvu, et iga kild jääks optimaalsesse suurusvahemikku. Optimaalse killu suuruse saate määrata oma andmete ja liikluse kontseptsiooni tõestamise testimise kaudu. Kasutame 10–30 GB esmaste kildude suurusi otsingu kasutusjuhtude jaoks ja 45–50 GB esmaste kildude suurusi logianalüütika kasutusjuhtude jaoks. Kuna killud on teie domeeni töötajad, vastutavad nad otseselt töökoormuse jaotamise eest andmesõlmede vahel. Kui teie killud on liiga suured, võite näha oma Java-hunnikus stressi suurtest koondamistest, päringute kehvemast jõudlusest ja klastritaseme ülesannete (nt killu taastasakaalustamine, hetktõmmised ja kuumast-soojale migratsioonid) halvenemist. Kui teie killud on liiga väikesed, võivad need ületada domeeni Java hunniku ruumi, halvendada päringu jõudlust liigse sisevõrgu tõttu ja aeglustada klastri tasemel toiminguid. Samuti soovitame hoida kildude arvu sõlme kohta proportsionaalsena saadaoleva kuhjaga (pool eksemplari RAM-ist kuni 32 GB) – 25 killu GB Java hunniku kohta. See teeb teie domeeni mis tahes andmesõlme praktiliseks piiranguks 1,000 killu.

Järeldus

Sellest postitusest õppisite mitmesuguseid näpunäiteid ja näpunäiteid kõrge kättesaadavusega domeeni seadistamiseks OpenSearch Service'i abil, mis aitab teil hoida OpenSearchi teenust toimivana ja kättesaadavana, käitades seda kolmes saadavustsoonis.

Olge kursis paljude postitustega, mis keskenduvad OpenSearch teenuse erinevatele funktsioonidele ja funktsioonidele. Kui teil on selle postituse kohta tagasisidet, esitage see kommentaaride jaotises. Kui teil on selle postituse kohta küsimusi, alustage lehel uut lõime OpenSearch teenuse foorum või kontakt AWS-i tugi.

Autoritest

Rohin Bhargava on Amazon OpenSearch Service meeskonna vanem tootejuht. Tema kirg AWS-is on aidata klientidel leida õige AWS-teenuste kombinatsioon, et saavutada edu oma ärieesmärkidel.

Prashant Agrawal on Amazon OpenSearch teenusega vanem otsinguspetsialisti lahenduste arhitekt. Ta teeb tihedat koostööd klientidega, et aidata neil oma töökoormust pilve üle viia, ja aitab olemasolevatel klientidel oma klastreid täpsustada, et saavutada parem jõudlus ja säästa kulusid. Enne AWS-iga liitumist aitas ta erinevatel klientidel kasutada OpenSearchi ja Elasticsearchi otsingu- ja logianalüütika kasutusjuhtumite jaoks. Kui te ei tööta, võite leida teda reisimas ja uusi kohti avastamas. Ühesõnaga, talle meeldib teha Söö → Reisi → Korda.

Ajatempel:

Veel alates AWSi suured andmed