Konfigurálja az Amazon OpenSearch szolgáltatást a magas rendelkezésre állás érdekében | Amazon webszolgáltatások

Konfigurálja az Amazon OpenSearch szolgáltatást a magas rendelkezésre állás érdekében | Amazon webszolgáltatások

Időbélyeg: 31. május 2023. 12:56
Forrás csomópont: 2691649

Amazon OpenSearch szolgáltatás egy teljesen nyílt forráskódú kereső és elemző motor, amely biztonságosan feloldja az üzleti és működési adatok valós idejű keresését, megfigyelését és elemzését olyan felhasználási esetekben, mint az ajánlómotorok, az e-kereskedelmi webhelyek és a katalóguskeresés. Ahhoz, hogy sikeres legyen a vállalkozásában, rendszereinek magas rendelkezésre állásúnak és teljesítményűnek kell lenniük, minimalizálva az állásidőt és elkerülve a meghibásodásokat. Ha az OpenSearch szolgáltatást használja elsődleges eszközeként az infrastruktúra felügyeletére, biztosítania kell annak elérhetőségét is. Az OpenSearch szolgáltatás leállása jelentős hatással lehet az üzleti eredményekre, például bevételkiesésre, termelékenységcsökkenésre, márkaérték-csökkenésre stb.

A ipari szabvány a rendelkezésre állás mérésére kilences osztály. Az OpenSearch szolgáltatás 3 9 elérhetőséget biztosít, ha követi legjobb gyakorlatok, ami azt jelenti, hogy kevesebb mint 43.83 perc leállást garantál havonta. Ebből a bejegyzésből megtudhatja, hogyan konfigurálhatja OpenSearch Service-domainjét a magas rendelkezésre állás és teljesítmény érdekében, ha követi a bevált módszereket és ajánlásokat a domain beállítása során.

Két alapvető elem van, amely befolyásolja a domain elérhetőségét: a domain erőforrás-kihasználása, amelyet leginkább a munkaterhelés vezérel, valamint a külső események, például az infrastruktúra meghibásodása. Bár az előbbi vezérelhető a tartomány teljesítményének és állapotának folyamatos figyelésével, valamint a tartomány ennek megfelelő skálázásával, az utóbbi nem. A külső események, például a rendelkezésre állási zóna kiesése, példány- vagy lemezhiba vagy hálózati problémák hatásának mérséklése érdekében több rendelkezésre állási zónára elosztva további kapacitást kell biztosítania, és több másolatot kell megőriznie az adatokról. Ennek elmulasztása teljesítménycsökkenést, elérhetetlenséget, és a legrosszabb esetben adatvesztést eredményezhet.

Nézzük meg a rendelkezésre álló lehetőségeket, amelyek biztosítják a domain elérhetőségét és teljesítményét.

Fürt konfiguráció

Ebben a részben a fürt megfelelő beállításához szükséges különféle konfigurációs lehetőségekről fogunk beszélni, amelyek magukban foglalják az AZ számának megadását a telepítéshez, a fő- és adatcsomópontok beállítását, az indexek és a szilánkok beállítását.

Multi-AZ telepítés

Az adatcsomópontok felelősek az indexelési és keresési kérelmek feldolgozásáért a domainben. Az adatcsomópontok több rendelkezésre állási zónára történő telepítése redundáns, zónánkénti adattárolás és -feldolgozás hozzáadásával javítja a domain elérhetőségét. A Multi-AZ telepítéssel a domain akkor is elérhető maradhat, ha a teljes rendelkezésre állási zóna elérhetetlenné válik. A termelési munkaterheléshez, Az AWS három elérhetőségi zóna használatát javasolja a domainhez. Használjon két elérhetőségi zónát a régiókhoz, amelyek csak kettőt támogatnak a jobb elérhetőség érdekében. Ez biztosítja, hogy a domain elérhető legyen egy AZ hiba esetén.

Dedikált fürtkezelő (fő csomópontok)

Az AWS három dedikált fürtkezelő (CM) csomópont használatát javasolja minden termelési munkaterheléshez. A CM-csomópontok nyomon követik a fürt állapotát, indexeinek és szilánkjainak állapotát és helyét, az összes index leképezését és az adatcsomópontok elérhetőségét, és listát tartanak a folyamatban lévő fürtszintű feladatokról. Dedikált CM-csomópontok nélkül a fürt adatcsomópontokat használ, ami a fürtöt sebezhetővé teszi a munkaterhelési igényekkel szemben. A CM-csomópontokat a feladat mérete alapján kell méreteznie – elsősorban az adatcsomópontok, az indexek és a szilánkok számlálásának megfelelően. Az OpenSearch szolgáltatás mindig három rendelkezésre állási zónára telepíti a CM-csomópontokat, ha a régió támogatja (kettőt az egyik rendelkezésre állási zónában, és egyet a többi rendelkezésre állási zónában, ha a régióknak csak két elérhetőségi zónájuk van). Egy futó tartomány esetén a három CM-csomópont közül csak az egyik működik választott vezetőként. A másik két CM-csomópont részt vesz a választásban, ha a kiválasztott CM-csomópont meghibásodik.

A következő táblázat az AWS CM-méretezésre vonatkozó javaslatait mutatja be. A CM-csomópontok a csomópontok száma, az indexek, a szilánkok és a leképezés alapján működnek. Minél több munka, annál több számításra és memóriára van szüksége a fürt állapotának tárolására és kezelésére.

Példányszám Cluster Manager csomópont RAM mérete Maximális támogatott szilánkok száma Ajánlott minimális dedikált fürtkezelő-példánytípus
1-10 8 GiB 10,000 m5.large.search vagy m6g.large.search
11-30 16 GiB 30,000 c5.2xlarge.search vagy c6g.2xlarge.search
31-75 32 GiB 40,000 c5.4xlarge.search vagy c6g.4xlarge.search
76 - 125 64 GiB 75,000 r5.2xlarge.search vagy r6g.2xlarge.search
126 - 200 128 GiB 75,000 r5.4xlarge.search vagy r6g.4xlarge.search

Indexek és szilánkok

Az indexek egy logikai konstrukció, amely dokumentumok gyűjteményét tartalmazza. Az indexet a párhuzamos feldolgozáshoz az elsődleges szilánkok számának megadásával particionálja, ahol a szilánkok egy fizikai egységet képviselnek az adatok tárolására és feldolgozására. Az OpenSearch szolgáltatásban a szilánk elsődleges vagy replikaszilánk lehet. A replikákat a tartósság érdekében használja – ha az elsődleges szilánk elveszik, az OpenSearch Service az egyik replikát elsődlegessé teszi – és a keresési átviteli sebesség javítása érdekében. Az OpenSearch szolgáltatás biztosítja, hogy az elsődleges és a replika szilánkok különböző csomópontokban és különböző elérhetőségi zónákban legyenek elhelyezve, ha egynél több rendelkezésre állási zónában vannak telepítve. A magas rendelkezésre állás érdekében az AWS azt javasolja, hogy minden indexhez legalább két replikát konfiguráljon egy háromzónás beállításban, hogy elkerülje a teljesítmény és a rendelkezésre állás megzavarását. Multi-AZ beállítás esetén, ha egy csomópont meghibásodik, vagy a legrosszabb esetben egy Elérhetőségi zóna meghibásodik, akkor is meglesz az adatok másolata.

Klaszter monitoring és menedzsment

Amint azt korábban tárgyaltuk, a konfiguráció kiválasztása a legjobb gyakorlatok alapján csak a munka fele. Folyamatosan figyelemmel kell kísérnünk az erőforrás-kihasználást és a teljesítményt is, hogy megállapítsuk, szükséges-e a tartomány méretezése. Az alulkiépített vagy túl kihasznált tartomány a teljesítmény romlását és végül elérhetetlenséget eredményezhet.

CPU kihasználtság

A munkaterhelés futtatásához a domain CPU-ját használja. Általános szabály, hogy minden adatcsomópontnál 60%-os átlagos CPU-kihasználást kell megcéloznia, 80%-os csúcsokkal, és 100%-ig el kell viselnie a kis kiugrásokat. Ha figyelembe vesszük a rendelkezésre állást, és különösen egy teljes zóna elérhetetlenségét, két forgatókönyv létezik. Ha két rendelkezésre állási zónája van, akkor mindegyik zóna kezeli a forgalom 50%-át. Ha egy zóna elérhetetlenné válik, a másik zóna veszi át az összes forgalmat, megduplázva a CPU kihasználtságát. Ebben az esetben minden zónában körülbelül 30–40%-os átlagos CPU-kihasználtságra van szükség a rendelkezésre állás fenntartásához. Ha három elérhetőségi zónát futtat, mindegyik zóna a forgalom 33%-át veszi fel. Ha egy zóna elérhetetlenné válik, mindegyik zóna körülbelül 17%-os forgalmat fog elérni. Ebben az esetben 50–60%-os átlagos CPU-kihasználást kell megcéloznia.

Memória kihasználtság

Az OpenSearch szolgáltatás kétféle szemétgyűjtést támogat. Az első a G1 szemétgyűjtő (G1GC), amelyet az OpenSearch Service csomópontjai használnak, és amelyet a hajtott AWS Graviton 2. A második a Concurrent Mark Sweep (CMS), amelyet minden más processzorral működő csomópont használ. A csomóponthoz lefoglalt összes memória fele (legfeljebb 32 GB) a Java kupachoz van hozzárendelve, a memória többi részét pedig az operációs rendszer egyéb feladatai, a fájlrendszer gyorsítótára stb. A domain elérhetőségének fenntartásához javasoljuk, hogy a maximális JVM-kihasználást 80% körül tartsa a CMS-ben és 95% a G1GC-ben. Minden ezen túlmenően befolyásolhatja domainje elérhetőségét, és egészségtelenné tenné a klasztert. Javasoljuk az automatikus hangolás engedélyezését is, amely aktívan figyeli a memória kihasználtságát és elindítja a szemétgyűjtőt.

A tárhely kihasználtsága

Az OpenSearch Service számos irányelvet tesz közzé domainek méretezése. Egy empirikus képletet biztosítunk, amely segítségével meghatározhatja az igényeinek megfelelő tárhelymennyiséget. Fontos azonban figyelni a tárhely idővel történő kimerülésére és a munkaterhelés jellemzőinek változására. Annak érdekében, hogy a tartomány ne fogyjon ki a tárhelyből, és folytassa az adatok indexelését, konfigurálnia kell amazonfelhőóra riasztásokat, és figyelje szabad tárhelyét.

Az AWS azt is javasolja, hogy válassza ki az elsődleges szilánkok számát, hogy minden szilánk egy optimális méretsávon belül legyen. Meghatározhatja az optimális szilánkméretet az adatokkal és a forgalommal végzett koncepcionális teszteléssel. 10–30 GB-os elsődleges szilánkméretet használunk a keresési felhasználási esetekhez, és 45–50 GB-os elsődleges szilánkméreteket a naplóelemzési felhasználási esetekhez iránymutatásként. Mivel a szilánkok a tartomány dolgozói, közvetlenül ők felelősek a munkaterhelés adatcsomópontok közötti elosztásáért. Ha a szilánkok túl nagyok, előfordulhat, hogy a Java kupacban feszültség keletkezik a nagy összesítések miatt, gyengébb a lekérdezési teljesítmény, és rosszabb a fürtszintű feladatok, például a szilánkok kiegyensúlyozása, pillanatképek és meleg-meleg migráció. Ha a szilánkok túl kicsik, túlterhelhetik a tartomány Java kupacterét, ronthatják a lekérdezések teljesítményét a túlzott belső hálózatok miatt, és lelassíthatják a fürtszintű feladatokat. Azt is javasoljuk, hogy a csomópontonkénti szilánkok száma arányos legyen a rendelkezésre álló kupac mennyiségével (a példány RAM-jának fele legfeljebb 32 GB) – 25 szilánk/GB Java kupac. Ez gyakorlatilag 1,000 szilánkot tesz lehetővé a domain bármely adatcsomópontján.

Következtetés

Ebben a bejegyzésben különféle tippeket és trükköket tanult meg egy magasan elérhető domain beállításához az OpenSearch szolgáltatás használatával, amely segít megőrizni az OpenSearch szolgáltatás teljesítményét és elérhetőségét azáltal, hogy három elérhetőségi zónán keresztül fut.

Maradjon velünk az OpenSearch szolgáltatás különféle funkcióira és funkcióira összpontosító bejegyzések sorozatával kapcsolatban. Ha van visszajelzése a bejegyzéssel kapcsolatban, küldje el a megjegyzés rovatba. Ha kérdése van ezzel a bejegyzéssel kapcsolatban, indítson új témát ezen a címen OpenSearch Service fórum vagy kapcsolat AWS támogatás.

A szerzőkről

Rohin Bhargava idősebb termékmenedzser az Amazon OpenSearch Service csapatánál. Az AWS-nél az a szenvedélye, hogy segítse ügyfeleit megtalálni az AWS-szolgáltatások megfelelő kombinációját, hogy üzleti céljaik elérése érdekében sikeresek legyenek.

Prashant Agrawal az Amazon OpenSearch szolgáltatásának idősebb keresési specialistája. Szorosan együttműködik az ügyfelekkel, hogy segítsen nekik áttelepíteni munkaterhelésüket a felhőbe, és segít a meglévő ügyfeleknek finomhangolni fürteiket a jobb teljesítmény és a költségmegtakarítás érdekében. Mielőtt csatlakozott volna az AWS-hez, különböző ügyfeleknek segített az OpenSearch és az Elasticsearch használatában a keresési és naplóelemzési eseteikben. Amikor nem dolgozik, megtalálhatja őt utazás közben, és új helyeket fedez fel. Röviden, szereti az Eat → Travel → Repeat funkciót.

Időbélyeg:

Még több AWS Big Data