Amazon EMR käivitab toe Amazon EC2 C7g (Graviton3) eksemplaridele, et parandada Sparki töökoormuste kulutasuvust 7–13%

Amazon EMR käivitab toe Amazon EC2 C7g (Graviton3) eksemplaridele, et parandada Sparki töökoormuste kulutasuvust 7–13%

Ajatempel: 1. veebruar 2023 12:57
Allikasõlm: 1935298

Amazon EMR pakub hallatavat teenust analüütikarakenduste hõlpsaks käitamiseks, kasutades avatud lähtekoodiga raamistikke, nagu Apache Spark, Hive, Presto, Trino, HBase ja Flink. Amazoni EMR-i käitusaeg Säde ja Presto sisaldab optimeerimisi, mis pakuvad rohkem kui kaks korda suuremat jõudlust võrreldes avatud lähtekoodiga Apache Sparki ja Prestoga.

Amazon EMR-i versiooniga 6.7 saate nüüd kasutada Amazon Elastic Compute Cloud (Amazon EC2) C7g eksemplarid, mis kasutavad AWS Graviton3 protsessorid. Need eksemplarid parandavad Amazon EMR-is Sparki töökoormuste käitamise hinna-jõudlust 7.93–13.35% võrreldes eelmise põlvkonna eksemplaridega, olenevalt eksemplari suurusest. Selles postituses kirjeldame, kuidas hindasime hinna ja kvaliteedi suhet.

Amazon EMR käitusaegne jõudlus EC2 C7g eksemplaridega

Käitasime TPC-DS 3 TB etalonpäringuid versioonis Amazon EMR 6.9, kasutades Amazon EMR-i käituskeskkonda Apache Sparkile (ühildub versiooniga Apache Spark 3.3) koos C7g eksemplaridega. Andmed salvestati Amazoni lihtne salvestusteenus (Amazon S3) ja tulemusi võrreldi samaväärsete C6g klastritega eelmise põlvkonna eksemplaride perekonnast. Mõõtsime jõudluse paranemist, kasutades TPC-DS 3 TB võrdluspäringute kogu päringu käitusaega ja päringu käitusaja geomeetrilist keskmist.

Meie tulemused näitasid 13.65–18.73% paranemist kogu päringu käitusaja toimivuses ja 16.98–20.28% geomeetrilise keskmise paranemist C7g-ga EMR-klastrites võrreldes samaväärsete C6g-juhtumitega EMR-klastritega, olenevalt eksemplari suurusest. Kulude võrdlemisel täheldasime 7.93–13.35% kulude vähenemist EMR-klastris C7g-ga võrreldes ekvivalendiga C6g-ga, sõltuvalt eksemplari suurusest. Me ei võrdlenud C6g xlarge eksemplari, kuna sellel ei olnud päringute käitamiseks piisavalt mälu.

Järgmises tabelis on näidatud TPC-DS 3 TB etalonpäringute käitamise tulemused, kasutades Amazon EMR 6.9, võrreldes samaväärsete C7g ja C6g eksemplari EMR klastritega.

Eksemplari suurus 16 XL 12 XL 8 XL 4 XL 2 XL
Klastri kogumaht (1 juht + 5 põhisõlme) 6 6 6 6 6
Päringu kogu käitusaeg C6g-s (sekundites) 2774.86205 2752.84429 3173.08086 5108.45489 8697.08117
Päringu kogu käitusaeg C7g-s (sekundites) 2396.22799 2336.28224 2698.72928 4151.85869 7249.58148
Päringu käitusaja täielik täiustamine C7g-ga 13.65% 15.13% 14.95% 18.73% 16.64%
Päringu geomeetriline keskmine käitusaeg C6g (sekundites) 22.2113 21.75459 23.38081 31.97192 45.41656
Päringu geomeetriline keskmine käitusaeg C7g (sekundites) 18.43905 17.65898 19.01684 25.48695 37.43737
Päringu käitusaja geomeetrilise keskmise parandamine C7g-ga 16.98% 18.83% 18.66% 20.28% 17.57%
EC2 C6g eksemplari hind ($ tunnis) $2.1760 $1.6320 $1.0880 $0.5440 $0.2720
EMR C6g eksemplari hind ($ tunnis) $0.5440 $0.4080 $0.2720 $0.1360 $0.0680
(EC2 + EMR) eksemplari hind ($ tunnis) $2.7200 $2.0400 $1.3600 $0.6800 $0.3400
C6g töötamise kulu ($ eksemplari kohta) $2.09656 $1.55995 $1.19872 $0.96493 $0.82139
EC2 C7g eksemplari hind ($ tunnis) $2.3200 $1.7400 $1.1600 $0.5800 $0.2900
EMR C7g hind ($ tunnis eksemplari kohta) $0.5800 $0.4350 $0.2900 $0.1450 $0.0725
(EC2 + EMR) C7g eksemplari hind ($ tunnis) $2.9000 $2.1750 $1.4500 $0.7250 $0.3625
C7g töötamise kulu ($ eksemplari kohta) $1.930290 $1.411500 $1.086990 $0.836140 $0.729990
Kogukulude vähendamine C7g-ga, sealhulgas jõudluse parandamine -7.93% -9.52% -9.32% -13.35% -11.13%

Järgmine graafik näitab C7g 2xsuurtel eksemplaridel täheldatud täiustusi päringu kohta võrreldes samaväärsete C6g põlvkondadega.

Võrdlusuuringu metoodika

Selles postituses kasutatav võrdlusalus on tuletatud tööstusstandardi TPC-DS võrdlusalusest ja kasutab päringuid Spark SQL Performance Tests GitHubi repo järgmisega parandused rakendatud.

Arvutasime TCO, korrutades tunni maksumuse klastris olevate eksemplaride arvu ja klastris päringute käitamiseks kulunud ajaga. Kasutasime USA idapiirkonna (N. Virginia) kõikidel juhtudel tellitavat hinnakujundust.

Järeldus

Selles postituses kirjeldasime, kuidas hindasime Amazon EMR-i kasutamisest koos C7g eksemplaridega saadavat tasuvust võrreldes samaväärsete eelmise põlvkonna eksemplaride kasutamisega. Nende uute eksemplaride kasutamine koos Amazon EMR-iga parandab kulutasuvust veel 7–13%.

Autoritest

AI MSAl MS on Amazon EMR-i tootejuht ettevõttes Amazon Web Services.

Kyeonghyun Ryoo on Amazon Web Services EMR-i tarkvaraarenduse insener. Ta tegeleb peamiselt sisemiste meeskondade ja klientide automatiseerimistööriistade kavandamise ja ehitamisega, et maksimeerida nende tootlikkust. Väljaspool tööd on ta pensionil profimängude maailmameister, kellele meeldib endiselt videomänge mängida.

Yuzhou päike on Amazon Web Servicesi EMR-i tarkvaraarenduse insener.

Steve Koonce on Amazon Web Services EMR-i insenerijuht.

Ajatempel:

Veel alates AWSi suured andmed