In 2022, opowiedzieliśmy Ci o nowych ulepszeniach, które wprowadziliśmy Zarządzane skalowanie Amazon EMR, co pomogło poprawić wykorzystanie klastra, a także zmniejszyć jego koszty. W 2023 roku z radością informujemy, że zespół Amazon EMR ciężko pracował. Wycofaliśmy się z wymagań klientów i wprowadziliśmy wiele nowych funkcji, aby ulepszyć usługę Amazon EMR w zakresie zarządzania pojemnością klastrów EC2 i skalowania.
Amazon EMR to rozwiązanie w chmurze do obsługi dużych zbiorów danych do przetwarzania danych w skali petabajtowej, interaktywnej analizy i uczenia maszynowego (ML) przy użyciu platform typu open source, takich jak Apache Spark, Ula Apache, presto. Klienci prosili nas o funkcje, które jeszcze bardziej usprawniłyby zarządzanie pojemnością i skalowanie ich rozwiązań EMR w klastrach EC2, w tym w dużych, długotrwałych klastrach. Ciężko pracowaliśmy, aby sprostać tym potrzebom. Oto niektóre z kluczowych ulepszeń:
- Większa przejrzystość i elastyczność klienta dzięki przekroczeniu limitu czasu przydzielania instancji Spot
- Zoptymalizowane skalowanie węzłów zadań dla Amazon EMR w klastrach EC2 uruchamianych z grupami instancji
- Większa odporność zadań dzięki lepszej ochronie sterowników Spark
Zagłębmy się w szczegóły i omówmy szczegółowo nowe funkcje Amazon EMR w EC2.
Większa przejrzystość i elastyczność klienta dzięki przekroczeniu limitu czasu przydzielania instancji Spot
Korzysta z niego wielu klientów Amazon EMR Instancje punktowe EC2 dla ich EMR w klastrach EC2 w celu zmniejszenia kosztów. Instancje Spot są zapasowe Elastyczna chmura obliczeniowa Amazon (Amazon EC2) moc obliczeniowa oferowana z rabatami do 90% w porównaniu z cenami na żądanie. Amazon EMR oferuje możliwość skalowania klastra ręcznie lub za pomocą Automatyczne skalowanie. Możesz także użyć Zarządzane skalowanie Amazon EMR funkcję automatycznego zmieniania rozmiaru klastra na podstawie obciążenia i wykorzystania.
Aby poprawić komfort klienta podczas skalowania w górę za pomocą instancji Spot, w przypadku EMR w klastrach EC2 uruchamianych przy użyciu flot instancji można teraz określić limit czasu udostępniania dla instancji Spot. Limit czasu udostępniania poinformuje firmę Amazon EMR o zaprzestaniu udostępniania pojemności instancji spot, jeśli klaster przekroczy określony próg czasu podczas operacji skalowania klastra. Możesz skonfigurować limit czasu udostępniania instancji Spot dla klastrów, których rozmiar zmieniany jest ręcznie lub przy użyciu skalowania zarządzanego i automatycznego skalowania Amazon EMR.
Dodatkowo, aby zapewnić lepszą przejrzystość, po upływie limitu czasu Amazon EMR będzie również automatycznie wysyłać zdarzenia do Zdarzenia Amazon CloudWatch strumień. Za pomocą tych zdarzeń CloudWatch można tworzyć reguły dopasowujące zdarzenia według określonego wzorca, a następnie kierować zdarzenia do obiektów docelowych w celu podjęcia działań. Aby dowiedzieć się więcej, zob Dostosuj limit czasu udostępniania dla zmiany rozmiaru klastra w Amazon EMR.
Poniżej znajdziesz podsumowanie doświadczeń dla różnych scenariuszy podczas konfigurowania limitu czasu udostępniania podczas zmiany rozmiaru dla Amazon EMR w klastrze EC2
Scenariusz | Doświadczenie |
Amazon EMR jest w stanie zapewnić żądaną pojemność Spotu przed upływem limitu czasu udostępniania | Amazon EMR automatycznie skaluje klaster do żądanej pojemności i nie wymaga żadnych działań ze strony klienta |
Amazon EMR nie jest w stanie udostępnić żadnej pojemności Spot lub jest w stanie zapewnić jedynie częściową pojemność Spot i upłynął limit czasu udostępniania | Jeśli Amazon EMR nie będzie w stanie zapewnić wymaganej pojemności Spot i upłynął limit czasu udostępniania, Amazon EMR anuluje żądanie zmiany rozmiaru i zaprzestanie prób udostępnienia dodatkowej pojemności Spot. Amazon EMR będzie również publikować wydarzenia w strumieniu wydarzeń Amazon CloudWatch. Klienci mogą używać tych zdarzeń do tworzenia reguł i podejmowania odpowiednich działań |
Jeśli instancje Spot w Amazon EMR w klastrach EC2 zostaną przerwane, ponieważ Amazon EC2 ich potrzebuje | Amazon EMR automatycznie wygeneruje nowe żądanie zmiany rozmiaru, aby zrównoważyć klastry, zastępując instancje dowolnym z dostępnych typów w klastrze. Usługa Amazon EMR będzie również korzystać z tego samego limitu czasu zmiany rozmiaru udostępniania, który został skonfigurowany w klastrze. Nie jest wymagane żadne działanie ze strony klienta. |
Określając wartość limitu czasu udostępniania, należy wziąć pod uwagę krytyczność dostępności pojemności:
- Gdy dostępność pojemności roboczej jest krytyczna - Aby zapewnić dostępność żądanej pojemności, zalecamy skonfigurowanie limitu czasu udostępniania zmiany rozmiaru na podstawie czasu potrzebnego do uruchomienia aplikacji i umów SLA aplikacji. Na przykład, jeśli umowa SLA aplikacji wynosi 60 minut, a jej ukończenie zajmuje 30 minut, należy ustawić limit czasu udostępniania zmiany rozmiaru na 30 minut lub mniej. Usługa Amazon EMR spróbuje udostępnić pojemność Spot do upływu limitu czasu (30 minut lub mniej) i opublikuje zdarzenie CloudWatch, abyś mógł podjąć odpowiednie działania.
- Kiedy obciążenie pracą jest elastyczne pod względem czasowym i dostępność mocy obliczeniowej nie jest czynnikiem decydującym - Jeśli obciążenie jest elastyczne w czasie i dostępność pojemności nie jest czynnikiem, aby zapewnić największe prawdopodobieństwo uzyskania żądanej pojemności Spot, można skonfigurować wyższą wartość limitu czasu dla limitu czasu udostępniania zmiany rozmiaru.
Zoptymalizowane skalowanie węzłów zadań dla Amazon EMR w klastrach EC2 uruchamianych z grupami instancji
Grupy instancji oferują prostszą konfigurację uruchamiania EMR w klastrach EC2. Każdy klaster uruchomiony przy użyciu grup instancji może zawierać maksymalnie 50 grup instancji: jedną podstawową grupę instancji zawierającą jedną instancję EC2, podstawową grupę instancji zawierającą jedną lub więcej instancji EC2 oraz maksymalnie 48 opcjonalnych grup instancji zadań. Możesz skalować każdą grupę instancji, dodając i usuwając instancje EC2 ręcznie, lub możesz skonfigurować skalowanie automatyczne. Możesz także użyć funkcji skalowania zarządzanego Amazon EMR, aby automatycznie zmienić rozmiar klastra na podstawie obciążenia i wykorzystania.
Aby poprawić wygodę klientów, na przykład grup w EMR w klastrach EC2 podczas skalowania w górę węzłów zadań za pomocą usługi Amazon EMR Managed Scaling, ulepszyliśmy algorytm zarządzanego skalowania, aby wybierał grupy instancji zadań, które mają największe prawdopodobieństwo uzyskania wydajności. Co więcej, gdy skalowanie zarządzane nie jest w stanie uzyskać wydajności w ramach pojedynczej grupy instancji zadań, aby zmniejszyć opóźnienia w skalowaniu, Amazon EMR automatycznie przełączy się do innej grupy zadań i wykorzysta pojemność, korzystając z wielu grup instancji zadań. W związku z tym im bardziej elastycznie podchodzisz do typów instancji, tym większe są szanse na zapewnienie wydajności. Aby dowiedzieć się więcej, zob Najlepsze praktyki na przykład i elastyczność Strefy Dostępności.
Większa odporność zadań dzięki lepszej ochronie sterowników Spark
In 2022, aby poprawić odporność zadań podczas korzystania z usługi Amazon EMR Managed Scaling, udoskonaliliśmy zarządzane skalowanie, aby uwzględniało tasowanie danych Spark, co zapobiega skalowaniu w dół instancji przechowujących pośrednie dane tasowania dla Apache Spark. Pomaga to zapobiegać ponownym próbom wykonania zadania i ponownym obliczeniom, co prowadzi do lepszej wydajności i niższych kosztów.
Aby jeszcze bardziej poprawić odporność zadań podczas korzystania z usługi Amazon EMR Managed Scaling, jeszcze bardziej udoskonaliliśmy zarządzane skalowanie, aby obsługiwało sterownik Spark Driver, co gwarantuje, że podczas skalowania klastra usługa Amazon EMR Managed Scaling priorytetowo traktuje skalowanie w dół węzłów, które nie mają działający na nich aktywny sterownik Spark. Pomaga to zminimalizować liczbę niepowodzeń i ponownych prób zadań, co pozwala na dalszą poprawę wydajności i redukcję kosztów. To ulepszenie jest domyślnie włączone dla klastrów EMR korzystających z Amazon EMR w wersji 5.34.0 i nowszych oraz Amazon EMR w wersjach 6.4.0 i nowszych.
Aby sprawdzić, w których węzłach w klastrze uruchomiony jest sterownik Spark, możesz odwiedzić serwer historii Spark i wyszukać sterownik w Wykonawcy zakładkę identyfikatora aplikacji Spark.
Wnioski
W tym poście podkreśliliśmy ulepszenia, które wprowadziliśmy w zarządzaniu pojemnością i skalowaniu zarządzanym przez Amazon EMR dla EMR w klastrach EC2. Skoncentrowaliśmy się na poprawie odporności zadań, zwiększonej elastyczności i przejrzystości podczas udostępniania instancji spot oraz optymalizacji doświadczenia związanego ze skalowaniem podczas korzystania z zarządzanego skalowania z grupami instancji w Amazon EMR w klastrach EC2. Chociaż w 2023 r. wprowadziliśmy już wiele funkcji, a tempo innowacji stale przyspiesza, pozostaje to pierwszym dniem i nie możemy się doczekać, aby usłyszeć od Ciebie, w jaki sposób te funkcje pomogą Ci odblokować większą wartość dla Twoich organizacji. Zapraszamy do wypróbowania tych nowych funkcji i skontaktowania się z nami za pośrednictwem zespołu obsługi konta AWS, jeśli masz dalsze uwagi.
O autorach
Sushant Majithia jest głównym menedżerem produktu ds. EMR w AWS.
Ankura Goyala to zespół SDM z zespołem Amazon EMR Big Data Platform. Buduje wielkoskalowe aplikacje rozproszone i algorytmy optymalizacji klastrów. Ankur interesuje się analityką, uczeniem maszynowym i prognozowaniem.
Mateusz Liem jest Senior Solution Architecture Manager w AWS.
Tarun Chanana to zespół SDM z zespołem Amazon EMR Big Data Platform.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- ChartPrime. Podnieś poziom swojej gry handlowej dzięki ChartPrime. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :ma
- :Jest
- :nie
- $W GÓRĘ
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Zdolny
- O nas
- przyśpieszyć
- Stosownie
- Konto
- nabyć
- nabywanie
- Działania
- działania
- aktywny
- dodanie
- Dodatkowy
- algorytm
- Algorytmy
- również
- Chociaż
- Amazonka
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- analityka
- i
- Inne
- każdy
- Apache
- Apache Spark
- Zastosowanie
- aplikacje
- właściwy
- architektura
- SĄ
- AS
- At
- Próby
- samochód
- automatycznie
- automatycznie
- dostępność
- dostępny
- świadomy
- AWS
- na podstawie
- BE
- być
- zanim
- poniżej
- Ulepsz Swój
- Duży
- Big Data
- Buduje
- by
- CAN
- zdolność
- Pojemność
- duża szansa,
- Dodaj
- Chmura
- duże zbiory danych w chmurze
- Grupa
- komentarze
- w porównaniu
- kompletny
- obliczać
- skonfigurowany
- Potwierdzać
- w konsekwencji
- Rozważać
- zawiera
- ciągły
- rdzeń
- Koszty:
- Koszty:
- Stwórz
- krytyczność
- klient
- doświadczenie klienta
- Klientów
- dane
- Platforma danych
- analiza danych
- dzień
- głębiej
- Domyślnie
- opóźnienia
- życzenia
- detal
- różne
- rabaty
- dyskutować
- dystrybuowane
- nurkować
- nie
- kierowca
- podczas
- każdy
- bądź
- włączony
- wzmacniać
- wzmocnione
- wzmocnienie
- ulepszenia
- zapewnić
- zapewnia
- Eter (ETH)
- wydarzenie
- wydarzenia
- przykład
- przekracza
- doświadczenie
- wygaśnięcie
- czynnik
- daleko
- Cecha
- Korzyści
- filtrować
- Znajdź
- Elastyczność
- elastyczne
- koncentruje
- następujący
- W razie zamówieenia projektu
- Naprzód
- Ramy
- od
- Spełnić
- dalej
- Ponadto
- otrzymać
- miejsce
- Zarządzanie
- Grupy
- Zaoszczędzić
- Ciężko
- Have
- he
- przesłuchanie
- pomoc
- pomógł
- pomoc
- pomaga
- wyższy
- Najwyższa
- Podświetlony
- historia
- W jaki sposób
- HTML
- http
- HTTPS
- ID
- if
- podnieść
- ulepszenia
- poprawy
- in
- zawierać
- Włącznie z
- Innowacja
- przykład
- interaktywne
- zainteresowany
- Pośredni
- przerwane
- zapraszać
- IT
- Praca
- Klawisz
- duży
- później
- uruchomić
- uruchomiona
- Wyprowadzenia
- UCZYĆ SIĘ
- nauka
- mniej
- prawdopodobieństwo
- Popatrz
- niższy
- maszyna
- uczenie maszynowe
- zrobiony
- zarządzane
- i konserwacjami
- kierownik
- ręcznie
- Mecz
- Poznaj nasz
- minuty
- ML
- jeszcze
- wielokrotność
- potrzebne
- wymagania
- Nowości
- Nowe funkcje
- Nie
- węzły
- już dziś
- of
- oferta
- oferowany
- Oferty
- on
- Na żądanie
- ONE
- tylko
- open source
- operacje
- optymalizacja
- optymalizacji
- or
- organizacji
- Pokój
- Wzór
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- okres
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- Post
- praktyki
- zapobiega
- wycena
- pierwotny
- Główny
- przetwarzanie
- Produkt
- product manager
- ochrona
- zapewniać
- zaopatrzenie
- publikować
- przywrócenie równowagi
- polecić
- zmniejszyć
- Zredukowany
- odnosić się
- szczątki
- usuwanie
- raport
- zażądać
- wymagany
- wymagania
- Trasa
- reguły
- run
- bieganie
- taki sam
- Skala
- powiększanie
- skalowaniem
- sdm
- wysłać
- senior
- Usługi
- zestaw
- ustawienie
- powinien
- Shuffle
- pojedynczy
- So
- dotychczas
- rozwiązanie
- kilka
- Iskra
- określony
- Spot
- Stop
- Zatrzymuje
- sklep
- strumień
- taki
- Przełącznik
- Brać
- trwa
- cele
- Zadanie
- zespół
- powiedzieć
- że
- Połączenia
- ich
- Im
- następnie
- Te
- to
- tych
- próg
- Przez
- czas
- do
- tematy
- Kontakt
- Przezroczystość
- wyzwalać
- próbować
- typy
- odblokować
- aż do
- us
- posługiwać się
- za pomocą
- wartość
- Odwiedzić
- była
- we
- sieć
- usługi internetowe
- DOBRZE
- jeśli chodzi o komunikację i motywację
- który
- będzie
- w
- Praca
- pracował
- by
- ty
- Twój
- zefirnet