In 2022, ми розповіли вам про нові покращення, які ми зробили в Кероване масштабування Amazon EMR, що допомогло покращити використання кластера, а також зменшити витрати кластера. У 2023 році ми раді повідомити, що команда Amazon EMR наполегливо працювала. Ми відійшли від вимог клієнтів і запустили кілька нових функцій, щоб покращити керування потужністю та масштабування кластерів Amazon EMR на EC2.
Amazon EMR це хмарне рішення для великих даних для обробки даних у петабайтному масштабі, інтерактивної аналітики та машинного навчання (ML) із використанням фреймворків із відкритим кодом, таких як Apache Spark, Вулик апачів та Престо. Клієнти запитували у нас функції, які б ще більше покращили керування потужністю та досвід масштабування їхніх EMR на кластерах EC2, включно з їхніми великими довгостроковими кластерами. Ми наполегливо працювали, щоб задовольнити ці потреби. Нижче наведено деякі з ключових удосконалень:
- Покращена прозорість і гнучкість для клієнтів завдяки тайм-ауту надання для Spot Instances
- Оптимізовано масштабування вузлів завдань для Amazon EMR на кластерах EC2, запущених із групами екземплярів
- Покращена відмовостійкість роботи завдяки покращеному захисту драйверів Spark
Давайте зануримося глибше та детально обговоримо нові функції Amazon EMR на EC2.
Покращена прозорість і гнучкість для клієнтів завдяки тайм-ауту надання для Spot Instances
Багато клієнтів Amazon EMR використовують Спотові екземпляри EC2 для їх EMR на кластерах EC2, щоб зменшити витрати. Точкові екземпляри є запасними Обчислювальна хмара Amazon Elastic (Amazon EC2) обчислювальна потужність пропонується зі знижками до 90% порівняно з цінами On-Demand. Amazon EMR пропонує вам можливість масштабувати кластер вручну або за допомогою Автоматичне масштабування. Ви також можете використовувати Кероване масштабування Amazon EMR функція автоматичного зміни розміру кластера залежно від робочого навантаження та використання.
Щоб покращити взаємодію з клієнтами під час масштабування за допомогою спотових екземплярів, для EMR на кластерах EC2, запущених за допомогою парків екземплярів, тепер можна вказати час очікування надання для спотових екземплярів. Тайм-аут надання сповістить Amazon EMR припинити надання ємності Spot Instance, якщо кластер перевищить визначений поріг часу під час операцій масштабування кластера. Ви можете налаштувати тайм-аут надання екземпляра Spot для кластерів, розмір яких змінюється вручну або за допомогою Amazon EMR Managed Scaling і Auto Scaling.
Крім того, щоб забезпечити кращу прозорість, після закінчення періоду очікування Amazon EMR також автоматично надсилатиме події на Події Amazon CloudWatch потік. За допомогою цих подій CloudWatch ви можете створювати правила, які відповідають подіям відповідно до заданого шаблону, а потім направляти події до цілей для виконання дій. Щоб дізнатися більше, зверніться до Налаштуйте період очікування надання для зміни розміру кластера в Amazon EMR.
Нижче наведено короткий опис досвіду для різних сценаріїв, коли ви налаштовуєте період очікування надання під час зміни розміру вашого Amazon EMR у кластері EC2
сценарій | досвід |
Amazon EMR може надати бажану ємність Spot до закінчення часу очікування надання | Amazon EMR автоматично розширює кластер до потрібної потужності, і клієнту не потрібно нічого робити |
Amazon EMR не може надати будь-яку ємність Spot або може надати лише часткову ємність Spot, і час очікування надання минув | Якщо Amazon EMR не може надати необхідну ємність Spot і час очікування надання минув, Amazon EMR скасує запит на зміну розміру та припинить свої спроби надати додаткову ємність Spot. Amazon EMR також публікуватиме події в потоці Amazon CloudWatch Events. Клієнти можуть використовувати ці події для створення правил і виконання відповідних дій |
Якщо екземпляри Spot у ваших кластерах Amazon EMR на EC2 перервано, оскільки Amazon EC2 потребує їх повернення | Amazon EMR автоматично ініціює новий запит на зміну розміру, щоб збалансувати ваші кластери шляхом заміни екземплярів будь-яким із доступних типів у вашому кластері. Amazon EMR також використовуватиме той самий час очікування зміни розміру надання, який було налаштовано в кластері. Від клієнта не потрібно жодних дій. |
Ви повинні враховувати критичність доступності ємності, вказуючи значення часу очікування надання:
- Коли доступність вашого робочого навантаження критична - Щоб забезпечити доступність потрібної ємності, ми рекомендуємо налаштувати тайм-аут надання зміни розміру на основі часу, необхідного для запуску програми, і програм SLA. Наприклад, якщо SLA програми становить 60 хвилин, а для завершення роботи програми потрібно 30 хвилин, вам слід встановити час очікування зміни розміру до 30 хвилин або менше. Amazon EMR намагатиметься надати ємність Spot до закінчення часу очікування (30 хвилин або менше) і опублікувати подію CloudWatch, щоб ви могли вжити відповідних дій.
- Коли ваше робоче навантаження є гнучким у часі, а наявність потужностей не є фактором - Якщо робоче навантаження є гнучким за часом і доступність ємності не є фактором, щоб забезпечити найвищу ймовірність отримання бажаної ємності Spot, ви можете налаштувати більш високе значення часу очікування для часу очікування зміни розміру.
Оптимізовано масштабування вузлів завдань для Amazon EMR на кластерах EC2, запущених із групами екземплярів
Групи екземплярів пропонують простіші налаштування для запуску EMR на кластерах EC2. Кожен кластер, запущений за допомогою груп екземплярів, може включати до 50 груп екземплярів: одну основну групу екземплярів, яка містить один екземпляр EC2, основну групу екземплярів, яка містить один або більше екземплярів EC2, і до 48 додаткових груп екземплярів завдань. Ви можете масштабувати кожну групу екземплярів, додаючи та видаляючи екземпляри EC2 вручну, або ви можете налаштувати автоматичне масштабування. Ви також можете використовувати функцію Amazon EMR Managed Scaling, щоб автоматично змінювати розмір кластера залежно від робочого навантаження та використання.
Щоб покращити взаємодію з клієнтами для груп екземплярів на EMR на кластерах EC2 під час масштабування вузлів завдань за допомогою Amazon EMR Managed Scaling, ми вдосконалили алгоритм керованого масштабування, щоб вибрати групи екземплярів завдань, які мають найвищу ймовірність отримання потужності. Крім того, коли кероване масштабування не може отримати потужність за допомогою однієї групи екземплярів завдань, щоб зменшити будь-які затримки масштабування, Amazon EMR автоматично переключиться на іншу групу завдань і заповнить потужність за допомогою кількох груп екземплярів завдань. Отже, чим гнучкіші ви щодо типів екземплярів, тим вищі шанси на забезпечення потужності. Щоб дізнатися більше, зверніться до Найкращі практики, наприклад, і гнучкість зони доступності.
Покращена відмовостійкість роботи завдяки покращеному захисту драйверів Spark
In 2022, щоб підвищити стійкість завдань під час використання керованого масштабування Amazon EMR, ми розширили кероване масштабування, щоб враховувати Spark shuffle data, що запобігає зменшенню масштабу екземплярів, які зберігають проміжні дані shuffle для Apache Spark. Це допомагає запобігти повторним спробам завдання та повторним обчисленням, що призводить до кращої продуктивності та зниження вартості.
Щоб ще більше підвищити стійкість завдань під час використання Amazon EMR Managed Scaling, ми додатково розширили кероване масштабування, щоб знати Spark Driver, що гарантує, що під час масштабування кластера Amazon EMR Managed Scaling надає пріоритет масштабуванню вузлів, які не мають на них працює активний драйвер Spark. Це допомагає мінімізувати збої в роботі та повторні спроби, сприяючи подальшому підвищенню продуктивності та зменшенню витрат. Це покращення ввімкнено за замовчуванням для кластерів EMR, які використовують Amazon EMR версії 5.34.0 і новішої версії та Amazon EMR версії 6.4.0 і новішої.
Щоб перевірити, на яких вузлах у вашому кластері запущено драйвер Spark, ви можете відвідати сервер історії Spark і відфільтрувати драйвер на Виконавці вкладку ідентифікатора програми Spark.
Висновок
У цій публікації ми висвітлили покращення, які ми внесли в керування потужністю та кероване масштабування Amazon EMR для EMR на кластерах EC2. Ми зосередилися на покращенні стійкості завдань, підвищеній гнучкості та прозорості під час надання спотових екземплярів, а також оптимізації досвіду масштабування за допомогою керованого масштабування з групами інстанцій на Amazon EMR на кластерах EC2. Хоча у 2023 році ми запустили кілька функцій і темп інновацій продовжує прискорюватися, це все ще день 1, і ми з нетерпінням чекаємо почути від вас, як ці функції допоможуть вам розблокувати більше цінності для ваших організацій. Ми запрошуємо вас спробувати ці нові функції та зв’язатися з нами через вашу команду облікових записів AWS, якщо у вас є додаткові коментарі.
Про авторів
Сушант Маджитія є головним менеджером із продуктів EMR в AWS.
Анкур Гоял є SDM команди Amazon EMR Big Data Platform. Він створює великомасштабні розподілені програми та алгоритми оптимізації кластерів. Анкур цікавиться темами аналітики, машинного навчання та прогнозування.
Метью Лієм є старшим менеджером з архітектури рішень в AWS.
Тарун Чанана є SDM команди Amazon EMR Big Data Platform.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- : має
- :є
- : ні
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Здатний
- МЕНЮ
- прискорювати
- За
- рахунки
- набувати
- придбання
- дію
- дії
- активний
- додати
- Додатковий
- алгоритм
- алгоритми
- Також
- хоча
- Amazon
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- аналітика
- та
- Інший
- будь-який
- Apache
- Apache Spark
- додаток
- застосування
- відповідний
- архітектура
- ЕСТЬ
- AS
- At
- Спроби
- автоматичний
- автоматичний
- автоматично
- наявність
- доступний
- знати
- AWS
- заснований
- BE
- було
- перед тим
- нижче
- Краще
- Великий
- Великий даних
- Будує
- by
- CAN
- можливості
- потужність
- шанси
- Вибирати
- хмара
- хмарні великі дані
- кластер
- коментарі
- порівняний
- повний
- обчислення
- налаштувати
- підтвердити
- Отже
- Вважати
- містить
- триває
- Core
- Коштувати
- витрати
- створювати
- критичність
- клієнт
- Досвід клієнтів
- Клієнти
- дані
- Платформа даних
- обробка даних
- день
- глибше
- дефолт
- затримки
- бажаний
- деталь
- різний
- знижки
- обговорювати
- розподілений
- занурення
- Не знаю
- водій
- під час
- кожен
- або
- включений
- підвищувати
- підвищена
- Посилення
- Удосконалення
- забезпечувати
- гарантує
- Ефір (ETH)
- Event
- Події
- приклад
- перевищує
- досвід
- витікання
- фактор
- далеко
- особливість
- риси
- фільтрувати
- знайти
- Гнучкість
- гнучкий
- увагу
- після
- для
- Вперед
- каркаси
- від
- Виконати
- далі
- Крім того
- отримати
- отримання
- Group
- Групи
- щасливий
- Жорсткий
- Мати
- he
- слух
- допомога
- допоміг
- допомогу
- допомагає
- вище
- найвищий
- Виділено
- історія
- Як
- HTML
- HTTP
- HTTPS
- ID
- if
- удосконалювати
- поліпшення
- поліпшення
- in
- включати
- У тому числі
- інновація
- екземпляр
- інтерактивний
- зацікавлений
- Проміжний
- перерваний
- запрошувати
- IT
- робота
- ключ
- великий
- пізніше
- запуск
- запущений
- Веде за собою
- УЧИТЬСЯ
- вивчення
- менше
- ймовірність
- подивитися
- знизити
- машина
- навчання за допомогою машини
- made
- вдалося
- управління
- менеджер
- вручну
- матч
- Зустрічатися
- протокол
- ML
- більше
- множинний
- необхідний
- потреби
- Нові
- Нові можливості
- немає
- вузли
- зараз
- of
- пропонувати
- запропонований
- Пропозиції
- on
- On-Demand
- ONE
- тільки
- з відкритим вихідним кодом
- операції
- оптимізація
- оптимізуючий
- or
- організації
- алюр
- Викрійки
- продуктивність
- period
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- будь ласка
- пошта
- практики
- запобігає
- ціни без прихованих комісій
- первинний
- Головний
- обробка
- Product
- менеджер по продукції
- захист
- забезпечувати
- забезпечення
- публікувати
- ребаланс
- рекомендувати
- зменшити
- Знижений
- послатися
- залишається
- видалення
- звітом
- запросити
- вимагається
- Вимога
- Маршрут
- Правила
- прогін
- біг
- то ж
- шкала
- нарощувати
- Масштабування
- ст.л
- послати
- старший
- Послуги
- комплект
- установка
- Повинен
- перемішування
- один
- So
- так далеко
- рішення
- деякі
- Іскритися
- зазначений
- Spot
- Стоп
- Зупиняє
- зберігати
- потік
- такі
- перемикач
- Приймати
- приймає
- цілі
- Завдання
- команда
- сказати
- Що
- Команда
- їх
- Їх
- потім
- Ці
- це
- ті
- поріг
- через
- час
- до
- теми
- торкатися
- прозорість
- викликати
- намагатися
- Типи
- відімкнути
- до
- us
- використання
- використання
- значення
- візит
- було
- we
- Web
- веб-сервіси
- ДОБРЕ
- коли
- який
- волі
- з
- Work
- працював
- б
- ви
- вашу
- зефірнет