In 2022، ما در مورد پیشرفت های جدیدی که در آن ایجاد کردیم به شما گفتیم مقیاس پذیری مدیریت شده آمازون EMR، که به بهبود استفاده از خوشه و همچنین کاهش هزینه های خوشه کمک کرد. در سال 2023، ما خوشحالیم که گزارش دهیم که تیم آمازون EMR سخت کار کرده است. ما نسبت به خواستههای مشتری عقبتر کار کردیم و چندین ویژگی جدید را راهاندازی کردیم تا آمازون EMR شما را در مدیریت ظرفیت خوشههای EC2 و تجربه مقیاسبندی افزایش دهیم.
آمازون EMR راه حل ابر داده های بزرگ برای پردازش داده در مقیاس پتابایت، تجزیه و تحلیل تعاملی و یادگیری ماشین (ML) با استفاده از چارچوب های منبع باز مانند جرقه آپاچی, آپاچی کندوو تند. مشتریان از ما ویژگیهایی خواستند که مدیریت ظرفیت و تجربه مقیاسپذیری EMR خود را در خوشههای EC2، از جمله خوشههای بزرگ و طولانی مدت، بهبود بخشد. ما برای رفع این نیازها سخت کار کرده ایم. موارد زیر برخی از پیشرفت های کلیدی هستند:
- افزایش شفافیت و انعطاف مشتری با مهلت زمانی ارائه برای نمونههای نقطهای
- مقیاس گره های وظیفه بهینه شده برای آمازون EMR در خوشه های EC2 که با گروه های نمونه راه اندازی شد
- انعطافپذیری شغلی بهبود یافته با محافظت پیشرفته برای درایورهای اسپارک
بیایید عمیقتر غواصی کنیم و درباره ویژگیهای EC2 جدید آمازون EMR با جزئیات بحث کنیم.
افزایش شفافیت و انعطاف مشتری با مهلت زمانی ارائه برای نمونههای نقطهای
بسیاری از مشتریان آمازون EMR استفاده می کنند نمونه های نقطه ای EC2 برای EMR خود در خوشه های EC2 برای کاهش هزینه ها. موارد نقطه ای یدکی هستند ابر محاسبه الاستیک آمازون ظرفیت محاسبه (Amazon EC2) با تخفیف تا 90٪ در مقایسه با قیمت درخواستی ارائه می شود. آمازون EMR این قابلیت را به شما ارائه می دهد که به صورت دستی یا با استفاده از خوشه خود را مقیاس بندی کنید مقیاس بندی خودکار. همچنین می توانید از مقیاس پذیری مدیریت شده آمازون EMR قابلیت تغییر اندازه خودکار خوشه بر اساس حجم کار و استفاده.
برای افزایش تجربه مشتری هنگام افزایش مقیاس با استفاده از موارد نقطه، برای EMR در خوشههای EC2 که با استفاده از ناوگان نمونه راهاندازی شدهاند، اکنون میتوانید یک مهلت زمانی تدارکات را برای نمونههای نقطهای مشخص کنید. مهلت زمانی تدارکات به آمازون EMR میگوید که اگر خوشه از آستانه زمانی مشخصی در طول عملیات مقیاسبندی خوشه فراتر رفت، ارائه ظرفیت نمونه نقطهای را متوقف کند. میتوانید مهلت زمانی ارائه نمونه نقطهای را برای خوشههایی که به صورت دستی یا با استفاده از مقیاسگذاری مدیریتشده آمازون EMR و مقیاسسازی خودکار تغییر اندازه میدهند، پیکربندی کنید.
علاوه بر این، برای ارائه شفافیت بهتر، زمانی که مدت زمان منقضی می شود، آمازون EMR همچنین رویدادها را به طور خودکار به یک سایت ارسال می کند. رویدادهای آمازون CloudWatch جریان با این رویدادهای CloudWatch، میتوانید قوانینی را ایجاد کنید که مطابق با یک الگوی مشخص، رویدادها را مطابقت دهد و سپس رویدادها را به سمت اهداف هدایت کنید تا اقدامی انجام دهید. برای کسب اطلاعات بیشتر به ادامه مطلب مراجعه فرمایید سفارشی کردن یک بازه زمانی تدارکات برای تغییر اندازه خوشه در آمازون EMR.
لطفاً در زیر خلاصهای از تجربه سناریوهای مختلف را پیدا کنید، زمانی که یک دوره بازنگری تدارکات را در طول تغییر اندازه برای آمازون EMR خود در خوشه EC2 پیکربندی میکنید.
سناریو | تجربه |
آمازون EMR میتواند ظرفیت Spot مورد نظر را قبل از انقضای مهلت تأمین فراهم کند | آمازون EMR به طور خودکار خوشه را به ظرفیت مورد نظر افزایش می دهد و نیازی به اقدامی از سوی مشتری نیست |
آمازون EMR قادر به ارائه هیچ ظرفیت Spot نیست یا فقط قادر به تامین بخشی از ظرفیت Spot است و مهلت زمانی تامین منقضی شده است. | اگر آمازون EMR نتواند ظرفیت Spot مورد نیاز را تامین کند و مهلت زمانی تامین منقضی شده باشد، آمازون EMR درخواست تغییر اندازه را لغو میکند و تلاشهای خود برای تامین ظرفیت اضافی Spot را متوقف میکند. Amazon EMR همچنین رویدادها را در جریان رویدادهای Amazon CloudWatch منتشر خواهد کرد. مشتریان می توانند از این رویدادها برای ایجاد قوانین و انجام اقدامات مناسب استفاده کنند |
اگر نمونههای Spot در آمازون EMR شما در خوشههای EC2 قطع شود زیرا آمازون EC2 به آنها نیاز دارد | آمازون EMR به طور خودکار یک درخواست تغییر اندازه جدید را برای متعادل کردن مجدد خوشهها با جایگزین کردن نمونهها با هر یک از انواع موجود در خوشه شما آغاز میکند. آمازون EMR همچنین از همان مهلت زمانی تغییر اندازه تدارکاتی استفاده خواهد کرد که در خوشه پیکربندی شده است. هیچ اقدامی از سوی مشتری لازم نیست. |
هنگام تعیین مقدار مهلت زمانی تأمین، باید اهمیت در دسترس بودن ظرفیت را در نظر بگیرید:
- زمانی که در دسترس بودن ظرفیت بار کاری شما حیاتی است - برای اطمینان از در دسترس بودن ظرفیت مورد نظر، توصیه میکنیم مهلت زمانی تنظیم تغییر اندازه را بر اساس زمان لازم برای اجرای برنامه و SLAهای برنامه پیکربندی کنید. به عنوان مثال، اگر SLA برنامه 60 دقیقه است و 30 دقیقه طول می کشد تا برنامه تکمیل شود، باید زمان ارائه تغییر اندازه را روی 30 دقیقه یا کمتر تنظیم کنید. آمازون EMR تلاش خواهد کرد تا ظرفیت Spot را تا پایان مهلت زمانی (30 دقیقه یا کمتر) فراهم کند و یک رویداد CloudWatch را منتشر کند تا بتوانید اقدامات مناسب را انجام دهید.
- وقتی حجم کاری شما از نظر زمانی قابل انعطاف است و در دسترس بودن ظرفیت عاملی نیست - اگر حجم کاری انعطافپذیر در زمان است و در دسترس بودن ظرفیت عاملی نیست، برای اطمینان از بالاترین احتمال برای بدست آوردن ظرفیت Spot مورد نظر، میتوانید مقدار بازه زمانی بالاتری را برای مهلت زمانی تنظیم تغییر اندازه پیکربندی کنید.
مقیاس گره های وظیفه بهینه شده برای آمازون EMR در خوشه های EC2 که با گروه های نمونه راه اندازی شد
گروههای نمونه راهاندازی سادهتری برای راهاندازی EMR روی خوشههای EC2 ارائه میکنند. هر خوشه ای که با استفاده از گروه های نمونه راه اندازی می شود، می تواند تا 50 گروه نمونه را شامل شود: یک گروه نمونه اولیه که شامل یک نمونه EC2 است، یک گروه نمونه اصلی که شامل یک یا چند نمونه EC2 است، و حداکثر 48 گروه نمونه کار اختیاری. میتوانید هر گروه نمونه را با افزودن و حذف دستی نمونههای EC2 مقیاسبندی کنید، یا میتوانید مقیاس خودکار را تنظیم کنید. همچنین میتوانید از ویژگی مقیاسگذاری مدیریت شده آمازون EMR برای تغییر اندازه خودکار خوشه خود بر اساس حجم کار و استفاده استفاده کنید.
برای افزایش تجربه مشتری برای گروههای مثال در EMR در خوشههای EC2 هنگام بزرگسازی گرههای وظیفه با استفاده از مقیاسگذاری مدیریتشده آمازون EMR، الگوریتم مقیاسسنجی مدیریتشده را برای انتخاب گروههای نمونه کار که بیشترین احتمال به دست آوردن ظرفیت را دارند، افزایش دادهایم. علاوه بر این، هنگامی که مقیاس مدیریت شده قادر به کسب ظرفیت با یک گروه نمونه کار نیست، برای کاهش تاخیرهای افزایش مقیاس، آمازون EMR به طور خودکار به گروه کاری دیگری تغییر می کند و با استفاده از چندین گروه نمونه کار، ظرفیت را تکمیل می کند. در نتیجه، هرچه در مورد انواع نمونههای خود انعطافپذیرتر باشید، شانس تامین ظرفیت بیشتر است. برای کسب اطلاعات بیشتر به ادامه مطلب مراجعه نمایید بهترین شیوهها برای مثال و انعطافپذیری منطقه دسترسی.
انعطافپذیری شغلی بهبود یافته با محافظت پیشرفته برای درایورهای اسپارک
In 2022برای بهبود انعطافپذیری شغلی هنگام استفاده از مقیاسگذاری مدیریتشده آمازون EMR، مقیاسگذاری مدیریتشده را برای آگاهی از دادههای Spark shuffle افزایش دادیم، که از کوچکشدن نمونههایی که دادههای shuffle میانی را برای Apache Spark ذخیره میکنند، جلوگیری میکند. این به جلوگیری از تلاش مجدد و محاسبه مجدد شغلی کمک می کند که منجر به عملکرد بهتر و هزینه کمتر می شود.
برای بهبود بیشتر انعطافپذیری شغلی هنگام استفاده از مقیاسگذاری مدیریتشده آمازون EMR، مقیاسگذاری مدیریتشده را بیشتر تقویت کردهایم تا از Spark Driver آگاه باشیم، که تضمین میکند در طول کاهش مقیاس خوشهای، مقیاسگذاری مدیریتشده آمازون EMR، کوچکسازی گرههایی را که فاقد یک مقیاس هستند، در اولویت قرار میدهد. درایور فعال Spark در حال اجرا بر روی آنها. این به حداقل رساندن شکست های شغلی و تلاش مجدد برای کار کمک می کند و به بهبود بیشتر عملکرد و کاهش هزینه ها کمک می کند. این بهبود به طور پیشفرض برای خوشههای EMR با استفاده از آمازون EMR نسخههای 5.34.0 و جدیدتر، و آمازون EMR نسخههای 6.4.0 و بالاتر فعال است.
برای تأیید اینکه کدام گرهها در خوشه شما درایور Spark را اجرا میکنند، میتوانید از سرور Spark History بازدید کرده و درایور را در قسمت فیلتر کنید. مجریان برگه شناسه برنامه Spark شما.
نتیجه
در این پست، ما پیشرفتهایی را که در مدیریت ظرفیت و مقیاسگذاری مدیریتشده آمازون EMR برای EMR در خوشههای EC2 انجام دادیم، برجسته کردیم. ما روی بهبود انعطافپذیری شغلی، افزایش انعطافپذیری و شفافیت هنگام تهیه نمونههای نقطهای، و بهینهسازی تجربه افزایش مقیاس در هنگام استفاده از مقیاسگذاری مدیریتشده با گروههای نمونه در آمازون EMR در خوشههای EC2 تمرکز کردیم. اگرچه ما تاکنون چندین ویژگی را در سال 2023 راه اندازی کرده ایم و سرعت نوآوری همچنان در حال افزایش است، اما همچنان در روز اول باقی مانده است و ما مشتاقانه منتظر شنیدن نظرات شما هستیم که چگونه این ویژگی ها به شما کمک می کند ارزش بیشتری را برای سازمان های خود باز کنید. ما از شما دعوت می کنیم که این ویژگی های جدید را امتحان کنید و اگر نظرات بیشتری دارید از طریق تیم حساب AWS خود با ما در تماس باشید.
درباره نویسندگان
سوشانت ماجیتیا مدیر محصول اصلی EMR در AWS است.
آنکور گویال یک SDM با تیم پلتفرم داده بزرگ آمازون EMR است. او برنامه های کاربردی توزیع شده در مقیاس بزرگ و الگوریتم های بهینه سازی خوشه را می سازد. Ankur به موضوعات تجزیه و تحلیل، یادگیری ماشین و پیش بینی علاقه مند است.
متیو لیم یک مدیر ارشد معماری راه حل در AWS است.
تارون چانانا یک SDM با تیم پلتفرم داده بزرگ آمازون EMR است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- ChartPrime. بازی معاملاتی خود را با ChartPrime ارتقا دهید. دسترسی به اینجا.
- BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- : دارد
- :است
- :نه
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- قادر
- درباره ما
- شتاب دادن
- مطابق
- حساب
- به دست آوردن
- کسب
- عمل
- اقدامات
- فعال
- اضافه کردن
- اضافی
- الگوریتم
- الگوریتم
- همچنین
- هر چند
- آمازون
- آمازون EC2
- آمازون EMR
- آمازون خدمات وب
- an
- علم تجزیه و تحلیل
- و
- دیگر
- هر
- آپاچی
- جرقه آپاچی
- کاربرد
- برنامه های کاربردی
- مناسب
- معماری
- هستند
- AS
- At
- تلاشها
- خودکار
- اتوماتیک
- بطور خودکار
- دسترس پذیری
- در دسترس
- مطلع
- AWS
- مستقر
- BE
- بوده
- قبل از
- در زیر
- بهتر
- بزرگ
- بزرگ داده
- می سازد
- by
- CAN
- قابلیت
- ظرفیت
- شانس
- را انتخاب کنید
- ابر
- کلان داده های ابری
- خوشه
- نظرات
- مقایسه
- کامل
- محاسبه
- پیکربندی
- تکرار
- در نتیجه
- در نظر بگیرید
- شامل
- ادامه
- هسته
- هزینه
- هزینه
- ایجاد
- انتقادی بودن
- مشتری
- تجربه مشتری
- مشتریان
- داده ها
- بستر داده
- پردازش داده ها
- روز
- عمیق تر
- به طور پیش فرض
- تاخیر
- مطلوب
- جزئیات
- مختلف
- تخفیف
- بحث و تبادل نظر
- توزیع شده
- شیرجه رفتن
- آیا
- راننده
- در طی
- هر
- هر دو
- فعال
- بالا بردن
- افزایش
- تقویت
- پیشرفت ها
- اطمینان حاصل شود
- تضمین می کند
- اتر (ETH)
- واقعه
- حوادث
- مثال
- بیش از
- تجربه
- انقضاء
- عامل
- بسیار
- ویژگی
- امکانات
- فیلتر
- پیدا کردن
- انعطاف پذیری
- قابل انعطاف
- متمرکز شده است
- پیروی
- برای
- به جلو
- چارچوب
- از جانب
- تکمیل کنید
- بیشتر
- بعلاوه
- دریافت کنید
- گرفتن
- گروه
- گروه ها
- خوشحال
- سخت
- آیا
- he
- شنوایی
- کمک
- کمک کرد
- کمک
- کمک می کند
- بالاتر
- بالاترین
- برجسته
- تاریخ
- چگونه
- HTML
- HTTP
- HTTPS
- ID
- if
- بهبود
- ارتقاء
- بهبود
- in
- شامل
- از جمله
- ابداع
- نمونه
- تعاملی
- علاقه مند
- حد واسط
- منقطع
- دعوت
- IT
- کار
- کلید
- بزرگ
- بعد
- راه اندازی
- راه اندازی
- منجر می شود
- یاد گرفتن
- یادگیری
- کمتر
- احتمال
- نگاه کنيد
- کاهش
- دستگاه
- فراگیری ماشین
- ساخته
- اداره می شود
- مدیریت
- مدیر
- دستی
- مسابقه
- دیدار
- دقیقه
- ML
- بیش
- چندگانه
- ضروری
- نیازهای
- جدید
- ویژگی های جدید
- نه
- گره
- اکنون
- of
- ارائه
- ارائه شده
- پیشنهادات
- on
- بر روی تقاضا
- ONE
- فقط
- منبع باز
- عملیات
- بهینه سازی
- بهینه سازی
- or
- سازمان های
- سرعت
- الگو
- کارایی
- دوره
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- لطفا
- پست
- شیوه های
- جلوگیری از
- قیمت گذاری
- اصلی
- اصلی
- در حال پردازش
- محصول
- مدیر تولید
- حفاظت
- ارائه
- تدارک
- منتشر کردن
- تعادل دوباره
- توصیه
- كاهش دادن
- کاهش
- مراجعه
- بقایای
- از بین بردن
- گزارش
- درخواست
- ضروری
- مورد نیاز
- مسیر
- قوانین
- دویدن
- در حال اجرا
- همان
- مقیاس
- افزایش مقیاس
- مقیاس گذاری
- SDM
- ارسال
- ارشد
- خدمات
- تنظیم
- برپایی
- باید
- مخلوط کردن
- تنها
- So
- تا حالا
- راه حل
- برخی از
- جرقه
- مشخص شده
- Spot
- توقف
- توقف
- opbevare
- جریان
- چنین
- گزینه
- گرفتن
- طول می کشد
- اهداف
- کار
- تیم
- گفتن
- که
- La
- شان
- آنها
- سپس
- اینها
- این
- کسانی که
- آستانه
- از طریق
- زمان
- به
- تاپیک
- لمس
- شفافیت
- ماشه
- امتحان
- انواع
- باز
- تا
- us
- استفاده کنید
- با استفاده از
- ارزش
- بازدید
- بود
- we
- وب
- خدمات وب
- خوب
- چه زمانی
- که
- اراده
- با
- مهاجرت کاری
- مشغول به کار
- خواهد بود
- شما
- شما
- زفیرنت