جلسات تعاملی AWS Glue به مهندسان اجازه می دهد تا بارهای کاری آماده سازی و تجزیه و تحلیل داده ها را در یک نوت بوک تعاملی بسازند، آزمایش و اجرا کنند. جلسات تعاملی محیطهای توسعه مجزا را فراهم میکنند، از خوشه محاسباتی زیرین مراقبت میکنند و امکان پیکربندی برای توقف منابع بیحرکت را فراهم میکنند.
جلسات تعاملی Glue پیکربندی های پیشنهادی پیش فرض را ارائه می دهد و همچنین به کاربران اجازه می دهد جلسه را سفارشی کنید برای رفع نیازهای آنها برای مثال، میتوانید کارگران بیشتری را برای آزمایش روی مجموعه دادههای بزرگتر فراهم کنید یا زمان بیحرکتی را برای بارهای کاری طولانیمدت تنظیم کنید. با انعطافپذیری برای تغییر این گزینهها بسته به حجم کار، ممکن است نیاز داشته باشید که گزینهها در محدودههای خاصی تغییر کرده و مکانیزم کنترلی را اعمال کنید.
در این پست روند استقرار a را ارائه می دهیم محلول قابل استفاده مجدد برای اعمال محدودیت های جلسه تعاملی AWS Glue در سه گزینه: اتصال، تعداد کارگران و حداکثر زمان بیکاری. گزینه اول نیاز به اعمال بازرسی و کنترل های سفارشی در ترافیک را برطرف می کند، به عنوان مثال با اجرای یک جلسه تعاملی که فقط در یک VPC اجرا شود. دو مورد دیگر محدودیت هایی را در مورد هزینه ها و استفاده از آن اعمال می کنند چسب AWS منابع با اعمال یک مرز بالایی بر روی تعداد کارگران و زمان بیکاری در هر جلسه. می توانید راه حل را برای سایر ویژگی ها یا خدمات در AWS Glue گسترش دهید.
بررسی اجمالی راه حل
معماری پیشنهادی بر روی اجزای بدون سرور ساخته شده است و هر زمان که یک جلسه تعاملی جدید AWS Glue ایجاد شود اجرا می شود.
مراحل گردش کار به شرح زیر است:
- یک مهندس داده یک جلسه تعاملی جدید AWS Glue یا از طریق ایجاد می کند کنسول مدیریت AWS یا در یک نوت بوک Jupyter به صورت محلی.
- جلسه تعاملی یک رویداد جدید تولید می کند AWS CloudTrail برای
CreateSession
رویداد با تمام اطلاعات مرتبط برای شناسایی و بازرسی یک جلسه به محض شروع جلسه. - An پل رویداد آمازون قانون رویدادهای CloudTrail را فیلتر کرده و an را فراخوانی می کند AWS لامبدا عملکرد برای بازرسی
CreateSession
رویداد. - تابع Lambda بازرسی می کند
CreateSession
رویداد و تمام شرایط مرزی تعریف شده را بررسی می کند. در حال حاضر، مرزهای قابل تنظیم با این راه حل به حداکثر تعداد کارگران، زمان بیکاری در چند دقیقه، و استقرار با اجرای اتصال محدود شده است. - اگر هر یک از شرایط مرزی تعریف شده برآورده نشود، به عنوان مثال، تعداد زیادی کارگر برای جلسه در نظر گرفته شده است، بسته به پیکربندی ارائه شده، تابع بلافاصله جلسه تعاملی را به پایان می رساند و ایمیلی را از طریق ارسال می کند. سرویس اطلاع رسانی ساده آمازون (Amazon SNS). اگر جلسه هنوز شروع نشده باشد، عملکرد قبل از هر اقدامی منتظر می ماند تا شروع شود.
- اگر جلسه متوقف شد، یک ایمیل به یک موضوع SNS ارسال می شود. در دفترچه جلسه تعاملی اطلاعاتی در مورد دلیل پایان جلسه وجود ندارد. بنابراین، اطلاعات زمینه اضافی از طریق مبحث SNS در اختیار مهندسان داده قرار می گیرد.
- اگر عملکرد ناموفق باشد، جلسات در یک وارد می شوند صف نامه مرده داخل سرویس صف ساده آمازون (Amazon SQS). علاوه بر این، صف نظارت می شود و در صورت ارسال پیام، باعث ایجاد یک پیام می شود CloudWatch آمازون زنگ خطر. هشدار.
مراحل زیر نحوه ساخت و استقرار راه حل را به شما آموزش می دهد. کد در دسترس است GitHub repo.
پیش نیازها
برای این راهنما، شما باید پیش نیازهای زیر را داشته باشید:
مروری بر منابع مستقر شده
تمام منابع لازم در یک تعریف شده است AWS CloudFormation فایل واقع در زیر cfn/template.yaml
. برای استقرار آن منابع، ما استفاده می کنیم مدل برنامه بدون سرور AWS (AWS SAM)، که ما را قادر می سازد تا به راحتی تمام وابستگی ها را بسازیم و بسته بندی کنیم و همچنین مراحل AWS CloudFormation را برای ما مدیریت می کند.
پشته CloudFormation منابع زیر را مستقر می کند:
- یک تابع لامبدا با کتابخانهاش که هر دو در دایرکتوری src/functions تعریف شدهاند. تابع کنترل است. تأیید می کند که جلسه در محدوده های تعریف شده شروع شده است.
- یک قانون EventBridge این رویداد به CloudTrail گوش می دهد و در صورت یک جلسه تعاملی جدید، عملکرد کنترل Lambda را فعال می کند.
- یک صف حرف مرده SQS (DLQ) متصل به تابع Lambda. این یک رکورد از رویدادهایی که باعث خرابی عملکرد لامبدا شده اند را حفظ می کند.
- دو آلارم CloudWatch که خرابی های عملکرد Lambda و پیام ها را در DLQ نظارت می کنند.
اگر اعلان از طریق ایمیل فعال باشد، دو منبع دیگر مستقر می شوند:
علاوه بر این، AWS CloudFormation همه موارد لازم را به کار می گیرد هویت AWS و مدیریت دسترسی (IAM) نقش ها و سیاست ها و سرویس مدیریت کلید AWS کلید (AWS KMS) برای اطمینان از رمزگذاری داده های مبادله شده.
راه حل را مستقر کنید
برای تسهیل چرخه عمر استقرار، از جمله راهاندازی محیط محلی کاربر، یک Makefile ارائه میکنیم که تمام مراحل لازم را توضیح میدهد. اطمینان حاصل کنید که اعتبار AWS خود را تمدید کرده اید و به حساب خود دسترسی دارید. برای اطلاعات بیشتر مراجعه کنید پیکربندی و تنظیمات فایل اعتبار.
- Makefile را کاوش کنید و با تغییر مقادیر متغیرها، منطقه و نام پشته را در صورت نیاز تنظیم کنید.
AWS_REGION
وSTACK_NAME
. - تنظیم
KILL_SESSION = "True"
اگر می خواهید فوراً جلسه تعاملی را که خارج از مرزها پیدا شده است متوقف کنید. مقادیر مجاز True یا False هستند. پیش فرض True است. - تنظیم
NOTIFICATION_EMAIL_ADDRESS = <your.email@provider.com>
درMakefile
اگر می خواهید زمانی که جلسه ای خارج از مرزها پیدا شده است مطلع شوید. - مقادیری را برای کنترل های خود تنظیم کنید:
ENFORCE_VPC_CONNECTION
برای توقف جلساتی که در داخل VPC اجرا نمی شوند (درست یا نادرست).MAX_WORKERS
برای تعیین حداکثر تعداد کارگران برای یک جلسه (عددی).MAX_IDLE_TIMEOUT_MINUTES
برای تعریف حداکثر زمان بیکاری برای جلسات در دقیقه (عددی).
- تمام کتابخانه های پیش نیاز را نصب کنید:
اینها تحت یک محیط مجازی پایتون تازه ایجاد شده در داخل این مخزن در دایرکتوری نصب خواهند شد
.venv
. - استک جدید را مستقر کنید:
این دستور وظایف زیر را تکمیل می کند:
- بررسی کنید که آیا پیش نیازها برآورده شده است.
- انجام
pytest unittest
روی فایل های پایتون - الگوی CloudFormation را اعتبارسنجی کنید.
- مصنوعات را بسازید (تابع لامبدا و لایه های لامبدا).
- منابع را از طریق AWS SAM مستقر کنید.
محلول را تست کنید
به مراجعه معرفی جلسات تعاملی AWS Glue برای Jupyter برای اطلاعات در مورد اجرای یک جلسه تعاملی. اگر دستورالعمل های پست را دنبال کنید (به بخش مراجعه کنید اولین سلول کد خود را اجرا کنید و دفترچه یادداشت AWS Glue خود را بنویسید، مقداردهی اولیه جلسه تعاملی باید با خطای مشابه زیر شکست بخورد.
نمونه کد در سلول:
خروجی دریافت شده:
اگر ویژگی ایمیل را فعال کرده اید، باید یک اعلان ایمیل نیز دریافت کنید.
همچنین میتوانید روی کنسول AWS Glue بررسی کنید که شناسه جلسه شما در لیست نیست.
پاک کردن
با اجرای دستور زیر منابع مستقر شده را پاک کنید:
توجه داشته باشید که منابع به کار گرفته شده از دنبال کردن پست توصیه شده، معرفی جلسات تعاملی AWS Glue برای Jupyter، با دستور قبلی حذف نخواهد شد.
محدودیت ها
تضمین تحویل رویدادهای CloudTrail به EventBridge بهترین تلاش است. این بدان معناست که CloudTrail تلاش خواهد کرد همه رویدادها را به EventBridge تحویل دهد، اما در برخی موارد نادر، ممکن است رویدادی تحویل داده نشود. برای اطلاعات بیشتر مراجعه کنید رویدادهای خدمات AWS.
نتیجه
این پست نحوه ایجاد، استقرار و آزمایش راهحلی برای اعمال شرایط مرزی در جلسات تعاملی AWS Glue به منظور اعمال محدودیتها در تعداد کارگران، زمانهای بیکار و اتصال AWS Glue را شرح میدهد.
شما می توانید این راه حل را بر اساس نیازهای خود تطبیق دهید و آن را بیشتر گسترش دهید تا امکان کنترل روی گزینه های دیگر فراهم شود.
برای کسب اطلاعات بیشتر در مورد نحوه استفاده از جلسات تعاملی AWS Glue، مراجعه کنید معرفی جلسات تعاملی AWS Glue برای Jupyter و با استفاده از جلسات تعاملی AWS Glue، کارهای چسب AWS را با PyCharm بنویسید.
درباره نویسنده
نیکلاس جاکوب بائر یک معمار ارشد برنامه های ابری با تمرکز قوی بر مهندسی داده و یادگیری ماشین، مستقر در سوئیس است. او از نزدیک با مشتریان سازمانی برای طراحی پلتفرم های داده و ساختن موارد استفاده پیشرفته تجزیه و تحلیل/ml کار می کند.
لوکا مازافرو یک معمار ارشد DevOps در خدمات وب آمازون است. او دوست دارد زیرساخت های خودکار، قابل تکرار و ایمن داشته باشد. در اوقات فراغت به آشپزی به خصوص پیتزا علاقه دارد.
کمنگ ژانگ یک معمار برنامه های ابری با تمرکز قوی بر یادگیری ماشین و UX است که در سوئیس مستقر است. او از نزدیک با مشتریان برای طراحی تجربیات کاربر و ساختن موارد استفاده از تجزیه و تحلیل پیشرفته/ml کار می کند.
مارک والسر، یک معمار ارشد داده جهانی در خدمات وب آمازون، با مشتریان برای توسعه راه حل های نوآورانه Big Data که مشکلات تجاری را حل می کند و پذیرش خدمات AWS را سرعت می بخشد، همکاری می کند. خارج از کار، او از دویدن، شنا و همه چیزهای مرتبط با تکنولوژی لذت می برد.
گال هاین یک مدیر محصول برای چسب AWS با تمرکز قوی بر AI/ML، مهندسی داده و BI، مستقر در کالیفرنیا است. او مشتاق ایجاد درک عمیق از نیازهای تجاری مشتری و همکاری با مهندسان برای طراحی محصولات داده با استفاده آسان است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/enforce-boundaries-on-aws-glue-interactive-sessions/
- : دارد
- :است
- :نه
- $UP
- 1
- 10
- 100
- 7
- a
- درباره ما
- دسترسی
- حساب
- عمل
- وفق دادن
- اضافی
- آدرس
- اتخاذ
- پیشرفته
- AI / ML
- هشدار
- معرفی
- اجازه دادن
- مجاز
- اجازه می دهد تا
- همچنین
- آمازون
- آمازون خدمات وب
- an
- علم تجزیه و تحلیل
- و
- هر
- کاربرد
- درخواست
- با استفاده از
- معماری
- هستند
- استدلال
- AS
- At
- نویسنده
- خودکار
- در دسترس
- AWS
- AWS CloudFormation
- چسب AWS
- مستقر
- BE
- بوده
- قبل از
- بهترین
- بزرگ
- بزرگ داده
- بلاگ
- هر دو
- مرز
- ساختن
- ساخته
- کسب و کار
- اما
- by
- کالیفرنیا
- فراخوانی
- CAN
- اهميت دادن
- مورد
- موارد
- سلول
- تغییر دادن
- تغییر
- بررسی
- چک
- نزدیک
- ابر
- خوشه
- رمز
- همکاری
- کامل
- اجزاء
- محاسبه
- شرایط
- پیکر بندی
- ارتباط
- کنسول
- محدودیت ها
- زمینه
- کنترل
- گروه شاهد
- هزینه
- ایجاد
- ایجاد شده
- ایجاد
- اعتبار
- مجوزها و اعتبارات
- در حال حاضر
- سفارشی
- مشتریان
- داده ها
- مهندس داده
- آماده سازی داده ها
- عمیق
- به طور پیش فرض
- مشخص
- ارائه
- تحویل داده
- تحویل
- بستگی دارد
- گسترش
- مستقر
- استقرار
- گسترش
- مستقر می کند
- شرح داده شده
- طرح
- توسعه
- در حال توسعه
- پروژه
- DevOps
- ساده
- تلاش
- هر دو
- پست الکترونیک
- فعال
- را قادر می سازد
- رمزگذاری
- به پایان می رسد
- اعمال
- اجرای قانون
- مهندس
- مهندسی
- مورد تأیید
- اطمینان حاصل شود
- سرمایه گذاری
- مشتریان سازمانی
- محیط
- محیط
- خطا
- به خصوص
- اتر (ETH)
- واقعه
- حوادث
- مثال
- استثنا
- رد و بدل شده
- تجارب
- تجربه
- گسترش
- تسهیل کردن
- FAIL
- نتواند
- شکست
- غلط
- ویژگی
- پرونده
- فایل ها
- فیلترها برای تصفیه آب
- پیدا می کند
- نام خانوادگی
- انعطاف پذیری
- تمرکز
- به دنبال
- پیروی
- به دنبال آن است
- برای
- یافت
- رایگان
- از جانب
- تابع
- بیشتر
- بعلاوه
- GAL
- دریافت کنید
- جهانی
- ضمانت
- آیا
- he
- خود را
- چگونه
- چگونه
- HTML
- HTTP
- HTTPS
- IAM
- ID
- شناسایی
- هویت
- آرام
- if
- بلافاصله
- واردات
- in
- از جمله
- اطلاعات
- شالوده
- آغاز
- ابتکاری
- داخل
- دستورالعمل
- تعاملی
- به
- فراخوانی میکند
- جدا شده
- IT
- ITS
- کار
- شغل ها
- JPG
- نوت بوک ژوپیتر
- کلید
- بزرگتر
- لایه
- یاد گرفتن
- یادگیری
- کتابخانه ها
- کتابخانه
- wifecycwe
- دوست دارد
- محدود شده
- محدودیت
- ذکر شده
- محلی
- به صورت محلی
- واقع شده
- سیستم وارد
- دستگاه
- فراگیری ماشین
- ساخت
- مدیریت
- مدیر
- مدیریت می کند
- بسیاری
- بیشترین
- ممکن است..
- به معنی
- مکانیزم
- دیدار
- پیام
- پیام
- با
- قدرت
- دقیقه
- نظارت
- نظارت بر
- بیش
- نام
- لازم
- نیاز
- ضروری
- نیازهای
- جدید
- به تازگی
- نه
- دفتر یادداشت
- اخطار
- عدد
- رخ داده است
- of
- on
- فقط
- عمل
- گزینه
- گزینه
- or
- سفارش
- دیگر
- خارج
- تولید
- خارج از
- بسته
- احساساتی
- برای
- پیتزا
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- لذت
- سیاست
- پست
- تهیه
- پیش نیازها
- در حال حاضر
- قبلی
- مشکلات
- روند
- تولید می کند
- محصول
- مدیر تولید
- محصولات
- املاک
- پیشنهاد شده
- ارائه
- ارائه
- فراهم می کند
- تدارک
- پــایتــون
- نادر
- اماده
- دلیل
- توصیه می شود
- رکورد
- منطقه
- مربوط
- مربوط
- حذف شده
- تجدید
- مخزن
- منابع
- نقش
- قانون
- دویدن
- در حال اجرا
- اجرا می شود
- سام
- بخش
- امن
- دیدن
- می فرستد
- ارشد
- فرستاده
- بدون سرور
- خدمات
- جلسه
- جلسات
- تنظیم
- برپایی
- او
- باید
- مشابه
- ساده
- راه حل
- مزایا
- حل
- برخی از
- بزودی
- جرقه
- خاص
- سرعت
- پشته
- شروع
- آغاز شده
- بیانیه
- وضعیت
- مراحل
- توقف
- متوقف شد
- قوی
- مطمئن
- شنا
- سویس
- گرفتن
- مصرف
- وظایف
- پیشرفته
- قالب
- آزمون
- که
- La
- شان
- آنجا.
- از این رو
- اینها
- اشیاء
- این
- کسانی که
- سه
- از طریق
- زمان
- به
- هم
- موضوع
- ترافیک
- تبدیل می شود
- ماشه
- باعث شد
- درست
- دو
- نوع
- زیر
- اساسی
- درک
- us
- استفاده
- استفاده کنید
- موارد استفاده
- کاربر
- کاربران
- با استفاده از
- ux
- تصدیق
- ارزشها
- از طريق
- مجازی
- صبر کنيد
- منتظر
- خرید
- می خواهم
- بود
- we
- وب
- خدمات وب
- چه زمانی
- هر زمان که
- که
- در حین
- اراده
- با
- در داخل
- مهاجرت کاری
- کارگر
- کارگران
- گردش کار
- با این نسخهها کار
- هنوز
- شما
- شما
- زفیرنت