جلسات AWS Glue التفاعلية السماح للمهندسين ببناء واختبار وتشغيل أحمال عمل إعداد البيانات والتحليلات في دفتر ملاحظات تفاعلي. توفر الجلسات التفاعلية بيئات تطوير معزولة ، وتهتم بمجموعة الحوسبة الأساسية ، وتسمح بالتكوين لإيقاف تباطؤ الموارد.
توفر الجلسات التفاعلية بالصمغ تكوينات موصى بها افتراضية ، كما تتيح للمستخدمين القيام بذلك تخصيص الجلسة لتلبية احتياجاتهم. على سبيل المثال ، يمكنك توفير المزيد من العاملين للتجربة على مجموعة بيانات أكبر أو تعيين مهلة الخمول لأحمال العمل طويلة المدى. مع المرونة في تغيير هذه الخيارات اعتمادًا على حجم العمل ، قد تحتاج إلى التأكد من تغيير الخيارات ضمن حدود معينة وتطبيق آلية تحكم.
في هذا المنشور ، نقدم عملية نشر ملف محلول قابل لإعادة الاستخدام لفرض حدود جلسة AWS Glue التفاعلية على ثلاثة خيارات: الاتصال وعدد العمال وأقصى وقت خمول. يتناول الخيار الأول الحاجة إلى تطبيق الفحص المخصص والضوابط على حركة المرور ، على سبيل المثال من خلال فرض جلسة تفاعلية ليتم تشغيلها داخل VPC فقط. الاثنان الآخران يفرضان حدودًا على التكاليف واستخدام غراء AWS الموارد من خلال فرض حد أعلى على عدد العمال ووقت الخمول لكل جلسة. يمكنك تمديد الحل لخصائص أو خدمات أخرى ضمن AWS Glue.
نظرة عامة على الحل
تم بناء البنية المقترحة على مكونات بدون خادم وتعمل متى تم إنشاء جلسة تفاعلية جديدة من AWS Glue.
خطوات سير العمل كالتالي:
- ينشئ مهندس البيانات جلسة تفاعلية جديدة في AWS Glue إما من خلال وحدة تحكم إدارة AWS أو في دفتر Jupyter محليًا.
- تنتج الجلسة التفاعلية حدثًا جديدًا لـ أوس كلاود تريل ل
CreateSession
حدث مع جميع المعلومات ذات الصلة لتحديد ومعاينة الجلسة بمجرد بدء الجلسة. - An أمازون إيفينت بريدج تقوم القاعدة بتصفية أحداث CloudTrail وتستدعي ملف AWS لامدا وظيفة لفحص
CreateSession
حدث. - تقوم وظيفة Lambda بفحص ملف
CreateSession
الحدث والتحقق من جميع شروط الحدود المحددة. حاليًا ، تقتصر الحدود القابلة للتكوين باستخدام هذا الحل على الحد الأقصى لعدد العمال ، ومهلة الخمول بالدقائق ، والنشر مع فرض الاتصال. - في حالة عدم استيفاء أي من شروط الحدود المحددة ، على سبيل المثال ، يتم توفير عدد كبير جدًا من العمال للجلسة ، اعتمادًا على التكوين المقدم ، تنهي الوظيفة الجلسة التفاعلية على الفور وترسل بريدًا إلكترونيًا عبر خدمة إعلام أمازون البسيطة (أمازون SNS). إذا لم تبدأ الجلسة بعد ، فستنتظر الوظيفة حتى تبدأ قبل اتخاذ أي إجراء.
- إذا تم إيقاف الجلسة ، يتم إرسال بريد إلكتروني إلى موضوع SNS. لا توجد معلومات متاحة في دفتر الجلسة التفاعلية حول سبب انتهاء الجلسة. لذلك ، يتم توفير معلومات سياق إضافية من خلال موضوع SNS لمهندسي البيانات.
- إذا فشلت الوظيفة ، يتم تسجيل الجلسات في ملف طابور الرسائل الميتة في الداخل خدمة Amazon Simple Queue Service (Amazon SQS). علاوة على ذلك ، تتم مراقبة قائمة الانتظار وفي حالة وجود رسالة ، فسيتم تشغيل ملف الأمازون CloudWatch إنذار.
ترشدك الخطوات التالية إلى كيفية إنشاء الحل ونشره. الرمز متاح في جيثب ريبو.
المتطلبات الأساسية المسبقة
في هذا الدليل ، يجب أن يكون لديك المتطلبات الأساسية التالية:
نظرة عامة على الموارد التي تم نشرها
يتم تحديد جميع الموارد اللازمة في ملف تكوين سحابة AWS يقع الملف أسفل cfn/template.yaml
. لنشر هذه الموارد ، نستخدمها نموذج تطبيق AWS Serverless (AWS SAM) ، والتي تمكننا من بناء وحزم جميع التبعيات بشكل ملائم وأيضًا إدارة خطوات AWS CloudFormation لنا.
تنشر حزمة CloudFormation الموارد التالية:
- دالة Lambda مع مكتبتها ، وكلاهما معرّف ضمن الدليل src / function. الوظيفة هي التحكم. سيتم التحقق من بدء الجلسة ضمن الحدود المحددة.
- قاعدة EventBridge. يستمع هذا الحدث إلى CloudTrail وفي حالة وجود جلسة تفاعلية جديدة ، سيتم تشغيل وظيفة التحكم في Lambda.
- قائمة انتظار الرسائل المهملة (DLQ) لـ SQS متصلة بوظيفة Lambda. هذا يحتفظ بسجل للأحداث التي أدت إلى فشل وظيفة Lambda.
- اثنين من إنذارات CloudWatch لمراقبة فشل وظيفة Lambda والرسائل في DLQ.
إذا تم تمكين الإعلام عبر البريد الإلكتروني ، فسيتم نشر مصدرين آخرين:
بالإضافة إلى ذلك ، تنشر AWS CloudFormation كل ما يلزم إدارة الهوية والوصول AWS (IAM) الأدوار والسياسات ، و خدمة إدارة مفتاح AWS (AWS KMS) لضمان تشفير البيانات المتبادلة.
انشر الحل
لتسهيل دورة حياة النشر ، بما في ذلك إعداد البيئة المحلية للمستخدم ، نقدم ملف Makefile الذي يصف جميع الخطوات اللازمة. تأكد من تجديد بيانات اعتماد AWS الخاصة بك ولديك حق الوصول إلى حسابك. لمزيد من المعلومات ، يرجى الرجوع إلى التكوين وإعدادات ملف الاعتماد.
- استكشاف Makefile وضبط المنطقة واسم المكدس حسب الحاجة عن طريق تعديل قيم المتغيرات
AWS_REGION
وSTACK_NAME
. - المجموعات
KILL_SESSION = "True"
إذا كنت تريد إيقاف الجلسة التفاعلية التي تم اكتشافها خارج الحدود على الفور. القيم المسموح بها هي True أو False ؛ الافتراضي هو الصحيح. - المجموعات
NOTIFICATION_EMAIL_ADDRESS = <your.email@provider.com>
في الMakefile
إذا كنت تريد أن يتم إعلامك عند اكتشاف جلسة خارج الحدود. - قم بتعيين قيم لعناصر التحكم الخاصة بك:
ENFORCE_VPC_CONNECTION
لإيقاف الجلسات التي لا تعمل داخل VPC (صواب أو خطأ).MAX_WORKERS
لتعيين الحد الأقصى لعدد العمال لجلسة (رقمية).MAX_IDLE_TIMEOUT_MINUTES
لتحديد أقصى وقت خمول للجلسات بالدقائق (رقمي).
- قم بتثبيت جميع مكتبات المتطلبات الأساسية:
سيتم تثبيتها ضمن بيئة Python الافتراضية المنشأة حديثًا داخل هذا المستودع في الدليل
.venv
. - نشر المكدس الجديد:
سيكمل هذا الأمر المهام التالية:
- تحقق مما إذا تم استيفاء المتطلبات الأساسية.
- نفذ
pytest unittest
على ملفات Python. - تحقق من صحة قالب CloudFormation.
- بناء القطع الأثرية (وظيفة Lambda وطبقات Lambda).
- انشر الموارد عبر AWS SAM.
اختبر المحلول
الرجوع إلى تقديم جلسات AWS Glue التفاعلية لـ Jupyter للحصول على معلومات حول إدارة جلسة تفاعلية. إذا اتبعت التعليمات الواردة في المنشور (انظر القسم قم بتشغيل خلية التعليمات البرمجية الأولى الخاصة بك وقم بتأليف دفتر ملاحظات AWS Glue الخاص بك) ، يجب أن تفشل تهيئة الجلسة التفاعلية بخطأ مشابه لما يلي.
مثال على رمز في الخلية:
الإخراج المتلقى:
إذا قمت بتمكين ميزة البريد الإلكتروني ، فيجب أن تحصل أيضًا على إشعار بالبريد الإلكتروني.
يمكنك أيضًا التحقق من وحدة تحكم AWS Glue من عدم إدراج معرف الجلسة الخاص بك.
تنظيف
قم بتنظيف الموارد المنشورة عن طريق تشغيل الأمر التالي:
لاحظ أن الموارد التي تم نشرها من متابعة المنشور الموصى به ، تقديم جلسات AWS Glue التفاعلية لـ Jupyter، لن تتم إزالته باستخدام الأمر السابق.
القيود
ضمان تسليم أحداث CloudTrail إلى EventBridge هو أفضل جهد ممكن. هذا يعني أن CloudTrail ستحاول تسليم جميع الأحداث إلى EventBridge ، ولكن في بعض الحالات النادرة ، قد لا يتم تسليم حدث ما. لمزيد من المعلومات ، يرجى الرجوع إلى الأحداث من خدمات AWS.
وفي الختام
وصف هذا المنشور كيفية إنشاء حل ونشره واختباره لفرض شروط حدودية على جلسات AWS Glue التفاعلية من أجل فرض قيود على عدد العاملين وفترات الخمول واتصال AWS Glue.
يمكنك تكييف هذا الحل بناءً على احتياجاتك وتوسيعه للسماح بالتحكم في الخيارات الأخرى.
لمعرفة المزيد حول كيفية استخدام جلسات AWS Glue التفاعلية ، يرجى الرجوع إلى تقديم جلسات AWS Glue التفاعلية لـ Jupyter و تأليف وظائف AWS Glue مع PyCharm باستخدام جلسات AWS Glue التفاعلية.
حول المؤلف
نيكولا جاكوب باير هو كبير مهندسي التطبيقات السحابية مع تركيز قوي على هندسة البيانات والتعلم الآلي ، ومقره سويسرا. يعمل بشكل وثيق مع عملاء المؤسسات لتصميم منصات البيانات وبناء تحليلات متقدمة / حالات استخدام مل.
لوكا مازافيرو هو كبير مهندسي DevOps في Amazon Web Services. إنه يحب أن تكون البنية التحتية مؤتمتة وقابلة للتكرار ومضمونة. في أوقات فراغه يحب الطبخ وخاصة البيتزا.
كيمينج تشانغ هو مهندس تطبيقات سحابية مع تركيز قوي على التعلم الآلي وتجربة المستخدم ، ومقره في سويسرا. تعمل عن كثب مع العملاء لتصميم تجارب المستخدم وبناء تحليلات متقدمة / حالات استخدام مل.
مارك فالسر، مهندس بيانات عالمي أول في Amazon Web Services ، يتعاون مع العملاء لتطوير حلول البيانات الضخمة المبتكرة التي تحل مشاكل الأعمال وتسريع تبني خدمات AWS. خارج العمل ، يجد متعة في الجري والسباحة وكل ما يتعلق بالتكنولوجيا.
غال هاين هو مدير منتج لـ AWS Glue مع تركيز قوي على الذكاء الاصطناعي / التعلم الآلي وهندسة البيانات وذكاء الأعمال ، ومقره في كاليفورنيا. إنها متحمسة لتطوير فهم عميق لاحتياجات عمل العملاء والتعاون مع المهندسين لتصميم منتجات بيانات سهلة الاستخدام.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/enforce-boundaries-on-aws-glue-interactive-sessions/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 7
- a
- من نحن
- الوصول
- حسابي
- اكشن
- تكيف
- إضافي
- عناوين
- تبني
- متقدم
- AI / ML
- إنذار
- الكل
- السماح
- سمح
- يسمح
- أيضا
- أمازون
- أمازون ويب سيرفيسز
- an
- تحليلات
- و
- أي وقت
- تطبيق
- التقديم
- تطبيق
- هندسة معمارية
- هي
- الحجج
- AS
- At
- المؤلفة
- الآلي
- متاح
- AWS
- تكوين سحابة AWS
- غراء AWS
- على أساس
- BE
- كان
- قبل
- أفضل
- كبير
- البيانات الكبيرة
- المدونة
- على حد سواء
- الحدود
- نساعدك في بناء
- بنيت
- الأعمال
- لكن
- by
- كاليفورنيا
- دعوة
- CAN
- يهمني
- حقيبة
- الحالات
- الخلية
- تغيير
- غير
- التحقق
- الشيكات
- عن كثب
- سحابة
- كتلة
- الكود
- التعاون
- إكمال
- مكونات
- إحصاء
- الشروط
- الاعداد
- صلة
- كنسولات
- القيود
- سياق الكلام
- مراقبة
- ضوابط
- التكاليف
- خلق
- خلق
- يخلق
- الاعتماد
- أوراق اعتماد
- حاليا
- على
- العملاء
- البيانات
- مهندس بيانات
- تحضير البيانات
- عميق
- الترتيب
- تعريف
- نقل
- تم التوصيل
- التوصيل
- اعتمادا
- نشر
- نشر
- نشر
- نشر
- ينشر
- وصف
- تصميم
- تطوير
- تطوير
- التطوير التجاري
- DevOps
- سهل
- جهد
- إما
- البريد الإلكتروني
- تمكين
- تمكن
- مشفرة
- ينتهي
- فرض
- فرض
- مهندس
- الهندسة
- المهندسين
- ضمان
- مشروع
- عملاء المؤسسة
- البيئة
- البيئات
- خطأ
- خاصة
- الأثير (ETH)
- الحدث/الفعالية
- أحداث
- مثال
- استثناء
- تبادل
- خبرة
- تجربة
- مد
- تسهيل
- يفشلون
- فشل
- فشل
- زائف
- الميزات
- قم بتقديم
- ملفات
- مرشحات
- ويرى
- الاسم الأول
- مرونة
- تركز
- اتباع
- متابعيك
- متابعات
- في حالة
- وجدت
- مجانًا
- تبدأ من
- وظيفة
- إضافي
- علاوة على ذلك
- فتاه
- دولار فقط واحصل على خصم XNUMX% على جميع
- العالمية
- ضمان
- يملك
- he
- له
- كيفية
- كيفية
- HTML
- HTTP
- HTTPS
- IAM
- ID
- تحديد
- هوية
- الخمول
- if
- فورا
- استيراد
- in
- بما فيه
- معلومات
- البنية التحتية
- بدأت
- مبتكرة
- في الداخل
- تعليمات
- التفاعلية
- إلى
- يتضرع
- معزول
- IT
- انها
- وظيفة
- المشــاريــع
- JPG
- مفكرة Jupyter
- القفل
- أكبر
- طبقات
- تعلم
- تعلم
- المكتبات
- المكتبة
- دورة حياة
- الإعجابات
- محدود
- حدود
- المدرج
- محلي
- محليا
- تقع
- تسجيل الدخول
- آلة
- آلة التعلم
- جعل
- إدارة
- مدير
- يدير
- كثير
- أقصى
- مايو..
- يعني
- آلية
- تعرف علي
- الرسالة
- رسائل
- قابل
- ربما
- دقائق
- مراقبة
- مراقبة
- الأكثر من ذلك
- الاسم
- ضروري
- حاجة
- بحاجة
- إحتياجات
- جديد
- حديثا
- لا
- مفكرة
- إعلام
- عدد
- حدث
- of
- on
- فقط
- عملية
- خيار
- مزيد من الخيارات
- or
- طلب
- أخرى
- خارج
- الناتج
- في الخارج
- صفقة
- عاطفي
- إلى
- البيتزا
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- متعة
- سياسات الخصوصية والبيع
- منشور
- الشروط
- يقدم
- سابق
- مشاكل
- عملية المعالجة
- ينتج عنه
- المنتج
- مدير المنتج
- المنتجات
- HAS
- المقترح
- تزود
- المقدمة
- ويوفر
- تقديم
- بايثون
- نادر
- استعداد
- سبب
- موصى به
- سجل
- منطقة
- ذات صلة
- ذات الصلة
- إزالة
- متجدد
- مستودع
- الموارد
- الأدوار
- قاعدة
- يجري
- تشغيل
- يدير
- سام
- القسم
- مضمون
- انظر تعريف
- يرسل
- كبير
- أرسلت
- Serverless
- خدماتنا
- الجلسة
- دورات
- طقم
- الإعداد
- هي
- ينبغي
- مماثل
- الاشارات
- حل
- الحلول
- حل
- بعض
- قريبا
- شرارة
- محدد
- سرعة
- كومة
- بداية
- بدأت
- ملخص الحساب
- الحالة
- خطوات
- قلة النوم
- توقف
- قوي
- بالتأكيد
- سباحة
- سويسرا
- أخذ
- مع الأخذ
- المهام
- تكنولوجيا
- قالب
- تجربه بالعربي
- أن
- •
- من مشاركة
- هناك.
- وبالتالي
- تشبه
- الأشياء
- هؤلاء
- ثلاثة
- عبر
- الوقت
- إلى
- جدا
- موضوع
- حركة المرور
- التحويلات
- يثير
- أثار
- صحيح
- اثنان
- نوع
- مع
- التي تقوم عليها
- فهم
- us
- الأستعمال
- تستخدم
- استخدم حالات
- مستخدم
- المستخدمين
- استخدام
- ux
- التحقق من صحة
- القيم
- بواسطة
- افتراضي
- انتظر
- انتظار
- تجول
- تريد
- وكان
- we
- الويب
- خدمات ويب
- متى
- كلما
- التي
- في حين
- سوف
- مع
- في غضون
- للعمل
- عامل
- العمال
- سير العمل
- أعمال
- حتى الآن
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت