تحليلات البيانات الآلية (ADA) على AWS هو أحد حلول AWS التي تمكنك من استخلاص رؤى مفيدة من البيانات في غضون دقائق من خلال واجهة مستخدم بسيطة وبديهية. تقدم ADA نظامًا أساسيًا لتحليلات البيانات من AWS وجاهزًا للاستخدام من قبل محللي البيانات لمجموعة متنوعة من حالات الاستخدام. باستخدام ADA، يمكن للفرق استيعاب مجموعات البيانات المتنوعة وتحويلها وإدارتها والاستعلام عنها من مجموعة من مصادر البيانات دون الحاجة إلى مهارات فنية متخصصة. توفر ADA مجموعة من موصلات مسبقة الصنع لاستيعاب البيانات من مجموعة واسعة من المصادر بما في ذلك خدمة تخزين أمازون البسيطة (Amazon S3) ، الأمازون كينسيس دفق البيانات, الأمازون CloudWatch, أمازون كلاود تريلو الأمازون DynamoDB وكذلك العديد من الآخرين.
توفر ADA منصة أساسية يمكن لمحللي البيانات استخدامها في مجموعة متنوعة من حالات الاستخدام بما في ذلك تكنولوجيا المعلومات والتمويل والتسويق والمبيعات والأمن. يسمح موصل بيانات CloudWatch الجاهز الخاص بـ ADA بإدخال البيانات من سجلات CloudWatch في نفس حساب AWS الذي تم نشر ADA فيه، أو من حساب AWS مختلف.
في هذا المنشور، نوضح كيف يستطيع مطور التطبيقات أو مختبر التطبيقات استخدام ADA لاستخلاص رؤى تشغيلية للتطبيقات التي تعمل في AWS. نوضح أيضًا كيف يمكنك استخدام حل ADA للاتصال بمصادر البيانات المختلفة في AWS. نحن اولا نشر حل ADA في حساب AWS و قم بإعداد حل ADA بواسطة انشاء منتجات البيانات باستخدام موصلات البيانات. نستخدم بعد ذلك ADA Query Workbench للانضمام إلى مجموعات البيانات المنفصلة والاستعلام عن البيانات المرتبطة، باستخدام لغة الاستعلام المنظمة (SQL) المألوفة، للحصول على رؤى. نوضح أيضًا كيف يمكن دمج ADA مع أدوات ذكاء الأعمال (BI) مثل Tableau لتصور البيانات وإنشاء التقارير.
حل نظرة عامة
في هذا القسم، نقدم بنية الحل للعرض التوضيحي ونشرح سير العمل. ولأغراض العرض التوضيحي، تتم محاكاة التطبيق المخصص باستخدام AWS لامدا الوظيفة التي تصدر تسجيلات الدخول تنسيق سجل اباتشي على فترات زمنية محددة مسبقا باستخدام أمازون إيفينت بريدج. يمكن إنتاج هذا التنسيق القياسي بواسطة العديد من خوادم الويب المختلفة ويمكن قراءته بواسطة العديد من برامج تحليل السجلات. يتم إرسال سجلات التطبيق (وظيفة Lambda) إلى مجموعة سجلات CloudWatch. يتم تخزين سجلات التطبيق التاريخية في حاوية S3 كمرجع ولأغراض الاستعلام. جدول بحث مع قائمة رموز حالة HTTP جنبًا إلى جنب مع الأوصاف المخزنة في جدول DynamoDB. تعمل هذه الثلاثة كمصادر يتم من خلالها استيعاب البيانات في ADA للارتباط والاستعلام والتحليل. نحن نشر حل ADA في حساب AWS و إعداد ADA. نقوم بعد ذلك بإنشاء منتجات البيانات ضمن ADA ل مجموعة سجل CloudWatch, دلو S3و DynamoDB. أثناء تكوين منتجات البيانات، توفر ADA خطوط أنابيب البيانات لاستيعاب البيانات من المصادر. باستخدام ADA Query Workbench، يمكنك الاستعلام عن البيانات التي تم استيعابها باستخدام SQL عادي لاستكشاف أخطاء التطبيق وإصلاحها أو تشخيص المشكلات.
يوفر الرسم التخطيطي التالي نظرة عامة على البنية وسير العمل لاستخدام ADA للحصول على رؤى حول سجلات التطبيق.
يتضمن سير العمل الخطوات التالية:
- تمت جدولة تشغيل وظيفة Lambda على فترات زمنية مدتها دقيقتان باستخدام EventBridge.
- تقوم وظيفة Lambda بإصدار السجلات المخزنة في مجموعة سجلات CloudWatch المحددة ضمنها
/aws/lambda/CdkStack-AdaLogGenLambdaFunction
. يتم إنشاء سجلات التطبيق باستخدام مخطط Apache Log Format ولكن يتم تخزينها في مجموعة سجلات CloudWatch بتنسيق JSON. - يتم إنشاء منتجات البيانات الخاصة بـ CloudWatch وAmazon S3 وDynamoDB في ADA. يتصل منتج بيانات CloudWatch بمجموعة سجلات CloudWatch حيث يتم تخزين سجلات التطبيق (وظيفة Lambda). يتصل موصل Amazon S3 بمجلد حاوية S3 حيث يتم تخزين السجلات التاريخية. يتصل موصل DynamoDB بجدول DynamoDB حيث يتم تخزين رموز الحالة التي يشير إليها التطبيق والسجلات التاريخية.
- بالنسبة لكل منتج من منتجات البيانات، تقوم ADA بنشر البنية التحتية لخط البيانات لاستيعاب البيانات من المصادر. عند اكتمال استيعاب البيانات، يمكنك كتابة الاستعلامات باستخدام SQL عبر ADA Query Workbench.
- يمكنك تسجيل الدخول إلى بوابة ADA وإنشاء استعلامات SQL من Query Workbench للحصول على رؤى حول سجلات التطبيق. يمكنك اختياريًا حفظ الاستعلام ومشاركته مع مستخدمي ADA الآخرين في نفس المجال. يتم تشغيل ميزة استعلام ADA بواسطة أمازون أثينا، وهي خدمة تحليلية تفاعلية بدون خادم توفر طريقة مبسطة ومرنة لتحليل بيتابايت من البيانات.
- تم تكوين Tableau للوصول إلى منتجات بيانات ADA عبر نقاط نهاية خروج ADA. يمكنك بعد ذلك إنشاء لوحة معلومات تحتوي على مخططين. الرسم البياني الأول عبارة عن خريطة حرارية توضح مدى انتشار رموز خطأ HTTP المرتبطة بنقاط نهاية واجهة برمجة تطبيقات التطبيق. المخطط الثاني عبارة عن مخطط شريطي يعرض أفضل 10 واجهات برمجة تطبيقات للتطبيقات مع إجمالي عدد رموز خطأ HTTP من البيانات التاريخية.
المتطلبات الأساسية المسبقة
لهذه المشاركة، يجب عليك إكمال المتطلبات الأساسية التالية:
- تثبيت واجهة سطر الأوامر AWS (AWS CLI) ، مجموعة تطوير سحابة AWS (أوس سي دي كيه) الشروطخاصة بـ TypeScript الشروطو طائرة نفاثة.
- نشر حل ADA في حساب AWS الخاص بك في
us-east-1
منطقة.- قم بتوفير بريد إلكتروني إداري أثناء تشغيل ADA تكوين سحابة AWS كومة. يعد هذا ضروريًا لـ ADA لإرسال كلمة مرور المستخدم الجذر. مطلوب رقم هاتف المسؤول لتلقي رسالة كلمة المرور لمرة واحدة إذا تم تمكين المصادقة متعددة العوامل (MFA). بالنسبة لهذا العرض التوضيحي، لم يتم تمكين MFA.
- قم ببناء ونشر التطبيق النموذجي (المتوفر على جيثب ريبو) الحل بحيث يمكن توفير الموارد التالية في حسابك في
us-east-1
المنطقة:- دالة Lambda التي تحاكي تطبيق التسجيل وقاعدة EventBridge التي تستدعي وظيفة التطبيق على فترات زمنية مدتها دقيقتان.
- حاوية S3 تتضمن سياسات الحاوية ذات الصلة وملف CSV الذي يحتوي على سجلات التطبيق التاريخية.
- جدول DynamoDB مع بيانات البحث.
- ذو صلة إدارة الهوية والوصول AWS (IAM) الأدوار والأذونات المطلوبة للخدمات.
- اختياريًا، قم بالتثبيت سطح المكتب تابلوه، موفر BI لجهة خارجية. في هذا المنشور، نستخدم إصدار Tableau Desktop 2021.2. هناك تكلفة متضمنة في استخدام إصدار مرخص من تطبيق Tableau Desktop. للحصول على تفاصيل إضافية، راجع ترخيص التابلوه معلومات.
نشر وإعداد ADA
بعد نشر ADA بنجاح، يمكنك ذلك بتسجيل الدخول باستخدام البريد الإلكتروني المسؤول المقدم أثناء التثبيت. ثم تقوم بإنشاء ملف نطاق عين CW_Domain
. المجال عبارة عن مجموعة محددة من منتجات البيانات بواسطة المستخدم. على سبيل المثال، قد يكون المجال فريقًا أو مشروعًا. توفر المجالات طريقة منظمة للمستخدمين لتنظيم منتجات البيانات الخاصة بهم وإدارة أذونات الوصول.
- على وحدة تحكم ADA، اختر المجالات في جزء التنقل.
- اختار إنشاء المجال.
- إدخال اسم (
CW_Domain
) والوصف، ثم اختر تسجيل.
قم بإعداد البنية الأساسية للتطبيق النموذجي باستخدام AWS CDK
تتم استضافة حل AWS CDK الذي ينشر التطبيق التجريبي GitHub جيثب:. تم تفصيل خطوات استنساخ الريبو وإعداد مشروع AWS CDK في هذا القسم. قبل تشغيل هذه الأوامر، تأكد من ذلك تكوين بيانات اعتماد AWS الخاصة بك. أنشئ مجلدًا، وافتح الوحدة الطرفية، وانتقل إلى المجلد الذي يحتاج إلى تثبيت حل AWS CDK. قم بتشغيل الكود التالي:
تؤدي هذه الخطوات إلى الإجراءات التالية:
- تثبيت تبعيات المكتبة
- بناء المشروع
- قم بإنشاء قالب CloudFormation صالح
- انشر الحزمة باستخدام AWS CloudFormation في حساب AWS الخاص بك
يستغرق النشر حوالي دقيقة إلى دقيقتين ويؤدي إلى إنشاء جدول بحث DynamoDB ووظيفة Lambda وحاوية S1 التي تحتوي على ملفات السجل التاريخية كمخرجات. انسخ هذه القيم إلى تطبيق تحرير النص، مثل المفكرة.
إنشاء منتجات بيانات ADA
نقوم بإنشاء ثلاثة منتجات بيانات مختلفة لهذا العرض التوضيحي، واحد لكل مصدر بيانات ستستعلم عنه للحصول على رؤى تشغيلية. منتج البيانات عبارة عن مجموعة بيانات (مجموعة من البيانات مثل جدول أو ملف CSV) تم استيرادها بنجاح إلى ADA ويمكن الاستعلام عنها.
قم بإنشاء منتج بيانات CloudWatch
أولاً، نقوم بإنشاء منتج بيانات لسجلات التطبيق عن طريق إعداد ADA لاستيعاب مجموعة سجلات CloudWatch لنموذج التطبيق (وظيفة Lambda). استخدم ال CdkStack.LambdaFunction
للحصول على دالة Lambda ARN وتحديد موقع مجموعة سجلات CloudWatch المقابلة ARN على وحدة تحكم CloudWatch.
ثم أكمل الخطوات التالية:
- في وحدة تحكم ADA، انتقل إلى مجال ADA وقم بإنشاء منتج بيانات CloudWatch.
- في حالة الاسمإدخال اسم.
- في حالة نوع المصدر، اختر الأمازون CloudWatch.
- تعطيل معلومات تحديد الهوية الشخصية التلقائية.
يحتوي ADA على ميزة تكتشف تلقائيًا بيانات معلومات التعريف الشخصية (PII) أثناء الاستيراد والتي يتم تمكينها افتراضيًا. بالنسبة لهذا العرض التوضيحي، نقوم بتعطيل هذا الخيار لمنتج البيانات لأن اكتشاف بيانات PII ليس ضمن نطاق هذا العرض التوضيحي.
- اختار التالى.
- ابحث عن مجموعة سجلات CloudWatch واختر ARN المنسوخة من الخطوة السابقة.
- انسخ مجموعة السجل ARN.
- في صفحة منتج البيانات، أدخل مجموعة السجل ARN.
- في حالة استعلام CloudWatch، أدخل الاستعلام الذي تريد أن يحصل عليه ADA من مجموعة السجل.
في هذا العرض التوضيحي، نقوم بالاستعلام عن حقل @message لأننا مهتمون بالحصول على سجلات التطبيق من مجموعة السجلات.
- حدد كيفية تشغيل تحديثات البيانات بعد الاستيراد الأولي.
يمكن تكوين ADA لاستيعاب البيانات من المصدر على فترات زمنية مرنة (تصل إلى 15 دقيقة أو بعد ذلك) أو عند الطلب. بالنسبة للعرض التجريبي، قمنا بتعيين تحديثات البيانات ليتم تشغيلها كل ساعة.
- اختار التالى.
بعد ذلك، سيتصل ADA بمجموعة السجل ويستعلم عن المخطط. نظرًا لأن السجلات موجودة بتنسيق Apache Log Format، فإننا نقوم بتحويل السجلات إلى حقول منفصلة حتى نتمكن من تشغيل الاستعلامات في حقول السجل المحددة. توفر ADA أربعة الافتراضي التحولات ويدعم التحويل المخصص من خلال برنامج Python النصي. في هذا العرض التوضيحي، نقوم بتشغيل برنامج Python مخصص لتحويل حقل رسالة JSON إلى حقول بتنسيق سجل Apache.
- اختار تحويل المخطط.
- اختار إنشاء تحويل جديد.
- تحميل
apache-log-extractor-transform.py
البرنامج النصي من/asset/transform_logs/
المجلد. - اختار تسجيل.
سيقوم ADA بتحويل سجلات CloudWatch باستخدام البرنامج النصي وتقديم المخطط المعالج.
- اختار التالى.
- في الخطوة الأخيرة، قم بمراجعة الخطوات ثم اختر تسجيل.
سيبدأ ADA في معالجة البيانات، وإنشاء مسارات البيانات، وإعداد مجموعات سجل CloudWatch ليتم الاستعلام عنها من Query Workbench. ستستغرق هذه العملية بضع دقائق حتى تكتمل وسيتم عرضها على وحدة تحكم ADA أدناه منتجات البيانات.
قم بإنشاء منتج بيانات Amazon S3
نكرر الخطوات لإضافة السجلات التاريخية من مصدر بيانات Amazon S3 والبحث عن البيانات المرجعية من جدول DynamoDB. بالنسبة لمصدري البيانات هذين، لا نقوم بإنشاء تحويلات مخصصة لأن تنسيقات البيانات موجودة بتنسيق CSV (للسجلات التاريخية) والسمات الرئيسية (لبيانات البحث المرجعية).
- على وحدة تحكم ADA، قم بإنشاء منتج بيانات جديد.
- إدخال اسم (
hist_logs
) و اختار الأمازون S3. - انسخ عنوان URI الخاص بـ Amazon S3 (النص الذي يليه
arn:aws:s3:::
) منCdkStack.S3
متغير الإخراج وانتقل إلى وحدة تحكم Amazon S3. - في مربع البحث، أدخل النص المنسوخ، وافتح حاوية S3، وحدد
/logs
المجلد، واختر نسخ S3 URI.
يتم تخزين السجلات التاريخية في هذا المسار.
- انتقل مرة أخرى إلى وحدة تحكم ADA وأدخل عنوان URI الخاص بـ S3 المنسوخ موقع S3.
- في حالة تحديث الزناد، حدد On Demand لأنه يتم تحديث السجلات التاريخية بتردد غير محدد.
- في حالة سياسة التحديث، حدد ألحق لإلحاق البيانات المستوردة حديثًا بالبيانات الموجودة.
- اختار التالى.
يقوم ADA بمعالجة مخطط الملفات الموجودة في مسار المجلد المحدد. نظرًا لأن السجلات بتنسيق CSV، فإن ADA قادر على قراءة أسماء الأعمدة دون الحاجة إلى تحويلات إضافية. ومع ذلك، الأعمدة status_code
و request_size
يتم استنتاجها كنوع طويل بواسطة ADA. نريد الحفاظ على تناسق أنواع بيانات الأعمدة بين منتجات البيانات حتى نتمكن من الانضمام إلى جداول البيانات والاستعلام عن البيانات. العمود status_code
سيتم استخدامها لإنشاء صلات عبر جداول البيانات.
- اختار تحويل المخطط لتغيير أنواع بيانات العمودين إلى نوع بيانات السلسلة.
لاحظ أسماء الأعمدة المميزة في معاينة المخطط الجزء قبل تطبيق تحويلات نوع البيانات.
- في مجلة خطة التحويل جزء تحت التحولات المضمنة، اختر تطبيق رسم الخرائط.
يتيح لك هذا الخيار تغيير نوع البيانات من نوع إلى آخر.
- في مجلة تطبيق رسم الخرائط القسم ، إلغاء التحديد إسقاط الحقول الأخرى.
إذا لم يتم تعطيل هذا الخيار، فسيتم الاحتفاظ بالأعمدة المحولة فقط وسيتم إسقاط كافة الأعمدة الأخرى. لأننا نريد الاحتفاظ بجميع الأعمدة، نقوم بتعطيل هذا الخيار.
- تحت تعيينات الحقولإلى عن على اسم قديم و اسم جديد، أدخل
status_code
ولل نوع جديد، أدخلstring
. - اختار اضافة عنصر.
- في حالة اسم قديم و اسم جديد¸ أدخل request_size و ل نوع بيانات جديد، أدخل السلسلة.
- اختار تسجيل.
ستطبق ADA تحويل التعيين على مصدر بيانات Amazon S3. لاحظ أنواع الأعمدة في معاينة المخطط الجزء.
- اختار عرض العينة لمعاينة البيانات مع التحويل المطبق.
ستعرض ADA إقرار بيانات PII للتأكد من أنه إما يمكن للمستخدمين المصرح لهم فقط عرض البيانات أو أن مجموعة البيانات لا تحتوي على أي بيانات PII.
- اختار موافق للاستمرار في عرض بيانات العينة.
لاحظ أن المخطط مطابق لمخطط مجموعة سجل CloudWatch لأن كلا من التطبيق الحالي وسجلات التطبيق التاريخية موجودة بتنسيق Apache Log Format.
- في الخطوة الأخيرة، راجع التكوين واختر تسجيل.
يبدأ ADA في معالجة البيانات من مصدر Amazon S3، وإنشاء البنية التحتية الخلفية، وإعداد منتج البيانات. تستغرق هذه العملية بضع دقائق حسب حجم البيانات.
قم بإنشاء منتج بيانات DynamoDB
وأخيرًا، قمنا بإنشاء منتج بيانات DynamoDB. أكمل الخطوات التالية:
- على وحدة تحكم ADA، قم بإنشاء منتج بيانات جديد.
- إدخال اسم (
lookup
) و اختار الأمازون DynamoDB. - أدخل
Cdk.DynamoDBTable
متغير الإخراج ل DynamoDB جدول ARN.
يحتوي هذا الجدول على السمات الرئيسية التي سيتم استخدامها كجدول بحث في هذا العرض التوضيحي. بالنسبة لبيانات البحث، نستخدم رموز HTTP والأوصاف الطويلة والقصيرة للرموز. يمكنك أيضًا استخدام PostgreSQL أو MySQL أو مصدر ملف CSV كبديل.
- في حالة تحديث الزناد، حدد على الطلب.
ستكون التحديثات عند الطلب لأن البحث يكون في الغالب لغرض مرجعي أثناء الاستعلام ويمكن تحديث أي تحديثات لبيانات البحث في ADA باستخدام المشغلات عند الطلب.
- اختار التالى.
يقرأ ADA المخطط من مخطط DynamoDB الأساسي ويقدم اسم العمود ونوعه للتحويل الاختياري. سنتابع تحديد المخطط الافتراضي لأن أنواع الأعمدة متوافقة مع الأنواع الموجودة في مجموعة سجل CloudWatch ومصدر بيانات Amazon S3 CSV. يتيح لنا وجود أنواع بيانات متسقة عبر مصادر البيانات كتابة استعلامات لجلب السجلات من خلال ضم الجداول باستخدام حقول الأعمدة. على سبيل المثال، العمود key
في مخطط DynamoDB يتوافق مع status_code
في منتجات البيانات Amazon S3 وCloudWatch. يمكننا كتابة استعلامات يمكنها ربط الجداول الثلاثة باستخدام اسم العمود key
. يظهر مثال في القسم التالي.
- اختار متابعة مع المخطط الحالي.
- راجع التكوين واختر تسجيل.
ستقوم ADA بمعالجة البيانات من مصدر بيانات جدول DynamoDB وإعداد منتج البيانات. اعتمادًا على حجم البيانات، تستغرق هذه العملية بضع دقائق.
لدينا الآن جميع منتجات البيانات الثلاثة التي تمت معالجتها بواسطة ADA وهي متاحة لك لتشغيل الاستعلامات.
استخدم Query Workbench للاستعلام عن البيانات
يتيح لك ADA تشغيل الاستعلامات على منتجات البيانات أثناء تلخيص مصدر البيانات وإتاحته باستخدام SQL (لغة الاستعلام المنظمة). يمكنك كتابة الاستعلامات وضم الجداول تمامًا كما تفعل مع الجداول في قاعدة بيانات علائقية. نعرض قدرة ADA على الاستعلام من خلال سيناريوهين للمستخدم. في كلا السيناريوهين، نقوم بضم مجموعة بيانات سجل التطبيق إلى جدول البحث عن رموز الخطأ. في حالة الاستخدام الأولى، نقوم بالاستعلام عن سجلات التطبيق الحالية لتحديد أهم 10 نقاط نهاية للتطبيقات التي تم الوصول إليها بالإضافة إلى رموز حالة HTTP المقابلة:
في المثال الثاني، نقوم بالاستعلام عن جدول السجلات التاريخية للحصول على أعلى 10 نقاط نهاية للتطبيق مع أكبر عدد من الأخطاء لفهم نمط استدعاء نقطة النهاية:
بالإضافة إلى الاستعلام، يمكنك اختياريًا حفظ الاستعلام ومشاركة الاستعلام المحفوظ مع مستخدمين آخرين في نفس المجال. يمكن الوصول إلى الاستعلامات المشتركة مباشرةً من Query Workbench. يمكن أيضًا تصدير نتائج الاستعلام إلى تنسيق CSV.
تصور منتجات بيانات ADA في Tableau
يوفر ADA القدرة على طريقة التنفيذ إلى أدوات ذكاء الأعمال التابعة لجهات خارجية لتصور البيانات وإنشاء تقارير من منتجات بيانات ADA. في هذا العرض التوضيحي، نستخدم التكامل الأصلي لـ ADA مع Tableau لتصور البيانات من منتجات البيانات الثلاثة التي قمنا بتكوينها مسبقًا. استخدام موصل Athena الخاص بـ Tableau واتباع الخطوات الواردة فيه تكوين التابلوهيمكنك تكوين ADA كمصدر بيانات في Tableau. بعد إنشاء اتصال ناجح بين Tableau وADA، سيقوم Tableau بملء منتجات البيانات الثلاثة ضمن كتالوج Tableau cw_domain
.
نقوم بعد ذلك بإنشاء علاقة عبر قواعد البيانات الثلاث باستخدام رمز حالة HTTP كعمود الانضمام، كما هو موضح في لقطة الشاشة التالية. يتيح لنا Tableau العمل في وضع الاتصال بالإنترنت وغير متصل بمصادر البيانات. في وضع الاتصال بالإنترنت، سيتصل Tableau بـ ADA ويستفسر عن منتجات البيانات مباشرة. في وضع غير متصل بالشبكة، يمكننا استخدام مقتطف خيار لاستخراج البيانات من ADA واستيراد البيانات إلى Tableau. في هذا العرض التوضيحي، نقوم باستيراد البيانات إلى Tableau لجعل الاستعلام أكثر استجابة. نقوم بعد ذلك بحفظ مصنف Tableau. يمكننا فحص البيانات من مصادر البيانات عن طريق اختيار قاعدة البيانات و تحديث الآن.
من خلال تكوينات مصدر البيانات الموجودة في Tableau، يمكننا إنشاء تقارير ومخططات ومرئيات مخصصة على منتجات بيانات ADA. دعونا نفكر في حالتين من حالات الاستخدام للتصورات.
كما هو موضح في الشكل التالي، قمنا بتصور تكرار أخطاء HTTP حسب نقاط نهاية التطبيق باستخدام Tableau المدمج خريطة الحرارة جدول. لقد قمنا بتصفية رموز حالة HTTP لتضمين رموز الخطأ في النطاق 4xx و5xx فقط.
لقد أنشأنا أيضًا مخططًا شريطيًا لتصوير نقاط نهاية التطبيق من السجلات التاريخية مرتبة حسب عدد رموز خطأ HTTP. في هذا الرسم البياني، يمكننا أن نرى أن /v1/server/admin
أنتجت نقطة النهاية معظم رموز حالة خطأ HTTP.
تنظيف
تتم عملية تنظيف البنية الأساسية للتطبيق النموذجي من خطوتين. أولاً، لإزالة البنية التحتية المتوفرة لأغراض هذا العرض التوضيحي، قم بتشغيل الأمر التالي في الوحدة الطرفية:
بالنسبة للسؤال التالي، أدخل y وسيقوم AWS CDK بحذف الموارد المنشورة للعرض التوضيحي:
وبدلاً من ذلك، يمكنك إزالة الموارد عبر وحدة تحكم AWS CloudFormation من خلال الانتقال إلى مكدس CdkStack واختيار حذف.
الخطوة الثانية هي إلغاء تثبيت ADA. للحصول على التعليمات، راجع قم بإلغاء تثبيت الحل.
وفي الختام
في هذا المنشور، أوضحنا كيفية استخدام حل ADA لاستخلاص الرؤى من سجلات التطبيق المخزنة عبر مصدرين مختلفين للبيانات. لقد أوضحنا كيفية تثبيت ADA على حساب AWS ونشر المكونات التجريبية باستخدام AWS CDK. لقد أنشأنا منتجات بيانات في ADA وقمنا بتكوين منتجات البيانات بمصادر البيانات المعنية باستخدام موصلات البيانات المضمنة في ADA. لقد أوضحنا كيفية الاستعلام عن منتجات البيانات باستخدام استعلامات SQL القياسية وإنشاء رؤى حول بيانات السجل. وقمنا أيضًا بتوصيل عميل Tableau Desktop، وهو منتج ذكاء أعمال تابع لجهة خارجية، بـ ADA وأظهرنا كيفية إنشاء تصورات مقابل منتجات البيانات.
تعمل ADA على أتمتة عملية استيعاب مجموعات البيانات المتنوعة وتحويلها وإدارتها والاستعلام عنها وتبسيط إدارة دورة حياة البيانات. تسمح لك موصلات ADA المعدة مسبقًا باستيعاب البيانات من مصادر بيانات متنوعة. ستتمكن فرق البرمجيات التي تتمتع بالمعرفة الأساسية بمنتجات وخدمات AWS من إعداد نظام أساسي لتحليل البيانات التشغيلية في غضون ساعات قليلة وتوفير وصول آمن إلى البيانات. يمكن بعد ذلك الاستعلام عن البيانات بسهولة وسرعة باستخدام واجهة مستخدم ويب بديهية ومستقلة.
جرب ADA اليوم لإدارة البيانات والحصول على رؤى منها بسهولة.
عن المؤلفين
أبراجيثان فيدياناثان هو مهندس رئيسي لحلول المؤسسات في AWS. إنه يدعم عملاء المؤسسات لترحيل وتحديث أعباء العمل الخاصة بهم على سحابة AWS. وهو مهندس سحابي يتمتع بخبرة تزيد عن 23 عامًا في تصميم وتطوير المؤسسات وأنظمة البرامج واسعة النطاق والموزعة. وهو متخصص في التعلم الآلي وتحليلات البيانات مع التركيز على مجال البيانات وهندسة الميزات. إنه عداء ماراثون طموح وتشمل هواياته المشي لمسافات طويلة وركوب الدراجات وقضاء الوقت مع زوجته وطفليه.
رشيم الرحمن هو مطور برامج مقره في سيدني، أستراليا ويتمتع بخبرة تزيد عن 10 سنوات في تطوير البرامج وهندستها. وهو يعمل بشكل أساسي على بناء حلول AWS مفتوحة المصدر واسعة النطاق لحالات الاستخدام الشائعة للعملاء ومشكلات الأعمال. وفي أوقات فراغه، يستمتع بالرياضة وقضاء الوقت مع الأصدقاء والعائلة.
حافظ سعد الله هو مدير المنتج الفني الرئيسي في Amazon Web Services. يركز حافظ على حلول AWS، المصممة لمساعدة العملاء من خلال معالجة مشكلات العمل الشائعة وحالات الاستخدام.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/derive-operational-insights-from-application-logs-using-automated-data-analytics-on-aws/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 10
- 11
- 12
- 14
- 15%
- 16
- 160
- 17
- 2021
- 3000
- 500
- 7
- 8
- 9
- a
- القدرة
- ماهرون
- من نحن
- الوصول
- الوصول
- يمكن الوصول
- حسابي
- في
- الإجراءات
- ADA
- تضيف
- إضافة
- إضافي
- معالجة
- مشرف
- بعد
- ضد
- الكل
- السماح
- يسمح
- على طول
- أيضا
- البديل
- أمازون
- أمازون ويب سيرفيسز
- من بين
- an
- تحليل
- المحللين
- تحليلات
- تحليل
- و
- آخر
- أي وقت
- أباتشي
- API
- واجهات برمجة التطبيقات
- تطبيق
- التطبيقات
- تطبيقي
- التقديم
- تطبيق
- هندسة معمارية
- هي
- AS
- تطمح
- At
- سمات
- أستراليا
- التحقّق من المُستخدم
- مخول
- الآلي
- الأتمتة
- تلقائيا
- متاح
- AWS
- تكوين سحابة AWS
- الى الخلف
- الخلفية
- شريط
- على أساس
- الأساسية
- BE
- لان
- كان
- قبل
- موصى عليه
- ما بين
- على حد سواء
- صندوق
- نساعدك في بناء
- ابني
- مدمج
- الأعمال
- ذكاء الأعمال
- لكن
- by
- دعوة
- CAN
- قدرة
- حقيبة
- الحالات
- الأقسام
- CD
- تغيير
- رسم
- الرسوم البيانية
- اختار
- اختيار
- زبون
- سحابة
- الكود
- رموز
- مجموعة شتاء XNUMX
- عمود
- الأعمدة
- مشترك
- إكمال
- مكونات
- الاعداد
- تكوين
- التواصل
- متصل
- صلة
- يربط
- نظر
- ثابتة
- كنسولات
- يحتوي
- استمر
- المترابطة
- ارتباط
- المقابلة
- يتوافق
- التكلفة
- خلق
- خلق
- يخلق
- خلق
- أوراق اعتماد
- حالياًّ
- على
- زبون
- العملاء
- لوحة أجهزة القياس
- البيانات
- تحليلات البيانات
- معالجة المعلومات
- قاعدة البيانات
- قواعد البيانات
- قواعد البيانات
- الترتيب
- الطلب
- تجربة
- شرح
- تظاهر
- اعتمادا
- نشر
- نشر
- نشر
- ينشر
- وصف
- تصميم
- تصميم
- سطح المكتب
- مفصلة
- تفاصيل
- المطور
- تطوير
- التطوير التجاري
- التشخيص
- مختلف
- مباشرة
- معاق
- اكتشاف
- العرض
- وزعت
- عدة
- لا
- نطاق
- المجالات
- لا
- إسقاط
- أثناء
- كل
- في وقت سابق
- بسهولة
- التحرير
- إما
- البريد الإلكتروني
- تمكين
- تمكن
- نقطة النهاية
- النهاية
- الهندسة
- ضمان
- أدخل
- مشروع
- عملاء المؤسسة
- حلول المشاريع
- خطأ
- أخطاء
- إنشاء
- أنشئ
- الأثير (ETH)
- مثال
- القائمة
- الخبره في مجال الغطس
- شرح
- تفسير
- استخراج
- استخراج البيانات
- مألوف
- للعائلات
- الميزات
- قليل
- حقل
- مجال
- الشكل
- قم بتقديم
- ملفات
- نهائي
- تمويل
- الاسم الأول
- مرن
- تركز
- ويركز
- متابعيك
- في حالة
- شكل
- أربعة
- تردد
- الاصدقاء
- تبدأ من
- وظيفة
- ربح
- توليد
- ولدت
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- الحكم
- تجمع
- مجموعات
- يملك
- وجود
- he
- مساعدة
- سلط الضوء
- المشي لمسافات طويلة
- له
- تاريخي
- الهوايات
- استضافت
- ساعات العمل
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- IAM
- مطابق
- تحديد
- هوية
- if
- استيراد
- in
- تتضمن
- يشمل
- بما فيه
- معلومات
- البنية التحتية
- في البداية
- رؤى
- تثبيت
- التركيب
- تعليمات
- المتكاملة
- التكامل
- رؤيتنا
- التفاعلية
- يستفد
- السطح البيني
- إلى
- حدسي
- يتضرع
- المشاركة
- قضية
- IT
- الانضمام
- انضمام
- ينضم
- JPG
- جسون
- م
- احتفظ
- القفل
- المعرفة
- لغة
- كبير
- على نطاق واسع
- اسم العائلة
- الى وقت لاحق
- إطلاق
- تعلم
- المكتبة
- مرخص
- دورة حياة
- مثل
- مما سيحدث
- خط
- قائمة
- حي
- سجل
- تسجيل
- طويل
- بحث
- بحث
- آلة
- آلة التعلم
- جعل
- القيام ب
- إدارة
- إدارة
- مدير
- كثير
- رسم خريطة
- رسم الخرائط
- ماراثون
- التسويق
- أمر
- ذات مغزى
- الرسالة
- MFA
- ربما
- الهجرة
- دقائق
- موضة
- تحديث
- الأكثر من ذلك
- أكثر
- خاصة
- موزيلا
- المصادقة متعددة العوامل
- MySQL
- الاسم
- عين
- أسماء
- محلي
- التنقل
- التنقل
- قائمة الإختيارات
- حاجة
- بحاجة
- إحتياجات
- جديد
- حديثا
- التالي
- عدد
- of
- عروض
- حاليا
- قديم
- on
- على الطلب
- ONE
- online
- فقط
- جاكيت
- المصدر المفتوح
- تشغيل
- خيار
- or
- طلب
- أخرى
- أخرى
- خارج
- الناتج
- نظرة عامة
- صفحة
- خبز
- كلمة المرور
- مسار
- نمط
- نفذ
- أذونات
- شخصيا
- للهواتف
- PII
- خط أنابيب
- المكان
- عادي
- خطة
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسات الخصوصية والبيع
- بوابة
- منشور
- كيو
- مدعوم
- إعداد
- يستعد
- الشروط
- يقدم
- الهدايا
- أرسال
- سابق
- في المقام الأول
- رئيسي
- قبل
- مشاكل
- والمضي قدما
- عملية المعالجة
- معالجة
- العمليات
- معالجة
- أنتج
- المنتج
- مدير المنتج
- المنتجات
- المنتجات والخدمات
- البرامج
- تنفيذ المشاريع
- تزود
- المقدمة
- مزود
- ويوفر
- غرض
- أغراض
- بايثون
- الاستفسارات
- سؤال
- بسرعة
- نطاق
- عرض
- استعداد
- تسلم
- تسجيل
- يشار
- منطقة
- صلة
- ذات الصلة
- إزالة
- كرر
- التقارير
- طلب
- مطلوب
- الموارد
- هؤلاء
- استجابة
- النتائج
- احتفظ
- مراجعة
- ركوب الخيل
- الأدوار
- جذر
- قاعدة
- يجري
- عداء
- تشغيل
- الأملاح
- نفسه
- حفظ
- حجم
- سيناريوهات
- المقرر
- نطاق
- بحث
- الثاني
- القسم
- تأمين
- أمن
- انظر تعريف
- مختار
- اختيار
- إرسال
- أرسلت
- مستقل
- خدمة
- Serverless
- الخدمة
- خدماتنا
- طقم
- ضبط
- مشاركة
- شاركت
- قصير
- أظهرت
- يظهر
- الاشارات
- مبسط
- تبسيط
- المقاس
- مهارات
- So
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- مصدر
- مصادر
- متخصص
- تتخصص
- محدد
- محدد
- الإنفاق
- رياضة
- SQL
- كومة
- مستقل
- معيار
- بداية
- يبدأ
- الحالة
- خطوة
- خطوات
- تخزين
- تخزين
- خيط
- منظم
- ناجح
- بنجاح
- هذه
- الدعم
- بالتأكيد
- سيدني
- أنظمة
- جدول
- التابلوه لوحة حية
- أخذ
- يأخذ
- فريق
- فريق
- تقني
- مهارات تقنية
- محطة
- أن
- •
- المصدر
- من مشاركة
- then
- هناك.
- تشبه
- طرف ثالث
- ثلاثة
- عبر
- الوقت
- إلى
- اليوم
- أدوات
- تيشرت
- أعلى 10
- الإجمالي
- تحول
- تحول
- التحولات
- تحول
- تحويل
- التحويلات
- أثار
- اثنان
- نوع
- أنواع
- مع
- التي تقوم عليها
- فهم
- تحديث
- آخر التحديثات
- بناء على
- URI
- us
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- واجهة المستخدم
- المستخدمين
- استخدام
- القيم
- متغير
- تشكيلة
- الإصدار
- بواسطة
- المزيد
- تريد
- طريق..
- we
- الويب
- خدمات ويب
- حسن
- متى
- التي
- في حين
- واسع
- مدى واسع
- زوجة
- سوف
- مع
- في غضون
- بدون
- للعمل
- سير العمل
- أعمال
- سوف
- اكتب
- سنوات
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت