تجزیه و تحلیل خودکار داده ها (ADA) در AWS یک راه حل AWS است که شما را قادر می سازد تا از طریق یک رابط کاربری ساده و شهودی، بینش های معناداری را از داده ها در عرض چند دقیقه بدست آورید. ADA یک پلت فرم تجزیه و تحلیل داده بومی AWS را ارائه می دهد که آماده استفاده خارج از جعبه توسط تحلیلگران داده برای موارد مختلف است. با ADA، تیمها میتوانند بدون نیاز به مهارتهای فنی تخصصی، مجموعه دادههای متنوعی را از طیف وسیعی از منابع داده دریافت، تبدیل، مدیریت و پرس و جو کنند. ADA مجموعه ای از کانکتورهای از پیش ساخته شده برای دریافت داده ها از طیف گسترده ای از منابع از جمله سرویس ذخیره سازی ساده آمازون (Amazon S3) آمازون کینزیس جریان داده, CloudWatch آمازون, Amazon CloudTrailو آمازون DynamoDB و همچنین بسیاری دیگر.
ADA یک پلتفرم اساسی را فراهم می کند که می تواند توسط تحلیلگران داده در مجموعه ای از موارد استفاده از جمله فناوری اطلاعات، امور مالی، بازاریابی، فروش و امنیت استفاده شود. اتصال دهنده داده خارج از جعبه CloudWatch ADA اجازه می دهد تا داده ها را از گزارش های CloudWatch در همان حساب AWS که ADA در آن مستقر شده است یا از یک حساب AWS دیگر دریافت کند.
در این پست، نشان میدهیم که چگونه یک توسعهدهنده برنامه یا تستر برنامه میتواند از ADA برای استخراج بینش عملیاتی برنامههای در حال اجرا در AWS استفاده کند. ما همچنین نشان می دهیم که چگونه می توانید از راه حل ADA برای اتصال به منابع داده های مختلف در AWS استفاده کنید. ما اول راه حل ADA را مستقر کنید به یک حساب AWS و راه حل ADA را راه اندازی کنید با ایجاد محصولات داده با استفاده از اتصال دهنده های داده سپس از ADA Query Workbench برای پیوستن به مجموعه دادههای جداگانه استفاده میکنیم و دادههای همبسته را با استفاده از زبان آشنای پرس و جوی ساختاریافته (SQL) جستجو میکنیم تا بینش به دست آوریم. ما همچنین نشان میدهیم که چگونه ADA میتواند با ابزارهای هوش تجاری (BI) مانند Tableau برای تجسم دادهها و ساخت گزارشها ادغام شود.
بررسی اجمالی راه حل
در این بخش، معماری راه حل برای دمو را ارائه می کنیم و گردش کار را توضیح می دهیم. برای اهداف نمایشی، برنامه سفارشی با استفاده از یک شبیه سازی شده است AWS لامبدا عملکردی که لاگین ها را منتشر می کند فرمت لاگ آپاچی در یک فاصله از پیش تعیین شده با استفاده از پل رویداد آمازون. این فرمت استاندارد را می توان توسط بسیاری از سرورهای وب مختلف تولید کرد و توسط بسیاری از برنامه های تجزیه و تحلیل لاگ خوانده شد. گزارشهای برنامه (تابع لامبدا) به یک گروه گزارش CloudWatch ارسال میشوند. گزارشهای برنامه تاریخی برای مرجع و برای اهداف پرس و جو در یک سطل S3 ذخیره میشوند. یک جدول جستجو با لیستی از کدهای وضعیت HTTP همراه با توضیحات در یک جدول DynamoDB ذخیره می شود. این سه بهعنوان منابعی عمل میکنند که از آنها دادهها برای همبستگی، پرس و جو و تجزیه و تحلیل به ADA وارد میشوند. ما راه حل ADA را مستقر کنید به یک حساب AWS و ADA را راه اندازی کنید. سپس ما ایجاد می کنیم محصولات داده در ADA برای گروه گزارش CloudWatch, سطل S3و DynamoDB. همانطور که محصولات داده پیکربندی می شوند، ADA خطوط لوله داده را برای جذب داده ها از منابع فراهم می کند. با ADA Query Workbench، می توانید داده های دریافت شده را با استفاده از SQL ساده برای عیب یابی برنامه یا تشخیص مشکل پرس و جو کنید.
نمودار زیر یک نمای کلی از معماری و گردش کار استفاده از ADA برای به دست آوردن بینش در مورد گزارش های برنامه ارائه می دهد.
گردش کار شامل مراحل زیر است:
- یک تابع Lambda برنامه ریزی شده است که در فواصل 2 دقیقه ای با استفاده از EventBridge فعال شود.
- تابع Lambda گزارش هایی را منتشر می کند که در یک گروه گزارش مشخص شده CloudWatch در زیر ذخیره می شوند.
/aws/lambda/CdkStack-AdaLogGenLambdaFunction
. گزارشهای برنامه با استفاده از طرحواره Apache Log Format تولید میشوند اما در گروه گزارش CloudWatch با فرمت JSON ذخیره میشوند. - محصولات داده برای CloudWatch، Amazon S3، و DynamoDB در ADA ایجاد شدهاند. محصول داده CloudWatch به گروه گزارش CloudWatch متصل می شود که در آن گزارش های برنامه (عملکرد Lambda) ذخیره می شوند. رابط آمازون S3 به یک پوشه سطل S3 متصل می شود که در آن گزارش های تاریخی ذخیره می شوند. رابط DynamoDB به جدول DynamoDB متصل می شود که در آن کدهای وضعیتی که توسط برنامه ارجاع داده می شوند و گزارش های تاریخی ذخیره می شوند.
- برای هر یک از محصولات داده، ADA زیرساخت خط لوله داده را برای دریافت داده ها از منابع مستقر می کند. هنگامی که انتقال داده ها کامل شد، می توانید پرس و جوها را با استفاده از SQL از طریق ADA Query Workbench بنویسید.
- می توانید وارد پورتال ADA شوید و پرس و جوهای SQL را از Query Workbench بنویسید تا بینش هایی را در مورد گزارش های برنامه به دست آورید. شما می توانید به صورت اختیاری پرس و جو را ذخیره کنید و پرس و جو را با سایر کاربران ADA در همان دامنه به اشتراک بگذارید. ویژگی پرس و جو ADA توسط آمازون آتنا، که یک سرویس تجزیه و تحلیل تعاملی بدون سرور است که روشی ساده و انعطاف پذیر برای تجزیه و تحلیل پتابایت داده ارائه می دهد.
- Tableau برای دسترسی به محصولات داده ADA از طریق نقاط پایانی خروج ADA پیکربندی شده است. سپس یک داشبورد با دو نمودار ایجاد می کنید. نمودار اول یک نقشه حرارتی است که شیوع کدهای خطای HTTP مرتبط با نقاط پایانی API برنامه را نشان می دهد. نمودار دوم یک نمودار میله ای است که 10 API برنامه برتر را با تعداد کل کدهای خطای HTTP از داده های تاریخی نشان می دهد.
پیش نیازها
برای این پست باید پیش نیازهای زیر را تکمیل کنید:
- نصب رابط خط فرمان AWS (AWS CLI)، کیت توسعه ابری AWS (AWS CDK) پیش نیازها، خاص TypeScript پیش نیازهاو دستگاه گوارش.
- گسترش راه حل ADA در حساب AWS شما در
us-east-1
منطقه- هنگام راهاندازی ADA یک ایمیل مدیر ارائه دهید AWS CloudFormation پشته. این برای ADA برای ارسال رمز عبور کاربر root مورد نیاز است. اگر احراز هویت چند عاملی (MFA) فعال باشد، یک شماره تلفن سرپرست برای دریافت یک پیام رمز عبور یک بار مصرف لازم است. برای این نسخه نمایشی، MFA فعال نیست.
- ساخت و استقرار برنامه نمونه (موجود در GitHub repo) راه حلی برای اینکه منابع زیر در حساب شما در
us-east-1
منطقه:- یک تابع Lambda که برنامه logging را شبیه سازی می کند و یک قانون EventBridge که تابع برنامه را در فواصل زمانی 2 دقیقه ای فراخوانی می کند.
- یک سطل S3 با خطمشیهای سطل مربوطه و یک فایل CSV که حاوی گزارشهای برنامه تاریخی است.
- یک جدول DynamoDB با داده های جستجو.
- مربوط هویت AWS و مدیریت دسترسی (IAM) نقش ها و مجوزهای مورد نیاز برای خدمات.
- در صورت تمایل، نصب کنید میز کار Tableau، یک ارائه دهنده BI شخص ثالث. برای این پست از Tableau Desktop نسخه 2021.2 استفاده می کنیم. استفاده از نسخه دارای مجوز از برنامه دسکتاپ Tableau هزینه دارد. برای جزئیات بیشتر، مراجعه کنید مجوز تابلو اطلاعات.
استقرار و راه اندازی ADA
پس از اینکه ADA با موفقیت مستقر شد، می توانید ورود با استفاده از ایمیل مدیریت ارائه شده در هنگام نصب. سپس یک را ایجاد می کنید دامنه تحت عنوان CW_Domain
. دامنه مجموعه ای از محصولات داده تعریف شده توسط کاربر است. به عنوان مثال، یک دامنه ممکن است یک تیم یا یک پروژه باشد. دامنه ها روشی ساختاریافته برای کاربران فراهم می کنند تا محصولات داده خود را سازماندهی کنند و مجوزهای دسترسی را مدیریت کنند.
- در کنسول ADA، را انتخاب کنید دامنه در صفحه ناوبری
- را انتخاب کنید دامنه ایجاد کنید.
- یک نام وارد کنید (
CW_Domain
) و توضیحات، سپس انتخاب کنید ارسال.
زیرساخت برنامه نمونه را با استفاده از AWS CDK تنظیم کنید
راه حل AWS CDK که برنامه آزمایشی را مستقر می کند روی میزبانی می شود GitHub. مراحل کلون کردن مخزن و راه اندازی پروژه AWS CDK در این بخش به تفصیل آمده است. قبل از اجرای این دستورات، حتما انجام دهید پیکربندی اعتبارنامه AWS شما یک پوشه ایجاد کنید، ترمینال را باز کنید و به پوشه ای بروید که راه حل AWS CDK باید در آن نصب شود. کد زیر را اجرا کنید:
این مراحل اقدامات زیر را انجام می دهند:
- وابستگی های کتابخانه را نصب کنید
- پروژه را بسازید
- یک الگوی CloudFormation معتبر ایجاد کنید
- پشته را با استفاده از AWS CloudFormation در حساب AWS خود مستقر کنید
استقرار حدود 1 تا 2 دقیقه طول می کشد و جدول جستجوی DynamoDB، تابع Lambda و سطل S3 حاوی فایل های گزارش تاریخی به عنوان خروجی ایجاد می کند. این مقادیر را در یک برنامه ویرایش متن مانند Notepad کپی کنید.
محصولات داده ADA را ایجاد کنید
ما سه محصول داده مختلف را برای این نسخه آزمایشی ایجاد میکنیم، یکی برای هر منبع دادهای که برای به دست آوردن بینش عملیاتی آن را جستجو میکنید. محصول داده یک مجموعه داده (مجموعه ای از داده ها مانند یک جدول یا یک فایل CSV) است که با موفقیت به ADA وارد شده است و می توان آن را پرس و جو کرد.
یک محصول داده CloudWatch ایجاد کنید
ابتدا، با راهاندازی ADA برای جذب گروه گزارش CloudWatch برای برنامه نمونه (تابع Lambda) یک محصول داده برای گزارشهای برنامه ایجاد میکنیم. استفاده کنید CdkStack.LambdaFunction
خروجی برای دریافت تابع Lambda ARN و مکان یابی گروه گزارش CloudWatch مربوطه ARN در کنسول CloudWatch.
سپس مراحل زیر را انجام دهید:
- در کنسول ADA، به دامنه ADA بروید و یک محصول داده CloudWatch ایجاد کنید.
- برای نام¸ یک نام وارد کنید.
- برای نوع منبع، را انتخاب کنید CloudWatch آمازون.
- از کار انداختن PII خودکار.
ADA دارای ویژگی است که به طور خودکار داده های اطلاعات شناسایی شخصی (PII) را در حین واردات شناسایی می کند که به طور پیش فرض فعال است. برای این نسخه آزمایشی، ما این گزینه را برای محصول داده غیرفعال می کنیم زیرا کشف داده های PII در محدوده این نسخه نمایشی نیست.
- را انتخاب کنید بعدی.
- گروه گزارش CloudWatch ARN کپی شده از مرحله قبل را جستجو کرده و انتخاب کنید.
- گروه گزارش ARN را کپی کنید.
- در صفحه محصول داده، گروه گزارش ARN را وارد کنید.
- برای پرس و جو CloudWatch، عبارتی را وارد کنید که می خواهید ADA از گروه گزارش دریافت کند.
در این نسخه ی نمایشی، ما فیلد پیام @ را پرس و جو می کنیم زیرا علاقه مندیم گزارش های برنامه را از گروه گزارش دریافت کنیم.
- نحوه راه اندازی به روز رسانی داده ها پس از وارد کردن اولیه را انتخاب کنید.
ADA را می توان به گونه ای پیکربندی کرد که داده ها را از منبع در فواصل زمانی انعطاف پذیر (حداکثر 15 دقیقه یا بالاتر) یا در صورت نیاز مصرف کند. برای نسخه ی نمایشی، به روز رسانی داده ها را طوری تنظیم کردیم که ساعتی اجرا شوند.
- را انتخاب کنید بعدی.
در مرحله بعد، ADA به گروه log متصل می شود و طرح را جستجو می کند. از آنجایی که گزارشها در قالب Apache Log هستند، ما لاگها را به فیلدهای جداگانه تبدیل میکنیم تا بتوانیم پرس و جوها را در فیلدهای گزارش خاص اجرا کنیم. ADA چهار ارائه می دهد به طور پیش فرض تبدیل و تبدیل سفارشی از طریق اسکریپت پایتون را پشتیبانی می کند. در این نسخه ی نمایشی، ما یک اسکریپت پایتون سفارشی را اجرا می کنیم تا فیلد پیام JSON را به فیلدهای Apache Log Format تبدیل کنیم.
- را انتخاب کنید تغییر طرحواره.
- را انتخاب کنید تبدیل جدید ایجاد کنید.
- بارگذاری کنید
apache-log-extractor-transform.py
اسکریپت از/asset/transform_logs/
پوشه. - را انتخاب کنید ارسال.
ADA گزارش های CloudWatch را با استفاده از اسکریپت تغییر می دهد و طرح پردازش شده را ارائه می دهد.
- را انتخاب کنید بعدی.
- در مرحله آخر مراحل را مرور کرده و انتخاب کنید ارسال.
ADA پردازش داده ها را آغاز می کند، خطوط لوله داده را ایجاد می کند و گروه های گزارش CloudWatch را برای درخواست از Query Workbench آماده می کند. این فرآیند چند دقیقه طول می کشد و در کنسول ADA در زیر نشان داده می شود محصولات داده.
یک محصول داده آمازون S3 ایجاد کنید
ما مراحل را برای افزودن گزارش های تاریخی از منبع داده آمازون S3 و جستجوی داده های مرجع از جدول DynamoDB تکرار می کنیم. برای این دو منبع داده، ما تبدیلهای سفارشی ایجاد نمیکنیم زیرا قالبهای داده در CSV (برای گزارشهای تاریخی) و ویژگیهای کلیدی (برای دادههای جستجوی مرجع) هستند.
- در کنسول ADA، یک محصول داده جدید ایجاد کنید.
- یک نام وارد کنید (
hist_logs
) و انتخاب کنید آمازون S3. - URI آمازون S3 را کپی کنید (متن بعد از
arn:aws:s3:::
) ازCdkStack.S3
متغیر خروجی را وارد کنید و به کنسول آمازون S3 بروید. - در کادر جستجو، متن کپی شده را وارد کنید، سطل S3 را باز کنید، آن را انتخاب کنید
/logs
پوشه، و Copy S3 URI را انتخاب کنید.
گزارش های تاریخی در این مسیر ذخیره می شوند.
- به کنسول ADA برگردید و URI S3 کپی شده را وارد کنید مکان S3.
- برای به روز رسانی ماشه، انتخاب کنید بر اساس تقاضا زیرا گزارش های تاریخی با فرکانس نامشخصی به روز می شوند.
- برای سیاست به روز رسانی، انتخاب کنید ضمیمه کردن برای افزودن داده های تازه وارد شده به داده های موجود.
- را انتخاب کنید بعدی.
ADA طرحواره فایل های موجود در مسیر پوشه انتخاب شده را پردازش می کند. از آنجایی که گزارشها در قالب CSV هستند، ADA میتواند نام ستونها را بدون نیاز به تغییرات اضافی بخواند. با این حال، ستون ها status_code
و request_size
توسط ADA به عنوان نوع طولانی استنباط می شوند. ما میخواهیم انواع دادههای ستونی را در بین محصولات داده ثابت نگه داریم تا بتوانیم به جداول داده بپیوندیم و دادهها را پرس و جو کنیم. ستون status_code
برای ایجاد اتصالات در جداول داده استفاده خواهد شد.
- را انتخاب کنید تغییر طرحواره برای تغییر انواع داده های دو ستون به نوع داده رشته ای.
به نام ستون های هایلایت شده در قسمت توجه کنید پیش نمایش طرحواره قبل از اعمال تبدیل های نوع داده، پنجره.
- در طرح تحول پنجره، زیر تبدیل های داخلی، انتخاب کنید نقشه برداری را اعمال کنید.
این گزینه به شما امکان می دهد نوع داده را از یک نوع به نوع دیگر تغییر دهید.
- در نقشه برداری را اعمال کنید بخش، لغو انتخاب فیلدهای دیگر را رها کنید.
اگر این گزینه غیرفعال نباشد، فقط ستون های تبدیل شده حفظ می شوند و بقیه ستون ها حذف می شوند. چون می خواهیم تمام ستون ها را حفظ کنیم، این گزینه را غیرفعال می کنیم.
- تحت نقشه برداری میدانیبرای نام قدیمی و نام جدید، وارد
status_code
و برای نوع جدید، واردstring
. - را انتخاب کنید این مورد را اضافه کنید.
- برای نام قدیمی و نام جدید¸ request_size و for را وارد کنید نوع داده جدید، رشته را وارد کنید.
- را انتخاب کنید ارسال.
ADA تغییر نقشه را در منبع داده آمازون S3 اعمال خواهد کرد. به انواع ستون ها توجه کنید پیش نمایش طرحواره پنجره
- را انتخاب کنید مشاهده نمونه برای پیش نمایش داده ها با تبدیل اعمال شده.
ADA تأیید داده PII را نمایش می دهد تا مطمئن شود که یا فقط کاربران مجاز می توانند داده ها را مشاهده کنند یا اینکه مجموعه داده حاوی هیچ داده PII نیست.
- را انتخاب کنید موافقت برای ادامه مشاهده داده های نمونه.
توجه داشته باشید که این طرح با طرح گروه گزارش CloudWatch یکسان است زیرا هم گزارش برنامه فعلی و هم گزارش های برنامه تاریخی در قالب Apache Log هستند.
- در مرحله آخر پیکربندی را بررسی کرده و انتخاب کنید ارسال.
ADA پردازش داده ها را از منبع آمازون S3 شروع می کند، زیرساخت backend را ایجاد می کند و محصول داده را آماده می کند. این فرآیند بسته به اندازه داده ها چند دقیقه طول می کشد.
یک محصول داده DynamoDB ایجاد کنید
در نهایت، ما یک محصول داده DynamoDB ایجاد می کنیم. مراحل زیر را کامل کنید:
- در کنسول ADA، یک محصول داده جدید ایجاد کنید.
- یک نام وارد کنید (
lookup
) و انتخاب کنید آمازون DynamoDB. - را وارد کنید
Cdk.DynamoDBTable
متغیر خروجی برای جدول DynamoDB ARN.
این جدول حاوی ویژگی های کلیدی است که به عنوان جدول جستجو در این نسخه نمایشی استفاده می شود. برای داده های جستجو، از کدهای HTTP و توضیحات طولانی و کوتاه کدها استفاده می کنیم. همچنین می توانید از PostgreSQL، MySQL یا منبع فایل CSV به عنوان جایگزین استفاده کنید.
- برای به روز رسانی ماشه، انتخاب کنید بر روی تقاضا.
بهروزرسانیها بر اساس تقاضا انجام میشوند، زیرا جستجو بیشتر برای هدف مرجع در حین پرسوجو است و هرگونه بهروزرسانی در دادههای جستجو را میتوان با استفاده از محرکهای درخواستی در ADA بهروزرسانی کرد.
- را انتخاب کنید بعدی.
ADA طرح را از طرح DynamoDB زیربنایی می خواند و نام و نوع ستون را برای تبدیل اختیاری ارائه می دهد. ما به انتخاب طرح پیشفرض ادامه میدهیم زیرا انواع ستونها با انواع گروه گزارش CloudWatch و منبع داده Amazon S3 CSV مطابقت دارند. داشتن انواع دادهای که در بین منابع داده یکسان هستند، به ما امکان میدهد با پیوستن به جداول با استفاده از فیلدهای ستون، پرس و جوهایی برای واکشی رکوردها بنویسیم. به عنوان مثال، ستون key
در طرح DynamoDB مربوط به status_code
در محصولات داده آمازون S3 و CloudWatch. ما می توانیم پرس و جوهایی بنویسیم که می توانند با استفاده از نام ستون به سه جدول بپیوندند key
. یک مثال در بخش بعدی نشان داده شده است.
- را انتخاب کنید با طرحواره فعلی ادامه دهید.
- تنظیمات را بررسی کرده و انتخاب کنید ارسال.
ADA داده ها را از منبع داده جدول DynamoDB پردازش کرده و محصول داده را آماده می کند. بسته به اندازه داده ها، این فرآیند چند دقیقه طول می کشد.
اکنون ما هر سه محصول داده ای را داریم که توسط ADA پردازش شده و برای اجرای پرس و جوها در دسترس شماست.
از Query Workbench برای پرس و جوی داده ها استفاده کنید
ADA به شما این امکان را می دهد که در هنگام انتزاع منبع داده و در دسترس قرار دادن آن با استفاده از SQL (زبان پرس و جوی ساختاریافته) پرس و جوها را بر روی محصولات داده اجرا کنید. شما می توانید پرس و جوها را بنویسید و به جداول بپیوندید همانطور که در یک پایگاه داده رابطه ای در برابر جداول پرس و جو می کنید. ما قابلیت جستجوی ADA را از طریق دو سناریو کاربر نشان میدهیم. در هر دو سناریو، ما یک مجموعه داده گزارش برنامه را به جدول جستجوی کدهای خطا میپیوندیم. در اولین مورد استفاده، ما گزارشهای برنامه فعلی را پرس و جو میکنیم تا 10 نقطه پایانی برنامه برتر را به همراه کدهای وضعیت HTTP مربوطه شناسایی کنیم:
در مثال دوم، جدول logs تاریخی را پرس و جو می کنیم تا 10 نقطه پایانی برنامه برتر با بیشترین خطا را برای درک الگوی فراخوانی نقطه پایانی بدست آوریم:
علاوه بر پرس و جو، می توانید به صورت اختیاری پرس و جو را ذخیره کنید و پرس و جو ذخیره شده را با سایر کاربران در همان دامنه به اشتراک بگذارید. پرس و جوهای مشترک مستقیماً از Query Workbench قابل دسترسی هستند. نتایج پرس و جو همچنین می تواند به فرمت CSV صادر شود.
محصولات داده ADA را در Tableau تجسم کنید
ADA این توانایی را ارائه می دهد اتصال به ابزارهای BI شخص ثالث برای تجسم داده ها و ایجاد گزارش از محصولات داده ADA. در این نسخه ی نمایشی، ما از یکپارچه سازی بومی ADA با Tableau برای تجسم داده های سه محصول داده ای که قبلاً پیکربندی کردیم استفاده می کنیم. با استفاده از کانکتور Tableau’s Athena و انجام مراحل داخل پیکربندی تابلو، می توانید ADA را به عنوان منبع داده در Tableau پیکربندی کنید. پس از برقراری ارتباط موفقیت آمیز بین Tableau و ADA، Tableau سه محصول داده را در کاتالوگ Tableau پر می کند. cw_domain
.
سپس یک رابطه بین سه پایگاه داده با استفاده از کد وضعیت HTTP به عنوان ستون اتصال برقرار می کنیم، همانطور که در تصویر زیر نشان داده شده است. Tableau به ما امکان می دهد در حالت آنلاین و آفلاین با منابع داده کار کنیم. در حالت آنلاین، Tableau به ADA متصل می شود و محصولات داده را به صورت زنده جستجو می کند. در حالت آفلاین می توانیم از عصاره گزینه ای برای استخراج داده ها از ADA و وارد کردن داده ها به Tableau. در این نسخه ی نمایشی، داده ها را به Tableau وارد می کنیم تا پرس و جو پاسخگوتر شود. سپس کتاب کار Tableau را ذخیره می کنیم. ما می توانیم داده ها را از منابع داده با انتخاب پایگاه داده و بروز کن.
با پیکربندیهای منبع داده در Tableau، میتوانیم گزارشها، نمودارها و تجسمهای سفارشی را روی محصولات داده ADA ایجاد کنیم. بیایید دو مورد استفاده را برای تجسم در نظر بگیریم.
همانطور که در شکل زیر نشان داده شده است، فرکانس خطاهای HTTP را توسط نقاط انتهایی برنامه با استفاده از Tableau's داخلی مشاهده کردیم. نقشه حرارت چارت سازمانی. ما کدهای وضعیت HTTP را فیلتر کردیم تا فقط کدهای خطا در محدوده 4xx و 5xx را شامل شود.
ما همچنین یک نمودار میله ای ایجاد کردیم تا نقاط پایانی برنامه را از لاگ های تاریخی که بر اساس تعداد کدهای خطای HTTP مرتب شده اند به تصویر بکشیم. در این نمودار می بینیم که /v1/server/admin
نقطه پایانی بیشترین کدهای وضعیت خطای HTTP را ایجاد کرده است.
پاک کردن
تمیز کردن زیرساخت برنامه نمونه یک فرآیند دو مرحله ای است. ابتدا برای حذف زیرساخت های ارائه شده برای اهداف این دمو، دستور زیر را در ترمینال اجرا کنید:
برای سؤال زیر، y را وارد کنید و AWS CDK منابع مستقر شده برای نسخه آزمایشی را حذف می کند:
همچنین، میتوانید منابع را از طریق کنسول AWS CloudFormation با پیمایش به پشته CdkStack و انتخاب حذف کنید. حذف.
مرحله دوم حذف نصب ADA است. برای دستورالعمل، مراجعه کنید راه حل را حذف کنید.
نتیجه
در این پست، نحوه استفاده از راه حل ADA را برای استخراج بینش از گزارش های برنامه ذخیره شده در دو منبع داده مختلف نشان دادیم. ما نشان دادیم که چگونه ADA را بر روی یک حساب AWS نصب کنیم و اجزای نمایشی را با استفاده از AWS CDK اجرا کنیم. ما محصولات داده را در ADA ایجاد کردیم و محصولات داده را با منابع داده مربوطه با استفاده از رابط های داده داخلی ADA پیکربندی کردیم. ما نشان دادیم که چگونه می توان محصولات داده را با استفاده از پرس و جوهای استاندارد SQL پرس و جو کرد و بینش هایی را در مورد داده های گزارش ایجاد کرد. ما همچنین مشتری Tableau Desktop را که یک محصول BI شخص ثالث است، به ADA متصل کردیم و نشان دادیم که چگونه میتوان تصاویری را در برابر محصولات داده ایجاد کرد.
ADA فرآیند جذب، تبدیل، حاکمیت و پرس و جو از مجموعه داده های متنوع و ساده سازی مدیریت چرخه عمر داده ها را خودکار می کند. کانکتورهای از پیش ساخته شده ADA به شما این امکان را می دهد که داده ها را از منابع مختلف داده دریافت کنید. تیم های نرم افزاری با دانش اولیه محصولات و خدمات AWS قادر خواهند بود در چند ساعت یک پلت فرم تجزیه و تحلیل داده های عملیاتی راه اندازی کنند و دسترسی ایمن به داده ها را فراهم کنند. سپس داده ها را می توان به راحتی و به سرعت با استفاده از یک رابط کاربری وب بصری و مستقل جستجو کرد.
امروز ADA را امتحان کنید تا به راحتی مدیریت کنید و از داده ها بینش به دست آورید.
درباره نویسندگان
آپاراجیتان وایدیاناتان یک معمار اصلی راه حل های سازمانی در AWS است. او از مشتریان سازمانی حمایت می کند که بار کاری خود را در ابر AWS مهاجرت کرده و مدرن کنند. او یک معمار ابر با بیش از 23 سال تجربه در طراحی و توسعه سیستم های نرم افزاری سازمانی، مقیاس بزرگ و توزیع شده است. او در یادگیری ماشین و تجزیه و تحلیل داده ها با تمرکز بر حوزه مهندسی داده و ویژگی تخصص دارد. او یک دونده ماراتن مشتاق است و سرگرمی هایش شامل پیاده روی، دوچرخه سواری و گذراندن وقت با همسر و دو پسرش است.
راشم رحمان یک توسعه دهنده نرم افزار مستقر در سیدنی، استرالیا با بیش از 10 سال تجربه در توسعه نرم افزار و معماری است. او عمدتاً روی ساخت راهحلهای منبع باز AWS در مقیاس بزرگ برای موارد استفاده مشترک مشتریان و مشکلات تجاری کار میکند. در اوقات فراغت از ورزش و گذراندن اوقات فراغت با دوستان و خانواده لذت می برد.
حافظ سعدالله مدیر اصلی محصول فنی در خدمات وب آمازون است. حافظ بر راهکارهای AWS تمرکز دارد که برای کمک به مشتریان با رسیدگی به مشکلات رایج تجاری و موارد استفاده طراحی شده است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- ChartPrime. بازی معاملاتی خود را با ChartPrime ارتقا دهید. دسترسی به اینجا.
- BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/derive-operational-insights-from-application-logs-using-automated-data-analytics-on-aws/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 10
- 11
- 12
- 14
- ٪۱۰۰
- 16
- 160
- 17
- 2021
- 3000
- 500
- 7
- 8
- 9
- a
- توانایی
- قادر
- درباره ما
- دسترسی
- قابل دسترسی است
- در دسترس
- حساب
- در میان
- اقدامات
- ADA
- اضافه کردن
- اضافه
- اضافی
- خطاب به
- مدیر سایت
- پس از
- در برابر
- معرفی
- اجازه دادن
- اجازه می دهد تا
- در امتداد
- همچنین
- جایگزین
- آمازون
- آمازون خدمات وب
- در میان
- an
- تحلیل
- تحلیلگران
- علم تجزیه و تحلیل
- تحلیل
- و
- دیگر
- هر
- آپاچی
- API
- رابط های برنامه کاربردی
- کاربرد
- برنامه های کاربردی
- اعمال می شود
- درخواست
- با استفاده از
- معماری
- هستند
- AS
- مشتاق
- At
- خواص
- استرالیا
- تصدیق
- مجاز
- خودکار
- خودکار می کند
- بطور خودکار
- در دسترس
- AWS
- AWS CloudFormation
- به عقب
- بخش مدیریت
- بار
- مستقر
- اساسی
- BE
- زیرا
- بوده
- قبل از
- دزدگیر
- میان
- هر دو
- جعبه
- ساختن
- بنا
- ساخته شده در
- کسب و کار
- هوش تجاری
- اما
- by
- صدا
- CAN
- قابلیت
- مورد
- موارد
- کاتالوگ
- CD
- تغییر دادن
- چارت سازمانی
- نمودار
- را انتخاب کنید
- انتخاب
- مشتری
- ابر
- رمز
- کد
- مجموعه
- ستون
- ستون ها
- مشترک
- کامل
- اجزاء
- پیکر بندی
- پیکربندی
- اتصال
- متصل
- ارتباط
- متصل
- در نظر بگیرید
- استوار
- کنسول
- شامل
- ادامه دادن
- همبسته
- ارتباط
- متناظر
- مطابقت دارد
- هزینه
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- مجوزها و اعتبارات
- جاری
- سفارشی
- مشتری
- مشتریان
- داشبورد
- داده ها
- تجزیه و تحلیل داده ها
- پردازش داده ها
- پایگاه داده
- پایگاه های داده
- مجموعه داده ها
- به طور پیش فرض
- تقاضا
- نسخه ی نمایشی
- نشان دادن
- نشان
- بستگی دارد
- گسترش
- مستقر
- گسترش
- مستقر می کند
- شرح
- طراحی
- طراحی
- دسکتاپ
- دقیق
- جزئیات
- توسعه دهنده
- در حال توسعه
- پروژه
- تشخیص
- مختلف
- مستقیما
- غیر فعال
- کشف
- نمایش دادن
- توزیع شده
- مختلف
- نمی کند
- دامنه
- حوزه
- آیا
- کاهش یافته است
- در طی
- هر
- پیش از آن
- به آسانی
- ویرایش
- هر دو
- پست الکترونیک
- فعال
- را قادر می سازد
- نقطه پایانی
- نقاط پایان
- مهندسی
- اطمینان حاصل شود
- وارد
- سرمایه گذاری
- مشتریان سازمانی
- راه حل های سازمانی
- خطا
- خطاهای
- ایجاد
- تاسیس
- اتر (ETH)
- مثال
- موجود
- تجربه
- توضیح دهید
- توضیح
- عصاره
- داده ها را استخراج کنید
- آشنا
- خانواده
- ویژگی
- کمی از
- رشته
- زمینه
- شکل
- پرونده
- فایل ها
- نهایی
- سرمایه گذاری
- نام خانوادگی
- قابل انعطاف
- تمرکز
- تمرکز
- پیروی
- برای
- قالب
- چهار
- فرکانس
- دوستان
- از جانب
- تابع
- افزایش
- تولید می کنند
- تولید
- دریافت کنید
- گرفتن
- حکومت داری
- گروه
- گروه ها
- آیا
- داشتن
- he
- کمک
- برجسته
- پیاده روی
- خود را
- تاریخی
- سرگرمی
- میزبانی
- ساعت ها
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- IAM
- یکسان
- شناسایی
- هویت
- if
- واردات
- in
- شامل
- شامل
- از جمله
- اطلاعات
- شالوده
- اول
- بینش
- نصب
- نصب و راه اندازی
- دستورالعمل
- یکپارچه
- ادغام
- اطلاعات
- تعاملی
- علاقه مند
- رابط
- به
- حسی
- فراخوانی میکند
- گرفتار
- موضوع
- IT
- پیوستن
- پیوستن
- می پیوندد
- JPG
- json
- تنها
- نگاه داشتن
- کلید
- دانش
- زبان
- بزرگ
- در مقیاس بزرگ
- نام
- بعد
- راه اندازی
- یادگیری
- کتابخانه
- مجاز
- wifecycwe
- پسندیدن
- محدود
- لاین
- فهرست
- زنده
- ورود به سیستم
- ورود به سیستم
- طولانی
- نگاه کنيد
- مراجعه
- دستگاه
- فراگیری ماشین
- ساخت
- ساخت
- مدیریت
- مدیریت
- مدیر
- بسیاری
- نقشه
- نقشه برداری
- مسابقه دو ماراتون
- بازار یابی (Marketing)
- ماده
- معنی دار
- پیام
- MFA
- قدرت
- مهاجرت
- دقیقه
- حالت
- نوین کردن
- بیش
- اکثر
- اغلب
- موزیلا
- احراز هویت چند عامل
- خروجی
- نام
- تحت عنوان
- نام
- بومی
- هدایت
- پیمایش
- جهت یابی
- نیاز
- ضروری
- نیازهای
- جدید
- به تازگی
- بعد
- عدد
- of
- پیشنهادات
- آنلاین نیست.
- قدیمی
- on
- بر روی تقاضا
- ONE
- آنلاین
- فقط
- باز کن
- منبع باز
- قابل استفاده
- گزینه
- or
- سفارش
- دیگر
- دیگران
- خارج
- تولید
- مروری
- با ما
- قطعه
- کلمه عبور
- مسیر
- الگو
- انجام دادن
- مجوز
- شخصا
- تلفن
- پی
- خط لوله
- محل
- ساده
- برنامه
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- پورتال
- پست
- postgresql
- صفحه اصلی
- آماده
- آماده می کند
- پیش نیازها
- در حال حاضر
- هدیه
- پیش نمایش
- قبلی
- در درجه اول
- اصلی
- قبلا
- مشکلات
- ادامه
- روند
- پردازش
- فرآیندهای
- در حال پردازش
- ساخته
- محصول
- مدیر تولید
- محصولات
- محصولات و خدمات
- برنامه ها
- پروژه
- ارائه
- ارائه
- ارائه دهنده
- فراهم می کند
- هدف
- اهداف
- پــایتــون
- نمایش ها
- سوال
- به سرعت
- محدوده
- خواندن
- اماده
- گرفتن
- سوابق
- اشاره
- منطقه
- ارتباط
- مربوط
- برداشتن
- تکرار
- گزارش ها
- درخواست
- ضروری
- منابع
- قابل احترام
- پاسخگو
- نتایج
- نگه داشتن
- این فایل نقد می نویسید:
- سواری
- نقش
- ریشه
- قانون
- دویدن
- دونده
- در حال اجرا
- حراجی
- همان
- ذخیره
- مقیاس
- سناریوها
- برنامه ریزی
- حوزه
- جستجو
- دوم
- بخش
- امن
- تیم امنیت لاتاری
- دیدن
- انتخاب شد
- انتخاب
- ارسال
- فرستاده
- جداگانه
- خدمت
- بدون سرور
- سرویس
- خدمات
- تنظیم
- محیط
- اشتراک گذاری
- به اشتراک گذاشته شده
- کوتاه
- نشان داده شده
- نشان می دهد
- ساده
- ساده شده
- ساده
- اندازه
- مهارت ها
- So
- نرم افزار
- توسعه نرم افزار
- راه حل
- مزایا
- منبع
- منابع
- متخصص
- تخصص دارد
- خاص
- مشخص شده
- هزینه
- ورزش ها
- SQL
- پشته
- مستقل
- استاندارد
- شروع
- شروع می شود
- وضعیت
- گام
- مراحل
- ذخیره سازی
- ذخیره شده
- رشته
- ساخت یافته
- موفق
- موفقیت
- چنین
- پشتیبانی از
- مطمئن
- سیدنی
- سیستم های
- جدول
- تابلو
- گرفتن
- طول می کشد
- تیم
- تیم ها
- فنی
- مهارتهای فنی
- پایانه
- که
- La
- منبع
- شان
- سپس
- آنجا.
- اینها
- شخص ثالث
- این
- سه
- از طریق
- زمان
- به
- امروز
- ابزار
- بالا
- بالا 10
- جمع
- دگرگون کردن
- دگرگونی
- تحولات
- مبدل
- تبدیل شدن
- تبدیل می شود
- باعث شد
- دو
- نوع
- انواع
- زیر
- اساسی
- فهمیدن
- به روز شده
- به روز رسانی
- بر
- URI
- us
- استفاده کنید
- مورد استفاده
- استفاده
- کاربر
- رابط کاربری
- کاربران
- با استفاده از
- ارزشها
- متغیر
- تنوع
- نسخه
- از طريق
- چشم انداز
- می خواهم
- مسیر..
- we
- وب
- خدمات وب
- خوب
- چه زمانی
- که
- در حین
- وسیع
- دامنه گسترده
- زن
- اراده
- با
- در داخل
- بدون
- مهاجرت کاری
- گردش کار
- با این نسخهها کار
- خواهد بود
- نوشتن
- سال
- شما
- شما
- زفیرنت