Phân tích dữ liệu tự động (ADA) trên AWS là một giải pháp AWS cho phép bạn thu được thông tin chi tiết có ý nghĩa từ dữ liệu chỉ trong vài phút thông qua giao diện người dùng đơn giản và trực quan. ADA cung cấp nền tảng phân tích dữ liệu gốc AWS sẵn sàng cho các nhà phân tích dữ liệu sử dụng ngay lập tức cho nhiều trường hợp sử dụng khác nhau. Với ADA, các nhóm có thể tiếp thu, chuyển đổi, quản lý và truy vấn các tập dữ liệu đa dạng từ nhiều nguồn dữ liệu khác nhau mà không yêu cầu kỹ năng kỹ thuật chuyên môn. ADA cung cấp một bộ kết nối được xây dựng trước để nhập dữ liệu từ nhiều nguồn khác nhau bao gồm Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), Luồng dữ liệu Amazon Kinesis, amazoncloudwatch, Đường mòn đám mây Amazonvà Máy phát điện Amazon cũng như nhiều người khác.
ADA cung cấp nền tảng nền tảng mà các nhà phân tích dữ liệu có thể sử dụng trong nhiều trường hợp sử dụng khác nhau bao gồm CNTT, tài chính, tiếp thị, bán hàng và bảo mật. Trình kết nối dữ liệu CloudWatch có sẵn của ADA cho phép nhập dữ liệu từ nhật ký CloudWatch trong cùng một tài khoản AWS mà ADA đã được triển khai hoặc từ một tài khoản AWS khác.
Trong bài đăng này, chúng tôi trình bày cách nhà phát triển ứng dụng hoặc người kiểm tra ứng dụng có thể sử dụng ADA để rút ra thông tin chi tiết về hoạt động của các ứng dụng đang chạy trong AWS. Chúng tôi cũng trình bày cách bạn có thể sử dụng giải pháp ADA để kết nối với các nguồn dữ liệu khác nhau trong AWS. Chúng tôi trước triển khai giải pháp ADA vào tài khoản AWS và thiết lập giải pháp ADA bằng cách tạo ra sản phẩm dữ liệu sử dụng các đầu nối dữ liệu. Sau đó, chúng tôi sử dụng Bàn làm việc truy vấn ADA để kết hợp các tập dữ liệu riêng biệt và truy vấn dữ liệu tương quan bằng cách sử dụng Ngôn ngữ truy vấn có cấu trúc (SQL) quen thuộc để hiểu rõ hơn. Chúng tôi cũng chứng minh cách ADA có thể được tích hợp với các công cụ kinh doanh thông minh (BI) như Tableau để trực quan hóa dữ liệu và xây dựng báo cáo.
Tổng quan về giải pháp
Trong phần này, chúng tôi trình bày kiến trúc giải pháp cho bản demo và giải thích quy trình làm việc. Với mục đích trình diễn, ứng dụng riêng biệt được mô phỏng bằng cách sử dụng một AWS Lambda chức năng phát ra nhật ký Định dạng nhật ký Apache tại một khoảng thời gian định sẵn bằng cách sử dụng Sự kiện Amazon. Định dạng chuẩn này có thể được tạo ra bởi nhiều máy chủ web khác nhau và được đọc bởi nhiều chương trình phân tích nhật ký. Nhật ký ứng dụng (chức năng Lambda) được gửi đến nhóm nhật ký CloudWatch. Nhật ký ứng dụng lịch sử được lưu trữ trong bộ chứa S3 để tham khảo và phục vụ mục đích truy vấn. Một bảng tra cứu có danh sách Mã trạng thái HTTP cùng với các mô tả được lưu trữ trong bảng DynamoDB. Ba nguồn này đóng vai trò là nguồn mà dữ liệu được nhập vào ADA để tương quan, truy vấn và phân tích. Chúng tôi triển khai giải pháp ADA vào tài khoản AWS và thiết lập ADA. Sau đó chúng tôi tạo ra sản phẩm dữ liệu trong ADA cho Nhóm nhật ký CloudWatch, Xô S3và Máy phát điện. Khi các sản phẩm dữ liệu được định cấu hình, ADA sẽ cung cấp các đường dẫn dữ liệu để nhập dữ liệu từ các nguồn. Với Bàn làm việc truy vấn ADA, bạn có thể truy vấn dữ liệu đã nhập bằng SQL thuần túy để khắc phục sự cố ứng dụng hoặc chẩn đoán sự cố.
Sơ đồ sau đây cung cấp thông tin tổng quan về kiến trúc và quy trình làm việc của việc sử dụng ADA để hiểu rõ hơn về nhật ký ứng dụng.
Quy trình làm việc bao gồm các bước sau:
- Hàm Lambda được lên lịch kích hoạt cứ 2 phút một lần bằng EventBridge.
- Hàm Lambda phát ra nhật ký được lưu trữ tại nhóm nhật ký CloudWatch được chỉ định trong
/aws/lambda/CdkStack-AdaLogGenLambdaFunction
. Nhật ký ứng dụng được tạo bằng lược đồ Định dạng nhật ký Apache nhưng được lưu trữ trong nhóm nhật ký CloudWatch ở định dạng JSON. - Các sản phẩm dữ liệu cho CloudWatch, Amazon S3 và DynamoDB được tạo trong ADA. Sản phẩm dữ liệu CloudWatch kết nối với nhóm nhật ký CloudWatch nơi lưu trữ nhật ký ứng dụng (chức năng Lambda). Trình kết nối Amazon S3 kết nối với thư mục bộ chứa S3 nơi lưu trữ nhật ký lịch sử. Trình kết nối DynamoDB kết nối với bảng DynamoDB nơi lưu trữ mã trạng thái do ứng dụng tham chiếu và nhật ký lịch sử.
- Đối với mỗi sản phẩm dữ liệu, ADA triển khai cơ sở hạ tầng đường ống dữ liệu để nhập dữ liệu từ các nguồn. Khi quá trình nhập dữ liệu hoàn tất, bạn có thể viết truy vấn bằng SQL thông qua Bàn làm việc truy vấn ADA.
- Bạn có thể đăng nhập vào cổng ADA và soạn các truy vấn SQL từ Bàn làm việc truy vấn để hiểu rõ hơn về nhật ký ứng dụng. Bạn có thể tùy ý lưu truy vấn và chia sẻ truy vấn với những người dùng ADA khác trong cùng miền. Tính năng truy vấn ADA được hỗ trợ bởi amazon Athena, là dịch vụ phân tích tương tác, không có máy chủ, cung cấp một cách đơn giản, linh hoạt để phân tích hàng petabyte dữ liệu.
- Tableau được định cấu hình để truy cập các sản phẩm dữ liệu ADA thông qua điểm cuối đầu ra ADA. Sau đó, bạn tạo một bảng thông tin có hai biểu đồ. Biểu đồ đầu tiên là bản đồ nhiệt cho thấy mức độ phổ biến của mã lỗi HTTP tương quan với điểm cuối API ứng dụng. Biểu đồ thứ hai là biểu đồ thanh hiển thị 10 API ứng dụng hàng đầu với tổng số mã lỗi HTTP từ dữ liệu lịch sử.
Điều kiện tiên quyết
Đối với bài đăng này, bạn cần phải hoàn thành các điều kiện tiên quyết sau:
- cài đặt Giao diện dòng lệnh AWS (AWS CLI), Bộ công cụ phát triển đám mây AWS (AWS CDK) điều kiện tiên quyết, dành riêng cho TypeScript điều kiện tiên quyếtvà git.
- Triển khai giải pháp ADA trong tài khoản AWS của bạn trong
us-east-1
Khu vực.- Cung cấp email quản trị viên khi khởi chạy ADA Hình thành đám mây AWS cây rơm. Điều này là cần thiết để ADA gửi mật khẩu người dùng root. Cần có số điện thoại quản trị viên để nhận được tin nhắn mật khẩu một lần nếu xác thực đa yếu tố (MFA) được bật. Đối với bản demo này, MFA không được kích hoạt.
- Xây dựng và triển khai ứng dụng mẫu (có sẵn trên Repo GitHub) để các tài nguyên sau có thể được cung cấp trong tài khoản của bạn trong
us-east-1
Khu vực:- Hàm Lambda mô phỏng ứng dụng ghi nhật ký và quy tắc EventBridge gọi hàm ứng dụng trong khoảng thời gian 2 phút.
- Vùng lưu trữ S3 có các chính sách vùng lưu trữ liên quan và tệp CSV chứa nhật ký ứng dụng lịch sử.
- Bảng DynamoDB chứa dữ liệu tra cứu.
- Liên quan, thích hợp Quản lý truy cập và nhận dạng AWS (IAM) cần có các vai trò và quyền đối với dịch vụ.
- Tùy chọn, cài đặt Máy tính để bàn Tableau, nhà cung cấp BI bên thứ ba. Đối với bài đăng này, chúng tôi sử dụng Tableau Desktop phiên bản 2021.2. Việc sử dụng phiên bản được cấp phép của ứng dụng Tableau Desktop sẽ phải trả phí. Để biết thêm chi tiết, hãy tham khảo Cấp phép Tableau thông tin.
Triển khai và thiết lập ADA
Sau khi ADA được triển khai thành công, bạn có thể đăng nhập sử dụng email quản trị viên được cung cấp trong quá trình cài đặt. Sau đó bạn tạo một miền tên CW_Domain
. Miền là tập hợp các sản phẩm dữ liệu do người dùng xác định. Ví dụ: một miền có thể là một nhóm hoặc một dự án. Miền cung cấp một cách có cấu trúc để người dùng sắp xếp các sản phẩm dữ liệu của họ và quản lý quyền truy cập.
- Trên bảng điều khiển ADA, chọn Tên miền trong khung điều hướng.
- Chọn Tạo miền.
- Nhập tên (
CW_Domain
) và mô tả, sau đó chọn Gửi.
Thiết lập cơ sở hạ tầng ứng dụng mẫu bằng AWS CDK
Giải pháp AWS CDK triển khai ứng dụng demo được lưu trữ trên GitHub. Các bước sao chép kho lưu trữ và thiết lập dự án AWS CDK được trình bày chi tiết trong phần này. Trước khi bạn chạy các lệnh này, hãy chắc chắn cấu hình thông tin đăng nhập AWS của bạn. Tạo một thư mục, mở terminal và điều hướng đến thư mục cần cài đặt giải pháp AWS CDK. Chạy đoạn mã sau:
Các bước này thực hiện các hành động sau:
- Cài đặt phụ thuộc thư viện
- Xây dựng dự án
- Tạo mẫu CloudFormation hợp lệ
- Triển khai ngăn xếp bằng AWS CloudFormation trong tài khoản AWS của bạn
Quá trình triển khai mất khoảng 1–2 phút và tạo bảng tra cứu DynamoDB, hàm Lambda và bộ chứa S3 chứa các tệp nhật ký lịch sử làm đầu ra. Sao chép các giá trị này vào ứng dụng soạn thảo văn bản, chẳng hạn như Notepad.
Tạo sản phẩm dữ liệu ADA
Chúng tôi tạo ba sản phẩm dữ liệu khác nhau cho bản demo này, một sản phẩm cho mỗi nguồn dữ liệu mà bạn sẽ truy vấn để hiểu rõ hơn về hoạt động. Sản phẩm dữ liệu là tập dữ liệu (tập hợp dữ liệu như bảng hoặc tệp CSV) đã được nhập thành công vào ADA và có thể truy vấn được.
Tạo sản phẩm dữ liệu CloudWatch
Đầu tiên, chúng tôi tạo một sản phẩm dữ liệu cho nhật ký ứng dụng bằng cách thiết lập ADA để nhập nhóm nhật ký CloudWatch cho ứng dụng mẫu (hàm Lambda). Sử dụng CdkStack.LambdaFunction
xuất ra để lấy ARN của hàm Lambda và định vị ARN nhóm nhật ký CloudWatch tương ứng trên bảng điều khiển CloudWatch.
Sau đó hoàn thành các bước sau:
- Trên bảng điều khiển ADA, hãy điều hướng đến miền ADA và tạo sản phẩm dữ liệu CloudWatch.
- Trong Họ tên¸ nhập tên.
- Trong Loại nguồn, chọn amazoncloudwatch.
- Vô hiệu hoá PII tự động.
ADA có một tính năng tự động phát hiện dữ liệu thông tin nhận dạng cá nhân (PII) trong quá trình nhập được bật theo mặc định. Đối với bản demo này, chúng tôi tắt tùy chọn này cho sản phẩm dữ liệu vì việc phát hiện dữ liệu PII không nằm trong phạm vi của bản demo này.
- Chọn Sau.
- Tìm kiếm và chọn nhóm nhật ký CloudWatch ARN đã sao chép từ bước trước.
- Sao chép nhóm nhật ký ARN.
- Trên trang sản phẩm dữ liệu, nhập nhóm nhật ký ARN.
- Trong Truy vấn CloudWatch, hãy nhập truy vấn mà bạn muốn ADA nhận được từ nhóm nhật ký.
Trong bản demo này, chúng tôi truy vấn trường @message vì chúng tôi quan tâm đến việc lấy nhật ký ứng dụng từ nhóm nhật ký.
- Chọn cách kích hoạt cập nhật dữ liệu sau lần nhập đầu tiên.
ADA có thể được cấu hình để nhập dữ liệu từ nguồn theo khoảng thời gian linh hoạt (tối đa 15 phút hoặc muộn hơn) hoặc theo yêu cầu. Đối với bản demo, chúng tôi đặt các bản cập nhật dữ liệu chạy hàng giờ.
- Chọn Sau.
Tiếp theo, ADA sẽ kết nối với nhóm nhật ký và truy vấn lược đồ. Vì nhật ký ở Định dạng nhật ký Apache nên chúng tôi chuyển đổi nhật ký thành các trường riêng biệt để có thể chạy truy vấn trên các trường nhật ký cụ thể. ADA cung cấp bốn mặc định chuyển đổi và hỗ trợ chuyển đổi tùy chỉnh thông qua tập lệnh Python. Trong bản demo này, chúng tôi chạy tập lệnh Python tùy chỉnh để chuyển đổi trường thông báo JSON thành các trường Định dạng nhật ký Apache.
- Chọn Chuyển đổi lược đồ.
- Chọn Tạo biến đổi mới.
- Tải lên
apache-log-extractor-transform.py
kịch bản từ/asset/transform_logs/
thư mục. - Chọn Gửi.
ADA sẽ chuyển đổi nhật ký CloudWatch bằng tập lệnh và trình bày lược đồ đã xử lý.
- Chọn Sau.
- Ở bước cuối cùng, hãy xem lại các bước và chọn Gửi.
ADA sẽ bắt đầu xử lý dữ liệu, tạo đường dẫn dữ liệu và chuẩn bị các nhóm nhật ký CloudWatch để truy vấn từ Query Workbench. Quá trình này sẽ mất vài phút để hoàn thành và sẽ được hiển thị trên bảng điều khiển ADA bên dưới Sản phẩm dữ liệu.
Tạo sản phẩm dữ liệu Amazon S3
Chúng tôi lặp lại các bước để thêm nhật ký lịch sử từ nguồn dữ liệu Amazon S3 và tra cứu dữ liệu tham chiếu từ bảng DynamoDB. Đối với hai nguồn dữ liệu này, chúng tôi không tạo các biến đổi tùy chỉnh vì định dạng dữ liệu ở dạng CSV (dành cho nhật ký lịch sử) và thuộc tính chính (dành cho dữ liệu tra cứu tham chiếu).
- Trên bảng điều khiển ADA, tạo một sản phẩm dữ liệu mới.
- Nhập tên (
hist_logs
) và lựa chọn Amazon S3. - Sao chép URI Amazon S3 (văn bản sau
arn:aws:s3:::
) từCdkStack.S3
biến đầu ra và điều hướng đến bảng điều khiển Amazon S3. - Trong hộp tìm kiếm, nhập văn bản đã sao chép, mở nhóm S3, chọn
/logs
thư mục và chọn Sao chép URI S3.
Nhật ký lịch sử được lưu trữ trong đường dẫn này.
- Điều hướng trở lại bảng điều khiển ADA và nhập URI S3 đã sao chép cho Vị trí S3.
- Trong Trình kích hoạt cập nhật, lựa chọn Theo yêu cầu vì nhật ký lịch sử được cập nhật với tần suất không xác định.
- Trong Cập nhật chính sách, lựa chọn Nối để nối thêm dữ liệu mới được nhập vào dữ liệu hiện có.
- Chọn Sau.
ADA xử lý lược đồ cho các tệp trong đường dẫn thư mục đã chọn. Vì nhật ký ở định dạng CSV nên ADA có thể đọc tên cột mà không yêu cầu chuyển đổi bổ sung. Tuy nhiên, các cột status_code
và request_size
được ADA suy ra là loại dài. Chúng tôi muốn giữ các kiểu dữ liệu cột nhất quán giữa các sản phẩm dữ liệu để chúng tôi có thể nối các bảng dữ liệu và truy vấn dữ liệu. cột status_code
sẽ được sử dụng để tạo các kết nối trên các bảng dữ liệu.
- Chọn Chuyển đổi lược đồ để thay đổi kiểu dữ liệu của hai cột thành kiểu dữ liệu chuỗi.
Lưu ý tên cột được đánh dấu trong Xem trước lược đồ trước khi áp dụng các phép biến đổi kiểu dữ liệu.
- Trong tạp chí Kế hoạch chuyển đổi ngăn, dưới Biến đổi tích hợp, chọn Áp dụng bản đồ.
Tùy chọn này cho phép bạn thay đổi kiểu dữ liệu từ kiểu này sang kiểu khác.
- Trong tạp chí Áp dụng bản đồ phần, bỏ chọn Bỏ các trường khác.
Nếu tùy chọn này không bị tắt, chỉ các cột đã chuyển đổi sẽ được giữ nguyên và tất cả các cột khác sẽ bị loại bỏ. Vì chúng tôi muốn giữ lại tất cả các cột nên chúng tôi tắt tùy chọn này.
- Theo Ánh xạ trường¸ cho Tên Cu và Tên mới, đi vào
status_code
va cho Loại mới, đi vàostring
. - Chọn Thêm mặt hàng.
- Trong Tên Cu và Tên mới¸ nhập request_size và cho Kiểu dữ liệu mới, nhập chuỗi.
- Chọn Gửi.
ADA sẽ áp dụng chuyển đổi ánh xạ trên nguồn dữ liệu Amazon S3. Lưu ý các loại cột trong Xem trước lược đồ cửa sổ.
- Chọn Xem mẫu để xem trước dữ liệu với phép chuyển đổi được áp dụng.
ADA sẽ hiển thị xác nhận dữ liệu PII để đảm bảo rằng chỉ những người dùng được ủy quyền mới có thể xem dữ liệu hoặc tập dữ liệu không chứa bất kỳ dữ liệu PII nào.
- Chọn Đồng ý để tiếp tục xem dữ liệu mẫu.
Lưu ý rằng lược đồ này giống hệt với lược đồ nhóm nhật ký CloudWatch vì cả nhật ký ứng dụng hiện tại và nhật ký ứng dụng trước đây đều ở Định dạng nhật ký Apache.
- Ở bước cuối cùng, xem lại cấu hình và chọn Gửi.
ADA bắt đầu xử lý dữ liệu từ nguồn Amazon S3, tạo cơ sở hạ tầng phụ trợ và chuẩn bị sản phẩm dữ liệu. Quá trình này mất vài phút tùy thuộc vào kích thước của dữ liệu.
Tạo một sản phẩm dữ liệu DynamoDB
Cuối cùng, chúng tôi tạo một sản phẩm dữ liệu DynamoDB. Hoàn thành các bước sau:
- Trên bảng điều khiển ADA, tạo một sản phẩm dữ liệu mới.
- Nhập tên (
lookup
) và lựa chọn Máy phát điện Amazon. - Nhập
Cdk.DynamoDBTable
biến đầu ra cho Bảng DynamoDB ARN.
Bảng này chứa các thuộc tính chính sẽ được sử dụng làm bảng tra cứu trong bản demo này. Đối với dữ liệu tra cứu, chúng tôi đang sử dụng mã HTTP và mô tả dài và ngắn về mã. Bạn cũng có thể sử dụng nguồn tệp PostgreSQL, MySQL hoặc CSV để thay thế.
- Trong Trình kích hoạt cập nhật, lựa chọn Theo yêu cầu.
Các bản cập nhật sẽ được cung cấp theo yêu cầu vì việc tra cứu chủ yếu nhằm mục đích tham khảo trong khi truy vấn và mọi cập nhật đối với dữ liệu tra cứu đều có thể được cập nhật trong ADA bằng cách sử dụng trình kích hoạt theo yêu cầu.
- Chọn Sau.
ADA đọc lược đồ từ lược đồ DynamoDB cơ bản và trình bày tên cũng như loại cột để chuyển đổi tùy chọn. Chúng tôi sẽ tiến hành lựa chọn lược đồ mặc định vì các loại cột nhất quán với các loại từ nhóm nhật ký CloudWatch và nguồn dữ liệu CSV của Amazon S3. Việc có các loại dữ liệu nhất quán trên các nguồn dữ liệu cho phép chúng tôi viết truy vấn để tìm nạp bản ghi bằng cách nối các bảng bằng trường cột. Ví dụ, cột key
trong lược đồ DynamoDB tương ứng với status_code
trong các sản phẩm dữ liệu Amazon S3 và CloudWatch. Chúng ta có thể viết các truy vấn có thể nối ba bảng bằng tên cột key
. Một ví dụ được hiển thị trong phần tiếp theo.
- Chọn Tiếp tục với lược đồ hiện tại.
- Xem lại cấu hình và chọn Gửi.
ADA sẽ xử lý dữ liệu từ nguồn dữ liệu bảng DynamoDB và chuẩn bị sản phẩm dữ liệu. Tùy thuộc vào kích thước của dữ liệu, quá trình này mất vài phút.
Bây giờ chúng tôi có tất cả ba sản phẩm dữ liệu được ADA xử lý và có sẵn để bạn chạy truy vấn.
Sử dụng Query Workbench để truy vấn dữ liệu
ADA cho phép bạn chạy truy vấn đối với các sản phẩm dữ liệu trong khi trừu tượng hóa nguồn dữ liệu và làm cho nguồn dữ liệu có thể truy cập được bằng SQL (Ngôn ngữ truy vấn có cấu trúc). Bạn có thể viết truy vấn và nối các bảng giống như cách bạn truy vấn các bảng trong cơ sở dữ liệu quan hệ. Chúng tôi chứng minh khả năng truy vấn của ADA thông qua hai tình huống người dùng. Trong cả hai trường hợp, chúng tôi kết hợp tập dữ liệu nhật ký ứng dụng vào bảng tra cứu mã lỗi. Trong trường hợp sử dụng đầu tiên, chúng tôi truy vấn nhật ký ứng dụng hiện tại để xác định 10 điểm cuối ứng dụng được truy cập nhiều nhất cùng với mã trạng thái HTTP tương ứng:
Trong ví dụ thứ hai, chúng tôi truy vấn bảng nhật ký lịch sử để lấy 10 điểm cuối ứng dụng có nhiều lỗi nhất nhằm hiểu mẫu lệnh gọi điểm cuối:
Ngoài truy vấn, bạn có thể tùy ý lưu truy vấn và chia sẻ truy vấn đã lưu với những người dùng khác trong cùng miền. Các truy vấn được chia sẻ có thể truy cập trực tiếp từ Bàn làm việc truy vấn. Kết quả truy vấn cũng có thể được xuất sang định dạng CSV.
Trực quan hóa các sản phẩm dữ liệu ADA trong Tableau
ADA cung cấp khả năng kết nối đến các công cụ BI của bên thứ ba để trực quan hóa dữ liệu và tạo báo cáo từ các sản phẩm dữ liệu ADA. Trong bản demo này, chúng tôi sử dụng tính năng tích hợp gốc của ADA với Tableau để trực quan hóa dữ liệu từ ba sản phẩm dữ liệu mà chúng tôi đã định cấu hình trước đó. Sử dụng trình kết nối Athena của Tableau và làm theo các bước trong Cấu hình bảng, bạn có thể định cấu hình ADA làm nguồn dữ liệu trong Tableau. Sau khi kết nối thành công được thiết lập giữa Tableau và ADA, Tableau sẽ đưa ba sản phẩm dữ liệu vào danh mục Tableau cw_domain
.
Sau đó, chúng tôi thiết lập mối quan hệ trên ba cơ sở dữ liệu bằng cách sử dụng mã trạng thái HTTP làm cột tham gia, như minh họa trong ảnh chụp màn hình sau. Tableau cho phép chúng tôi làm việc ở chế độ trực tuyến và ngoại tuyến với các nguồn dữ liệu. Ở chế độ trực tuyến, Tableau sẽ kết nối với ADA và truy vấn trực tiếp các sản phẩm dữ liệu. Ở chế độ ngoại tuyến, chúng ta có thể sử dụng Trích xuất tùy chọn trích xuất dữ liệu từ ADA và nhập dữ liệu vào Tableau. Trong bản demo này, chúng tôi nhập dữ liệu vào Tableau để giúp truy vấn phản hồi nhanh hơn. Sau đó chúng tôi lưu sổ làm việc Tableau. Chúng ta có thể kiểm tra dữ liệu từ các nguồn dữ liệu bằng cách chọn cơ sở dữ liệu và Cập nhật bây giờ.
Với cấu hình nguồn dữ liệu có sẵn trong Tableau, chúng tôi có thể tạo báo cáo, biểu đồ và hình ảnh hóa tùy chỉnh trên các sản phẩm dữ liệu ADA. Hãy xem xét hai trường hợp sử dụng trực quan hóa.
Như được hiển thị trong hình dưới đây, chúng tôi đã trực quan hóa tần suất lỗi HTTP theo các điểm cuối ứng dụng bằng cách sử dụng tính năng tích hợp của Tableau bản đồ nhiệt đồ thị. Chúng tôi đã lọc mã trạng thái HTTP để chỉ bao gồm các mã lỗi trong phạm vi 4xx và 5xx.
Chúng tôi cũng đã tạo biểu đồ thanh để mô tả các điểm cuối của ứng dụng từ nhật ký lịch sử được sắp xếp theo số lượng mã lỗi HTTP. Trong biểu đồ này, chúng ta có thể thấy rằng /v1/server/admin
điểm cuối đã tạo ra nhiều mã trạng thái lỗi HTTP nhất.
Làm sạch
Dọn dẹp cơ sở hạ tầng ứng dụng mẫu là một quá trình gồm hai bước. Trước tiên, để xóa cơ sở hạ tầng được cung cấp cho mục đích của bản demo này, hãy chạy lệnh sau trong terminal:
Đối với câu hỏi sau, hãy nhập y và AWS CDK sẽ xóa các tài nguyên được triển khai cho bản demo:
Ngoài ra, bạn có thể xóa tài nguyên thông qua bảng điều khiển AWS CloudFormation bằng cách điều hướng đến ngăn xếp CdkStack và chọn Xóa bỏ.
Bước thứ hai là gỡ cài đặt ADA. Để biết hướng dẫn, hãy tham khảo Gỡ cài đặt giải pháp.
Kết luận
Trong bài đăng này, chúng tôi đã trình bày cách sử dụng giải pháp ADA để rút ra thông tin chi tiết từ nhật ký ứng dụng được lưu trữ trên hai nguồn dữ liệu khác nhau. Chúng tôi đã trình bày cách cài đặt ADA trên tài khoản AWS và triển khai các thành phần demo bằng AWS CDK. Chúng tôi đã tạo các sản phẩm dữ liệu trong ADA và định cấu hình các sản phẩm dữ liệu với các nguồn dữ liệu tương ứng bằng cách sử dụng trình kết nối dữ liệu tích hợp của ADA. Chúng tôi đã trình bày cách truy vấn các sản phẩm dữ liệu bằng cách sử dụng truy vấn SQL tiêu chuẩn và tạo thông tin chi tiết về dữ liệu nhật ký. Chúng tôi cũng đã kết nối máy khách Tableau Desktop, một sản phẩm BI của bên thứ ba, với ADA và trình bày cách xây dựng hình ảnh trực quan dựa trên các sản phẩm dữ liệu.
ADA tự động hóa quá trình nhập, chuyển đổi, quản lý và truy vấn các bộ dữ liệu đa dạng, đồng thời đơn giản hóa việc quản lý vòng đời của dữ liệu. Trình kết nối dựng sẵn của ADA cho phép bạn nhập dữ liệu từ nhiều nguồn dữ liệu khác nhau. Các nhóm phần mềm có kiến thức cơ bản về sản phẩm và dịch vụ AWS sẽ có thể thiết lập nền tảng phân tích dữ liệu vận hành trong vài giờ và cung cấp quyền truy cập an toàn vào dữ liệu. Sau đó, dữ liệu có thể được truy vấn dễ dàng và nhanh chóng bằng giao diện người dùng web độc lập và trực quan.
Hãy dùng thử ADA ngay hôm nay để dễ dàng quản lý và hiểu rõ hơn về dữ liệu.
Giới thiệu về tác giả
Aparajithan Vaidyanathan là Kiến trúc sư giải pháp doanh nghiệp chính tại AWS. Anh ấy hỗ trợ các khách hàng doanh nghiệp di chuyển và hiện đại hóa khối lượng công việc của họ trên đám mây AWS. Ông là Kiến trúc sư đám mây với hơn 23 năm kinh nghiệm thiết kế và phát triển các hệ thống phần mềm phân tán và doanh nghiệp quy mô lớn. Anh ấy chuyên về Học máy & Phân tích dữ liệu, tập trung vào lĩnh vực Kỹ thuật tính năng và dữ liệu. Anh ấy là một vận động viên marathon đầy tham vọng và sở thích của anh ấy là đi bộ đường dài, đạp xe và dành thời gian cho vợ và hai cậu con trai.
Rashim Rahman là Nhà phát triển phần mềm có trụ sở tại Sydney, Úc với hơn 10 năm kinh nghiệm trong lĩnh vực kiến trúc và phát triển phần mềm. Anh chủ yếu làm việc về xây dựng các giải pháp AWS nguồn mở quy mô lớn cho các trường hợp sử dụng thông thường của khách hàng và các vấn đề kinh doanh. Khi rảnh rỗi, anh thích thể thao và dành thời gian cho bạn bè và gia đình.
Hafiz Saadullah là Giám đốc sản phẩm kỹ thuật chính tại Amazon Web Services. Hafiz tập trung vào Giải pháp AWS, được thiết kế để trợ giúp khách hàng bằng cách giải quyết các vấn đề kinh doanh thường gặp và các trường hợp sử dụng.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
- BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/derive-operational-insights-from-application-logs-using-automated-data-analytics-on-aws/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 10
- 11
- 12
- 14
- 15%
- 16
- 160
- 17
- 2021
- 3000
- 500
- 7
- 8
- 9
- a
- có khả năng
- Có khả năng
- Giới thiệu
- truy cập
- truy cập
- có thể truy cập
- Tài khoản
- ngang qua
- hành động
- ADA
- thêm vào
- Ngoài ra
- thêm vào
- giải quyết
- quản trị viên
- Sau
- chống lại
- Tất cả
- cho phép
- cho phép
- dọc theo
- Ngoài ra
- thay thế
- đàn bà gan dạ
- Amazon Web Services
- trong số
- an
- phân tích
- Các nhà phân tích
- phân tích
- phân tích
- và
- Một
- bất kì
- Apache
- api
- API
- Các Ứng Dụng
- các ứng dụng
- áp dụng
- Đăng Nhập
- Nộp đơn
- kiến trúc
- LÀ
- AS
- thuốc cam
- At
- thuộc tính
- Châu Úc
- Xác thực
- ủy quyền
- Tự động
- tự động hóa
- tự động
- có sẵn
- AWS
- Hình thành đám mây AWS
- trở lại
- Backend
- thanh
- dựa
- cơ bản
- BE
- bởi vì
- được
- trước
- bespoke
- giữa
- cả hai
- Hộp
- xây dựng
- Xây dựng
- được xây dựng trong
- kinh doanh
- kinh doanh thông minh
- nhưng
- by
- cuộc gọi
- CAN
- khả năng
- trường hợp
- trường hợp
- Danh mục hàng
- CD
- thay đổi
- Biểu đồ
- Bảng xếp hạng
- Chọn
- lựa chọn
- khách hàng
- đám mây
- mã
- mã số
- bộ sưu tập
- Cột
- Cột
- Chung
- hoàn thành
- các thành phần
- Cấu hình
- cấu hình
- Kết nối
- kết nối
- liên quan
- connect
- Hãy xem xét
- thích hợp
- An ủi
- chứa
- tiếp tục
- quan hệ
- Tương quan
- Tương ứng
- tương ứng
- Phí Tổn
- tạo
- tạo ra
- tạo ra
- Tạo
- Credentials
- Current
- khách hàng
- khách hàng
- khách hàng
- bảng điều khiển
- dữ liệu
- Phân tích dữ liệu
- xử lý dữ liệu
- Cơ sở dữ liệu
- cơ sở dữ liệu
- bộ dữ liệu
- Mặc định
- Nhu cầu
- Demo
- chứng minh
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- Mô tả
- thiết kế
- thiết kế
- máy tính để bàn
- chi tiết
- chi tiết
- Nhà phát triển
- phát triển
- Phát triển
- chẩn đoán
- khác nhau
- trực tiếp
- bị vô hiệu hóa
- phát hiện
- Giao diện
- phân phối
- khác nhau
- Không
- miền
- lĩnh vực
- dont
- hủy bỏ
- suốt trong
- mỗi
- Sớm hơn
- dễ dàng
- chỉnh sửa
- hay
- kích hoạt
- cho phép
- Điểm cuối
- thiết bị đầu cuối
- Kỹ Sư
- đảm bảo
- đăng ký hạng mục thi
- Doanh nghiệp
- khách hàng doanh nghiệp
- Giải pháp doanh nghiệp
- lôi
- lỗi
- thành lập
- thành lập
- Ether (ETH)
- ví dụ
- hiện tại
- kinh nghiệm
- Giải thích
- giải thích
- trích xuất
- trích xuất dữ liệu
- quen
- gia đình
- Đặc tính
- vài
- lĩnh vực
- Lĩnh vực
- Hình
- Tập tin
- Các tập tin
- cuối cùng
- tài chính
- Tên
- linh hoạt
- Tập trung
- tập trung
- tiếp theo
- Trong
- định dạng
- 4
- tần số
- bạn bè
- từ
- chức năng
- Thu được
- tạo ra
- tạo ra
- được
- nhận được
- cai quản
- Nhóm
- Các nhóm
- Có
- có
- he
- giúp đỡ
- Nhấn mạnh
- đi bộ đường dài
- của mình
- lịch sử
- Sở thích
- tổ chức
- GIỜ LÀM VIỆC
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- http
- HTTPS
- IAM
- giống hệt nhau
- xác định
- Bản sắc
- if
- nhập khẩu
- in
- bao gồm
- bao gồm
- Bao gồm
- thông tin
- Cơ sở hạ tầng
- ban đầu
- những hiểu biết
- cài đặt, dựng lên
- cài đặt
- hướng dẫn
- tích hợp
- hội nhập
- Sự thông minh
- tương tác
- quan tâm
- Giao thức
- trong
- trực quan
- viện dẫn
- tham gia
- vấn đề
- IT
- tham gia
- tham gia
- Tham gia
- jpg
- json
- chỉ
- Giữ
- Key
- kiến thức
- Ngôn ngữ
- lớn
- quy mô lớn
- Họ
- một lát sau
- ra mắt
- học tập
- Thư viện
- Cấp phép
- vòng đời
- Lượt thích
- LIMIT
- Dòng
- Danh sách
- sống
- đăng nhập
- khai thác gỗ
- dài
- Xem
- tra cứu
- máy
- học máy
- làm cho
- Làm
- quản lý
- quản lý
- giám đốc
- nhiều
- bản đồ
- lập bản đồ
- Marathon
- Marketing
- chất
- có ý nghĩa
- tin nhắn
- MFA
- Might
- di chuyển
- phút
- Chế độ
- hiện đại hóa
- chi tiết
- hầu hết
- chủ yếu
- Mozilla
- xác thực nhiều yếu tố
- MySQL
- tên
- Được đặt theo tên
- tên
- tự nhiên
- Điều hướng
- điều hướng
- THÔNG TIN
- Cần
- cần thiết
- nhu cầu
- Mới
- mới
- tiếp theo
- con số
- of
- Cung cấp
- Ngoại tuyến
- Xưa
- on
- Theo yêu cầu
- ONE
- Trực tuyến
- có thể
- mở
- mã nguồn mở
- hoạt động
- Tùy chọn
- or
- gọi món
- Nền tảng khác
- Khác
- ra
- đầu ra
- tổng quan
- trang
- cửa sổ
- Mật khẩu
- con đường
- Họa tiết
- thực hiện
- quyền
- Cá nhân
- điện thoại
- ngoan đạo
- đường ống dẫn
- Nơi
- Trơn
- kế hoạch
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Chính sách
- Portal
- Bài đăng
- postgresql
- -
- Chuẩn bị
- Chuẩn bị
- điều kiện tiên quyết
- trình bày
- quà
- Xem trước
- trước
- chủ yếu
- Hiệu trưởng
- Trước khi
- vấn đề
- tiến hành
- quá trình
- xử lý
- Quy trình
- xử lý
- Sản xuất
- Sản phẩm
- giám đốc sản xuất
- Sản phẩm
- Sản phẩm và dịch vụ
- Khóa Học
- dự án
- cho
- cung cấp
- nhà cung cấp dịch vụ
- cung cấp
- mục đích
- mục đích
- Python
- truy vấn
- câu hỏi
- Mau
- phạm vi
- Đọc
- sẵn sàng
- nhận
- hồ sơ
- gọi
- khu
- mối quan hệ
- có liên quan
- tẩy
- lặp lại
- Báo cáo
- yêu cầu
- cần phải
- Thông tin
- mà
- đáp ứng
- Kết quả
- giữ lại
- xem xét
- đi
- vai trò
- nguồn gốc
- Quy tắc
- chạy
- Á hậu
- chạy
- bán hàng
- tương tự
- Lưu
- Quy mô
- kịch bản
- lên kế hoạch
- phạm vi
- Tìm kiếm
- Thứ hai
- Phần
- an toàn
- an ninh
- xem
- chọn
- lựa chọn
- gửi
- gởi
- riêng biệt
- phục vụ
- Không có máy chủ
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- Chia sẻ
- chia sẻ
- ngắn
- thể hiện
- Chương trình
- Đơn giản
- đơn giản hóa
- đơn giản hóa
- Kích thước máy
- kỹ năng
- So
- Phần mềm
- phát triển phần mềm
- giải pháp
- Giải pháp
- nguồn
- nguồn
- chuyên gia
- chuyên
- riêng
- quy định
- Chi
- Thể thao
- SQL
- ngăn xếp
- độc lập
- Tiêu chuẩn
- Bắt đầu
- bắt đầu
- Trạng thái
- Bước
- Các bước
- là gắn
- lưu trữ
- Chuỗi
- cấu trúc
- thành công
- Thành công
- như vậy
- Hỗ trợ
- chắc chắn
- sydney
- hệ thống
- bàn
- Cảnh vật trên sân khấu
- Hãy
- mất
- nhóm
- đội
- Kỹ thuật
- kĩ năng công nghệ
- Thiết bị đầu cuối
- việc này
- Sản phẩm
- Nguồn
- cung cấp their dịch
- sau đó
- Đó
- Kia là
- của bên thứ ba
- điều này
- số ba
- Thông qua
- thời gian
- đến
- bây giờ
- công cụ
- hàng đầu
- Top 10
- Tổng số:
- Chuyển đổi
- Chuyển đổi
- biến đổi
- chuyển đổi
- biến đổi
- biến đổi
- được kích hoạt
- hai
- kiểu
- loại
- Dưới
- cơ bản
- hiểu
- cập nhật
- Cập nhật
- trên
- URI
- us
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- Giao diện người dùng
- Người sử dụng
- sử dụng
- Các giá trị
- biến
- nhiều
- phiên bản
- thông qua
- Xem
- muốn
- Đường..
- we
- web
- các dịch vụ web
- TỐT
- khi nào
- cái nào
- trong khi
- rộng
- Phạm vi rộng
- vợ
- sẽ
- với
- ở trong
- không có
- Công việc
- quy trình làm việc
- công trinh
- sẽ
- viết
- năm
- bạn
- trên màn hình
- zephyrnet