Amazon EMR ra mắt hỗ trợ cho các phiên bản Amazon EC2 C7g (Graviton3) để cải thiện hiệu suất chi phí cho khối lượng công việc Spark thêm 7–13%

Amazon EMR cung cấp dịch vụ được quản lý để dễ dàng chạy các ứng dụng phân tích bằng cách sử dụng các khung mã nguồn mở như Apache Spark, Hive, Presto, Trino, HBase và Flink. Thời gian chạy Amazon EMR cho Spark và Mau bao gồm các tối ưu hóa giúp cải thiện hiệu suất gấp đôi so với Apache Spark và Presto nguồn mở.

Với bản phát hành Amazon EMR 6.7, giờ đây bạn có thể sử dụng Đám mây điện toán đàn hồi Amazon (Amazon EC2) phiên bản C7g, sử dụng AWS Graviton3 bộ vi xử lý. Các phiên bản này cải thiện hiệu suất giá khi chạy khối lượng công việc Spark trên Amazon EMR thêm 7.93–13.35% so với các phiên bản thế hệ trước, tùy thuộc vào kích thước phiên bản. Trong bài đăng này, chúng tôi mô tả cách chúng tôi ước tính lợi ích hiệu suất giá.

Hiệu suất thời gian chạy Amazon EMR với các phiên bản EC2 C7g

Chúng tôi đã chạy các truy vấn điểm chuẩn TPC-DS 3 TB trên Amazon EMR 6.9 bằng cách sử dụng thời gian chạy Amazon EMR cho Apache Spark (tương thích với Apache Spark 3.3) với các phiên bản C7g. Dữ liệu được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và kết quả được so sánh với các cụm C6g tương đương từ dòng phiên bản thế hệ trước. Chúng tôi đã đo lường các cải tiến về hiệu suất bằng cách sử dụng tổng thời gian chạy truy vấn và giá trị trung bình hình học của thời gian chạy truy vấn trên các truy vấn điểm chuẩn TPC-DS 3 TB.

Kết quả của chúng tôi cho thấy cải thiện 13.65–18.73% trong tổng hiệu suất thời gian chạy truy vấn và cải thiện 16.98–20.28% về giá trị trung bình hình học trên các cụm EMR với C7g so với các cụm EMR tương đương với các phiên bản C6g, tùy thuộc vào kích thước phiên bản. Khi so sánh chi phí, chúng tôi quan sát thấy chi phí trên cụm EMR với C7.93g giảm 13.35–7% so với cụm tương đương với C6g, tùy thuộc vào kích thước phiên bản. Chúng tôi không đo điểm chuẩn cho phiên bản C6g xlarge vì phiên bản này không có đủ bộ nhớ để chạy các truy vấn.

Bảng sau đây cho thấy kết quả từ việc chạy các truy vấn điểm chuẩn TPC-DS 3 TB bằng cách sử dụng Amazon EMR 6.9 so với các cụm EMR phiên bản C7g và C6g tương đương.

Biểu đồ sau đây cho thấy các cải tiến trên mỗi truy vấn quan sát được trên các phiên bản C7g 2xlarge so với các thế hệ C6g tương đương.

phương pháp đo điểm chuẩn

Điểm chuẩn được sử dụng trong bài đăng này được lấy từ điểm chuẩn TPC-DS tiêu chuẩn của ngành và sử dụng các truy vấn từ Kiểm tra hiệu suất Spark SQL Kho lưu trữ GitHub với những điều sau đây nhất định đã áp dụng.

Chúng tôi đã tính TCO bằng cách nhân chi phí mỗi giờ với số phiên bản trong cụm và thời gian chạy truy vấn trên cụm. Chúng tôi đã sử dụng giá theo yêu cầu ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia) cho tất cả các trường hợp.

Kết luận

Trong bài đăng này, chúng tôi đã mô tả cách chúng tôi ước tính lợi ích hiệu suất chi phí từ việc sử dụng Amazon EMR với các phiên bản C7g so với việc sử dụng các phiên bản thế hệ trước tương đương. Việc sử dụng các phiên bản mới này với Amazon EMR giúp cải thiện hiệu suất chi phí thêm 7–13%.

Giới thiệu về tác giả

MS là người quản lý sản phẩm cho Amazon EMR tại Amazon Web Services.

Kyeonghyun Ryoo là Kỹ sư phát triển phần mềm cho EMR tại Amazon Web Services. Anh ấy chủ yếu làm việc về thiết kế và xây dựng các công cụ tự động hóa cho các nhóm nội bộ và khách hàng để tối đa hóa năng suất của họ. Ngoài công việc, anh ấy là một nhà vô địch thế giới về chơi game chuyên nghiệp đã nghỉ hưu nhưng vẫn thích chơi trò chơi điện tử.

Tôn Ngọc Châu là kỹ sư phát triển phần mềm cho EMR tại Amazon Web Services.

Steve Koonce là Giám đốc kỹ thuật cho EMR tại Amazon Web Services.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/amazon-emr-launches-support-for-amazon-ec2-c7g-graviton3-instances-to-improve-cost-performance-for-spark-workloads-by-7-13/