Chào mừng đến với kỷ nguyên của dữ liệu. Khối lượng dữ liệu khổng lồ được thu thập hàng ngày tiếp tục tăng lên, đòi hỏi các nền tảng và giải pháp phải phát triển. Các dịch vụ như Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) cung cấp một giải pháp có thể mở rộng, thích ứng nhưng vẫn tiết kiệm chi phí để phát triển bộ dữ liệu. Các Sáng kiến dữ liệu bền vững của Amazon (ASDI) sử dụng khả năng của Amazon S3 để cung cấp giải pháp miễn phí giúp bạn lưu trữ và chia sẻ khối lượng công việc khoa học khí hậu trên toàn cầu. Chương trình tài trợ dữ liệu mở của Amazon cho phép các tổ chức lưu trữ miễn phí trên AWS.
Trong thập kỷ qua, chúng ta đã chứng kiến sự gia tăng đột biến của các khuôn khổ khoa học dữ liệu, cùng với việc cộng đồng khoa học dữ liệu áp dụng hàng loạt. Một khuôn khổ như vậy là bảng điều khiển, mạnh mẽ nhờ khả năng cung cấp sự phối hợp của các nút điện toán worker, do đó tăng tốc quá trình phân tích phức tạp trên các tập dữ liệu lớn.
Trong bài đăng này, chúng tôi chỉ cho bạn cách triển khai tùy chỉnh Bộ công cụ phát triển đám mây AWS (AWS CDK) giải pháp mở rộng chức năng của Dask để hoạt động liên khu vực trên mạng toàn cầu của Amazon. Giải pháp CDK của AWS triển khai một mạng lưới nhân viên Dask trên hai Khu vực AWS, kết nối với một Khu vực máy khách. Để biết thêm thông tin, hãy tham khảo Hướng dẫn về Điện toán phân tán với Dask khu vực chéo trên AWS và Repo GitHub cho mã nguồn mở.
Sau khi triển khai, người dùng sẽ có quyền truy cập vào sổ ghi chép Jupyter, nơi họ có thể tương tác với hai bộ dữ liệu từ ASDI trên AWS: Dự án so sánh liên mô hình kết hợp 6 (CMIP6) và Phân tích lại ECMWF ERA5. CMIP6 tập trung vào giai đoạn thứ sáu của tổ hợp mô hình hoàn lưu chung đại dương-khí quyển kết hợp toàn cầu; ERA5 là thế hệ thứ năm của các phân tích lại khí quyển của ECMWF đối với khí hậu toàn cầu và là phân tích lại đầu tiên được sản xuất như một dịch vụ vận hành.
Giải pháp này được lấy cảm hứng từ công việc với một khách hàng quan trọng của AWS, Văn phòng Anh. Văn phòng Met được thành lập vào năm 1854 và là dịch vụ khí tượng quốc gia của Vương quốc Anh. Chúng cung cấp các dự đoán về thời tiết và khí hậu để giúp bạn đưa ra các quyết định sáng suốt hơn nhằm giữ an toàn và phát triển. Sự hợp tác giữa Met Office và EUMETSAT, được trình bày chi tiết trong Tính toán gần đúng dữ liệu trên cụm Dask được phân phối giữa các trung tâm dữ liệu, nêu bật nhu cầu ngày càng tăng để phát triển một giải pháp khoa học dữ liệu bền vững, hiệu quả và có thể mở rộng. Giải pháp này đạt được điều này bằng cách đưa điện toán đến gần dữ liệu hơn thay vì buộc dữ liệu đến gần tài nguyên điện toán hơn, điều này làm tăng thêm chi phí, độ trễ và năng lượng.
Tổng quan về giải pháp
Mỗi ngày, Văn phòng Khí tượng Vương quốc Anh tạo ra tới 300 TB dữ liệu thời tiết và khí hậu, một phần trong số đó được xuất bản cho ASDI. Các bộ dữ liệu này được phân phối trên toàn thế giới và được lưu trữ để sử dụng chung. Văn phòng Met muốn cho phép người tiêu dùng khai thác nhiều dữ liệu hơn để giúp cung cấp thông tin cho các quyết định quan trọng nhằm giải quyết các vấn đề như chuẩn bị tốt hơn cho các trận cháy rừng và lũ lụt do biến đổi khí hậu gây ra cũng như giảm tình trạng mất an ninh lương thực thông qua phân tích năng suất cây trồng tốt hơn.
Các giải pháp truyền thống đang được sử dụng ngày nay, đặc biệt là với dữ liệu khí hậu, rất tốn thời gian và không bền vững, sao chép các bộ dữ liệu giữa các Khu vực. Việc truyền dữ liệu không cần thiết ở quy mô petabyte rất tốn kém, chậm và tiêu tốn năng lượng.
Chúng tôi ước tính rằng nếu phương pháp này được người dùng Met Office áp dụng, thì có thể tiết kiệm được lượng điện tiêu thụ hàng ngày tương đương với 40 hộ gia đình và họ cũng có thể giảm việc truyền dữ liệu giữa các khu vực.
Sơ đồ sau minh họa kiến trúc giải pháp.
Giải pháp có thể được chia thành ba phân đoạn chính: khách hàng, công nhân và mạng. Hãy đi sâu vào từng thứ và xem chúng kết hợp với nhau như thế nào.
Khách hàng
Máy khách đại diện cho Vùng nguồn nơi các nhà khoa học dữ liệu kết nối. Vùng này (Vùng A trong sơ đồ) chứa một Sổ ghi chép Amazon SageMaker, An Dịch vụ Tìm kiếm Mở của Amazon tên miền và một lập lịch trình dask như các thành phần chính. Quản trị viên hệ thống có quyền truy cập vào bảng điều khiển Dask tích hợp được hiển thị thông qua một Cân bằng tải đàn hồi.
Các nhà khoa học dữ liệu có quyền truy cập vào sổ ghi chép Jupyter được lưu trữ trên SageMaker. Sổ ghi chép có thể kết nối và chạy khối lượng công việc trên bộ lập lịch Dask. Miền OpenSearch Service lưu trữ siêu dữ liệu trên các bộ dữ liệu được kết nối tại Khu vực. Người dùng Notebook có thể truy vấn dịch vụ này để truy xuất thông tin chi tiết, chẳng hạn như Khu vực chính xác của nhân viên Dask mà không cần biết trước vị trí Khu vực của dữ liệu.
Công nhân
Mỗi Vùng công nhân (Vùng B và C trong sơ đồ) bao gồm một Dịch vụ container đàn hồi Amazon (Amazon ECS) cụm công nhân dask, An Amazon FSx cho ánh hệ thống tập tin, và một độc lập Đám mây điện toán đàn hồi Amazon (Amazon EC2). FSx for Lustre cho phép nhân viên Dask truy cập và xử lý dữ liệu Amazon S3 từ hệ thống tệp hiệu năng cao bằng cách liên kết hệ thống tệp của bạn với bộ chứa S3. Nó cung cấp độ trễ dưới một phần nghìn giây, thông lượng lên tới hàng trăm GB/giây và hàng triệu IOPS. Một tính năng chính của Lustre là chỉ siêu dữ liệu của hệ thống tệp được đồng bộ hóa. Lustre quản lý số dư của các tệp sẽ được tải vào và giữ ấm, dựa trên nhu cầu.
Cụm công nhân mở rộng quy mô dựa trên mức sử dụng CPU, cung cấp thêm công nhân trong thời gian dài có nhu cầu và giảm quy mô khi tài nguyên không hoạt động.
Mỗi đêm lúc 0:00 UTC, một tác vụ đồng bộ hóa dữ liệu sẽ nhắc hệ thống tệp Lustre đồng bộ hóa lại với bộ chứa S3 được đính kèm và kéo danh mục siêu dữ liệu cập nhật của bộ chứa. Sau đó, phiên bản EC2 độc lập đẩy các bản cập nhật này vào OpenSearch Service tương ứng với chỉ mục của Khu vực đó. OpenSearch Service cung cấp thông tin cần thiết cho khách hàng về nhóm công nhân nào sẽ được gọi cho một tập dữ liệu cụ thể.
mạng
Mạng tạo thành mấu chốt của giải pháp này, sử dụng mạng đường trục nội bộ của Amazon. Bằng cách sử dụng Cổng chuyển tuyến AWS, chúng tôi có thể kết nối từng Khu vực với nhau mà không cần phải đi qua internet công cộng. Mỗi công nhân đều có thể kết nối linh hoạt với bộ lập lịch Dask, cho phép các nhà khoa học dữ liệu chạy các truy vấn liên khu vực thông qua Dask.
Điều kiện tiên quyết
Gói AWS CDK sử dụng ngôn ngữ lập trình TypeScript. Làm theo các bước trong Bắt đầu với AWS CDK để thiết lập môi trường cục bộ và khởi động tài khoản phát triển của bạn (bạn sẽ cần khởi động tất cả các Khu vực được chỉ định trong Repo GitHub).
Để triển khai thành công, bạn sẽ cần Docker đã được cài đặt và chạy trên máy cục bộ của bạn.
Triển khai gói AWS CDK
Việc triển khai gói AWS CDK rất đơn giản. Sau khi bạn cài đặt các điều kiện tiên quyết và khởi động tài khoản của mình, bạn có thể tiến hành tải xuống cơ sở mã.
- Tải về Kho GitHub:
- Cài đặt các mô-đun nút:
- Triển khai AWS CDK:
Ngăn xếp có thể mất hơn một tiếng rưỡi để triển khai.
Hướng dẫn mã
Trong phần này, chúng tôi kiểm tra một số tính năng chính của cơ sở mã. Nếu bạn muốn kiểm tra cơ sở mã đầy đủ, hãy tham khảo Kho GitHub.
Định cấu hình và tùy chỉnh ngăn xếp của bạn
Trong file bin/biến.ts, bạn sẽ tìm thấy hai khai báo biến: một cho máy khách và một cho công nhân. Khai báo ứng dụng khách là một từ điển có tham chiếu đến Vùng và phạm vi CIDR. Việc tùy chỉnh các biến này sẽ thay đổi cả Vùng và phạm vi CIDR nơi tài nguyên máy khách sẽ triển khai.
Biến worker sao chép cùng chức năng này; tuy nhiên, đó là một danh sách các từ điển để phù hợp với việc thêm hoặc bớt các bộ dữ liệu mà người dùng muốn đưa vào. Ngoài ra, mỗi từ điển chứa các trường được thêm vào của dataset
và lustreFileSystemPath
. Bộ dữ liệu được sử dụng để chỉ định URI S3 kết nối để Lustre kết nối. Các lustreFileSystemPath
biến được sử dụng làm ánh xạ cho cách người dùng muốn tập dữ liệu đó ánh xạ cục bộ trên hệ thống tệp worker. Xem đoạn mã sau:
Tự động xuất bản IP của bộ lập lịch
Một thách thức vốn có đối với tính chất xuyên Khu vực của dự án này là duy trì kết nối năng động giữa nhân viên Dask và người lập lịch trình. Làm cách nào chúng tôi có thể xuất bản một địa chỉ IP có khả năng thay đổi trên các Khu vực AWS? Chúng tôi đã có thể thực hiện điều này thông qua việc sử dụng Bản đồ đám mây AWS và liên kết-vpc-với-hosted-zone. Tóm tắt dịch vụ cho phép AWS quản lý vùng tên DNS này một cách riêng tư. Xem đoạn mã sau:
Giao diện người dùng máy tính xách tay Jupyter
Sổ ghi chép Jupyter được lưu trữ trên SageMaker cung cấp cho các nhà khoa học một môi trường sẵn sàng để triển khai nhằm dễ dàng kết nối và thử nghiệm trên các bộ dữ liệu đã tải. Chúng tôi đã sử dụng một tập lệnh cấu hình vòng đời để cung cấp cho sổ tay một môi trường dành cho nhà phát triển được cấu hình sẵn và cơ sở mã ví dụ. Xem đoạn mã sau:
Các nút công nhân Dask
Khi nói đến Dask worker, khả năng tùy chỉnh cao hơn được cung cấp, cụ thể hơn là về loại phiên bản, luồng trên mỗi vùng chứa và cảnh báo thay đổi quy mô. Theo mặc định, công nhân cung cấp trên loại phiên bản m5d.4xlarge, gắn vào hệ thống tệp Lustre khi khởi chạy, đồng thời chia nhỏ công nhân và luồng của nó thành các cổng một cách linh hoạt. Tất cả điều này là tùy chọn tùy chỉnh. Xem đoạn mã sau:
HIỆU QUẢ
Để đánh giá hiệu suất, chúng tôi sử dụng tính toán mẫu và vẽ biểu đồ nhiệt độ không khí ở 2 mét dựa trên sự khác biệt giữa dự đoán CMIP6 trong một tháng và nhiệt độ không khí trung bình ERA5 trong 10 năm. Chúng tôi đặt điểm chuẩn là hai công nhân ở mỗi Khu vực và đánh giá sự khác biệt về thời gian giảm khi có thêm công nhân. Về lý thuyết, khi giải pháp mở rộng quy mô, sẽ có sự khác biệt về vật liệu sản xuất trong việc giảm thời gian tổng thể.
Bảng sau đây tóm tắt chi tiết tập dữ liệu của chúng tôi.
Bộ dữ liệu | Biến | Kích thước đĩa | Kích thước tập dữ liệu Xarray | Khu vực |
KỶ NGUYÊN5 | 2011–2020 (120 tệp netcdf) | 53.5GB | 364.1 GB | us-East-1 |
CMIP6 | 1.13GB | 0.11 GB | ta-tây-2 |
Bảng sau đây hiển thị kết quả được thu thập, hiển thị thời gian (tính bằng giây) cho mỗi lần tính toán và dự đoán trong ba giai đoạn tính toán dự đoán CMIP6, ERA5 và chênh lệch.
. | . | Số lượng công nhân | |||
Tính | Khu vực | 2(CMIP) + 2(KỶ NGUYÊN) | 2(CMIP) + 4(KỶ NGUYÊN) | 2(CMIP) + 8(KỶ NGUYÊN) |
2(CMIP) + 12(Kỷ nguyên) |
CMIP6 (predicted_tas_regridded ) |
ta-tây-2 | 11.8 | 11.5 | 11.2 | 11.6 |
ERA5 (historic_temp_regridded ) |
us-East-1 | 1512 | 711 | 427 | 202 |
Sự khác biệt (propogated pool ) |
chúng tôi-tây-2 và chúng tôi-đông-1 | 1527 | 906 | 469 | 251 |
Biểu đồ sau đây trực quan hóa hiệu suất và quy mô.
Từ thử nghiệm của mình, chúng tôi đã quan sát thấy sự cải thiện tuyến tính về tính toán cho tập dữ liệu ERA5 khi số lượng công nhân tăng lên. Khi số lượng công nhân tăng lên, thời gian tính toán đôi khi giảm đi một nửa.
Máy tính xách tay Jupyter
Là một phần của quá trình ra mắt giải pháp, chúng tôi triển khai sổ ghi chép Jupyter được cấu hình sẵn để giúp thử nghiệm giải pháp Dask xuyên khu vực. Sổ ghi chép thể hiện sự lo lắng không cần biết về vị trí Khu vực của bộ dữ liệu, thay vào đó truy vấn danh mục thông qua một loạt sổ ghi chép Jupyter chạy trong nền.
Để bắt đầu, hãy làm theo hướng dẫn trong phần này.
Mã cho sổ ghi chép có thể được tìm thấy trong lib/SagemakerCode
với sổ ghi chép chính là ux_notebook.ipynb
. Sổ ghi chép này gọi các sổ ghi chép khác, kích hoạt tập lệnh trợ giúp. ux_notebook
được thiết kế để trở thành điểm vào cho các nhà khoa học mà không cần phải đi đâu khác.
Để bắt đầu, hãy mở sổ ghi chép này trong SageMaker sau khi bạn đã triển khai AWS CDK. AWS CDK tạo một phiên bản sổ ghi chép với tất cả các tệp trong kho lưu trữ được tải và sao lưu vào một Cam kết mã AWS kho.
Để chạy ứng dụng, hãy mở và chạy ô đầu tiên của ux_notebook
. Tế bào này chạy get_variables
sổ ghi chép ở chế độ nền, nhắc bạn nhập dữ liệu mà bạn muốn chọn. Chúng tôi bao gồm một ví dụ; tuy nhiên, lưu ý rằng các câu hỏi sẽ chỉ xuất hiện sau khi tùy chọn trước đó đã được chọn. Điều này nhằm hạn chế các lựa chọn thả xuống và có thể định cấu hình tùy chọn bằng cách chỉnh sửa get_variables
sổ tay.
Mã trước lưu trữ các biến trên toàn cầu để các sổ ghi chép khác có thể truy xuất và tải các lựa chọn của bạn. Để trình diễn, ô tiếp theo sẽ xuất các biến lưu từ trước đó.
Tiếp theo, một lời nhắc về thông số kỹ thuật dữ liệu khác sẽ xuất hiện. Ô này tinh chỉnh dữ liệu bạn đang theo dõi bằng cách trình bày ID của các bảng ở định dạng mà con người có thể đọc được. Người dùng chọn như thể đó là một biểu mẫu, nhưng các tiêu đề ánh xạ tới các bảng ở chế độ nền giúp hệ thống truy xuất các bộ dữ liệu thích hợp.
Sau khi bạn đã lưu trữ tất cả các lựa chọn và ô chọn của mình, hãy tải dữ liệu vào Vùng bằng cách chạy ô trong Lấy dữ liệu định phần. Lệnh %%capture sẽ chặn các đầu ra không cần thiết từ get_data
sổ tay. Lưu ý rằng bạn có thể xóa mục này để kiểm tra kết quả đầu ra từ các sổ ghi chép khác. Dữ liệu sau đó được truy xuất trong phần phụ trợ.
Trong khi các sổ ghi chép khác đang chạy trong nền, điểm tiếp xúc duy nhất cho người dùng là ux_notebook
. Điều này là để trừu tượng hóa quá trình nhập dữ liệu tẻ nhạt vào một định dạng mà bất kỳ người dùng nào cũng có thể dễ dàng làm theo.
Với dữ liệu hiện đã được tải, chúng ta có thể bắt đầu tương tác với nó. Các ô sau đây là ví dụ về phép tính mà bạn có thể chạy trên dữ liệu thời tiết. sử dụng các mảng, chúng tôi nhập, tính toán và sau đó vẽ các bộ dữ liệu đó.
Mẫu của chúng tôi minh họa một biểu đồ dữ liệu dự đoán truy xuất dữ liệu, chạy tính toán và vẽ biểu đồ kết quả trong vòng chưa đầy 7.5 giây—nhanh hơn nhiều so với cách tiếp cận thông thường.
Dưới mui xe
những cuốn sổ get_catalog_input
và get_variables
sử dụng thư viện ipywidget để hiển thị các tiện ích như danh sách thả xuống và lựa chọn nhiều hộp. Các tùy chọn này được lưu trên toàn cầu bằng cách sử dụng lệnh %%store để có thể truy cập chúng từ ux_notebook
. Một trong các tùy chọn sẽ nhắc bạn xem bạn muốn dữ liệu lịch sử, dữ liệu dự đoán hay cả hai. Biến này được chuyển đến get_data
notebook để xác định những sổ ghi chép tiếp theo sẽ chạy.
Sản phẩm get_data
trước tiên, sổ ghi chép sẽ truy xuất miền Dịch vụ Tìm kiếm Mở được chia sẻ đã lưu vào Cửa hàng thông số trình quản lý hệ thống AWS. Miền này cho phép sổ ghi chép của chúng tôi chạy truy vấn thu thập thông tin sẽ cho biết nơi lưu trữ bộ dữ liệu đã chọn theo Vùng. Với các bộ dữ liệu đó được đặt theo Khu vực, sổ ghi chép sẽ cố gắng kết nối với bộ lập lịch Dask, truyền thông tin được thu thập từ Dịch vụ Tìm kiếm Mở. Ngược lại, bộ lập lịch trình Dask sẽ có thể gọi các công nhân ở đúng Khu vực.
Cách tùy chỉnh và tiếp tục phát triển
Những sổ ghi chép này là một ví dụ về cách bạn có thể tạo cách để người dùng giao tiếp và tương tác với dữ liệu. Sổ tay trong bài đăng này đóng vai trò minh họa cho những gì có thể và chúng tôi mời bạn tiếp tục xây dựng giải pháp để cải thiện hơn nữa mức độ tương tác của người dùng. Phần cốt lõi của giải pháp này là công nghệ phụ trợ, nhưng nếu không có một số cơ chế để tương tác với phụ trợ đó, người dùng sẽ không nhận ra toàn bộ tiềm năng của giải pháp.
Để tránh phát sinh phí trong tương lai, hãy xóa tài nguyên. Hãy phá hủy giải pháp đã triển khai của chúng tôi bằng lệnh sau:
Kết luận
Bài đăng này giới thiệu phần mở rộng của Dask liên khu vực trên AWS và khả năng tích hợp với bộ dữ liệu công khai trên AWS. Giải pháp được xây dựng dưới dạng một mẫu chung và các bộ dữ liệu khác có thể được tải vào để tăng tốc độ phân tích I/O cao trên dữ liệu phức tạp.
Dữ liệu đang biến đổi mọi lĩnh vực và mọi doanh nghiệp. Tuy nhiên, với dữ liệu phát triển nhanh hơn hầu hết các công ty có thể theo dõi, việc thu thập dữ liệu và nhận giá trị từ dữ liệu đó là một thách thức. Chiến lược dữ liệu hiện đại có thể giúp bạn tạo ra kết quả kinh doanh tốt hơn với dữ liệu. AWS cung cấp bộ dịch vụ hoàn chỉnh nhất cho hành trình dữ liệu từ đầu đến cuối để giúp bạn khai thác giá trị từ dữ liệu của mình và biến dữ liệu đó thành thông tin chi tiết.
Để tìm hiểu thêm về các cách khác nhau để sử dụng dữ liệu của bạn trên đám mây, hãy truy cập Blog dữ liệu lớn của AWS. Chúng tôi cũng mời bạn bình luận về suy nghĩ của bạn về bài đăng này và liệu đây có phải là giải pháp bạn dự định thử hay không.
Về các tác giả
Patrick O'Connor là một Kỹ sư tạo mẫu WWSO có trụ sở tại London. Anh ấy là người giải quyết vấn đề sáng tạo, có khả năng thích ứng với nhiều loại công nghệ, chẳng hạn như IoT, công nghệ không có máy chủ, công nghệ không gian 3D và ML/AI, cùng với sự tò mò không ngừng về cách công nghệ có thể tiếp tục phát triển các phương pháp tiếp cận hàng ngày.
Luân xa Nagarajan là một SA chính về Nguyên mẫu Máy học với 21 năm kinh nghiệm trong lĩnh vực máy học, dữ liệu lớn và điện toán hiệu năng cao. Trong vai trò hiện tại của mình, anh ấy giúp khách hàng giải quyết các vấn đề kinh doanh phức tạp trong thế giới thực bằng cách xây dựng các nguyên mẫu với các giải pháp AI/ML toàn diện trong đám mây và thiết bị biên. Chuyên môn ML của anh ấy bao gồm thị giác máy tính, xử lý ngôn ngữ tự nhiên, dự báo chuỗi thời gian và cá nhân hóa.
Val Cohen là Kỹ sư tạo mẫu WWSO cấp cao có trụ sở tại London. Bản chất là một người giải quyết vấn đề, Val thích viết mã để tự động hóa các quy trình, xây dựng các công cụ được khách hàng quan tâm và tạo cơ sở hạ tầng cho các ứng dụng khác nhau cho cơ sở khách hàng toàn cầu của cô. Val có kinh nghiệm về nhiều loại công nghệ, chẳng hạn như phát triển web giao diện người dùng, công việc phụ trợ và AI/ML.
Niall Robinson là Trưởng phòng tương lai sản phẩm tại Văn phòng Met của Vương quốc Anh. Anh ấy và nhóm của mình khám phá những cách thức mới mà Văn phòng Met có thể cung cấp giá trị thông qua đổi mới sản phẩm và quan hệ đối tác chiến lược. Anh ấy đã có một sự nghiệp đa dạng, lãnh đạo một nhóm R&D tin học đa ngành, nghiên cứu học thuật về khoa học dữ liệu và nhà khoa học thực địa cùng với chuyên môn về lập mô hình khí hậu.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- Mua và bán cổ phần trong các công ty PRE-IPO với PREIPO®. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/build-efficient-cross-regional-i-o-intensive-workloads-with-dask-on-aws/
- : có
- :là
- :Ở đâu
- $ LÊN
- 1
- 10
- 100
- 11
- 12
- 20
- 24
- 3d
- 40
- 50
- 7
- 9
- a
- có khả năng
- Có khả năng
- Giới thiệu
- ở trên
- TÓM TẮT
- tóm tắt
- học tập
- nghiên cứu học thuật
- đẩy nhanh tiến độ
- tăng tốc
- truy cập
- truy cập
- chứa
- hoàn thành
- Tài khoản
- Đạt được
- ngang qua
- thích nghi
- thêm
- thêm
- thêm vào
- Ngoài ra
- địa chỉ
- giải quyết
- Thêm
- quản trị
- con nuôi
- Nhận con nuôi
- Sau
- AI / ML
- KHÔNG KHÍ
- Tất cả
- Cho phép
- cho phép
- dọc theo
- Ngoài ra
- đàn bà gan dạ
- Amazon EC2
- an
- phân tích
- và
- bất kì
- xuất hiện
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- cách tiếp cận
- thích hợp
- kiến trúc
- LÀ
- AS
- At
- Bầu không khí
- khí quyển
- tự động hóa
- tránh
- AWS
- Khách hàng AWS
- Xương sống
- được hậu thuẫn
- Backend
- lý lịch
- Cân đối
- cơ sở
- dựa
- BE
- trở nên
- được
- trước
- được
- phía dưới
- điểm chuẩn
- Hơn
- giữa
- lớn
- Dữ Liệu Lớn.
- bootstrap
- cả hai
- Đưa
- Bị phá vỡ
- xây dựng
- Xây dựng
- xây dựng
- được xây dựng trong
- kinh doanh
- nhưng
- by
- tính toán
- cuộc gọi
- gọi là
- gọi
- Cuộc gọi
- CAN
- khả năng
- có khả năng
- Tuyển Dụng
- Danh mục hàng
- CD
- Tế bào
- thách thức
- thách thức
- thay đổi
- thay đổi
- phí
- tải
- lựa chọn
- Lưu thông
- khách hàng
- Khí hậu
- gần gũi hơn
- đám mây
- cụm
- CO
- mã
- cơ sở mã
- hợp tác
- Thu
- Đến
- đến
- đến
- bình luận
- cộng đồng
- Các công ty
- hoàn thành
- phức tạp
- các thành phần
- Bao gồm
- tính toán
- Tính
- máy tính
- Tầm nhìn máy tính
- máy tính
- Cấu hình
- Kết nối
- kết nối
- Kết nối
- liên quan
- Người tiêu dùng
- tiêu thụ
- Container
- chứa
- tiếp tục
- liên tiếp
- bản sao
- Trung tâm
- sửa chữa
- Phí Tổn
- chi phí-hiệu quả
- có thể
- kết
- CPU
- tạo
- tạo ra
- Sáng tạo
- quan trọng
- cây trồng
- Vượt qua
- sự tò mò
- Current
- khách hàng
- khách hàng
- khách hàng
- tùy biến
- tùy chỉnh
- tiền thưởng
- bảng điều khiển
- dữ liệu
- khoa học dữ liệu
- chiến lược dữ liệu
- bộ dữ liệu
- ngày
- thập kỷ
- quyết định
- Mặc định
- Nhu cầu
- chứng minh
- triển khai
- triển khai
- triển khai
- triển khai
- thiết kế
- phá hủy
- chi tiết
- chi tiết
- Xác định
- phát triển
- Nhà phát triển
- Phát triển
- Thiết bị (Devices)
- sự khác biệt
- bị vô hiệu hóa
- phát hiện
- Giao diện
- phân phối
- phân phối máy tính
- dns
- phu bến tàu
- miền
- xuống
- năng động
- năng động
- mỗi
- dễ dàng
- dễ dàng
- Cạnh
- chỉnh sửa
- hiệu quả
- nơi khác
- cho phép
- Cuối cùng đến cuối
- năng lượng
- Tham gia
- ky sư
- nhập
- Môi trường
- Tương đương
- Kỷ nguyên
- ước tính
- Ether (ETH)
- Mỗi
- mỗi ngày
- hàng ngày
- phát triển
- ví dụ
- ví dụ
- kinh nghiệm
- thử nghiệm
- chuyên môn
- khám phá
- xuất khẩu
- tiếp xúc
- mở rộng
- nhanh hơn
- Đặc tính
- Tính năng
- lĩnh vực
- Lĩnh vực
- Tập tin
- Các tập tin
- Tìm kiếm
- Tên
- tập trung
- theo
- tiếp theo
- thực phẩm
- Trong
- hình thức
- định dạng
- các hình thức
- tìm thấy
- Thành lập
- Khung
- khung
- Miễn phí
- từ
- quả
- Full
- chức năng
- xa hơn
- tương lai
- Futures
- Tổng Quát
- thế hệ
- được
- nhận được
- đi
- Toàn cầu
- mạng lưới toàn cầu
- Toàn cầu
- toàn cầu
- đi
- đồ thị
- lớn hơn
- lưới
- Phát triển
- Phát triển
- có
- Một nửa
- giảm một nửa
- Có
- he
- cái đầu
- giúp đỡ
- giúp
- cô
- Cao
- hiệu suất cao
- nổi bật
- của mình
- lịch sử
- chủ nhà
- tổ chức
- giờ
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- người có thể đọc được
- Hàng trăm
- Nhàn rỗi
- id
- if
- minh họa
- nhập khẩu
- nhập khẩu
- nâng cao
- cải thiện
- in
- bao gồm
- bao gồm
- tăng
- chỉ số
- chỉ
- báo
- thông tin
- Cơ sở hạ tầng
- vốn có
- sự đổi mới
- đầu vào
- bất an
- cái nhìn sâu sắc
- lấy cảm hứng từ
- cài đặt, dựng lên
- ví dụ
- thay vì
- hướng dẫn
- hội nhập
- Cố ý
- tương tác
- tương tác
- Giao thức
- nội bộ
- Internet
- trong
- mời
- iốt
- IP
- Địa chỉ IP
- các vấn đề
- IT
- ITS
- Việc làm
- cuộc hành trình
- jpg
- Máy tính xách tay Jupyter
- Giữ
- Key
- Biết
- Ngôn ngữ
- lớn
- Họ
- Độ trễ
- phóng
- hàng đầu
- LEARN
- học tập
- Thư viện
- vòng đời
- Lượt thích
- liên kết
- Danh sách
- tải
- địa phương
- tại địa phương
- nằm
- địa điểm thư viện nào
- London
- máy
- học máy
- chính
- làm cho
- quản lý
- giám đốc
- quản lý
- bản đồ
- lập bản đồ
- Thánh Lễ
- Áp dụng hàng loạt
- vật liệu
- Có thể..
- nghĩa là
- cơ chế
- Siêu dữ liệu
- hàng triệu
- ML
- kiểu mẫu
- hiện đại
- Modules
- tháng
- hàng tháng
- dữ liệu hàng tháng
- chi tiết
- hầu hết
- Gắn kết
- đa ngành
- tên
- quốc dân
- Tự nhiên
- Ngôn ngữ tự nhiên
- Xử lý ngôn ngữ tự nhiên
- Thiên nhiên
- cần thiết
- Cần
- cần
- mạng
- Mới
- tiếp theo
- đêm
- nút
- các nút
- máy tính xách tay
- máy tính xách tay
- tại
- con số
- số
- of
- cung cấp
- Office
- on
- ONE
- có thể
- mở
- dữ liệu mở
- mã nguồn mở
- mã nguồn mở
- hoạt động
- Tùy chọn
- Các lựa chọn
- or
- dàn nhạc
- tổ chức
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết quả
- đầu ra
- kết thúc
- tổng thể
- gói
- tham số
- một phần
- riêng
- đặc biệt
- quan hệ đối tác
- thông qua
- Đi qua
- Họa tiết
- hiệu suất
- kinh nguyệt
- cá nhân
- petabyte
- giai đoạn
- kế hoạch
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Điểm
- hồ bơi
- cổng
- có thể
- Bài đăng
- tiềm năng
- quyền lực
- mạnh mẽ
- thực hành
- dự đoán
- Dự đoán
- điều kiện tiên quyết
- trước
- chính
- Hiệu trưởng
- riêng
- Vấn đề
- vấn đề
- quá trình
- Quy trình
- xử lý
- Sản xuất
- Sản phẩm
- Đổi mới sản phẩm
- sản xuất
- chương trình
- Lập trình
- dự án
- nguyên mẫu
- tạo mẫu
- cho
- cung cấp
- cung cấp
- cung cấp
- công khai
- xuất bản
- công bố
- Kéo
- truy vấn
- Câu hỏi
- R & D
- phạm vi
- hơn
- làm sẵn
- thế giới thực
- nhận ra
- giảm
- giảm
- giảm
- khu
- khu vực
- vùng
- không ngừng
- vẫn còn
- tẩy
- Đã loại bỏ
- kho
- đại diện cho
- nghiên cứu
- Thông tin
- mà
- Kết quả
- Vai trò
- chạy
- chạy
- SA
- an toàn
- nhà làm hiền triết
- tương tự
- Lưu
- khả năng mở rộng
- Quy mô
- quy mô
- mở rộng quy mô
- Khoa học
- Nhà khoa học
- các nhà khoa học
- kịch bản
- giây
- Phần
- xem
- đã xem
- phân đoạn
- chọn
- lựa chọn
- cao cấp
- Loạt Sách
- Không có máy chủ
- phục vụ
- dịch vụ
- DỊCH VỤ
- định
- Chia sẻ
- chia sẻ
- nên
- hiển thị
- giới th
- Chương trình
- Đơn giản
- đơn giản
- 6
- chậm
- So
- giải pháp
- Giải pháp
- động SOLVE
- một số
- nguồn
- không gian
- đặc biệt
- thông số kỹ thuật
- quy định
- sự tài trợ
- ngăn xếp
- giai đoạn
- độc lập
- Bắt đầu
- bắt đầu
- ở lại
- Các bước
- là gắn
- hàng
- lưu trữ
- cửa hàng
- đơn giản
- Chiến lược
- Quan hệ đối tác chiến lược
- Chiến lược
- tiếp theo
- Sau đó
- thành công
- như vậy
- Bề mặt
- dâng trào
- Tính bền vững
- bền vững
- hệ thống
- hệ thống
- bàn
- Hãy
- nhóm
- công nghệ cao
- Công nghệ
- Công nghệ
- thử nghiệm
- hơn
- việc này
- Sản phẩm
- thông tin
- Nguồn
- Anh
- thế giới
- cung cấp their dịch
- sau đó
- Đó
- bằng cách ấy
- Kia là
- họ
- điều này
- những
- số ba
- Phát triển mạnh
- Thông qua
- thông lượng
- thời gian
- Chuỗi thời gian
- thời gian
- trò chơi
- đến
- bây giờ
- bên nhau
- công cụ
- theo dõi
- Theo dõi
- chuyển
- biến đổi
- quá cảnh
- kích hoạt
- XOAY
- hai
- kiểu
- Bản đánh máy
- điển hình
- Uk
- Dưới
- mở khóa
- không bền vững
- up-to-date
- Cập nhật
- trên
- URI
- Sử dụng
- sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- UTC
- Bằng cách sử dụng
- VAL
- giá trị
- nhiều
- khác nhau
- thông qua
- tầm nhìn
- Truy cập
- khối lượng
- muốn
- muốn
- ấm
- là
- Đường..
- cách
- we
- Thời tiết
- web
- phát triển web
- là
- liệu
- cái nào
- rộng
- Phạm vi rộng
- sẽ
- mong muốn
- với
- không có
- Công việc
- công nhân
- công nhân
- thế giới
- lo
- sẽ
- viết
- năm
- nhưng
- Năng suất
- bạn
- trên màn hình
- zephyrnet