Bài đăng trên blog này được đồng viết với Govind Mohan và Kausik Dhar từ Cognizant.
Di chuyển kho dữ liệu tại chỗ sang đám mây không còn được xem là một lựa chọn mà là điều cần thiết để các công ty tiết kiệm chi phí và tận dụng những gì công nghệ mới nhất mang lại. Mặc dù chúng tôi đã thấy nhiều sự tập trung vào việc di chuyển dữ liệu từ kho dữ liệu cũ sang đám mây và nhiều công cụ để hỗ trợ sáng kiến này, nhưng dữ liệu chỉ là một phần của hành trình. Việc di chuyển thành công các quy trình trích xuất, chuyển đổi và tải (ETL) kế thừa nhằm thu thập, làm phong phú và chuyển đổi dữ liệu đóng vai trò then chốt trong sự thành công của bất kỳ quá trình di chuyển kho dữ liệu từ đầu đến cuối nào sang đám mây.
Cách tiếp cận truyền thống là viết lại thủ công một số lượng lớn quy trình ETL sang các công nghệ dựa trên nền tảng đám mây như Keo AWS tốn thời gian và có thể dễ xảy ra lỗi do con người. Bộ công cụ thông minh và dữ liệu nhận thức (CDIT) – Công cụ chuyển đổi ETL tự động hóa quy trình này, mang lại khả năng dự đoán và độ chính xác cao hơn, loại bỏ rủi ro liên quan đến chuyển đổi thủ công và cung cấp thời gian tiếp thị nhanh hơn cho khách hàng.
Nhận thức là một Đối tác dịch vụ cấp cao nhất của AWS với một số Năng lực AWS. Với cách tiếp cận mang tính tư vấn và dựa trên ngành, Cognizant giúp khách hàng hình dung, xây dựng và điều hành các hoạt động kinh doanh sáng tạo và hiệu quả hơn.
Trong bài đăng này, chúng tôi mô tả cách Bộ công cụ dữ liệu & thông minh (CDIT) - Công cụ chuyển đổi ETL của Cognizant có thể giúp bạn tự động chuyển đổi mã ETL cũ sang AWS Glue một cách nhanh chóng và hiệu quả. Chúng tôi cũng mô tả các bước chính có liên quan, các tính năng được hỗ trợ và lợi ích của chúng.
Tổng quan về giải pháp
Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL tự động chuyển đổi quy trình ETL và mã điều phối từ các công cụ cũ sang AWS Glue và Chức năng bước AWS và loại bỏ các quy trình thủ công liên quan đến hành trình di chuyển sang đám mây ETL của khách hàng.
Nó đi kèm với một giao diện người dùng trực quan (UI). Bạn có thể sử dụng các trình tăng tốc này bằng cách chọn công cụ ETL nguồn và đích để chuyển đổi, sau đó tải lên tệp XML của ánh xạ ETL để chuyển đổi làm đầu vào.
Công cụ này cũng hỗ trợ giám sát liên tục tiến độ tổng thể và áp dụng các cơ chế cảnh báo trong trường hợp có bất kỳ sự cố, sai sót hoặc sự cố vận hành nào.
Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL sử dụng nội bộ nhiều dịch vụ AWS gốc, chẳng hạn như Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và Dịch vụ cơ sở dữ liệu quan hệ của Amazon (Amazon RDS) để quản lý lưu trữ và siêu dữ liệu; Đám mây điện toán đàn hồi Amazon (Amazon EC2) và AWS Lambda để xử lý; amazoncloudwatch, Dịch vụ quản lý khóa AWS (AWS KMS) và Trung tâm nhận dạng AWS IAM (kế thừa của AWS Single Sign-On) để giám sát và bảo mật; Và Hình thành đám mây AWS cho việc quản lý cơ sở hạ tầng. Sơ đồ sau minh họa kiến trúc này.
Cách sử dụng CDIT: Công cụ chuyển đổi ETL để di chuyển ETL.
Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL hỗ trợ các công cụ ETL kế thừa sau đây làm nguồn và hỗ trợ tạo tập lệnh AWS Glue ETL tương ứng trong cả Python và Scala:
- Tin học
- Giai đoạn dữ liệu
- SSIS
- Tài năng
Hãy xem xét các bước di chuyển chi tiết hơn.
Đánh giá quy trình ETL kế thừa
Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL cho phép bạn đánh giá hàng loạt tỷ lệ tự động hóa tiềm năng và độ phức tạp của một tập hợp các công việc và quy trình công việc ETL nằm trong phạm vi di chuyển sang AWS Glue. Tùy chọn đánh giá giúp bạn hiểu loại tiết kiệm nào có thể đạt được bằng cách sử dụng Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL, độ phức tạp của ánh xạ ETL và mức độ chuyển đổi thủ công cần thiết, nếu có. Bạn có thể tải lên một ánh xạ ETL hoặc một thư mục chứa nhiều ánh xạ ETL làm đầu vào cho đánh giá và tạo báo cáo đánh giá, như minh họa trong hình sau.
Chuyển đổi mã ETL sang AWS Glue
Để chuyển đổi mã ETL cũ, bạn tải tệp XML của ánh xạ ETL lên làm đầu vào cho công cụ. Thông tin đầu vào của người dùng được lưu trữ trong kho lưu trữ siêu dữ liệu nội bộ của công cụ và Bộ công cụ thông minh & dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL phân tích các tệp đầu vào XML này và chia chúng thành mô hình chuẩn đã được cấp bằng sáng chế, sau đó được thiết kế chuyển tiếp vào AWS Glue mục tiêu tập lệnh bằng Python hoặc Scala. Ảnh chụp màn hình sau đây hiển thị một ví dụ về Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): GUI của Công cụ chuyển đổi ETL và Bảng điều khiển đầu ra cửa sổ.
Nếu bất kỳ phần nào của tác vụ ETL đầu vào không thể chuyển đổi hoàn toàn thành tập lệnh AWS Glue tương đương, thì phần đó sẽ được gắn thẻ giữa các dòng nhận xét ở đầu ra để có thể sửa chữa theo cách thủ công.
Chuyển đổi quy trình làm việc thành Step Functions
Bước hợp lý tiếp theo sau khi chuyển đổi các công việc ETL cũ là sắp xếp việc chạy các công việc này theo thứ tự hợp lý. Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL cho phép bạn tự động chuyển đổi quy trình làm việc ETL tại chỗ bằng cách chuyển đổi chúng sang quy trình làm việc của Step Functions tương ứng. Hình dưới đây minh họa quy trình làm việc Informatica đầu vào mẫu.
Chuyển đổi quy trình công việc tuân theo mẫu tương tự như mẫu ánh xạ ETL. Các tệp XML cho quy trình làm việc ETL được tải lên dưới dạng đầu vào và Bộ công cụ thông minh & dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL, nó tạo ra tệp JSON của Step Functions tương đương dựa trên dữ liệu tệp XML đầu vào.
Lợi ích của việc sử dụng Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL
Sau đây là những lợi ích chính của việc sử dụng Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL để tự động hóa chuyển đổi ETL cũ:
- Giảm chi phí – Bạn có thể giảm tới 80% nỗ lực di chuyển tổng thể bằng cách tự động chuyển đổi ETL và quy trình làm việc sang AWS Glue và Step Functions
- Lập kế hoạch và thực hiện tốt hơn – Bạn có thể đánh giá phạm vi ETL và xác định tỷ lệ phần trăm tự động hóa, độ phức tạp và các mẫu không được hỗ trợ trước khi bắt đầu dự án, dẫn đến ước tính và tiến trình chính xác
- đầy đủ – Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL cung cấp một giải pháp hỗ trợ nhiều công cụ ETL cũ như Informatica, DataStage, Talend, v.v.
- Cải thiện trải nghiệm khách hàng – Bạn có thể đạt được mục tiêu di chuyển một cách liền mạch mà không gặp lỗi do chuyển đổi thủ công và với tỷ lệ tự động hóa cao
Nghiên cứu điển hình: Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Đề xuất triển khai Công cụ chuyển đổi ETL
Một công ty bảo hiểm và niên kim lớn có trụ sở tại Hoa Kỳ muốn di chuyển quy trình ETL cũ của họ trong Informatica sang AWS Glue như một phần trong chiến lược di chuyển sang đám mây của họ.
Là một phần của sự tham gia này, Cognizant đã giúp khách hàng di chuyển thành công các công việc và quy trình làm việc ETL tích hợp và thu thập dữ liệu dựa trên Informatica sang AWS. Bằng chứng về khái niệm (PoC) sử dụng Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL đã được hoàn thành trước tiên để giới thiệu và xác thực các khả năng tự động hóa.
Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL được sử dụng để tự động chuyển đổi lần lượt hơn 300 ánh xạ Informatica và quy trình công việc sang các công việc AWS Glue và quy trình công việc Step Functions tương đương. Kết quả là khách hàng có thể di chuyển tất cả mã ETL cũ sang AWS theo kế hoạch và gỡ bỏ ứng dụng cũ.
Sau đây là những điểm nổi bật chính từ sự tham gia này:
- Di chuyển hơn 300 công việc Informatica ETL cũ sang AWS Glue
- Tự động chuyển đổi hơn 6,000 lượt chuyển đổi từ ETL cũ sang AWS Glue
- Đạt được tự động hóa 85% khi sử dụng CDIT: Công cụ chuyển đổi ETL
- Khách hàng đã tiết kiệm phí cấp phép và gỡ bỏ ứng dụng cũ theo kế hoạch
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về tầm quan trọng của việc di chuyển các quy trình ETL cũ sang đám mây đối với sự thành công của hành trình di chuyển sang đám mây. Bộ công cụ thông minh và dữ liệu nhận thức (CDIT): Công cụ chuyển đổi ETL cho phép bạn thực hiện đánh giá quy trình ETL hiện có để rút ra tỷ lệ phần trăm phức tạp và tự động hóa nhằm ước tính và lập kế hoạch tốt hơn. Chúng tôi cũng thảo luận về các công nghệ ETL được Bộ công cụ thông minh & dữ liệu nhận thức (CDIT) hỗ trợ: Công cụ chuyển đổi ETL và cách chuyển đổi các công việc ETL thành tập lệnh AWS Glue tương ứng. Cuối cùng, chúng tôi đã trình bày cách sử dụng quy trình công việc ETL hiện có để tự động tạo các công việc điều phối Step Functions tương ứng.
Để tìm hiểu thêm, vui lòng liên hệ với Cognizant.
Về các tác giả
Deepak Singh là Kiến trúc sư giải pháp cấp cao tại Amazon Web Services với hơn 20 năm kinh nghiệm về Dữ liệu & AIA. Anh thích làm việc với các đối tác và khách hàng của AWS trong việc xây dựng các giải pháp phân tích có thể mở rộng cho kết quả kinh doanh của họ. Khi không làm việc, anh ấy thích dành thời gian cho gia đình hoặc khám phá các công nghệ mới trong không gian phân tích và AI.
Piyush Patra là Kiến trúc sư giải pháp đối tác tại Amazon Web Services, nơi ông hỗ trợ các đối tác trong hành trình Phân tích của họ và là người đứng đầu toàn cầu về các chương trình đối tác Di chuyển và Hiện đại hóa tài sản dữ liệu chiến lược.
Govind Mohan là Phó Giám đốc của Cognizant với hơn 18 năm kinh nghiệm trong lĩnh vực dữ liệu và phân tích, ông đã giúp thiết kế và triển khai nhiều dự án di chuyển dữ liệu quy mô lớn, nâng cấp & chuyển đổi ứng dụng cũng như hiện đại hóa kế thừa, đồng thời hợp tác chặt chẽ với khách hàng trong việc đẩy nhanh hành trình hiện đại hóa đám mây tận dụng nền tảng Bộ công cụ thông minh và dữ liệu nhận thức (CDIT).
Kausik Dhar là công ty dẫn đầu về công nghệ với hơn 23 năm kinh nghiệm về CNTT - chủ yếu tập trung vào Dữ liệu & Phân tích, Hiện đại hóa Dữ liệu, Phát triển Ứng dụng, Quản lý Phân phối và Kiến trúc Giải pháp. Ông đã đóng một vai trò quan trọng trong việc hướng dẫn khách hàng thiết kế và thực hiện di chuyển quy trình và dữ liệu quy mô lớn, bên cạnh việc dẫn đầu triển khai đám mây thành công. Kausik có chuyên môn trong việc xây dựng chiến lược di chuyển cho các chương trình phức tạp và xây dựng kiến trúc hồ dữ liệu/Lakehouse một cách thành thạo bằng cách sử dụng nhiều công cụ và công nghệ.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- : có
- :là
- :không phải
- :Ở đâu
- 000
- 100
- 220
- 23
- 300
- a
- Có khả năng
- tăng tốc
- máy gia tốc
- chính xác
- chính xác
- Đạt được
- đạt được
- có được
- mua lại
- Ngoài ra
- Lợi thế
- Sau
- AI
- AIA
- Tất cả
- Ngoài ra
- Mặc dù
- đàn bà gan dạ
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Phân tích
- phân tích
- và
- bất kì
- Các Ứng Dụng
- Phát triển ứng dụng
- phương pháp tiếp cận
- kiến trúc
- LÀ
- Mảng
- AS
- đánh giá
- thẩm định, lượng định, đánh giá
- Liên kết
- liên kết
- At
- tự động hóa
- tự động hóa
- tự động
- tự động hóa
- Tự động hóa
- AWS
- Keo AWS
- dựa
- BE
- trước
- Lợi ích
- Hơn
- giữa
- Blog
- cả hai
- nghỉ giải lao
- Đưa
- xây dựng
- Xây dựng
- kinh doanh
- các doanh nghiệp
- nhưng
- by
- CAN
- khả năng
- gây ra
- khách hàng
- chặt chẽ
- đám mây
- mã
- nhận thức
- đến
- bình luận
- Các công ty
- công ty
- Hoàn thành
- hoàn toàn
- phức tạp
- phức tạp
- Tính
- khái niệm
- An ủi
- xây dựng
- liên tục
- Chuyển đổi
- chuyển đổi
- chuyển đổi
- chuyển đổi
- Tương ứng
- Phí Tổn
- quan trọng
- khách hàng
- khách hàng
- dữ liệu
- kho dữ liệu
- Kho dữ liệu
- Cơ sở dữ liệu
- giao hàng
- chứng minh
- mô tả
- Thiết kế
- thiết kế
- chi tiết
- Xác định
- Phát triển
- Giám đốc
- thảo luận
- xuống
- hiệu quả
- hiệu quả
- nỗ lực
- loại trừ hết
- loại bỏ
- thuê mướn
- cho phép
- Cuối cùng đến cuối
- Tham gia
- thiết kế
- làm giàu
- hình dung
- Tương đương
- lôi
- lỗi
- bất động sản
- Ether (ETH)
- Sự kiện
- ví dụ
- thi hành
- hiện tại
- kinh nghiệm
- chuyên môn
- Khám phá
- mức độ
- trích xuất
- gia đình
- nhanh hơn
- Tính năng
- Lệ Phí
- Hình
- Tập tin
- Các tập tin
- Tên
- cố định
- Tập trung
- tập trung
- tiếp theo
- sau
- Trong
- xây dựng
- Forward
- từ
- chức năng
- tạo ra
- tạo
- tạo ra
- Toàn cầu
- Các mục tiêu
- Có
- có
- he
- giúp đỡ
- đã giúp
- giúp
- Cao
- nổi bật
- Độ đáng tin của
- Hướng dẫn
- http
- HTTPS
- Nhân loại
- IAM
- Bản sắc
- if
- minh họa
- thực hiện
- thực hiện
- triển khai
- in
- Cơ sở hạ tầng
- Sáng kiến
- sáng tạo
- đầu vào
- đầu vào
- bảo hiểm
- hội nhập
- Sự thông minh
- Giao thức
- nội bộ
- nội bộ
- trong
- trực quan
- tham gia
- các vấn đề
- IT
- ITS
- Việc làm
- việc làm
- cuộc hành trình
- Những hành trình
- jpg
- json
- Key
- Loại
- lớn
- quy mô lớn
- cuối cùng
- mới nhất
- dẫn
- lãnh đạo
- LEARN
- Legacy
- cho phép
- tận dụng
- Cấp phép
- Lượt thích
- dòng
- tải
- hợp lý
- còn
- Xem
- Rất nhiều
- yêu
- Chủ yếu
- quản lý
- nhãn hiệu
- thủ công
- nhiều
- lập bản đồ
- thị trường
- cơ chế
- Siêu dữ liệu
- di chuyển
- di cư
- di cư
- kiểu mẫu
- hiện đại hóa
- giám sát
- chi tiết
- nhiều
- nhiều
- tự nhiên
- sự cần thiết
- cần thiết
- Mới
- Công nghệ mới
- tiếp theo
- Không
- con số
- of
- cung cấp
- Cung cấp
- on
- ONE
- có thể
- hoạt động
- Tùy chọn
- or
- dàn nhạc
- gọi món
- ra
- kết quả
- đầu ra
- kết thúc
- tổng thể
- một phần
- đối tác
- Đối tác
- được cấp bằng sáng chế
- Họa tiết
- mô hình
- tỷ lệ phần trăm
- thực hiện
- quan trọng
- Nơi
- kế hoạch
- lập kế hoạch
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- đóng
- xin vui lòng
- PoC
- Bài đăng
- tiềm năng
- Thủ tướng
- chủ yếu
- quá trình
- Quy trình
- xử lý
- Khóa Học
- Tiến độ
- dự án
- dự án
- bằng chứng
- bằng chứng về khái niệm
- đề xuất
- cung cấp
- Python
- Mau
- đạt
- giảm
- báo cáo
- kho
- tương ứng
- kết quả
- kết quả
- viết lại
- Nguy cơ
- Vai trò
- chạy
- Lưu
- lưu
- tiết kiệm
- Scala
- khả năng mở rộng
- phạm vi
- kịch bản
- kịch bản
- liền mạch
- an ninh
- đã xem
- lựa chọn
- cao cấp
- DỊCH VỤ
- định
- một số
- thay đổi
- giới thiệu
- thể hiện
- Chương trình
- tương tự
- Đơn giản
- duy nhất
- So
- giải pháp
- Giải pháp
- nguồn
- Không gian
- mũi nhọn
- Chi
- Bắt đầu
- Bước
- Các bước
- là gắn
- lưu trữ
- Chiến lược
- chiến lược
- Chiến lược
- Học tập
- thành công
- thành công
- Thành công
- như vậy
- hỗ trợ
- Hỗ trợ
- Hỗ trợ
- Hãy
- Mục tiêu
- Công nghệ
- Công nghệ
- hơn
- việc này
- Sản phẩm
- Nguồn
- cung cấp their dịch
- Them
- sau đó
- Kia là
- điều này
- Thông qua
- tầng
- thời gian
- đến
- công cụ
- bộ công cụ
- công cụ
- đối với
- truyền thống
- Chuyển đổi
- biến đổi
- ui
- hiểu
- tải lên
- Đang tải lên
- sử dụng
- đã sử dụng
- người sử dang
- Giao diện người dùng
- sử dụng
- sử dụng
- HIỆU LỰC
- Đã xem
- muốn
- Kho
- là
- we
- web
- các dịch vụ web
- Điều gì
- khi nào
- cái nào
- rộng
- với
- không có
- Công việc
- quy trình làm việc
- Luồng công việc
- đang làm việc
- công trinh
- XML
- năm
- năm
- bạn
- zephyrnet