Эта запись в блоге написана в соавторстве с Говиндом Моханом и Каузиком Дхаром из Cgniant.
Миграция локальных хранилищ данных в облако больше не рассматривается как вариант, а как необходимость для компаний сэкономить средства и воспользоваться преимуществами новейших технологий. Хотя мы наблюдаем большое внимание к миграции данных из устаревших хранилищ данных в облако и множество инструментов для поддержки этой инициативы, данные — это лишь часть пути. Успешная миграция устаревших процессов извлечения, преобразования и загрузки (ETL), которые получают, обогащают и преобразуют данные, играет ключевую роль в успехе любой сквозной миграции хранилища данных в облако.
Традиционный подход, заключающийся в ручном переписывании большого количества процессов ETL на облачные технологии, такие как Клей AWS требует много времени и может быть подвержено человеческим ошибкам. Cознательный Data & Intelligence Toolkit (CDIT) — инструмент преобразования ETL автоматизирует этот процесс, обеспечивая большую предсказуемость и точность, устраняя риск, связанный с ручным преобразованием, и ускоряя выход на рынок для клиентов.
Осознавший есть Партнер AWS по обслуживанию уровня Premier с несколькими компетенциями AWS. Благодаря своему отраслевому консультативному подходу Counceant помогает клиентам планировать, строить и управлять более инновационным и эффективным бизнесом.
В этом посте мы описываем, как набор инструментов для обработки данных и аналитики (CDIT) — ETL Conversion Tool от Counceant может помочь вам быстро и эффективно автоматически конвертировать устаревший код ETL в AWS Glue. Мы также описываем основные этапы, поддерживаемые функции и их преимущества.
Обзор решения
Cознательный Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL автоматизирует преобразование конвейеров ETL и кода оркестрации из устаревших инструментов в AWS Glue и Шаговые функции AWS и исключает ручные процессы, связанные с миграцией клиента в облако ETL.
Он поставляется с интуитивно понятным пользовательским интерфейсом (UI). Вы можете использовать эти ускорители, выбрав исходный и целевой инструмент ETL для преобразования, а затем загрузив XML-файл сопоставления ETL для преобразования в качестве входных данных.
Инструмент также поддерживает непрерывный мониторинг общего прогресса, а также механизмы оповещения в случае любых сбоев, ошибок или эксплуатационных проблем.
Cознательный Data & Intelligence Toolkit (CDIT): Инструмент преобразования ETL внутренне использует множество собственных сервисов AWS, таких как Простой сервис хранения Amazon (Amazon S3) и Сервис реляционной базы данных Amazon (Amazon RDS) для хранения и управления метаданными; Эластичное вычислительное облако Amazon (Amazon EC2) и AWS Lambda для обработки; Amazon CloudWatch, Служба управления ключами AWS (AWS KMS) и Центр идентификации AWS IAM (преемник AWS Single Sign-On) для мониторинга и безопасности; и AWS CloudFormation для управления инфраструктурой. Следующая диаграмма иллюстрирует эту архитектуру.
Как использовать CDIT: инструмент преобразования ETL для миграции ETL.
Cознательный Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL поддерживает следующие устаревшие инструменты ETL в качестве источника и поддерживает создание соответствующих сценариев AWS Glue ETL как на Python, так и на Scala:
- информатика
- DataStage
- ССИС
- Talend
Давайте рассмотрим этапы миграции более подробно.
Оцените устаревший процесс ETL
Cознательный Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL позволяет массово оценить потенциальный процент автоматизации и сложность набора заданий и рабочих процессов ETL, которые подлежат миграции на AWS Glue. Опция оценки поможет вам понять, какой экономии можно достичь с помощью Counceant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL, сложность сопоставлений ETL и степень необходимого ручного преобразования, если таковое требуется. Вы можете загрузить одно сопоставление ETL или папку, содержащую несколько сопоставлений ETL, в качестве входных данных для оценки и создать отчет об оценке, как показано на следующем рисунке.
Преобразование кода ETL в AWS Glue
Чтобы преобразовать устаревший код ETL, вы загружаете XML-файл сопоставления ETL в качестве входных данных в инструмент. Введенные пользователем данные хранятся во внутреннем репозитории метаданных инструмента и Ccientant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL анализирует эти входные XML-файлы и разбивает их на запатентованную каноническую модель, которая затем преобразуется в целевой AWS Glue. скрипты на Python или Scala. На следующем снимке экрана показан пример набора инструментов Ccientant Data & Intelligence Toolkit (CDIT): графический интерфейс инструмента преобразования ETL и Выходная консоль панель.
Если какую-либо часть входного задания ETL не удается полностью преобразовать в эквивалентный сценарий AWS Glue, она помечается между строками комментариев в выходных данных, чтобы ее можно было исправить вручную.
Преобразование рабочего процесса в пошаговые функции
Следующим логическим шагом после преобразования устаревших заданий ETL является организация выполнения этих заданий в логическом порядке. Набор инструментов Counceant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL позволяет автоматизировать преобразование локальных рабочих процессов ETL путем преобразования их в соответствующие рабочие процессы пошаговых функций. На следующем рисунке показан пример рабочего процесса ввода данных Informatica.
Преобразование рабочего процесса происходит по той же схеме, что и преобразование ETL. XML-файлы для рабочих процессов ETL загружаются в качестве входных данных, а Counceant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL генерирует эквивалентный JSON-файл Step Functions на основе входных данных XML-файла.
Преимущества использования набора инструментов Ccientant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL
Ниже приведены основные преимущества использования Counceant Data & Intelligence Toolkit (CDIT): Инструмент преобразования ETL для автоматизации устаревшего преобразования ETL:
- Снижение цены – Вы можете сократить общие усилия по миграции на целых 80 %, автоматизировав преобразование ETL и рабочих процессов в функции AWS Glue и Step.
- Лучшее планирование и реализация – Вы можете оценить объем ETL и определить процент автоматизации, сложность и неподдерживаемые шаблоны до начала проекта, что приводит к точной оценке и срокам.
- завершенность – Набор инструментов Counceant Data & Intelligence (CDIT): инструмент преобразования ETL предлагает единое решение с поддержкой нескольких устаревших инструментов ETL, таких как Informatica, DataStage, Talend и других.
- Улучшенный опыт работы с клиентами – Вы можете легко достичь целей миграции без ошибок, вызванных ручным преобразованием, и с высоким процентом автоматизации.
Практический пример: набор инструментов Counceant Data & Intelligence Toolkit (CDIT): предлагаемая реализация инструмента преобразования ETL
Крупная американская страховая и аннуитетная компания хотела перенести свой устаревший процесс ETL из Informatica на AWS Glue в рамках своей стратегии миграции в облако.
В рамках этого проекта компания Cowlant помогла клиенту успешно перенести задания и рабочие процессы ETL по сбору и интеграции данных на основе Informatica на AWS. Сначала была проведена проверка концепции (PoC) с использованием Counceant Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL для демонстрации и проверки возможностей автоматизации.
Cознательный Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL использовался для автоматизации преобразования более 300 сопоставлений и рабочих процессов Informatica в эквивалентные задания AWS Glue и рабочие процессы Step Functions соответственно. В результате клиент смог перенести весь устаревший код ETL на AWS, как и планировалось, и вывести устаревшее приложение из эксплуатации.
Ниже приведены ключевые моменты этого взаимодействия:
- Миграция более 300 устаревших ETL-заданий Informatica на AWS Glue
- Автоматизированное преобразование более 6,000 преобразований из устаревшего ETL в AWS Glue.
- Автоматизация на 85 % достигнута с помощью CDIT: инструмента преобразования ETL.
- Клиент сэкономил на лицензионных сборах и удалил устаревшее приложение, как и планировалось.
Заключение
В этом посте мы обсудили, как миграция устаревших процессов ETL в облако имеет решающее значение для успеха миграции в облако. Cознательный Data & Intelligence Toolkit (CDIT): инструмент преобразования ETL позволяет вам выполнить оценку существующего процесса ETL, чтобы определить сложность и процент автоматизации для лучшей оценки и планирования. Мы также обсудили технологии ETL, поддерживаемые Cowlant Data & Intelligence Toolkit (CDIT): Инструмент преобразования ETL, и способы преобразования заданий ETL в соответствующие сценарии AWS Glue. Наконец, мы продемонстрировали, как использовать существующие рабочие процессы ETL для автоматического создания соответствующих заданий оркестровки Step Functions.
Чтобы узнать больше, обратитесь в Cknowant.
Об авторах
Дипак Сингх является старшим архитектором решений в Amazon Web Services с более чем 20-летним опытом работы с данными и AIA. Ему нравится работать с партнерами и клиентами AWS над созданием масштабируемых аналитических решений для их бизнес-результатов. В свободное от работы время он любит проводить время с семьей или изучать новые технологии в области аналитики и искусственного интеллекта.
Пиюш Патра является архитектором партнерских решений в Amazon Web Services, где он поддерживает партнеров в их аналитических поездках и является глобальным руководителем стратегических партнерских программ модернизации и миграции данных.
Говинд Мохан является заместителем директора компании Cowlant с более чем 18-летним опытом работы в сфере данных и аналитики. Он помог спроектировать и реализовать множество крупномасштабных проектов по миграции данных, подъему и смене приложений, а также проектам модернизации устаревших систем, а также тесно сотрудничает с клиентами в ускорении процесса модернизации облака. использование платформы Counceant Data and Intelligence Toolkit (CDIT).
Каусик Дхар — технологический лидер с более чем 23-летним опытом работы в сфере ИТ, в первую очередь специализирующимся на данных и аналитике, модернизации данных, разработке приложений, управлении доставкой и архитектуре решений. Он сыграл ключевую роль в сопровождении клиентов при проектировании и выполнении крупномасштабной миграции данных и процессов, а также в инициировании успешных внедрений облачных технологий. Каузик обладает опытом в разработке стратегий миграции для сложных программ и умелом построении архитектуры озера данных/озёрного дома с использованием широкого спектра инструментов и технологий.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :имеет
- :является
- :нет
- :куда
- 000
- 100
- 220
- 23
- 300
- a
- в состоянии
- ускоряющий
- ускорители
- точность
- точный
- Достигать
- достигнутый
- приобретать
- приобретение
- дополнение
- плюс
- После
- AI
- AIA
- Все
- причислены
- Несмотря на то, что
- Amazon
- Amazon EC2
- Амазон РДС
- Amazon Web Services
- an
- Аналитические фармацевтические услуги
- аналитика
- и
- любой
- Применение
- Разработка приложения
- подхода
- архитектура
- МЫ
- массив
- AS
- оценить
- оценки;
- Юрист
- связанный
- At
- автоматизировать
- автоматы
- автоматически
- Автоматизация
- автоматизация
- AWS
- Клей AWS
- основанный
- BE
- до
- Преимущества
- Лучшая
- между
- Блог
- изоферменты печени
- брейки
- Приведение
- строить
- Строительство
- бизнес
- бизнес
- но
- by
- CAN
- возможности
- вызванный
- клиентов
- тесно
- облако
- код
- осведомленный
- выходит
- комментарий
- Компании
- Компания
- Заполненная
- полностью
- комплекс
- сложность
- Вычисление
- сама концепция
- Консоли
- строительство
- (CIJ)
- Конверсия
- конвертировать
- переделанный
- преобразование
- соответствующий
- Цена
- критической
- клиент
- Клиенты
- данным
- информационное хранилище
- хранилища данных
- База данных
- поставка
- убивают
- описывать
- Проект
- проектирование
- подробность
- Определять
- Развитие
- директор
- обсуждается
- вниз
- фактически
- эффективный
- усилие
- ликвидирует
- уничтожение
- используя
- позволяет
- впритык
- обязательство
- инженерии
- обогащать
- себе
- Эквивалент
- ошибка
- ошибки
- имущество
- Эфир (ETH)
- События
- пример
- проведение
- существующий
- опыт
- опыта
- Исследование
- степень
- извлечение
- семья
- быстрее
- Особенности
- Сборы
- фигура
- Файл
- Файлы
- Во-первых,
- фиксированной
- Фокус
- внимание
- после
- следующим образом
- Что касается
- формулирование
- вперед
- от
- Функции
- порождать
- генерирует
- порождающий
- Глобальный
- Цели
- Есть
- имеющий
- he
- помощь
- помог
- помогает
- High
- основной момент
- Как
- How To
- HTTP
- HTTPS
- человек
- IAM
- Личность
- if
- иллюстрирует
- осуществлять
- реализация
- реализации
- in
- Инфраструктура
- Инициатива
- инновационный
- вход
- затраты
- страхование
- интеграции.
- Интеллекта
- Интерфейс
- в нашей внутренней среде,
- внутренне
- в
- интуитивный
- вовлеченный
- вопросы
- IT
- ЕГО
- работа
- Джобс
- путешествие
- Путешествия
- JPG
- JSON
- Основные
- Вид
- большой
- крупномасштабный
- наконец
- последний
- вести
- лидер
- УЧИТЬСЯ
- Наследие
- Lets
- Используя
- Лицензирование
- такое как
- линий
- загрузка
- логический
- дольше
- посмотреть
- серия
- любит
- Главная
- управление
- руководство
- вручную
- многих
- отображение
- рынок
- механизмы
- Метаданные
- мигрировать
- мигрирующий
- миграция
- модель
- модернизация
- Мониторинг
- БОЛЕЕ
- много
- с разными
- родной
- необходимость
- необходимый
- Новые
- Новые технологии
- следующий
- нет
- номер
- of
- предлагают
- Предложения
- on
- ONE
- только
- оперативный
- Опция
- or
- оркестровка
- заказ
- внешний
- Результаты
- выходной
- за
- общий
- часть
- партнер
- партнеры
- запатентованная
- шаблон
- паттеранами
- процент
- выполнять
- основной
- Часть
- запланированный
- планирование
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- играл
- играет
- пожалуйста
- PoC
- После
- потенциал
- премьер-министр
- в первую очередь
- процесс
- Процессы
- обработка
- Программы
- Прогресс
- Проект
- проектов
- доказательство
- доказательство концепции
- предложило
- обеспечение
- Питон
- быстро
- достигать
- уменьшить
- отчету
- хранилище
- соответственно
- результат
- в результате
- перезаписи
- Снижение
- Роли
- Run
- Сохранить
- сохраняются
- экономия
- масштаб
- масштабируемые
- сфера
- скрипт
- скрипты
- легко
- безопасность
- видел
- выбор
- старший
- Услуги
- набор
- несколько
- сдвиг
- демонстрации
- показанный
- Шоу
- аналогичный
- просто
- одинарной
- So
- Решение
- Решения
- Источник
- Space
- возглавляет
- Расходы
- Начало
- Шаг
- Шаги
- диск
- хранить
- Стратегический
- стратегий
- Стратегия
- Кабинет
- успех
- успешный
- Успешно
- такие
- поддержка
- Поддержанный
- Поддержка
- взять
- цель
- технологии
- Технологии
- чем
- который
- Ассоциация
- Источник
- их
- Их
- тогда
- Эти
- этой
- Через
- ярус
- время
- в
- инструментом
- Инструментарий
- инструменты
- к
- традиционный
- Transform
- преобразований
- ui
- понимать
- загружено
- Загрузка
- использование
- используемый
- Информация о пользователе
- Пользовательский интерфейс
- использования
- через
- VALIDATE
- просматриваемые
- стремятся
- Склады
- законопроект
- we
- Web
- веб-сервисы
- Что
- когда
- который
- широкий
- без
- Работа
- рабочий
- Рабочие процессы
- работает
- работает
- XML
- год
- лет
- являетесь
- зефирнет