Представляємо гібридне машинне навчання

Gartner прогнозує, що до кінця 2024 року 75% підприємств перейдуть від пілотування до впровадження штучного інтелекту (ШІ), а переважна більшість робочих навантажень у довгостроковій перспективі буде розміщено в хмарі. Для деяких підприємств, які планують перейти на хмару, складність, обсяг і тривалість міграції можуть бути страшними. Швидкість різних команд і їхні апетити до нових інструментів можуть різко відрізнятися. Команда підприємства з обробки даних може прагнути запровадити новітні хмарні технології, тоді як команда розробників додатків зосереджена на запуску своїх веб-додатків на місці. Навіть з багаторічним планом міграції в хмару деякі випуски продуктів повинні бути створені в хмарі, щоб досягти бізнес-результатів підприємства.

Для цих клієнтів ми пропонуємо шаблони гібридного машинного навчання (ML) як проміжний крок у вашому шляху до хмари. Шаблони гібридного машинного навчання включають щонайменше два обчислювальних середовища, як правило, локальні обчислювальні ресурси, такі як персональні ноутбуки або корпоративні центри обробки даних, і хмару. За допомогою шаблонів гібридної архітектури машинного навчання, описаних у цій публікації, підприємства можуть досягати своїх бажаних бізнес-цілей, не чекаючи завершення хмарної міграції. Зрештою, ми хочемо підтримувати успіх клієнтів у всіх формах і формах.

Ми опублікували новий білий документ, Гібридне машинне навчання, щоб допомогти вам інтегрувати хмару з наявною локальною інфраструктурою машинного навчання. Більше технічних документів від AWS див Документи та посібники AWS.

Патерни гібридної архітектури ML

Офіційний документ містить огляд різноманітних гібридних шаблонів ML протягом усього життєвого циклу ML, включаючи розробку моделі ML, підготовку даних, навчання, розгортання та постійне керування. У наведеній нижче таблиці підсумовано вісім різних гібридних архітектурних шаблонів машинного навчання, які ми обговорюємо в документі. Для кожного шаблону ми надаємо попередню еталонну архітектуру на додаток до переваг і недоліків. Ми також визначаємо критерій «коли рухатися», щоб допомогти вам прийняти рішення, наприклад, коли рівень зусиль для підтримки та масштабування певного шаблону перевищує значення, яке він надає.

розробка	Навчання	розгортання
Розробляйте на персональних комп’ютерах, навчайтеся та розміщуйте в хмарі	Навчайтеся локально, розгортайте в хмарі	Обслуговуйте моделі ML у хмарі для локальних програм
Розробляйте на локальних серверах, навчайте та розміщуйте в хмарі	Зберігайте дані локально, навчайте та розгортайте в хмарі	Розміщуйте моделі ML за допомогою Lambda@Edge у локальних програмах
	Розробляйте в хмарі, підключаючись до локальних даних	Навчайтеся у стороннього постачальника SaaS для розміщення в хмарі
	Навчайтеся в хмарі, розгортайте моделі ML на місці	Організуйте гібридні робочі навантаження ML за допомогою Kubeflow і Amazon EKS Anywhere

У цій публікації ми глибоко зануримося в шаблон гібридної архітектури для розгортання з акцентом на обслуговування моделей, розміщених у хмарі, до програм, розміщених на локальних підприємствах.

Огляд архітектури

Найпоширенішим випадком використання цього гібридного шаблону є корпоративна міграція. Ваша команда з обробки даних може бути готова до розгортання в хмарі, але ваша команда додатків все ще рефакторингує свій код для розміщення у хмарних сервісах. Цей підхід дає змогу дослідникам обробки даних виводити на ринок свої найновіші моделі, тоді як команда програми окремо розглядає, коли, куди та як перенести решту програми в хмару.

На наступній діаграмі показано архітектуру для розміщення моделі ML через Amazon SageMaker в регіоні AWS, обслуговуючи відповіді на запити від додатків, розміщених на території.

Технічне глибоке занурення

У цьому розділі ми глибоко зануримося в технічну архітектуру та зосередимося на різних компонентах, які безпосередньо складають гібридне робоче навантаження, і за потреби звернемося до інших ресурсів.

Давайте розглянемо реальний випадок використання роздрібної компанії, чия команда розробників додатків розмістила веб-додаток для електронної комерції на місці. Компанія хоче підвищити лояльність до бренду, збільшити продажі та доходи, а також підвищити ефективність, використовуючи дані для створення більш складного та унікального досвіду клієнтів. Вони мають намір збільшити залученість клієнтів на 50%, додавши віджет «рекомендовано для вас» на свій головний екран. Однак їм важко надати персоналізований досвід через обмеження статичних систем на основі правил, складності та витрати, а також проблеми з інтеграцією платформи через поточну застарілу локальну архітектуру.

Команда додатків має 5-річну корпоративну стратегію міграції для рефакторингу свого веб-додатку з використанням хмарної архітектури для переходу в хмару, тоді як команди з обробки даних готові розпочати впровадження в хмарі. Завдяки моделі гібридної архітектури, описаній у цій публікації, компанія може швидко досягти бажаного бізнес-результату, не чекаючи завершення 5-річної міграції підприємства.

Фахівці з обробки даних розробляють модель ML, проводять навчання та розгортають навчену модель у хмарі. Веб-програма електронної комерції, яка розміщена на місці, використовує модель ML через відкриті кінцеві точки. Розглянемо це детально.

На етапі розробки моделі дослідники обробки даних можуть використовувати локальні середовища розробки, такі як інсталяції PyCharm або Jupyter на своєму персональному комп’ютері, а потім підключитися до хмари через Управління ідентифікацією та доступом AWS (IAM) дозволи та інтерфейс із API служби AWS через Інтерфейс командного рядка AWS (AWS CLI) або AWS SDK (наприклад, Boto3). Вони також мають гнучкість у використанні Студія Amazon SageMaker, єдиний візуальний веб-інтерфейс, який постачається зі стандартними пакетами наукових даних і попередньо встановленими ядрами для розробки моделей.

Науковці даних можуть скористатися можливостями навчання SageMaker, включаючи доступ до екземплярів CPU та GPU на вимогу, автоматичне налаштування моделі, керовані точкові екземпляри, контрольні точки для збереження стану моделей, кероване розподілене навчання та багато іншого, використовуючи навчальний SDK SageMaker. і API. Огляд навчальних моделей за допомогою SageMaker див Навчайте модель за допомогою Amazon SageMaker.

Після навчання моделі дослідники даних можуть розгортати моделі за допомогою можливостей хостингу SageMaker і надавати прогнози кінцевої точки HTTP(s) REST для кінцевих додатків, розміщених на місці. Групи розробників додатків можуть інтегрувати свої локальні додатки для взаємодії з моделлю ML через розміщені кінцеві точки SageMaker для отримання результатів висновків. Розробники додатків можуть отримати доступ до розгорнутих моделей через запити інтерфейсу прикладного програмування (API) із часом відповіді лише кілька мілісекунд. Це підтримує випадки використання, які вимагають відповідей у ​​реальному часі, наприклад персоналізовані рекомендації продуктів.

Локальна клієнтська програма з’єднується з моделлю ML, розміщеною на кінцевій точці SageMaker, розміщеній на AWS, через приватну мережу за допомогою з’єднання VPN або Direct Connect, щоб надавати кінцевим користувачам результати висновків. Клієнтська програма може використовувати будь-яку клієнтську бібліотеку для виклику кінцевої точки за допомогою запиту HTTP Post разом із необхідними обліковими даними автентифікації, налаштованими програмно, і очікуваним корисним навантаженням. SageMaker також має команди та бібліотеки, які абстрагують деякі деталі низького рівня, такі як автентифікація за допомогою облікових даних AWS, збережених у нашому середовищі клієнтських програм, наприклад SageMaker invoke-endpoint команда виконання з AWS CLI, клієнт середовища виконання SageMaker з Бото3 (AWS SDK для Python) і клас Predictor від SageMaker Python SDK.

Щоб зробити кінцеву точку доступною через Інтернет, ми можемо використовувати API -шлюз Amazon. Хоча ви можете отримати прямий доступ до розміщених SageMaker кінцевих точок зі шлюзу API, типовим шаблоном, який ви можете використовувати, є додавання AWS Lambda функція між ними. Ви можете використовувати функцію Lambda для будь-якої попередньої обробки, яка може знадобитися для надсилання запиту у форматі, очікуваному кінцевою точкою, або постобробки для перетворення відповіді у формат, необхідний клієнтській програмі. Для отримання додаткової інформації див Викличте кінцеву точку моделі Amazon SageMaker за допомогою Amazon API Gateway і AWS Lambda.

Локальна клієнтська програма з’єднується з моделями ML, розміщеними на SageMaker на AWS, через приватну мережу за допомогою підключення VPN або Direct Connect, щоб надавати кінцевим користувачам результати висновків.

На наведеній нижче діаграмі показано, як команда з вивчення даних розробляє модель ML, проводить навчання та розгортає навчену модель у хмарі, а команда розробників додатків розробляє та розгортає веб-додаток електронної комерції на місці.

Після того, як модель буде розгорнуто у виробничому середовищі, ваші дослідники даних зможуть використовувати її Монітор моделі Amazon SageMaker для постійного моніторингу якості моделей ML у режимі реального часу. Вони також можуть налаштувати автоматичну систему попередження, коли виникають відхилення в якості моделі, наприклад дрейф даних і аномалії. Журнали Amazon CloudWatch збирає файли журналу, відстежуючи стан моделі, і сповіщає вас, коли якість моделі досягає певних порогів. Це дає змогу вашим дослідникам даних вживати коригувальних дій, таких як перепідготовка моделей, перевірка попередніх систем або виправлення проблем із якістю без необхідності моніторингу моделей вручну. Завдяки AWS Managed Services ваша команда з обробки даних може уникнути недоліків впровадження рішень моніторингу з нуля.

Ваші спеціалісти з обробки даних можуть скоротити загальний час, необхідний для розгортання своїх моделей ML у виробництві, автоматизувавши навантажувальне тестування та налаштовуючи моделі в екземплярах ML SageMaker за допомогою Amazon SageMaker Inference Recommender. Це допомагає вашим дослідникам даних вибрати найкращий тип і конфігурацію екземпляра (наприклад, кількість екземплярів, параметри контейнера та оптимізацію моделі) для своїх моделей ML.

Нарешті, завжди найкраще відокремити розміщення вашої моделі ML від розміщення вашої програми. У цьому підході дослідники даних використовують спеціальні ресурси для розміщення своєї моделі ML, зокрема ті, які відокремлені від програми, що значно спрощує процес просування кращих моделей. Це ключовий крок у інноваційному маховику. Це також запобігає будь-якому тісному зв’язку між розміщеною моделлю ML і додатком, завдяки чому модель має високу продуктивність.

Окрім покращення продуктивності моделі з оновленими тенденціями досліджень, цей підхід надає можливість повторно розгортати модель з оновленими даними. Глобальна пандемія COVID-19 продемонструвала реальність того, що ринки постійно змінюються, і модель ML має бути в курсі останніх тенденцій. Єдиний спосіб виконати цю вимогу — мати можливість перенавчати та повторно розгорнути свою модель за допомогою оновлених даних.

Висновок

Перегляньте білий документ Гібридне машинне навчання, у якому ми розглядаємо додаткові шаблони для розміщення моделей ML через Lambda@Edge, Форпости AWS, Локальні зони AWS та AWS довжина хвилі. Ми досліджуємо гібридні моделі машинного навчання протягом усього життєвого циклу машинного навчання. Ми дивимося на локальну розробку, одночасно навчаємо та розгортаємо в хмарі. Ми обговорюємо шаблони для локального навчання для розгортання в хмарі та навіть для розміщення моделей машинного навчання в хмарі для обслуговування додатків на місці.

Як ви інтегруєте хмару з наявною локальною інфраструктурою машинного навчання? Поділіться своїми відгуками про гібридне машинне навчання в коментарях, щоб ми могли продовжувати вдосконалювати наші продукти, функції та документацію. Якщо ви хочете залучити авторів цього документа для отримання поради щодо вашої хмарної міграції, зв’яжіться з нами за адресою hybrid-ml-support@amazon.com.

---

Про авторів

Алак Есварадас є архітектором рішень в AWS, що базується в Чикаго, Іллінойс. Вона захоплено допомагає клієнтам розробляти хмарні архітектури, використовуючи сервіси AWS для вирішення бізнес-завдань. У вільний час вона проводить час зі своїми дочками та досліджує природу.

Емілі Веббер приєднався до AWS відразу після запуску SageMaker і з тих пір намагається розповісти про це всьому світу! Крім створення нових можливостей ML для клієнтів, Емілі любить медитувати та вивчати тибетський буддизм.

Руп Бейнз є архітектором рішень в AWS, який зосереджується на ШІ/ML. Він захоплюється машинним навчанням і допомагає клієнтам досягати їхніх бізнес-цілей. У вільний час захоплюється читанням і походами.

Джерело: https://aws.amazon.com/blogs/machine-learning/introducing-hybrid-machine-learning/