Фундаментальные модели на периферии – Блог IBM

Фундаментальные модели (ФМ) знаменуют начало новой эры в машинное обучение (ML) и искусственный интеллект (ИИ), что ведет к более быстрой разработке искусственного интеллекта, который можно адаптировать к широкому спектру последующих задач и точно настроить для множества приложений. 

Учитывая растущую важность обработки данных во время выполнения работы, обслуживание моделей ИИ на периферии предприятия позволяет делать прогнозы практически в реальном времени, соблюдая при этом требования суверенитета данных и конфиденциальности. Объединив IBM-ватсонкс Возможности платформы данных и искусственного интеллекта для FM с периферийными вычислениями позволяют предприятиям запускать рабочие нагрузки искусственного интеллекта для точной настройки FM и получения логических выводов на периферии операционной системы. Это позволяет предприятиям масштабировать развертывания ИИ на периферии, сокращая время и затраты на развертывание и ускоряя время отклика.

Обязательно ознакомьтесь со всеми статьями этой серии статей о периферийных вычислениях:

Что такое базовые модели?

Фундаментальные модели (FM), которые обучаются на широком наборе неразмеченных данных в любом масштабе, стимулируют современные приложения искусственного интеллекта (ИИ). Их можно адаптировать к широкому спектру последующих задач и точно настроить для множества приложений. Современные модели ИИ, выполняющие конкретные задачи в одной области, уступают место FM, поскольку они учатся более широко и работают в разных областях и задачах. Как следует из названия, FM может стать основой для многих приложений модели ИИ.

FM решают две ключевые проблемы, которые мешают предприятиям масштабировать внедрение ИИ. Во-первых, предприятия производят огромное количество неразмеченных данных, лишь часть из которых помечена для обучения моделей ИИ. Во-вторых, эта задача по маркировке и аннотированию чрезвычайно трудоемка и часто требует нескольких сотен часов времени эксперта в данной области (SME). Это делает масштабирование различных сценариев использования непомерно дорогостоящим, поскольку для этого потребуются армии МСП и экспертов по данным. Принимая огромные объемы неразмеченных данных и используя методы самоконтроля для обучения моделей, менеджеры по управлению устранили эти узкие места и открыли путь для широкомасштабного внедрения ИИ на предприятии. Эти огромные объемы данных, которые существуют в каждом бизнесе, ждут, чтобы их высвободили и позволили получить ценную информацию.

Что такое большие языковые модели?

Большие языковые модели (LLM) — это класс фундаментальных моделей (FM), которые состоят из слоев нейронные сети которые были обучены на этих огромных объемах неразмеченных данных. Они используют алгоритмы самоконтроля обучения для выполнения различных задач. обработка естественного языка (НЛП) задачи аналогично тому, как люди используют язык (см. рисунок 1).

Масштабируйте и ускоряйте воздействие ИИ

Существует несколько шагов для создания и развертывания базовой модели (FM). К ним относятся прием данных, выбор данных, предварительная обработка данных, предварительное обучение FM, настройка модели для одной или нескольких последующих задач, обработка выводов, а также управление данными и моделями искусственного интеллекта и управление жизненным циклом - все это можно описать как ФМОпс.

Чтобы помочь во всем этом, IBM предлагает предприятиям необходимые инструменты и возможности для использования возможностей этих FM через IBM-ватсонкс, готовая к использованию ИИ и платформа данных, предназначенная для увеличения влияния ИИ на предприятие. IBM watsonx состоит из следующего:

1. IBM watsonx.ai приносит новые генеративный ИИ возможностей, основанных на FM и традиционном машинном обучении (ML), в мощную студию, охватывающую жизненный цикл ИИ.
2. IBM watsonx.data — это специализированное хранилище данных, построенное на открытой архитектуре Lakehouse для масштабирования рабочих нагрузок ИИ для всех ваших данных в любом месте.
3. IBM watsonx.governance — это комплексный автоматизированный набор инструментов для управления жизненным циклом ИИ, созданный для обеспечения ответственных, прозрачных и объяснимых рабочих процессов ИИ.

Другим ключевым вектором является растущая важность вычислений на периферии предприятия, например, на промышленных объектах, производственных площадках, розничных магазинах, периферийных площадках телекоммуникационных компаний и т. д. В частности, ИИ на периферии предприятия позволяет обрабатывать данные, где выполняется работа для анализ практически в реальном времени. Периферия предприятия — это место, где генерируются огромные объемы корпоративных данных и где искусственный интеллект может предоставить ценную, своевременную и полезную бизнес-информацию.

Обслуживание моделей ИИ на периферии позволяет делать прогнозы практически в реальном времени, соблюдая при этом требования суверенитета данных и конфиденциальности. Это значительно снижает задержку, часто связанную со сбором, передачей, преобразованием и обработкой данных контроля. Работа на периферии позволяет нам защитить конфиденциальные корпоративные данные и сократить затраты на передачу данных за счет более быстрого реагирования.

Однако масштабирование развертываний ИИ на периферии — непростая задача на фоне проблем, связанных с данными (неоднородность, объем и нормативные требования) и ограниченными ресурсами (вычисления, сетевое подключение, хранение и даже ИТ-навыки). В общих чертах их можно разделить на две категории:

• Время/стоимость развертывания: Каждое развертывание состоит из нескольких уровней аппаратного и программного обеспечения, которые необходимо установить, настроить и протестировать перед развертыванием. Сегодня специалисту по обслуживанию может потребоваться до недели или двух для установки. в каждом месте, серьезно ограничивая скорость и экономичность масштабирования развертываний в масштабах организации.                                  
• Управление дня-2: Огромное количество развернутых периферийных устройств и географическое расположение каждого развертывания часто могут сделать непомерно дорогим предоставление локальной ИТ-поддержки в каждом месте для мониторинга, обслуживания и обновления этих развертываний.

Развертывания Edge AI

IBM разработала периферийную архитектуру, которая решает эти проблемы, предлагая интегрированную модель аппаратного и программного обеспечения (HW/SW) для периферийных развертываний ИИ. Он состоит из нескольких ключевых парадигм, которые помогают масштабировать развертывание ИИ:

• Автоматическое предоставление всего стека программного обеспечения на основе политик.
• Непрерывный мониторинг состояния периферийной системы
• Возможности управления и распространения обновлений программного обеспечения, безопасности и конфигурации в многочисленные периферийные местоположения — и все это из центрального облачного местоположения для управления со второго дня.

Распределенная звездообразная архитектура может использоваться для масштабирования корпоративных развертываний искусственного интеллекта на периферии, при этом центральное облако или корпоративный центр обработки данных действует как концентратор, а периферийное устройство выступает в качестве периферийного местоположения.. Эта звездообразная модель, распространяющаяся на гибридные облачные и периферийные среды, лучше всего иллюстрирует баланс, необходимый для оптимального использования ресурсов, необходимых для операций FM (см. рис. 2).

Предварительное обучение этих базовых моделей большого языка (LLM) и других типов базовых моделей с использованием методов самоконтроля на огромных неразмеченных наборах данных часто требует значительных вычислительных ресурсов (GPU), и его лучше всего выполнять в хабе. Практически безграничные вычислительные ресурсы и большие массивы данных, часто хранящиеся в облаке, позволяют предварительно обучать модели с большими параметрами и постоянно повышать точность этих базовых базовых моделей.

С другой стороны, настройка этих базовых FM для последующих задач, для которых требуется всего лишь несколько десятков или сотен помеченных выборок данных и обслуживания выводов, может быть выполнена с использованием всего лишь нескольких графических процессоров на границе предприятия. Это позволяет конфиденциальным помеченным данным (или корпоративным данным) безопасно оставаться в операционной среде предприятия, а также снижает затраты на передачу данных.

Используя комплексный подход к развертыванию приложений на периферии, специалист по данным может выполнять точную настройку, тестирование и развертывание моделей. Этого можно добиться в единой среде, сократив при этом жизненный цикл разработки для предоставления конечным пользователям новых моделей ИИ. Такие платформы, как Red Hat OpenShift Data Science (RHODS) и недавно анонсированная Red Hat OpenShift AI, предоставляют инструменты для быстрой разработки и развертывания готовых к производству моделей ИИ в распределенное облако и периферийные среды.

Наконец, обслуживание точно настроенной модели ИИ на периферии предприятия значительно снижает задержку, часто связанную со сбором, передачей, преобразованием и обработкой данных. Отделение предварительного обучения в облаке от точной настройки и обработки логических выводов на периферии снижает общие эксплуатационные затраты за счет сокращения требуемого времени и затрат на перемещение данных, связанных с любой задачей вывода (см. рис. 3).

Чтобы продемонстрировать это ценностное предложение от начала до конца, образцовая базовая модель для гражданской инфраструктуры на основе преобразователя видения (предварительно обученная с использованием общедоступных и пользовательских наборов отраслевых данных) была точно настроена и развернута для вывода на трехузловой границе. (спицевый) кластер. Программный стек включал в себя Red Hat OpenShift Container Platform и Red Hat OpenShift Data Science. Этот пограничный кластер также был подключен к экземпляру хаба Red Hat Advanced Cluster Management for Kubernetes (RHACM), работающему в облаке.

Автоматическая подготовка

Автоматическая подготовка на основе политик осуществлялась с помощью Red Hat Advanced Cluster Management for Kubernetes (RHACM) с помощью политик и тегов размещения, которые привязывают определенные пограничные кластеры к набору программных компонентов и конфигураций. Эти программные компоненты, охватывающие весь стек и охватывающие вычисления, хранилище, сеть и рабочую нагрузку искусственного интеллекта, были установлены с использованием различных операторов OpenShift, предоставления необходимых сервисов приложений и корзины S3 (хранилище).

Предварительно обученная базовая модель (FM) для гражданской инфраструктуры была точно настроена с помощью Jupyter Notebook в Red Hat OpenShift Data Science (RHODS) с использованием размеченных данных для классификации шести типов дефектов, обнаруженных на бетонных мостах. Обработка вывода этого точно настроенного FM также была продемонстрирована с использованием сервера Triton. Кроме того, мониторинг работоспособности этой периферийной системы стал возможен благодаря агрегированию показателей наблюдаемости аппаратных и программных компонентов через Prometheus на центральную панель управления RHACM в облаке. Предприятия гражданской инфраструктуры могут развернуть эти FM в своих периферийных местоположениях и использовать снимки дронов для обнаружения дефектов практически в реальном времени, что ускоряет время получения аналитической информации и снижает затраты на перемещение больших объемов данных высокой четкости в облако и из него.

Обзор

Объединяя IBM-ватсонкс Возможности платформы данных и искусственного интеллекта для базовых моделей (FM) с готовым устройством позволяют предприятиям запускать рабочие нагрузки искусственного интеллекта для точной настройки FM и получения логических выводов на операционной периферии. Это устройство готово к работе со сложными сценариями использования и создает комплексную структуру для централизованного управления, автоматизации и самообслуживания. Развертывание Edge FM можно сократить с недель до часов, обеспечивая повторяемый успех, более высокую отказоустойчивость и безопасность.

Узнайте больше о базовых моделях

Обязательно ознакомьтесь со всеми статьями этой серии статей о периферийных вычислениях: