Мониторинг машинного обучения Sagemaker с помощью Watson OpenScale

Обзор

Этот шаблон кода описывает способ получения информации с помощью Watson OpenScale и модели машинного обучения SageMaker. В нем объясняется, как создать модель логистической регрессии с помощью Amazon SageMaker с данными из База данных машинного обучения UC Irvine. Шаблон использует Watson OpenScale для привязки модели машинного обучения, развернутой в облаке AWS, создания подписки и ведения журнала полезной нагрузки и отзывов.

Описание

С помощью Watson OpenScale вы можете отслеживать качество модели и регистрировать полезные нагрузки независимо от того, где размещена модель. В этом шаблоне кода используется пример модели Amazon Web Service (AWS) SageMaker, демонстрирующий независимый и открытый характер Watson OpenScale. IBM Watson OpenScale — это открытая среда, которая позволяет организациям автоматизировать и эксплуатировать свой ИИ. OpenScale предоставляет мощную платформу для управления моделями искусственного интеллекта и машинного обучения в IBM Cloud или везде, где они могут быть развернуты, и предлагает следующие преимущества:

Open by design: Watson OpenScale позволяет осуществлять мониторинг и управление моделями машинного обучения и глубокого обучения, созданными с использованием любых сред или сред IDE и развернутыми на любом движке хостинга моделей.

Добейтесь более справедливых результатов: Watson OpenScale обнаруживает и помогает смягчить искажения моделей, чтобы выявить проблемы справедливости. Платформа предоставляет простое текстовое объяснение диапазонов данных, на которые повлияло смещение в модели, и визуализаций, которые помогают ученым и бизнес-пользователям понять влияние на результаты бизнеса. При обнаружении смещений Watson OpenScale автоматически создает сопутствующую модель с смещением, которая работает рядом с развернутой моделью, тем самым просматривая ожидаемые более справедливые результаты для пользователей без замены оригинала.

Объясните транзакции: Watson OpenScale помогает предприятиям привнести прозрачность и возможность аудита в приложения, наполненные искусственным интеллектом, генерируя объяснения для отдельных оцениваемых транзакций, включая атрибуты, которые использовались для прогнозирования и оценки каждого атрибута.

Автоматизируйте создание AI: Neural Network Synthesis (NeuNetS), в настоящее время доступный в виде бета-версии, синтезирует нейронные сети, фундаментально создавая индивидуальный дизайн для заданного набора данных. В бета-версии NeuNetS поддерживает модели классификации изображений и текста. NeuNetS сокращает время и снижает барьер навыков, необходимых для проектирования и обучения пользовательских нейронных сетей, тем самым делая нейронные сети доступными для специалистов, не являющихся техническими специалистами, а также повышая продуктивность специалистов по обработке и анализу данных.

Когда вы закончите этот шаблон кода, вы поймете, как:

• Подготовка данных, обучение модели и развертывание с помощью AWS SageMaker
• Оценка модели с использованием примеров записей оценки и конечной точки оценки
• Настройка витрины данных Watson OpenScale
• Привяжите модель SageMaker к киоску данных Watson OpenScale.
• Добавить подписки на киоск данных
• Включить ведение журнала полезной нагрузки и мониторинг производительности для обоих подписанных активов
• Используйте киоск данных для доступа к данным таблиц через подписку

Поток

1. Разработчик создает блокнот Jupyter, используя данные из База данных машинного обучения UCI.
2. Блокнот Jupyter подключен к базе данных PostgreSQL, в которой хранятся данные Watson OpenScale.
3. Модель машинного обучения создается с помощью AWS SageMaker и развертывается в облаке.
4. Watson Open Scale используется ноутбуком для регистрации полезной нагрузки и мониторинга производительности.

инструкции

Найти подробные шаги для этого шаблона в файл readme, Шаги показывают вам, как:

1. Клонировать хранилище.
2. Создайте базу данных Compose для PostgreSQL.
3. Создайте сервис Watson OpenScale.
4. Запустите тетради.