Улучшение результатов Watson Discovery с помощью обучения релевантности на основе API

Обзор

Разработчики используют службу IBM Watson Discovery для быстрого добавления в приложения механизмов когнитивного, поискового и контентного анализа. С помощью этого механизма они могут выявлять закономерности, тенденции и идеи на основе неструктурированных данных, которые могут способствовать более эффективному принятию решений. Иногда вам нужно импровизировать результаты поиска, предоставив больше деталей обучения. Обучение релевантности — это функция Watson Discovery, которая обеспечивает дополнительное обучение для более точных результатов поиска. В этом шаблоне кода показано, как можно использовать API-интерфейсы обучения релевантности для импровизации результатов поиска в Watson Discovery.

Описание

Разработчики используют службу IBM Watson Discovery для быстрого добавления в приложения механизмов когнитивного, поискового и контентного анализа. С помощью этого механизма они могут выявлять закономерности, тенденции и ценную информацию на основе неструктурированных данных, что способствует более эффективному принятию решений. С помощью Watson Discovery вы можете принимать (конвертировать, обогащать, очищать и нормализовать), хранить и запрашивать данные для извлечения полезной информации. Для выполнения поиска и запросов вам нужен контент, который внедряется и сохраняется в коллекциях. Вы можете узнать больше о разработке приложений с помощью Watson Discovery, изучив эталонная архитектура когнитивных открытий.

Обучение релевантности — это мощная функция Watson Discovery, которая может повысить точность поиска при правильном подходе. Вы можете научить Watson Discovery повышать релевантность результатов запросов для вашей конкретной организации или предметной области. Когда вы предоставляете экземпляру Watson Discovery обучающие данные, служба использует методы машинного обучения Watson для поиска сигналов в вашем контенте и вопросах. Затем служба меняет порядок результатов запроса, чтобы отображать наиболее релевантные результаты вверху. По мере добавления дополнительных обучающих данных экземпляр службы становится более точным и сложным в упорядочении возвращаемых результатов.

Соответствующее обучение не является обязательным. Если результаты ваших запросов соответствуют вашим потребностям, дальнейшее обучение не требуется. Обзор сценариев использования для обучения см. в записи блога «Как получить максимальную пользу от релевантного обучения".

Обучение релевантности в Watson Discovery можно проводить двумя способами:

Если в вашем экземпляре Watson Discovery имеется довольно большое количество вопросов, для ответа на которые необходимо провести обучение релевантности, то инструментальный метод может занять гораздо больше времени по сравнению с программным методом (с использованием API). Кроме того, благодаря API вам не нужно подключаться к экземпляру Watson Discovery через браузер.

Этот шаблон кода показывает, как можно добиться обучения релевантности с помощью API.

Поток

1. Клиентское приложение отправляет запрос на естественном языке для каждого запроса, который требует обучения релевантности.
2. Watson Discovery возвращает набор документов для каждого выполненного запроса на естественном языке.
3. Клиентское приложение сохраняет запросы и соответствующие документы в файле TSV на локальном компьютере.
4. Пользователь присваивает документам оценки релевантности и сохраняет файл.
5. Приложение обращается к файлу с обновленными оценками релевантности.
6. Клиентское приложение вызывает API для обновления обучения коллекции Watson Discovery с использованием обновленных оценок релевантности.
7. Клиент снова запрашивает, чтобы получить улучшенные результаты.

инструкции

Найти подробные шаги для этого шаблона в ридми файл. Шаги показывают вам, как:

1. Создайте экземпляр службы Discovery в IBM Cloud.
2. Создайте проект в Watson Discovery.
3. Аннотируйте свои документы.
4. Подготовьте код для запуска API релевантного обучения.
5. Проведите релевантную подготовку по большому набору вопросов.

Источник: https://developer.ibm.com/patterns/improve-discovery-results-using-programmatic-relevancy-training/.