Cree una aplicación web para interactuar con leyendas de imágenes generadas por aprendizaje automático

Resumen

La introducción de IBM Model Asset eXchange (MAX) que está alojado en el Intercambio de aprendizaje automático ha brindado a los desarrolladores de aplicaciones sin experiencia en ciencia de datos un fácil acceso a modelos de aprendizaje automático prediseñados. Este patrón de código muestra lo simple que puede ser crear una aplicación web que utilice un modelo MAX. La aplicación web utiliza Image Caption Generator de MAX y crea una interfaz de usuario web simple que le permite filtrar imágenes según las descripciones proporcionadas por el modelo.

Descripción

Cada día se crean 2.5 quintillones de bytes de datos, según un estudio de IBM. Muchos de esos datos son datos no estructurados, como textos grandes, grabaciones de audio e imágenes. Para hacer algo útil con los datos, primero debe convertirlos en datos estructurados.

Este patrón de código utiliza uno de los modelos de Model Asset Exchange, un intercambio donde los desarrolladores pueden encontrar y experimentar con modelos de aprendizaje profundo de código abierto. En concreto, utiliza el Generador de leyendas de imágenes para crear una aplicación web que subtitule imágenes y le permita filtrar contenido de imágenes basado en imágenes. La aplicación web proporciona una interfaz de usuario interactiva que está respaldada por un servidor Python liviano que usa Tornado. El servidor toma imágenes a través de la interfaz de usuario, las envía a un extremo REST para el modelo y muestra los títulos generados en la interfaz de usuario. El extremo REST del modelo se configura mediante la imagen de Docker proporcionada en MAX. La interfaz de usuario web muestra los títulos generados para cada imagen, así como una nube de palabras interactiva para filtrar las imágenes en función de su título.

Cuando haya completado este patrón de código, comprenderá cómo:

• Implemente un modelo de aprendizaje profundo con un punto final REST
• Genere subtítulos para una imagen usando la API REST de MAX Model
• Ejecute una aplicación web que use la API REST del modelo

Flujo

1. El servidor envía imágenes predeterminadas a Model API y recibe datos de subtítulos.
2. El usuario interactúa con la interfaz de usuario web que contiene el contenido predeterminado y carga las imágenes.
3. La interfaz de usuario web solicita datos de subtítulos para las imágenes del servidor y actualiza el contenido cuando se devuelven los datos.
4. El servidor envía las imágenes a Model API y recibe datos de subtítulos para volver a la interfaz de usuario web.

Instrucciones

¿Listo para usar este patrón de código? Los detalles completos sobre cómo comenzar a ejecutar y usar esta aplicación se encuentran en README.

Fuente: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/