Crea un'app Web per interagire con le didascalie delle immagini generate dal machine learning

Sommario

L'introduzione di IBM Model Asset eXchange (MAX) ospitato su Scambio di apprendimento automatico ha offerto agli sviluppatori di applicazioni senza esperienza nella scienza dei dati un facile accesso a modelli di machine learning predefiniti. Questo modello di codice mostra quanto possa essere semplice creare un'app Web che utilizza un modello MAX. L'app Web utilizza Image Caption Generator di MAX e crea una semplice interfaccia utente Web che consente di filtrare le immagini in base alle descrizioni fornite dal modello.

Descrizione

Ogni giorno vengono creati 2.5 quintilioni di byte di dati, secondo uno studio IBM. Molti di questi dati sono dati non strutturati, come testi di grandi dimensioni, registrazioni audio e immagini. Per fare qualcosa di utile con i dati, devi prima convertirli in dati strutturati.

Questo modello di codice utilizza uno dei modelli di Model Asset Exchange, uno scambio in cui gli sviluppatori possono trovare e sperimentare modelli di deep learning open source. Nello specifico, utilizza il Generatore di didascalie di immagini per creare un'applicazione Web che didascalie immagini e consenta di filtrare il contenuto di immagini basato su immagini. L'applicazione Web fornisce un'interfaccia utente interattiva supportata da un server Python leggero che utilizza Tornado. Il server acquisisce le immagini tramite l'interfaccia utente, le invia a un endpoint REST per il modello e visualizza le didascalie generate sull'interfaccia utente. L'endpoint REST del modello viene configurato utilizzando l'immagine Docker fornita su MAX. L'interfaccia utente Web visualizza le didascalie generate per ciascuna immagine, nonché una nuvola di parole interattiva per filtrare le immagini in base alla didascalia.

Dopo aver completato questo modello di codice, capisci come:

• Distribuire un modello di apprendimento profondo con un endpoint REST
• Genera didascalie per un'immagine utilizzando l'API REST del modello MAX
• Eseguire un'applicazione Web che utilizza l'API REST del modello

Flow

1. Il server invia immagini predefinite all'API del modello e riceve i dati delle didascalie.
2. L'utente interagisce con l'interfaccia utente Web che contiene il contenuto predefinito e carica le immagini.
3. L'interfaccia utente Web richiede i dati delle didascalie per le immagini dal server e aggiorna il contenuto quando vengono restituiti i dati.
4. Il server invia le immagini all'API del modello e riceve i dati delle didascalie da restituire all'interfaccia utente Web.

Istruzioni

Pronto a mettere questo modello di codice da usare? I dettagli completi su come iniziare a correre e usare questa applicazione sono disponibili in README.

Fonte: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/