Maak een web-app om te communiceren met door machine learning gegenereerde afbeeldingsbijschriften

Samengevat

De introductie van de IBM Model Asset eXchange (MAX) die wordt gehost op de Machine Learning-uitwisseling heeft applicatieontwikkelaars zonder ervaring met datawetenschap eenvoudig toegang gegeven tot vooraf gebouwde machine learning-modellen. Dit codepatroon laat zien hoe eenvoudig het kan zijn om een ​​web-app te maken die gebruikmaakt van een MAX-model. De webapp maakt gebruik van de Image Caption Generator van MAX en creëert een eenvoudige webinterface waarmee u afbeeldingen kunt filteren op basis van de beschrijvingen van het model.

Omschrijving

Elke dag worden er 2.5 quintiljoen bytes aan gegevens gecreëerd, gebaseerd op een onderzoek van IBM. Veel van die gegevens zijn ongestructureerde gegevens, zoals grote teksten, audio-opnamen en afbeeldingen. Om iets nuttigs met de data te doen, moet je deze eerst omzetten in gestructureerde data.

Dit codepatroon maakt gebruik van een van de modellen van de Model Asset Exchange, een uitwisseling waar ontwikkelaars open source deep learning-modellen kunnen vinden en ermee kunnen experimenteren. Concreet maakt het gebruik van de Generator voor afbeeldingsbijschriften om een ​​webtoepassing te maken die afbeeldingen ondertitelt en waarmee u op afbeeldingen gebaseerde afbeeldingsinhoud kunt filteren. De webapplicatie biedt een interactieve gebruikersinterface die wordt ondersteund door een lichtgewicht Python-server die gebruik maakt van Tornado. De server neemt afbeeldingen op via de gebruikersinterface, stuurt deze naar een REST-eindpunt voor het model en geeft de gegenereerde bijschriften weer in de gebruikersinterface. Het REST-eindpunt van het model wordt ingesteld met behulp van de Docker-image die op MAX wordt aangeboden. De webinterface geeft de gegenereerde bijschriften voor elke afbeelding weer, evenals een interactieve woordwolk om afbeeldingen te filteren op basis van hun bijschrift.

Wanneer u dit codepatroon heeft voltooid, begrijpt u hoe u:

• Implementeer een deep learning-model met een REST-eindpunt
• Genereer bijschriften voor een afbeelding met behulp van de REST API van het MAX-model
• Voer een webtoepassing uit die de REST API van het model gebruikt

Stroom

1. De server verzendt standaardafbeeldingen naar de Model API en ontvangt ondertitelingsgegevens.
2. De gebruiker communiceert met de webinterface die de standaardinhoud bevat en uploadt de afbeeldingen.
3. De webinterface vraagt ​​ondertitelingsgegevens voor de afbeeldingen op van de server en werkt de inhoud bij wanneer de gegevens worden geretourneerd.
4. De server verzendt de afbeeldingen naar de Model-API en ontvangt ondertitelingsgegevens om terug te keren naar de webinterface.

Instructies

Klaar om dit codepatroon te gebruiken? Volledige details over hoe u aan de slag kunt gaan met het gebruik van deze applicatie vindt u in de README.

Bron: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/