Lag en nettapp for å samhandle med maskinlæringsgenererte bildetekster

Oppsummering

Introduksjonen av IBM Model Asset eXchange (MAX) som er vert på Machine Learning eXchange har gitt applikasjonsutviklere uten datavitenskapserfaring enkel tilgang til forhåndsbygde maskinlæringsmodeller. Dette kodemønsteret viser hvor enkelt det kan være å lage en nettapp som bruker en MAX-modell. Nettappen bruker Image Caption Generator fra MAX og lager et enkelt web-UI som lar deg filtrere bilder basert på beskrivelsene gitt av modellen.

Beskrivelse

Hver dag lages 2.5 kvintillioner byte med data, basert på en IBM-studie. Mye av disse dataene er ustrukturerte data, for eksempel store tekster, lydopptak og bilder. For å gjøre noe nyttig med dataene, må du først konvertere dem til strukturerte data.

Dette kodemønsteret bruker en av modellene fra Model Asset Exchange, en børs hvor utviklere kan finne og eksperimentere med dyplæringsmodeller med åpen kildekode. Nærmere bestemt bruker den Bildetekstgenerator for å lage en nettapplikasjon som tekster bilder og lar deg filtrere gjennom bildebasert bildeinnhold. Nettapplikasjonen gir et interaktivt brukergrensesnitt som støttes av en lett Python-server som bruker Tornado. Serveren tar inn bilder gjennom brukergrensesnittet, sender dem til et REST-endepunkt for modellen, og viser de genererte bildetekstene på brukergrensesnittet. Modellens REST-endepunkt er satt opp ved hjelp av Docker-bildet som er gitt på MAX. Nettgrensesnittet viser de genererte bildetekstene for hvert bilde samt en interaktiv ordsky for å filtrere bilder basert på deres bildetekst.

Når du har fullført dette kodemønsteret, forstår du hvordan du:

• Distribuere en dyp læringsmodell med et REST-endepunkt
• Generer bildetekster for et bilde ved hjelp av MAX-modellens REST API
• Kjør et webapplikasjon som bruker modellens REST API

Flow

1. Serveren sender standardbilder til Model API og mottar bildetekstdata.
2. Brukeren samhandler med nettgrensesnittet som inneholder standardinnholdet og laster opp bildene.
3. Nettgrensesnittet ber om bildetekstdata for bildene fra serveren og oppdaterer innholdet når dataene returneres.
4. Serveren sender bildene til Model API og mottar bildetekstdata for å gå tilbake til nettgrensesnittet.

Instruksjoner

Klar til å bruke dette kodemønsteret du skal bruke? Komplette detaljer om hvordan du kommer i gang med å kjøre og bruke dette programmet, finnes i README.

Kilde: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/