Opret en webapp til at interagere med maskinlæringsgenererede billedtekster

Resumé

Introduktionen af ​​IBM Model Asset eXchange (MAX), der er hostet på Machine Learning eXchange har givet applikationsudviklere uden datavidenskabserfaring nem adgang til forudbyggede maskinlæringsmodeller. Dette kodemønster viser, hvor enkelt det kan være at oprette en webapp, der bruger en MAX-model. Webappen bruger Image Caption Generator fra MAX og opretter en simpel web-brugergrænseflade, der lader dig filtrere billeder baseret på beskrivelserne givet af modellen.

Beskrivelse

Hver dag oprettes der 2.5 kvintillion bytes data, baseret på en IBM-undersøgelse. Mange af disse data er ustrukturerede data, såsom store tekster, lydoptagelser og billeder. For at gøre noget brugbart med dataene skal du først konvertere dem til strukturerede data.

Dette kodemønster bruger en af ​​modellerne fra Model Asset Exchange, en børs, hvor udviklere kan finde og eksperimentere med open source deep learning-modeller. Konkret bruger den Billedtekstgenerator at oprette en webapplikation, der undertekster billeder og lader dig filtrere gennem billedbaseret billedindhold. Webapplikationen giver en interaktiv brugergrænseflade, der understøttes af en letvægts Python-server, der bruger Tornado. Serveren tager billeder ind gennem brugergrænsefladen, sender dem til et REST-slutpunkt for modellen og viser de genererede billedtekster på brugergrænsefladen. Modellens REST-endepunkt er konfigureret ved hjælp af Docker-billedet, der findes på MAX. Webbrugergrænsefladen viser de genererede billedtekster for hvert billede samt en interaktiv ordsky til at filtrere billeder baseret på deres billedtekst.

Når du har gennemført dette kodemønster, forstår du, hvordan du:

• Implementer en dyb læringsmodel med et REST-slutpunkt
• Generer billedtekster til et billede ved hjælp af MAX-modellens REST API
• Kør en webapplikation, der bruger modellens REST API

Flow

1. Serveren sender standardbilleder til Model API og modtager billedtekstdata.
2. Brugeren interagerer med web-UI, der indeholder standardindholdet, og uploader billederne.
3. Web-brugergrænsefladen anmoder om billedtekstdata for billederne fra serveren og opdaterer indholdet, når dataene returneres.
4. Serveren sender billederne til Model API og modtager billedtekstdata for at vende tilbage til web-UI.

Instruktioner

Klar til at tage dette kodemønster i brug? Fuldstændige detaljer om, hvordan du kommer i gang med at køre og bruge denne applikation er i README.

Kilde: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/