Erstellen Sie eine Web-App, um mit durch maschinelles Lernen generierten Bildunterschriften zu interagieren

Zusammenfassung

Die Einführung des IBM Model Asset eXchange (MAX), das auf der gehostet wird Maschinelles Lernen eXchange hat Anwendungsentwicklern ohne Data-Science-Erfahrung einfachen Zugriff auf vorgefertigte Modelle für maschinelles Lernen ermöglicht. Dieses Codemuster zeigt, wie einfach es sein kann, eine Web-App zu erstellen, die ein MAX-Modell verwendet. Die Web-App nutzt den Image Caption Generator von MAX und erstellt eine einfache Web-Benutzeroberfläche, mit der Sie Bilder basierend auf den vom Modell bereitgestellten Beschreibungen filtern können.

Beschreibung

Laut einer IBM-Studie werden täglich 2.5 Trillionen Bytes an Daten erzeugt. Bei vielen dieser Daten handelt es sich um unstrukturierte Daten, etwa große Texte, Audioaufnahmen und Bilder. Um mit den Daten etwas Sinnvolles zu tun, müssen Sie sie zunächst in strukturierte Daten umwandeln.

Dieses Codemuster verwendet eines der Modelle von Model Asset Exchange, einer Börse, auf der Entwickler Open-Source-Deep-Learning-Modelle finden und damit experimentieren können. Konkret nutzt es die Bildunterschrift-Generator um eine Webanwendung zu erstellen, die Bilder beschriftet und Sie durch bildbasierte Bildinhalte filtern lässt. Die Webanwendung bietet eine interaktive Benutzeroberfläche, die von einem leichtgewichtigen Python-Server mit Tornado unterstützt wird. Der Server nimmt Bilder über die Benutzeroberfläche auf, sendet sie an einen REST-Endpunkt für das Modell und zeigt die generierten Beschriftungen auf der Benutzeroberfläche an. Der REST-Endpunkt des Modells wird mithilfe des auf MAX bereitgestellten Docker-Images eingerichtet. Die Web-Benutzeroberfläche zeigt die generierten Bildunterschriften für jedes Bild sowie eine interaktive Wortwolke an, um Bilder anhand ihrer Bildunterschrift zu filtern.

Wenn Sie dieses Codemuster abgeschlossen haben, wissen Sie, wie Sie:

• Stellen Sie ein Deep-Learning-Modell mit einem REST-Endpunkt bereit
• Generieren Sie Bildunterschriften mit der REST-API des MAX-Modells
• Führen Sie eine Webanwendung aus, die die REST-API des Modells verwendet

Flow

1. Der Server sendet Standardbilder an die Modell-API und empfängt Untertiteldaten.
2. Der Benutzer interagiert mit der Web-Benutzeroberfläche, die den Standardinhalt enthält, und lädt die Bilder hoch.
3. Die Web-Benutzeroberfläche fordert Beschriftungsdaten für die Bilder vom Server an und aktualisiert den Inhalt, wenn die Daten zurückgegeben werden.
4. Der Server sendet die Bilder an die Modell-API und empfängt Untertiteldaten, um sie an die Web-Benutzeroberfläche zurückzugeben.

Anweisungen

Bereit, dieses Codemuster zu verwenden? Ausführliche Informationen zum Starten und Verwenden dieser Anwendung finden Sie in der README.

Quelle: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/