สร้างเว็บแอปเพื่อโต้ตอบกับคำบรรยายภาพที่สร้างโดยแมชชีนเลิร์นนิง

สรุป

การเปิดตัว IBM Model Asset eXchange (MAX) ที่โฮสต์บน การแลกเปลี่ยนการเรียนรู้ของเครื่อง ช่วยให้นักพัฒนาแอปพลิเคชันที่ไม่มีประสบการณ์ด้านวิทยาศาสตร์ข้อมูลสามารถเข้าถึงโมเดลการเรียนรู้ของเครื่องที่สร้างไว้ล่วงหน้าได้อย่างง่ายดาย รูปแบบโค้ดนี้แสดงให้เห็นว่าการสร้างเว็บแอปที่ใช้โมเดล MAX นั้นง่ายดายเพียงใด เว็บแอปใช้ Image Caption Generator จาก MAX และสร้าง UI เว็บแบบง่ายๆ ที่ให้คุณกรองรูปภาพตามคำอธิบายที่กำหนดโดยโมเดล

รายละเอียด

ทุกๆ วันจะมีการสร้างข้อมูล 2.5 ล้านล้านไบต์ โดยอ้างอิงจากการศึกษาของ IBM ข้อมูลจำนวนมากนั้นเป็นข้อมูลที่ไม่มีโครงสร้าง เช่น ข้อความขนาดใหญ่ การบันทึกเสียง และรูปภาพ หากต้องการทำสิ่งที่มีประโยชน์กับข้อมูล คุณต้องแปลงข้อมูลนั้นเป็นข้อมูลที่มีโครงสร้างก่อน

รูปแบบโค้ดนี้ใช้หนึ่งในโมเดลจาก Model Asset Exchange ซึ่งเป็นการแลกเปลี่ยนที่นักพัฒนาสามารถค้นหาและทดลองใช้โมเดลการเรียนรู้เชิงลึกแบบโอเพ่นซอร์ส โดยเฉพาะมันใช้ เครื่องกำเนิดคำบรรยายภาพ เพื่อสร้างแอปพลิเคชันเว็บที่ใส่คำอธิบายภาพและให้คุณกรองเนื้อหารูปภาพตามรูปภาพ เว็บแอปพลิเคชันมีส่วนต่อประสานกับผู้ใช้แบบโต้ตอบซึ่งได้รับการสนับสนุนโดยเซิร์ฟเวอร์ Python น้ำหนักเบาโดยใช้ Tornado เซิร์ฟเวอร์รับรูปภาพผ่าน UI ส่งรูปภาพไปยังตำแหน่งข้อมูล REST สำหรับโมเดล และแสดงคำอธิบายที่สร้างขึ้นบน UI ตำแหน่งข้อมูล REST ของโมเดลได้รับการตั้งค่าโดยใช้อิมเมจ Docker ที่ให้ไว้ใน MAX UI ของเว็บจะแสดงคำบรรยายที่สร้างขึ้นสำหรับแต่ละภาพ รวมถึงคลาวด์คำแบบโต้ตอบเพื่อกรองรูปภาพตามคำอธิบายภาพ

เมื่อคุณเสร็จสิ้นรูปแบบโค้ดนี้ คุณจะเข้าใจวิธี:

• ปรับใช้โมเดลการเรียนรู้เชิงลึกด้วย REST endpoint
• สร้างคำบรรยายสำหรับรูปภาพโดยใช้ REST API ของโมเดล MAX
• เรียกใช้เว็บแอปพลิเคชันที่ใช้ REST API . ของโมเดล

ไหล

1. เซิร์ฟเวอร์ส่งภาพเริ่มต้นไปยัง Model API และรับข้อมูลคำอธิบายภาพ
2. ผู้ใช้โต้ตอบกับ Web UI ที่มีเนื้อหาเริ่มต้นและอัปโหลดรูปภาพ
3. UI ของเว็บขอข้อมูลคำอธิบายภาพสำหรับรูปภาพจากเซิร์ฟเวอร์และอัปเดตเนื้อหาเมื่อมีการส่งคืนข้อมูล
4. เซิร์ฟเวอร์ส่งรูปภาพไปยัง Model API และรับข้อมูลคำอธิบายภาพเพื่อกลับไปยัง UI ของเว็บ

คำแนะนำ

พร้อมนำโค้ดรูปแบบนี้ไปใช้หรือยัง? รายละเอียดที่สมบูรณ์เกี่ยวกับวิธีการเริ่มต้นใช้งานและการใช้แอปพลิเคชันนี้อยู่ใน README.

ที่มา: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/