یک برنامه وب ایجاد کنید تا با زیرنویس‌های تصویری ایجاد شده از یادگیری ماشین تعامل داشته باشید

خلاصه

معرفی مدل IBM Asset EXchange (MAX) که در میزبانی می شود تبادل یادگیری ماشینی به توسعه دهندگان برنامه بدون تجربه علم داده دسترسی آسان به مدل های یادگیری ماشینی از پیش ساخته شده را داده است. این الگوی کد نشان می دهد که ایجاد یک برنامه وب که از مدل MAX استفاده می کند چقدر ساده است. برنامه وب از Image Caption Generator از MAX استفاده می کند و یک رابط کاربری وب ساده ایجاد می کند که به شما امکان می دهد تصاویر را بر اساس توضیحات ارائه شده توسط مدل فیلتر کنید.

توضیحات:

بر اساس مطالعه IBM، هر روز 2.5 کوئینتیلیون بایت داده ایجاد می شود. بسیاری از این داده ها داده های بدون ساختار هستند، مانند متون بزرگ، ضبط های صوتی و تصاویر. برای انجام کاری مفید با داده ها، ابتدا باید آن را به داده های ساخت یافته تبدیل کنید.

این الگوی کد از یکی از مدل‌های Model Asset Exchange استفاده می‌کند، صرافی که در آن توسعه‌دهندگان می‌توانند مدل‌های یادگیری عمیق منبع باز را بیابند و آزمایش کنند. به طور خاص، از آن استفاده می کند تولید کننده عنوان تصویر برای ایجاد یک برنامه وب که تصاویر را شرح می دهد و به شما امکان می دهد محتوای تصویر مبتنی بر تصاویر را فیلتر کنید. برنامه وب یک رابط کاربری تعاملی ارائه می دهد که توسط یک سرور پایتون سبک وزن با استفاده از Tornado پشتیبانی می شود. سرور تصاویر را از طریق UI می گیرد، آنها را به نقطه پایانی REST برای مدل می فرستد و زیرنویس های ایجاد شده را در UI نمایش می دهد. نقطه پایانی REST مدل با استفاده از تصویر Docker ارائه شده در MAX تنظیم می شود. رابط کاربری وب زیرنویس‌های تولید شده را برای هر تصویر و همچنین یک ابر کلمه تعاملی برای فیلتر کردن تصاویر بر اساس عنوان آنها نمایش می‌دهد.

هنگامی که این الگوی کد را تکمیل کردید، می فهمید که چگونه:

• یک مدل یادگیری عمیق را با نقطه پایانی REST اجرا کنید
• با استفاده از MAX Model’s REST API برای یک تصویر زیرنویس ایجاد کنید
• یک برنامه وب را اجرا کنید که از REST API مدل استفاده می کند

جریان

1. سرور تصاویر پیش فرض را به مدل API ارسال می کند و داده های عنوان را دریافت می کند.
2. کاربر با رابط کاربری وب که حاوی محتوای پیش‌فرض است تعامل می‌کند و تصاویر را آپلود می‌کند.
3. رابط کاربری وب داده‌های شرح تصاویر را از سرور درخواست می‌کند و هنگام بازگرداندن داده‌ها، محتوا را به‌روزرسانی می‌کند.
4. سرور تصاویر را به مدل API می فرستد و داده های عنوان را برای بازگشت به رابط کاربری وب دریافت می کند.

دستورالعمل ها

برای استفاده از این الگوی کد آماده هستید؟ جزئیات کامل در مورد نحوه شروع اجرا و استفاده از این برنامه در این قسمت موجود است README.

منبع: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/