Tạo một ứng dụng web để tương tác với chú thích hình ảnh do máy học tạo ra

Tổng kết

Sự ra đời của IBM Model Asset eXchange (MAX) được lưu trữ trên Máy học điện tử đã giúp các nhà phát triển ứng dụng không có kinh nghiệm về khoa học dữ liệu dễ dàng truy cập vào các mô hình học máy dựng sẵn. Mẫu mã này cho thấy việc tạo một ứng dụng web sử dụng mô hình MAX có thể đơn giản như thế nào. Ứng dụng web sử dụng Trình tạo chú thích hình ảnh từ MAX và tạo giao diện người dùng web đơn giản cho phép bạn lọc hình ảnh dựa trên mô tả do mô hình đưa ra.

Mô tả

Dựa trên một nghiên cứu của IBM, mỗi ngày có 2.5 triệu tỷ byte dữ liệu được tạo ra. Phần lớn dữ liệu đó là dữ liệu phi cấu trúc, chẳng hạn như văn bản lớn, bản ghi âm và hình ảnh. Để làm điều gì đó hữu ích với dữ liệu, trước tiên bạn phải chuyển đổi dữ liệu đó thành dữ liệu có cấu trúc.

Mẫu mã này sử dụng một trong các mô hình từ Model Asset Exchange, một sàn giao dịch nơi các nhà phát triển có thể tìm và thử nghiệm các mô hình deep learning nguồn mở. Cụ thể là nó sử dụng Trình tạo chú thích hình ảnh để tạo một ứng dụng web có chú thích cho hình ảnh và cho phép bạn lọc nội dung hình ảnh dựa trên hình ảnh. Ứng dụng web cung cấp giao diện người dùng tương tác được hỗ trợ bởi máy chủ Python nhẹ sử dụng Tornado. Máy chủ nhận hình ảnh thông qua giao diện người dùng, gửi chúng đến điểm cuối REST cho mô hình và hiển thị chú thích được tạo trên giao diện người dùng. Điểm cuối REST của mô hình được thiết lập bằng hình ảnh Docker được cung cấp trên MAX. Giao diện người dùng web hiển thị chú thích được tạo cho từng hình ảnh cũng như đám mây từ tương tác để lọc hình ảnh dựa trên chú thích của chúng.

Khi bạn đã hoàn thành mẫu mã này, bạn hiểu cách:

• Triển khai mô hình học sâu với điểm cuối REST
• Tạo chú thích cho hình ảnh bằng API REST của Mô hình MAX
• Chạy ứng dụng web sử dụng API REST của mô hình

Dòng chảy

1. Máy chủ gửi hình ảnh mặc định tới API mô hình và nhận dữ liệu phụ đề.
2. Người dùng tương tác với Giao diện người dùng Web chứa nội dung mặc định và tải hình ảnh lên.
3. Giao diện người dùng web yêu cầu dữ liệu phụ đề cho hình ảnh từ máy chủ và cập nhật nội dung khi dữ liệu được trả về.
4. Máy chủ gửi hình ảnh đến API mô hình và nhận dữ liệu phụ đề để quay lại giao diện người dùng web.

Hướng Dẫn

Bạn đã sẵn sàng sử dụng mẫu mã này chưa? Chi tiết đầy đủ về cách bắt đầu chạy và sử dụng ứng dụng này có trong README.

Nguồn: https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/