Đây là bài đăng của Jihye Park, Nhà khoa học dữ liệu tại MUSINSA.
NHẠC là một trong những nền tảng thời trang trực tuyến lớn nhất tại Hàn Quốc, phục vụ 8.4 triệu khách hàng và bán 6,000 nhãn hiệu thời trang. Lưu lượng người dùng hàng tháng của chúng tôi đạt 4 triệu và hơn 90% nhân khẩu học của chúng tôi bao gồm thanh thiếu niên và thanh niên nhạy cảm với các xu hướng thời trang. MUSINSA là công ty dẫn đầu nền tảng thiết lập xu hướng trong nước, dẫn đầu với lượng dữ liệu khổng lồ.
Nhóm Giải pháp Dữ liệu MUSINSA tham gia vào mọi thứ liên quan đến dữ liệu được thu thập từ MUSINSA Store. Chúng tôi phát triển toàn bộ ngăn xếp từ thu thập nhật ký đến mô hình hóa dữ liệu và phục vụ mô hình. Chúng tôi phát triển các sản phẩm dựa trên dữ liệu khác nhau, bao gồm Dịch vụ giới thiệu sản phẩm trực tiếp trên trang chính của ứng dụng của chúng tôi và Dịch vụ đánh dấu từ khóa để phát hiện và đánh dấu các từ như 'kích thước' hoặc 'mức độ hài lòng' từ các bài đánh giá văn bản.
Những thách thức trong Quy trình Kiểm tra Hình ảnh Đánh giá Tự động
Chất lượng và số lượng đánh giá của khách hàng rất quan trọng đối với các doanh nghiệp thương mại điện tử, vì khách hàng đưa ra quyết định mua hàng mà không cần nhìn thấy sản phẩm trực tiếp. Chúng tôi cấp tín dụng cho những người viết bài đánh giá bằng hình ảnh về sản phẩm họ đã mua (nghĩa là bài đánh giá bằng ảnh chụp sản phẩm hoặc ảnh họ mặc / sử dụng sản phẩm) để nâng cao trải nghiệm của khách hàng và tăng tỷ lệ chuyển đổi mua hàng. Để xác định xem các bức ảnh đã gửi có đáp ứng tiêu chí của chúng tôi về tín dụng hay không, tất cả các bức ảnh đều được con người kiểm tra từng bức ảnh. Ví dụ: tiêu chí của chúng tôi nêu rõ rằng “Đánh giá phong cách” phải chứa các ảnh mô tả toàn bộ cơ thể của một người đang mặc / sử dụng sản phẩm trong khi “Đánh giá sản phẩm” phải cung cấp ảnh đầy đủ về sản phẩm. Các hình ảnh sau đây cho thấy các ví dụ về Đánh giá sản phẩm và Đánh giá phong cách. Sự đồng ý của người tải lên đã được cấp cho việc sử dụng các bức ảnh.
Hơn 20,000 ảnh được tải lên hàng ngày lên nền tảng MUSINSA Store yêu cầu kiểm tra. Quá trình kiểm tra phân loại hình ảnh là "gói", "sản phẩm", "toàn chiều dài" hoặc "nửa chiều dài". Quá trình kiểm tra hình ảnh hoàn toàn thủ công, vì vậy nó cực kỳ tốn thời gian và việc phân loại thường được thực hiện khác nhau bởi các cá nhân khác nhau, ngay cả với các hướng dẫn. Đối mặt với thách thức này, chúng tôi đã sử dụng Amazon SageMaker để tự động hóa tác vụ này.
Amazon SageMaker là một dịch vụ được quản lý hoàn toàn để xây dựng, đào tạo và triển khai các mô hình học máy (ML) cho mọi trường hợp sử dụng với cơ sở hạ tầng, công cụ và quy trình làm việc được quản lý đầy đủ. Nó cho phép chúng tôi nhanh chóng thực hiện dịch vụ kiểm tra hình ảnh tự động với kết quả tốt.
Chúng tôi sẽ đi vào chi tiết về cách chúng tôi đã giải quyết các vấn đề của mình bằng cách sử dụng mô hình ML và sử dụng Amazon SageMaker trong quá trình thực hiện.
Tự động hóa Quy trình Kiểm tra Hình ảnh Đánh giá
Bước đầu tiên để tự động hóa quy trình Kiểm tra Đánh giá Hình ảnh là dán nhãn hình ảnh theo cách thủ công, do đó khớp chúng với các danh mục và tiêu chí kiểm tra thích hợp. Ví dụ: chúng tôi đã phân loại hình ảnh là “ảnh chụp toàn thân”, “ảnh chụp toàn thân”, “ảnh chụp bao bì”, “ảnh chụp sản phẩm”, v.v. Trong trường hợp Đánh giá sản phẩm, các khoản tín dụng chỉ được cấp cho ảnh chụp sản phẩm. Tương tự như vậy, trong trường hợp Đánh giá phong cách, các khoản tín dụng được trao cho một cảnh quay toàn thân.
Đối với phân loại hình ảnh, chúng tôi chủ yếu phụ thuộc vào mô hình mạng nơ-ron tích tụ (CNN) được đào tạo trước do khối lượng hình ảnh đầu vào tuyệt đối cần thiết để đào tạo mô hình của chúng tôi. Trong khi việc xác định và phân loại các tính năng có ý nghĩa từ hình ảnh đều rất quan trọng để đào tạo một mô hình, một hình ảnh có thể có vô số tính năng. Do đó, việc sử dụng mô hình CNN có ý nghĩa nhất và chúng tôi đã đào tạo trước mô hình của mình với hơn 10,000 bộ dữ liệu ImageNet, sau đó chúng tôi sử dụng phương pháp học chuyển giao. Điều này có nghĩa là mô hình của chúng tôi có thể được đào tạo hiệu quả hơn với các nhãn hình ảnh của chúng tôi sau này.
Bộ sưu tập hình ảnh với Amazon SageMaker Ground Truth
Tuy nhiên, việc học chuyển giao có những hạn chế riêng của nó, bởi vì một mô hình phải được đào tạo mới ở các lớp cao hơn. Điều này có nghĩa là nó liên tục yêu cầu hình ảnh đầu vào. Mặt khác, phương pháp này hoạt động tốt và yêu cầu ít hình ảnh đầu vào hơn khi được đào tạo trên toàn bộ các lớp. Nó dễ dàng xác định các tính năng từ hình ảnh từ các lớp này vì nó đã được đào tạo với một lượng lớn dữ liệu. Tại MUSINSA, toàn bộ cơ sở hạ tầng của chúng tôi chạy trên AWS và chúng tôi đang lưu trữ ảnh do khách hàng tải lên trong Dịch vụ lưu trữ đơn giản của Amazon (S3). Chúng tôi đã phân loại những hình ảnh này thành các thư mục khác nhau dựa trên các nhãn mà chúng tôi đã xác định và chúng tôi sử dụng Amazon SageMaker Ground Truth vì những lý do sau:
- Kết quả phù hợp hơn - Trong các quy trình thủ công, một sai sót của người kiểm tra có thể được đưa vào đào tạo mô hình mà không cần bất kỳ sự can thiệp nào. Với SageMaker Ground Truth, chúng tôi có thể yêu cầu một số người kiểm tra xem xét cùng một hình ảnh và đảm bảo rằng đầu vào từ người kiểm tra đáng tin cậy nhất được đánh giá cao hơn cho việc ghi nhãn hình ảnh, do đó dẫn đến kết quả đáng tin cậy hơn.
- Ít công việc thủ công hơn - Nhãn dữ liệu tự động của SageMaker Ground Truth có thể được áp dụng với ngưỡng điểm tin cậy để mọi hình ảnh không thể được gắn nhãn máy một cách chắc chắn đều được gửi đi để dán nhãn cho con người. Điều này đảm bảo sự cân bằng tốt nhất giữa chi phí và độ chính xác. Thông tin thêm có sẵn trong Hướng dẫn dành cho nhà phát triển Amazon SageMaker Ground Truth.
Sử dụng phương pháp này, chúng tôi đã giảm 43% số lượng hình ảnh được phân loại thủ công. Bảng sau đây cho thấy số lượng hình ảnh được xử lý trên mỗi lần lặp sau khi chúng tôi áp dụng Ground Truth (lưu ý rằng dữ liệu đào tạo và xác thực là dữ liệu tích lũy, trong khi các chỉ số khác là trên cơ sở mỗi lần lặp). - Tải trực tiếp kết quả - Khi xây dựng các mô hình trong SageMaker, chúng tôi có thể tải các tệp kê khai kết quả được tạo bởi SageMaker Ground Truth và sử dụng chúng để đào tạo.
Tóm lại, việc phân loại 10,000 hình ảnh cần 22 người kiểm tra trong năm ngày và tiêu tốn 980 đô la.
Phát triển mô hình phân loại hình ảnh với Amazon SageMaker Studio
Chúng tôi cần phân loại ảnh đánh giá là ảnh chụp toàn thân, ảnh chụp phần trên cơ thể, ảnh chụp gói hàng, ảnh chụp sản phẩm và sản phẩm thành các danh mục áp dụng. Để đạt được mục tiêu của mình, chúng tôi đã xem xét hai mô hình: mô hình tích hợp SageMaker dựa trên ResNet và mô hình Mạng di động dựa trên Tensorflow. Chúng tôi đã thử nghiệm cả hai trên cùng một bộ dữ liệu thử nghiệm và nhận thấy rằng mô hình tích hợp sẵn của SageMaker chính xác hơn, với điểm số F0.98 1 so với 0.88 từ mô hình TensorFlow. Do đó, chúng tôi quyết định chọn mô hình tích hợp SageMaker.
Sản phẩm Studio SageMaker-Quy trình đào tạo mô hình dựa trên như sau:
- Nhập hình ảnh được gắn nhãn từ SageMaker Ground Truth
- Tiền xử lý hình ảnh - thay đổi kích thước hình ảnh và tăng cường
- Tải Mô hình tích hợp Amazon SageMaker như một hình ảnh Docker
- Điều chỉnh siêu tham số thông qua tìm kiếm lưới
- Áp dụng học chuyển tiếp
- Điều chỉnh lại các thông số dựa trên chỉ số đào tạo
- Lưu mô hình
SageMaker đã giúp dễ dàng đào tạo mô hình chỉ với một cú nhấp chuột và không cần lo lắng về việc cung cấp và quản lý nhóm máy chủ để đào tạo.
Đối với biến siêu tham số, chúng tôi đã sử dụng tìm kiếm lưới để xác định giá trị tối ưu của siêu tham số, như số lớp huấn luyện (num_layers
) và chu kỳ đào tạo (epochs
) trong quá trình học chuyển giao đã ảnh hưởng đến độ chính xác của mô hình phân loại của chúng tôi.
Mô hình phục vụ với SageMaker Batch Transform và Apache Airflow
Mô hình phân loại hình ảnh mà chúng tôi đã xây dựng yêu cầu quy trình làm việc ML để xác định xem hình ảnh đánh giá có đủ điều kiện cho các khoản tín dụng hay không. Chúng tôi đã thiết lập quy trình làm việc với bốn bước sau.
- Nhập hình ảnh đánh giá và siêu dữ liệu phải được xem xét tự động
- Suy ra nhãn của các hình ảnh (suy luận)
- Xác định xem có nên cung cấp các khoản tín dụng hay không dựa trên các nhãn được suy ra
- Lưu trữ bảng kết quả trong cơ sở dữ liệu sản xuất
Chúng tôi đang sử dụng Luồng khí Apache để quản lý quy trình làm việc của sản phẩm dữ liệu. Đây là một nền tảng lập lịch và giám sát quy trình làm việc được phát triển bởi Airbnb, được biết đến với các biểu đồ giao diện người dùng web đơn giản và trực quan. Nó hỗ trợ Amazon SageMaker, vì vậy nó dễ dàng di chuyển mã được phát triển với SageMaker Studio sang Apache Airflow. Có hai cách để chạy các công việc SageMaker trên Apache Airflow:
- Sử dụng các nhà điều hành Amazon SageMaker
- Sử dụng Toán tử Python : Viết một hàm Python với Amazon SageMaker Python SDK trên Apache Airflow và nhập nó dưới dạng một tham số có thể gọi
Lựa chọn thứ hai hãy để chúng tôi duy trì Python hiện có của chúng tôi mã mà chúng tôi đã có trên SageMaker Studio, và nó không yêu cầu chúng tôi học ngữ pháp mới cho Người điều hành Amazon SageMaker.
Tuy nhiên, chúng tôi đã trải qua một số thử nghiệm và lỗi, vì đây là lần đầu tiên chúng tôi tích hợp Apache Airflow với Amazon SageMaker. Bài học chúng tôi rút ra là:
- Cập nhật Boto3: Amazon SageMaker Python SDK phiên bản 2 yêu cầu Boto3 1.14.12 hoặc mới hơn. Do đó, chúng tôi cần cập nhật phiên bản Boto3 của môi trường Apache Airflow hiện có của chúng tôi, ở mức 1.13.4.
- Vai trò và quyền thừa kế IAM: Các vai trò AWS IAM được Apache Airflow sử dụng cần thiết để kế thừa các vai trò có thể chạy Amazon SageMaker.
- Cấu hình mạng: Để chạy mã SageMaker với Apache Airflow, các điểm cuối của nó cần được định cấu hình cho các kết nối mạng. Các điểm cuối sau dựa trên các Khu vực và dịch vụ AWS mà chúng tôi đang sử dụng. Để biết thêm thông tin, hãy xem Trang web AWS.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Kết quả
Bằng cách tự động hóa quy trình kiểm tra hình ảnh đánh giá, chúng tôi đã đạt được các kết quả kinh doanh sau:
- Tăng hiệu quả công việc - Hiện tại, 76% hình ảnh của các danh mục nơi dịch vụ được áp dụng được kiểm tra tự động với độ chính xác kiểm tra 98%.
- Nhất quán trong việc cấp tín dụng - Các khoản tín dụng được đưa ra dựa trên các tiêu chí rõ ràng. Tuy nhiên, có những trường hợp các khoản tín dụng được trao khác nhau cho các trường hợp tương tự do sự khác biệt trong nhận định của các thanh tra viên. Mô hình ML áp dụng các quy tắc nhất quán hơn và tính nhất quán cao hơn trong việc áp dụng các chính sách tín dụng của chúng tôi.
- Giảm thiểu sai sót của con người - Mọi sự tham gia của con người đều có rủi ro do lỗi của con người. Ví dụ: chúng tôi đã gặp trường hợp tiêu chí Đánh giá phong cách được sử dụng cho Đánh giá sản phẩm. Mô hình kiểm tra tự động của chúng tôi đã giảm đáng kể rủi ro do những lỗi do con người gây ra.
Cụ thể, chúng tôi đã đạt được những lợi ích sau bằng cách sử dụng Amazon SageMaker để tự động hóa quy trình kiểm tra hình ảnh:
- Thiết lập một môi trường nơi chúng tôi có thể xây dựng và thử nghiệm các mô hình thông qua các quy trình mô-đun - Điều chúng tôi thích nhất ở Amazon SageMaker là nó bao gồm các mô-đun. Điều này cho phép chúng tôi xây dựng và thử nghiệm các dịch vụ một cách dễ dàng và nhanh chóng. Rõ ràng ban đầu chúng tôi cần một chút thời gian để tìm hiểu về Amazon SageMaker, nhưng khi đã học, chúng tôi có thể dễ dàng áp dụng nó vào hoạt động của mình. Chúng tôi tin rằng Amazon SageMaker là lý tưởng cho các doanh nghiệp yêu cầu phát triển dịch vụ nhanh chóng, như trong trường hợp của MUSINSA Store.
- Thu thập dữ liệu đầu vào đáng tin cậy với Amazon SageMaker Ground Truth - Việc thu thập dữ liệu đầu vào ngày càng trở nên quan trọng hơn so với việc tự lập mô hình trong lĩnh vực ML. Với sự tiến bộ nhanh chóng của ML, những người mẫu được đào tạo trước có thể hoạt động tốt hơn nhiều so với trước đây và không cần điều chỉnh thêm. AutoML cũng đã loại bỏ sự cần thiết phải viết mã cho mô hình ML. Do đó, khả năng thu thập dữ liệu đầu vào chất lượng là quan trọng hơn bao giờ hết và việc sử dụng các dịch vụ ghi nhãn như Amazon SageMaker Ground Truth là rất quan trọng.
Kết luận
Trong tương lai, chúng tôi có kế hoạch tự động hóa không chỉ phục vụ người mẫu mà còn đào tạo người mẫu thông qua các lô tự động. Chúng tôi muốn mô hình của mình tự động xác định các siêu tham số tối ưu khi các nhãn hoặc hình ảnh mới được thêm vào. Ngoài ra, chúng tôi sẽ tiếp tục cải thiện hiệu suất của mô hình của mình, cụ thể là số lần thu hồi và độ chính xác, dựa trên phương pháp đào tạo tự động đã đề cập trước đó. Chúng tôi sẽ tăng phạm vi bao phủ của mô hình để nó có thể kiểm tra nhiều hình ảnh đánh giá hơn, giảm nhiều chi phí hơn và đạt được độ chính xác cao hơn, tất cả sẽ dẫn đến sự hài lòng của khách hàng cao hơn.
Để biết thêm thông tin về cách sử dụng Amazon SageMaker để giải quyết các vấn đề kinh doanh của bạn bằng cách sử dụng ML, hãy truy cập trang web sản phẩm. Và, như mọi khi, hãy cập nhật những thông tin mới nhất Tin tức về Máy học AWS tại đây.
Nội dung và ý kiến trong bài đăng này là của tác giả bên thứ ba và AWS không chịu trách nhiệm về nội dung hoặc tính chính xác của bài đăng này.
Về các tác giả
Công viên Jihye là Nhà khoa học dữ liệu tại MUSINSA, người chịu trách nhiệm phân tích và lập mô hình dữ liệu. Cô ấy thích làm việc với dữ liệu phổ biến như thương mại điện tử. Vai trò chính của cô ấy là lập mô hình dữ liệu nhưng cô ấy cũng có sở thích về kỹ thuật dữ liệu.
SungMin Kim là một Kiến trúc sư Giải pháp Sr. tại Amazon Web Services. Anh ấy làm việc với các công ty khởi nghiệp để kiến trúc, thiết kế, tự động hóa và xây dựng các giải pháp trên AWS cho nhu cầu kinh doanh của họ. Anh ấy chuyên về AI / ML và Analytics.
- '
- "
- 000
- 100
- 107
- 98
- thêm vào
- Airbnb
- Tất cả
- đàn bà gan dạ
- Amazon SageMaker
- Sự thật về mặt đất của Amazon SageMaker
- Amazon Web Services
- phân tích
- phân tích
- Apache
- KHU VỰC
- Tự động
- AWS
- BEST
- thân hình
- thương hiệu
- xây dựng
- Xây dựng
- kinh doanh
- các doanh nghiệp
- trường hợp
- thách thức
- phân loại
- CNN
- mã
- Thu
- sự tự tin
- Kết nối
- đồng ý
- nội dung
- tiếp tục
- Chuyển đổi
- mạng lưới thần kinh tích chập
- Chi phí
- tín dụng
- tín
- kinh nghiệm khach hang
- Sự hài lòng của khách hàng
- khách hàng
- dữ liệu
- phân tích dữ liệu
- nhà khoa học dữ liệu
- Nhân khẩu học
- Thiết kế
- chi tiết
- phát triển
- Nhà phát triển
- Phát triển
- phu bến tàu
- thương mại điện tử
- Kỹ Sư
- Môi trường
- vv
- kinh nghiệm
- Thời trang
- Tính năng
- Fed
- Tên
- lần đầu tiên
- VÒI
- Forward
- Full
- chức năng
- Cho
- Các mục tiêu
- tốt
- lưới
- Khách
- Bài đăng của Khách
- hướng dẫn
- tại đây
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- Con người
- IAM
- xác định
- hình ảnh
- IMAGEnet
- cải thiện
- Bao gồm
- Tăng lên
- thông tin
- Cơ sở hạ tầng
- IT
- việc làm
- korea
- ghi nhãn
- Nhãn
- dẫn
- hàng đầu
- LEARN
- học
- học tập
- tải
- học máy
- Metrics
- ML
- kiểu mẫu
- người mẫu
- mô-đun
- giám sát
- cụ thể là
- mạng
- Thần kinh
- mạng lưới thần kinh
- tin tức
- Trực tuyến
- Hoạt động
- Ý kiến
- Tùy chọn
- Nền tảng khác
- hiệu suất
- nền tảng
- Nền tảng
- Chính sách
- Độ chính xác
- Sản phẩm
- Sản lượng
- Sản phẩm
- mua
- Python
- chất lượng
- lý do
- giảm
- Kết quả
- xem xét
- Đánh giá
- Nguy cơ
- quy tắc
- chạy
- nhà làm hiền triết
- sdk
- Tìm kiếm
- ý nghĩa
- DỊCH VỤ
- phục vụ
- Đơn giản
- So
- Giải pháp
- động SOLVE
- miền Nam
- Hàn Quốc
- chuyên
- Startups
- Bang
- ở lại
- là gắn
- hàng
- trình
- Hỗ trợ
- Thiếu Niên
- tensorflow
- thử nghiệm
- thời gian
- công cụ
- giao thông
- Hội thảo
- Xu hướng
- thử nghiệm
- ui
- Cập nhật
- us
- khối lượng
- web
- các dịch vụ web
- CHÚNG TÔI LÀ
- từ
- Công việc
- quy trình làm việc
- công trinh