Bu, MUSINSA'da Veri Bilimcisi olan Jihye Park'ın misafir yazısıdır.
MÜSİNSA 8.4 milyon müşteriye hizmet veren ve 6,000 moda markasının satışını yapan Güney Kore'nin en büyük çevrimiçi moda platformlarından biridir. Aylık kullanıcı trafiğimiz 4 milyona ulaşıyor ve demografimizin %90'ından fazlası moda trendlerine duyarlı gençler ve genç yetişkinlerden oluşuyor. MUSINSA, büyük miktarda veriyle lider konumda, ülkede trend belirleyen bir platform lideridir.
MUSINSA Veri Çözüm Ekibi, MUSINSA Mağazasından toplanan verilerle ilgili her şeyle ilgilenmektedir. Günlük toplamadan veri modelleme ve model sunmaya kadar tam yığın geliştirme yapıyoruz. Uygulamamızın ana sayfasındaki Canlı Ürün Öneri Hizmeti ve metin incelemelerinden 'beden' veya 'memnuniyet düzeyi' gibi kelimeleri tespit edip vurgulayan Anahtar Kelime Vurgulama Hizmeti dahil olmak üzere çeşitli veri tabanlı ürünler geliştiriyoruz.
İnceleme Görüntüsü İnceleme Sürecinin Otomatikleştirilmesindeki Zorluklar
Müşteriler ürünleri şahsen görmeden satın alma kararları verdikleri için, müşteri yorumlarının kalitesi ve miktarı e-ticaret işletmeleri için kritik öneme sahiptir. Müşteri deneyimini geliştirmek ve satın alma dönüşüm oranını artırmak için, satın aldıkları ürünler üzerine resim incelemeleri yazanlara (yani, ürünlerin fotoğraflarını veya ürünleri giyerken/kullanırken çekilen fotoğrafları içeren incelemeler) kredi veriyoruz. Gönderilen fotoğrafların kredi kriterlerimizi karşılayıp karşılamadığını belirlemek için tüm fotoğraflar insanlar tarafından tek tek incelenir. Örneğin kriterlerimiz, "Stil İncelemesi"nin ürünü giyen/kullanan kişinin tüm vücudunu gösteren fotoğrafları içermesi gerektiğini, "Ürün İncelemesi"nin ise ürünün tam görüntüsünü sunması gerektiğini belirtir. Aşağıdaki görsellerde Ürün İncelemesi ve Stil İncelemesi örnekleri gösterilmektedir. Fotoğrafların kullanımı için yükleyicilerin izni verilmiştir.
MUSINSA Store platformuna her gün inceleme gerektiren 20,000'den fazla fotoğraf yükleniyor. Denetim süreci görselleri 'paket', 'ürün', 'tam uzunlukta' veya 'yarım uzunlukta' olarak sınıflandırır. Görüntü inceleme süreci tamamen manuel olduğundan son derece zaman alıcıydı ve sınıflandırmalar genellikle farklı kişiler tarafından, hatta yönergelere göre farklı şekilde yapılıyordu. Bu zorlukla karşılaştığımızda şunları kullandık: Amazon Adaçayı Yapıcı Bu görevi otomatikleştirmek için.
Amazon SageMaker, tam olarak yönetilen altyapı, araçlar ve iş akışlarıyla her türlü kullanım senaryosuna yönelik makine öğrenimi (ML) modelleri oluşturmaya, eğitmeye ve dağıtmaya yönelik tam olarak yönetilen bir hizmettir. Otomatik görüntü inceleme hizmetini hızlı bir şekilde iyi sonuçlarla uygulamamıza olanak sağladı.
ML modellerini kullanarak sorunlarımızı nasıl çözdüğümüz ve bu süreçte Amazon SageMaker'ı nasıl kullandığımız hakkında ayrıntılara gireceğiz.
İnceleme Görüntüsü İnceleme Sürecinin Otomasyonu
Görüntü İnceleme Denetimi sürecini otomatikleştirmeye yönelik ilk adım, görüntüleri manuel olarak etiketlemek ve böylece onları uygun kategorilerle ve inceleme kriterleriyle eşleştirmekti. Örneğin görselleri "tam vücut çekimi", "üst vücut çekimi", "paketleme çekimi", "ürün çekimi" vb. olarak sınıflandırdık. Ürün İncelemesi durumunda, krediler yalnızca ürün çekimi görseli için verildi. Benzer şekilde, Stil İncelemesi durumunda, tam vücut çekimi için kredi verildi.
Görüntü sınıflandırmasına gelince, modelimizi eğitmek için gereken giriş görüntülerinin çok büyük olması nedeniyle büyük ölçüde önceden eğitilmiş bir evrişimli sinir ağı (CNN) modeline güvendik. Görüntülerden anlamlı özelliklerin tanımlanması ve kategorize edilmesi, bir modeli eğitmek için kritik öneme sahip olsa da, bir görüntünün sınırsız sayıda özelliği olabilir. Bu nedenle CNN modelini kullanmak en mantıklısıydı ve modelimizi 10,000'den fazla ImageNet veri seti ile önceden eğittik, ardından transfer öğrenmeyi kullandık. Bu, modelimizin daha sonra resim etiketlerimizle daha etkili bir şekilde eğitilebileceği anlamına geliyordu.
Amazon SageMaker Ground Truth ile Görüntü Toplama
Ancak transfer öğreniminin kendi sınırlamaları vardı çünkü bir modelin daha yüksek katmanlarda yeni eğitilmesi gerekiyordu. Bu, sürekli olarak giriş görüntülerine ihtiyaç duyduğu anlamına gelir. Öte yandan, bu yöntem iyi performans gösterdi ve tüm katmanlar üzerinde eğitildiğinde daha az girdi görüntüsü gerektirdi. Zaten çok büyük miktarda veriyle eğitilmiş olduğundan, bu katmanlardaki görüntülerdeki özellikleri kolayca tanımladı. MUSINSA'da tüm altyapımız AWS üzerinde çalışıyor ve müşteri tarafından yüklenen fotoğrafları Amazon Basit Depolama Hizmeti (S3). Bu görselleri tanımladığımız etiketlere göre farklı klasörlerde kategorize ettik ve aşağıdaki nedenlerden dolayı Amazon SageMaker Ground Truth'u kullandık:
- Daha tutarlı sonuçlar – Manuel süreçlerde, tek bir denetçinin hatası herhangi bir müdahale olmaksızın model eğitimine aktarılabilir. SageMaker Ground Truth ile, birden fazla denetçinin aynı görüntüyü incelemesini sağlayabilir ve en güvenilir denetçinin girdilerinin görüntü etiketleme açısından daha yüksek derecelendirildiğinden emin olabilir ve böylece daha güvenilir sonuçlara ulaşabiliriz.
- Daha az manuel çalışma – SageMaker Ground Truth otomatik veri etiketlemesi bir güven puanı eşiğiyle uygulanabilir, böylece güvenli bir şekilde makineyle etiketlenemeyen görüntüler insan etiketlemesi için gönderilir. Bu, maliyet ve doğruluk arasında en iyi dengeyi sağlar. Daha fazla bilgi şu adreste mevcuttur: Amazon SageMaker Ground Truth Geliştirici Kılavuzu.
Bu yöntemi kullanarak manuel olarak sınıflandırılan görsellerin sayısını %43 oranında azalttık. Aşağıdaki tablo, Temel Gerçeği benimsedikten sonra yineleme başına işlenen görüntü sayısını gösterir (eğitim ve doğrulama verilerinin birikmiş veriler olduğunu, diğer ölçümlerin yineleme bazında olduğunu unutmayın). - Sonuçları doğrudan yükle – SageMaker'da modeller oluştururken, SageMaker Ground Truth tarafından oluşturulan sonuç bildirim dosyalarını yükleyebilir ve bunları eğitim için kullanabiliriz.
Özetle, 10,000 görüntünün sınıflandırılması 22 denetçinin beş gününü gerektirdi ve maliyeti 980 dolardı.
Amazon SageMaker Studio ile Görüntü Sınıflandırma Modelinin Geliştirilmesi
İnceleme görsellerini tam vücut çekimleri, üst vücut çekimleri, paket çekimleri, ürün çekimleri ve ürünler olarak ilgili kategorilere göre sınıflandırmamız gerekiyordu. Hedeflerimize ulaşmak için iki model düşündük: ResNet tabanlı SageMaker yerleşik modeli ve Tensorflow tabanlı MobileNet. Her ikisini de aynı test veri kümeleri üzerinde test ettik ve TensorFlow modelinden elde edilen 0.98'e karşılık 1 F0.88 puanıyla SageMaker yerleşik modelinin daha doğru olduğunu gördük. Bu nedenle SageMaker yerleşik modeline karar verdik.
The Adaçayı Yapıcı Stüdyotabanlı model eğitim süreci şu şekilde gerçekleşti:
- Etiketli görselleri SageMaker Ground Truth'tan içe aktarın
- Görüntüleri ön işleme – görüntüyü yeniden boyutlandırma ve büyütme
- Yüklemek Amazon SageMaker yerleşik modeli Docker görüntüsü olarak
- Izgara araması yoluyla hiperparametreleri ayarlayın
- Transfer öğrenimini uygulayın
- Eğitim metriklerine göre parametreleri yeniden ayarlayın
- Modeli kaydet
SageMaker, eğitim için bir sunucu filosunun sağlanması ve yönetilmesi konusunda endişelenmeden, modeli tek tıklamayla eğitmeyi kolaylaştırdı.
Hiperparametre döndürme için, eğitim katmanlarının sayısı () olarak hiperparametrelerin optimal değerlerini belirlemek için ızgara aramasını kullandık.num_layers
) ve eğitim döngüleri (epochs
) transfer öğrenme sırasında sınıflandırma modelimizin doğruluğunu etkilemişti.
SageMaker Batch Transform ve Apache Airflow ile Model Sunumu
Oluşturduğumuz görüntü sınıflandırma modeli, bir inceleme görüntüsünün kredi için uygun olup olmadığını belirlemek için makine öğrenimi iş akışlarını gerektiriyordu. Aşağıdaki dört adımla iş akışları oluşturduk.
- Otomatik olarak incelenmesi gereken inceleme resimlerini ve meta verileri içe aktarın
- Görüntülerin etiketlerini çıkarım (çıkarım)
- Çıkarılan etiketlere göre kredilerin verilmesi gerekip gerekmediğini belirleyin
- Sonuçlar tablosunu üretim veritabanında saklayın
Biz kullanıyorsunuz Apache Hava Akışı veri ürünü iş akışlarını yönetmek için. Airbnb tarafından geliştirilen, basit ve sezgisel web kullanıcı arayüzü grafikleriyle tanınan bir iş akışı planlama ve izleme platformudur. Amazon SageMaker'ı desteklediğinden SageMaker Studio ile geliştirilen kodu Apache Airflow'a kolayca taşır. SageMaker işlerini Apache Airflow'ta çalıştırmanın iki yolu vardır:
- Amazon SageMaker Operatörlerini Kullanma
- kullanma Python Operatörleri : Apache Airflow'ta Amazon SageMaker Python SDK ile bir Python işlevi yazın ve bunu çağrılabilir bir parametre olarak içe aktarın
İkinci seçenek bize izin verin mevcut Python'umuzu koruyun SageMaker Studio'da zaten sahip olduğumuz kodlar, ve Amazon SageMaker Operatörleri için yeni dilbilgisi öğrenmemizi gerektirmedi.
Ancak Apache Airflow'u Amazon SageMaker ile ilk kez entegre ettiğimiz için bazı deneme yanılma süreçlerinden geçtik. Öğrendiğimiz dersler şunlardı:
- Boto3 güncellemesi: Amazon SageMaker Python SDK sürüm 2, Boto3 1.14.12 veya daha yenisini gerektirir. Bu nedenle mevcut Apache Airflow ortamımızın 3 olan Boto1.13.4 sürümünü güncellememiz gerekiyordu.
- IAM Rolü ve izin devralma: Amazon SageMaker'ı çalıştırabilecek rolleri devralmak için Apache Airflow tarafından kullanılan AWS IAM rolleri gerekiyordu.
- Ağ yapılandırması: SageMaker kodlarını Apache Airflow ile çalıştırmak için uç noktalarının ağ bağlantıları için yapılandırılması gerekiyordu. Aşağıdaki uç noktalar, kullandığımız AWS Bölgelerine ve hizmetlerine dayanmaktadır. Daha fazla bilgi için bkz. AWS web sitesi.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Çıktıları
İnceleme görseli inceleme süreçlerini otomatikleştirerek aşağıdaki iş sonuçlarını elde ettik:
- Artan iş verimliliği – Şu anda hizmetin uygulandığı kategorilere ait görsellerin %76’sı, %98 denetim doğruluğu ile otomatik olarak denetlenmektedir.
- Kredi vermede tutarlılık – Krediler açık kriterlere göre verilmektedir. Ancak müfettişlerin kararlarındaki farklılıklar nedeniyle benzer davalar için farklı kredilerin verildiği durumlar da vardı. ML modeli, kredi politikalarımızın uygulanmasında kuralları daha tutarlı ve daha yüksek tutarlılıkla uygular.
- Azalan insan hataları – Her insan etkileşimi, insan hatası riski taşır. Örneğin Ürün İncelemeleri için Stil İnceleme kriterlerinin kullanıldığı durumlarla karşılaştık. Otomatik denetim modelimiz bu insan hatası risklerini önemli ölçüde azalttı.
Görüntü inceleme sürecini otomatikleştirmek için Amazon SageMaker'ı kullanarak özellikle aşağıdaki avantajları elde ettik:
- Modüler süreçler aracılığıyla modeller oluşturup test edebileceğimiz bir ortam oluşturduk – Amazon SageMaker’ın en sevdiğimiz yanı modüllerden oluşmasıydı. Bu, hizmetleri kolay ve hızlı bir şekilde oluşturmamıza ve test etmemize olanak tanır. Açıkçası ilk başta Amazon SageMaker hakkında bilgi edinmek için biraz zamana ihtiyacımız vardı, ancak öğrendikten sonra bunu operasyonlarımızda kolayca uygulayabildik. Amazon SageMaker'ın MUSINSA Mağazası gibi hızlı hizmet geliştirmeleri gerektiren işletmeler için ideal olduğuna inanıyoruz.
- Amazon SageMaker Ground Truth ile güvenilir giriş verileri toplayın – Makine öğrenimi alanında girdi verilerini toplamak, kendini modellemekten giderek daha önemli hale geliyor. ML'nin hızla ilerlemesiyle, önceden eğitilmiş modeller, ek ayar gerektirmeden eskisinden çok daha iyi performans gösterebilir. AutoML, ML modelleme için kod yazma ihtiyacını da ortadan kaldırdı. Bu nedenle kaliteli girdi verileri toplama yeteneği her zamankinden daha önemli ve Amazon SageMaker Ground Truth gibi etiketleme hizmetlerinin kullanılması kritik önem taşıyor.
Sonuç
İleriye dönük olarak, yalnızca model sunumunu değil aynı zamanda otomatik gruplar aracılığıyla model eğitimini de otomatikleştirmeyi planlıyoruz. Yeni etiketler veya resimler eklendiğinde modelimizin en uygun hiperparametreleri otomatik olarak tanımlamasını istiyoruz. Ayrıca, daha önce bahsedilen otomatik eğitim yöntemine dayanarak modelimizin performansını, yani geri çağırma ve hassasiyeti geliştirmeye devam edeceğiz. Daha fazla inceleme görüntüsünü inceleyebilmesi, daha fazla maliyeti azaltabilmesi ve daha yüksek doğruluk elde edebilmesi için model kapsamımızı artıracağız; bunların tümü daha yüksek müşteri memnuniyetine yol açacak.
Nasıl kullanılacağı hakkında daha fazla bilgi için Amazon Adaçayı Yapıcı İş sorunlarınızı makine öğrenimi kullanarak çözmek için şu adresi ziyaret edin: ürün web sayfası. Ve her zaman olduğu gibi en son gelişmelerden haberdar olun AWS Machine Learning Haberleri burada.
Bu gönderideki içerik ve görüşler üçüncü taraf yazara aittir ve AWS bu gönderinin içeriğinden veya doğruluğundan sorumlu değildir.
Yazarlar Hakkında
Jihye Parkı MUSINSA'da veri analizi ve modellemeden sorumlu Veri Bilimcisidir. E-ticaret gibi her yerde bulunan verilerle çalışmayı seviyor. Ana görevi veri modellemedir ancak veri mühendisliğiyle de ilgilenmektedir.
Sung Min Kim Amazon Web Services'te Kıdemli Çözüm Mimarıdır. AWS'de iş ihtiyaçlarına yönelik çözümler tasarlamak, tasarlamak, otomatikleştirmek ve oluşturmak için startup'larla birlikte çalışıyor. AI/ML ve Analytics konularında uzmandır.
- '
- "
- 000
- 100
- 107
- 98
- Ek
- Airbnb
- Türkiye
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Yer Gerçeği
- Amazon Web Servisleri
- analiz
- analytics
- Apache
- ALAN
- Otomatik
- AWS
- İYİ
- vücut
- markalar
- inşa etmek
- bina
- iş
- işletmeler
- durumlarda
- meydan okuma
- sınıflandırma
- CNN
- kod
- Toplama
- güven
- Bağlantılar
- rıza
- içerik
- devam etmek
- Dönüştürme
- evrişimli sinir ağı
- maliyetler
- kredi
- Künye
- müşteri deneyimi
- Müşteri memnuniyeti
- Müşteriler
- veri
- veri analizi
- veri bilimcisi
- Demografi
- Dizayn
- ayrıntı
- geliştirmek
- Geliştirici
- gelişme
- liman işçisi
- e-ticaret
- Mühendislik
- çevre
- vb
- deneyim
- Moda
- Özellikler
- Fed
- Ad
- ilk kez
- FİLO
- ileri
- tam
- işlev
- Verilmesi
- Goller
- Tercih Etmenizin
- Grid
- Konuk
- Misafir Mesaj
- kuralları yenileyerek
- okuyun
- Ne kadar
- Nasıl Yapılır
- HTTPS
- İnsanlar
- IAM
- belirlemek
- görüntü
- IMAGEnet
- geliştirme
- Dahil olmak üzere
- Artırmak
- bilgi
- Altyapı
- IT
- Mesleki Öğretiler
- Kore
- etiketleme
- Etiketler
- öncülük etmek
- önemli
- ÖĞRENİN
- öğrendim
- öğrenme
- yük
- makine öğrenme
- Metrikleri
- ML
- model
- Modelleme
- modüler
- izleme
- yani
- ağ
- sinirsel
- sinir ağı
- haber
- Online
- Operasyon
- Görüşler
- seçenek
- Diğer
- performans
- platform
- Platformlar
- politikaları
- Hassas
- PLATFORM
- üretim
- Ürünler
- satın alma
- Python
- kalite
- nedenleri
- azaltmak
- Sonuçlar
- yorum
- Yorumları
- Risk
- kurallar
- koşmak
- sagemaker
- sdk
- Ara
- duyu
- Hizmetler
- servis
- Basit
- So
- Çözümler
- ÇÖZMEK
- güney
- Güney Kore
- uzmanlaşmış
- Startups
- Devletler
- kalmak
- hafızası
- mağaza
- gönderilen
- Destekler
- Gençler
- tensorflow
- test
- zaman
- araçlar
- trafik
- Eğitim
- Trendler
- deneme
- ui
- Güncelleme
- us
- hacim
- ağ
- web hizmetleri
- DSÖ
- sözler
- İş
- iş akışı
- çalışır