AWS kullanan Amazon üçüncü taraf satıcıları için AI/ML odaklı, eyleme geçirilebilir içgörüler ve temalar

AWS kullanan Amazon üçüncü taraf satıcıları için AI/ML odaklı, eyleme geçirilebilir içgörüler ve temalar

Kaynak Düğüm: 2008943

Amazon International Seller Growth (ISG) ekibi, 200,000'den fazla üçüncü taraf Merchant Fulfilled Network (MFN) satıcısını destekleyen CSBA (Amazon Müşteri Hizmetleri) programını yürütür. Amazon çağrı merkezleri, tüketiciler ile Amazon MFN satıcıları arasında yüzbinlerce telefon görüşmesini, sohbeti ve e-postayı kolaylaştırır. Çok sayıda ilgili kişi, CSBA'nın transkriptlerden önemli bilgileri çıkarması konusunda zorluk yaratıyor; bu, satıcıların müşteri ihtiyaçlarını hızla ele almasına ve müşteri deneyimini iyileştirmesine yardımcı oluyor. Bu nedenle, bu transkriptlerden içgörüleri otomatik olarak keşfetmek, birden fazla müşteri görüşmesini analiz etmek için tema tespiti gerçekleştirmek ve müşteri sorunlarının doğru şekilde ve gerektiği gibi ele alınması için müşteriyle iletişimin en önemli nedenlerini gösteren bir dizi temayı otomatik olarak sunmak çok önemlidir. mümkün olur olmaz.

Bu gönderi, bu transkriptlere dayalı eyleme dönüştürülebilir içgörüler sağlamak için bir iş akışı ile AWS AI ve makine öğrenimi (ML) hizmetlerini kullanan bir çözüm sunar. Aşağıdakiler gibi birden çok AWS AI/ML hizmeti kullanıyoruz: Amazon Connect için Kontakt Lens ve Amazon Adaçayı Yapıcıve birleşik bir mimari kullanır. Bu çözüm, küçük hacimli veri örnekleri kullanılarak ISG ile test edilir. Bu yazıda, düşünce sürecini, bu çözümü oluşturmayı ve testin sonucunu tartışıyoruz. Öğrenilen derslerin ve burada sunulan yolculuğumuzun kendi yolculuğunuzda size yardımcı olabileceğine inanıyoruz.

Operasyonel manzara ve iş akışı

Aşağıdaki şekil, satıcıların her zaman, her yerde müşterilerine yakın kalabilmeleri için ISG için paydaşlar ve iş akışı ile önerilen operasyonel ortamı göstermektedir. Tüketici, bir iletişim merkezi platformu aracılığıyla Müşteri Hizmetleri ile iletişime geçer ve Müşteri Hizmetleri Ortağı (CSA) ile ilişki kurar. Ardından, satıcılar için milyonlarca müşteri bağlantısı aracılığıyla eyleme dönüştürülebilir içgörüler elde etmek için ilgili kişilerin transkriptleri CSBA tarafından kullanılabilir hale gelir ve veriler Satıcı Veri Gölü'nde depolanır. Satıcılar, analiz sonuçlarına erişmek ve müşteri sorunlarını hızlı ve etkili bir şekilde çözmek için harekete geçmek için Amazon Seller Central portalını kullanır.

Çözüme genel bakış

Aşağıdaki diyagram, iş akışı işlemlerini AI/ML ve ETL (çıkarma, dönüştürme ve yükleme) hizmetlerine yansıtan mimariyi göstermektedir.

çözüm mimarisi

İş akışı adımları aşağıdaki gibidir:

  1. Biz kullanmak Amazon Bağlantısı tüketici-CSA etkileşimleri için bir bulut iletişim merkezi olarak. Contact Lens for Amazon Connect, çağrı ve sohbet dökümleri oluşturur; iletişim özetini, analitiği, ortak-müşteri etkileşiminin kategorizasyonunu ve sorun tespitini elde eder; ve müşteri duygularını ölçer.
  2. Kontakt Lens daha sonra analitik verilerini bir Amazon Basit Depolama Hizmeti Uzun süreli elde tutma için (Amazon S3) kovası.
  3. Amazon Kinesis Veri Akışları tarafından işlenen yüksek verimli analitik verilerini toplar ve aktarır. AWS Lambdave verileri bir ara belleğe enjekte eder ve depolar S3 kepçe. Bu aşamada veriler arama ve sohbet dökümlerini, duyarlılık puanlarını, algılanan sorunları ve kategorileri içerir.
  4. Kontak Lens sonuçlarının yanı sıra veri akışını almak, istenen veri alanlarını çıkarmak ve AWS AI/ML hizmetleri tarafından özel ML analizlerinin çıkarımını tetiklemek için Lambda işlevlerini tetikler. tüketici-CSA etkileşimlerinden memnuniyet. Kontak Lens kuralları, iletişim merkezindeki bilinen sorunları kategorilere ayırmamıza yardımcı olur. Bu aşamada ISG, satıcıya özel çağrılarda, gerçekleştirilen çözümlerde ve belirli anahtar ifadelerde önceden bilinmeyen sorunları keşfederek temayı tespit ederek satıcıya ek bilgiler sağlamak istedi. Burada SageMaker üzerinde derin olmayan bir öğrenme modeli eğitilmiş ve çalıştırılmıştır, bunun detayları bir sonraki bölümde anlatılacaktır.
  5. AI/ML tabanlı analitikten sonra, eyleme dönüştürülebilir tüm içgörüler oluşturulur ve ardından Satıcı Veri Gölü'nde depolanır. İçgörüler, uluslararası satıcıların temel nedeni tam olarak belirlemesi ve hızlı bir şekilde harekete geçmesi için Seller Central Portal'da paylaşılır.

Aşağıdaki bölümlerde, AI/ML çözümünü ve bileşenlerini daha derinlemesine inceleyeceğiz.

Veri etiketleme

Bu bölümde, temas nedenini ve çözümünü belirlemek için veri etiketleme yaklaşımımızı ve satıcıların kök neden analizi yapması için anahtar kelime çıkarma metodolojimizi açıklıyoruz.

İletişim nedeni ve çözüm etiketlemesi

Makine öğrenimi tarafından transkriptlerden temas nedenini saptamak için, ISG ekibi tarafından sağlanan örnek verilerden veri etiketleri olarak yedi Standardize Edilmiş Sorun Kodunu (SIC) kullandık:

  • İptal talebinde bulunmak için satıcıyla iletişime geçildi
  • İzleme, teslim edildiğini ancak gönderi alınmadığını gösteriyor
  • Gönderi teslim edilemiyor
  • Sevkiyat, teslim tarihinden sonra teslim edilmedi
  • Müşteriye transit sevkiyat
  • İade Posta Etiketi (RML) İste
  • Öğe iade edilemez

Temas nedeni etiketleri, satıcıya önceden bilinmeyen sorunlar eklenerek daha da genişletilebilir; ancak, bu konular SIC'de tanımlanmamıştı. Temas nedeninin aksine, temas çözümünün transkriptlerle ilişkilendirilmiş bir etiketi yoktur. Çözünürlük kategorileri ISG ekibi tarafından belirlendi ve çözünürlüklerin bu kategorilere göre etiketlenmesi gerekiyordu. Bu nedenle yararlandığımız Amazon SageMaker Yer Gerçeği her kişi için etiket oluşturmak veya güncellemek için.

Ground Truth, verileri etiketlemeyi kolaylaştıran bir veri etiketleme hizmeti sunar ve size insan notlayıcıları kullanma seçeneği sunar. Amazon Mekanik Türk, üçüncü taraf satıcılarya da kendi özel işgücünüz. Bu çözüm için ISG ekibi, Amazon Mechanical Turk yüklenicileri tarafından etiketlenen 140'tan fazla transkript belgesinde ilgili kişi çözümü için kategoriler tanımladı:

  • Tam geri ödeme – 69 kayıt
  • Satıcıyla iletişime geç – 52 kayıt
  • Kısmi iade – 15 kayıt
  • Diğer – 4 kayıt

Yüklenicilerin 140 belge için çok etiketli metin sınıflandırması iletişim merkezi çözünürlük etiketlemesini tamamlaması ve bunların müşteri tarafından incelenmesini sağlaması yalnızca birkaç saat sürdü. Bir sonraki adımda, çok sınıflı sınıflandırma modelleri oluşturuyoruz, ardından müşteri hizmetlerinden gelen yeni arama ve sohbet dökümlerinden iletişim nedenini ve çözümünü tahmin ediyoruz.

Kök neden analizi için anahtar kelimeler

Diğer bir zorluk da, MFN satıcılarına belirli eylemlerde rehberlik edebilecek anahtar kelimeleri transkriptlerden çıkarmaktır. Bu örnekte, satıcının ürün bilgileri, kritik zaman çizelgesi, sorun ayrıntıları ve CSA tarafından sunulan geri ödeme gibi net olmayabilecek önemli bilgileri alması gerekir. Burada, aşağıdaki şekilde gösterilen işlemi izleyerek RAKE (Hızlı Otomatik Anahtar Kelime Çıkarma) algoritmasını kullanarak SageMaker'da özel bir anahtar sözcük çıkarma modeli oluşturduk. RAKE, kelimenin görünme sıklığını ve metindeki diğer kelimelerle birlikte ortaya çıkışını analiz ederek anahtar kelime öbeklerini belirleyen alandan bağımsız bir anahtar kelime çıkarma algoritmasıdır.

anahtar kelime çıkarma işlemi

Standart belge ön işlemesinden sonra RAKE, transkript belgelerinden en alakalı anahtar sözcükleri ve tümceleri saptar. Çıktı aşağıdaki gibi listelenir:

[('im amazons chat helper .. im', 0.08224299065420558), ('jun 23 .. could', 0.041588785046728964), <== timeline ('original payment method please', 0.04112149532710279), <== resolution: refund ('amazon gift card balance', 0.04112149532710279), <== resolution: refund ('previous conversation .. let', 0.04018691588785046), ('faulty pieces would like', 0.036448598130841114), <== call reason: faulty piece ('nice day !:)..', 0.025233644859813078), ('dual fuel gas', 0.025233644859813078), <== call reason: product info ('customer service hub', 0.025233644859813078), ('5 business days', 0.025233644859813078), <== timeline ('try .. got', 0.02476635514018691), ('right place ..', 0.023364485981308407), ('item .. let', 0.023364485981308407), ('youd like help', 0.02242990654205607), ('think would help', 0.02242990654205607), ('search help pages', 0.02242990654205607), ('gbc1793w ). order', 0.02242990654205607), <== call reason: product info ('moment .. ok', 0.021962616822429903), ('charcoal combo grill', 0.021028037383177565), <== call reason: product info ('call back ..', 0.021028037383177565), ('yes please anything', 0.020093457943925228), ('chat ..', 0.014953271028037382), ('would love', 0.014018691588785043), ('looks like', 0.014018691588785043), ('bent pieces', 0.013084112149532708), <== call reason: faulty details

Bu yöntem, zaman çizelgesi ("23 Haziran"), geri ödeme çözümü ("Amazon hediye kartı", "5 iş günü içinde"), ürün bilgileri ("kömür kombo ızgara", "gibi kritik bilgilerde yüksek alaka puanına sahip anahtar ifadeleri yakaladı. çift ​​yakıtlı gaz,” “gbc1793w”) ve sorun detayları (“arızalı parça,” “bükülmüş parçalar”). Bu içgörüler, satıcıya yalnızca geri ödeme alarak bu müşteriyle ilgilenildiğini söylemekle kalmaz, aynı zamanda satıcının gazlı ızgara ürün kusurunu daha ayrıntılı araştırmasına ve diğer müşteriler için benzer sorunlar yaşamamasına yardımcı olur.

Metin sınıflandırma modeli eğitimi

Contact Lens, ISG Müşteri Hizmetleri'nden toplanan arama ve sohbet örnekleri için transkriptler, iletişim özeti ve duygular oluşturdu. Test boyunca, transkripsiyon ve duyarlılık puanları beklendiği gibi doğruydu. ISG ekibi, bilinen sorunların yanı sıra teslimat sorunları, ürün kusurları, ilgili kişi tarafından sağlanan çözümler ve iade veya geri ödemeye yol açan sorunlar veya anahtar ifadeler gibi satıcıya özgü ihtiyaçları karşılamak için transkriptlerden bilinmeyen sorunları da tespit etmeye çalışır.

Bu zorluğun üstesinden gelmek için testlerimizi SageMaker'daki özel modeller aracılığıyla genişlettik. Deneyimlerimiz, veri kümesinin ve örneklerin boyutuna dayalı olarak SageMaker kullanan "kelime torbası" tabanlı, daha geleneksel (derin öğrenme olmayan) modellere işaret etti.

Aşağıdaki şekilde gösterildiği gibi SageMaker'daki üç adımı izleyerek temas nedeni sınıflandırma modellemesini gerçekleştirdik.

metin sınıflandırma işlemi

Adımlar aşağıdaki gibidir:

  1. Ön İşleme – Biz kullandık NLTK kitaplığı vakaları azaltmak için; noktalama işaretlerini, etiketleri, işaretlemeleri ve sondaki boşlukları kaldırın; ve tek harfleri, sayısal değerleri ve özelleştirilmiş durdurma sözcükleri listelerini filtreleyin.
  2. Vektoriyal – Biz kullandık TF-IDF (Term Sıklığı-Ters Belge Sıklığı) yöntemi, işlenen belgeyi TF-IDF özelliklerinden oluşan bir matrise dönüştürür. Yöntem, bir belge koleksiyonu (korpus) içeren bir belgedeki kelimelerin ve tümcelerin önemini ve alaka düzeyini ölçer, ardından bir kelimenin derlemdeki belge için ne kadar önemli olduğunu göstermek için sayısal değerlerdeki özellikleri üretir. Bu çözüm için 750 ve 1,500 özellik belirterek test ettik.
  3. Çok sınıflı sınıflandırma – Vektörleştirilmiş özellik listesi ve SIC etiketleri kullanarak yedi sınıflı bir sınıflandırma modeli oluşturduk. Örneklerin %90'ını eğitim için ve %10'unu doğrulama için kullandık.

En iyi performans gösteren modeli elde etmeyi amaçlayan üç algoritmayı test ettik:

  • İlk olarak, kullandık SageMaker Doğrusal Öğrenici algoritma varsayılan hiperparametrelerle ve 10 dönem gerçekleştirdi ve test seti için %71 doğruluğa ulaştı.
  • Sonra, kullandık SageMaker yerleşik XGBoost algoritmasıve dört parametrede (eta, alfa, minimum_çocuk_ağırlığı, maks_derinlik) otomatik hiperparametre optimizasyonu (HPO) ayarını çalıştırdı ve bu da bize test seti için %71 doğruluk sağladı.
  • Sonunda birlikte çalıştık AutoGluon'un SageMaker'daki AutoML çerçevesibirden çok model birleştirme ve birden çok katman istifleme ile otomatik modelleme ve hiperparametre seçimi gerçekleştirir. Çerçeve, 13 modeli eğitti ve test seti için %74 doğruluk sağlayan nihai topluluk modelini oluşturdu. Ayrıca TF-IDF vektörleştirici özelliklerinin sayısını 1,500'e çıkararak test ettik; AutoGluon modeli ile test setindeki sınıflandırma doğruluğu daha da geliştirilerek %82'ye çıkarılabilir.

AutoGluon aracılığıyla model eğitimimiz için MultilabelPredictor yöntemini kullandık. AutoGluon kitaplığı. Bu öngörücü, tablo verileri için çok etiketli tahmin gerçekleştirir. biz kullandık örnek dizüstü GitHub'daki AWS örneklerinden. AutoGluon kitaplıklarını içe aktararak ve sınıfını tanımlayarak aynı not defterini kullandık. MultilabelPredictor(). Yer kazanmak için, bu satırları aşağıdaki kod parçacığında göstermiyoruz; o kısmı örnek not defterinden kopyalayabilir/yapıştırabilirsiniz. S3 grubumuzdaki train.csv dosyasındaki eğitimi kullandık (your_path_to_s3/train.csv), etiket için kullanılan sütunu belirledi ve MultilabelPredictor aracılığıyla model eğitimi gerçekleştirdi.

train_data = TabularDataset(‘your_path_to_s3/train.csv’)
subsample_size = 106 # the sample size for training
train_data = train_data.sample(n=subsample_size, random_state=0)
labels = [‘label’] # column to predict based on the others
problem_types = ['multiclass'] # type of each prediction problem
save_path = ‘your_save_path_to_results’ # the path to your s3 bucket for results to store
time_limit = 60 # number of seconds to train the TabularPredictor for each label multi_predictor = MultilabelPredictor(labels=labels, problem_types=problem_types, path=save_path)
multi_predictor.fit(train_data, time_limit=time_limit)

Aşağıdaki tablo, AI/ML hizmetlerini ve modellerini listeler ve doğruluğu özetler.

. Transkript Özellikler(Hazırlık aşamasında) Doğrusal Öğrenci HPO ile XGB Otomatik Gluon
Doğrulama seti 11 750 0.91 0.82 0.82
Doğrulama seti 11 1500 0.82 0.82 0.91
test seti 34 750 0.71 0.71 0.74
test seti 34 1500 0.65 0.65 0.82

Aşağıdaki çizelgeler, özelliklerin miktarına dayalı olarak örnek setinin doğruluğunu özetlemektedir.

metin sınıflandırması 750 özelliği metin sınıflandırması 1500 özelliği

Aşağıdaki grafiklerde, LGB, XGBoost ve Random Forest gibi gradyan artırma makinesine sahip karar ağacı modellerinin hem 750 özellikli modeller hem de 1,500 özellikli modeller için bu tür problemler için daha iyi seçimler olduğunu gözlemledik. . Sinir ağı modeli, 13 model arasında daha alt sıralarda yer alıyor ve bu da derin öğrenmenin bizim durumumuz için uygun olmayabileceği yönündeki beklentimizi doğruluyor.

model puanı eğitim zamanı

Sonuç

AWS AI/ML hizmetleriyle, Amazon Uluslararası Satıcı Büyümesi için doğru ve verimli iletişim nedeni ve iletişim çözümü tespiti ve diğer eyleme geçirilebilir içgörüler sağlayabiliriz. MFN satıcıları, tüketici sorunlarını daha iyi anlamak ve Amazon tüketicilerinin sorunlarını çözmek için etkili önlemler alırken aynı zamanda süreçlerini ve maliyetlerini optimize etmek için bu içgörüleri kullanabilir.

SageMaker'da kendi özel modelinizi geliştirerek ve eğitim ve çıkarım için çağrı ve sohbet transkriptlerini besleyerek çözümü iletişim merkeziniz için uyarlayabilirsiniz. Bu çözümü, iletişim merkezinizdeki müşteri görüşmelerini analiz etmek için genel tema tespiti için de uygulayabilirsiniz.


Yazarlar Hakkında

YunfeiYunfei Bai AWS'de Kıdemli Çözüm Mimarıdır. AI/ML, Veri Bilimi ve Analitik alanındaki geçmişiyle Yunfei, müşterilerin iş sonuçları elde etmek için AWS hizmetlerini benimsemesine yardımcı olur. Karmaşık teknik zorlukların üstesinden gelen ve stratejik hedeflere yön veren AI/ML ve Data Analytics çözümleri tasarlıyor. Yunfei, Elektronik ve Elektrik Mühendisliği alanında doktora sahibidir. Yunfei, iş dışında kitap okumaktan ve müzik dinlemekten hoşlanır.

BurakBurak Gözlüklü Boston, MA'da bulunan bir Baş Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Burak, simülasyon modelleme, veri bilimi ve makine öğrenimi teknolojisinde +15 yıllık sektör deneyimine sahiptir. AWS teknolojilerini ve özellikle AI/ML çözümlerini benimseyen küresel müşterilerin iş hedeflerine ulaşmalarına yardımcı olur. Burak, Havacılık ve Uzay Mühendisliği alanında doktora derecesine sahiptir. ODTÜ'den Sistem Mühendisliği alanında yüksek lisans ve Cambridge, MA'daki MIT'den sistem dinamikleri üzerine doktora sonrası. Burak, yoga ve meditasyon konusunda tutkulu.

ChelseaChelsea Cai Amazon'un Uluslararası Satıcı Büyümesi (ISG) organizasyonunda Kıdemli Ürün Müdürüdür ve burada Amazon hizmetiyle Müşteri Hizmetleri (CSBA) için çalışarak 3P satıcılarının Amazon CS teknolojisi ve dünya çapındaki kuruluşlar aracılığıyla müşteri hizmetlerini/CX'lerini iyileştirmelerine yardımcı olur. Boş zamanlarında felsefeyi, psikolojiyi, yüzmeyi, yürüyüş yapmayı, güzel yemek yemeyi, ailesi ve arkadaşlarıyla vakit geçirmeyi seviyor.

AbhishekAbhishek Kumar küresel 3P satıcılarının Amazon işlerini yönetmelerine yardımcı olmak için yazılım platformları ve uygulamaları geliştirdiği Amazon'un Uluslararası Satıcı Büyümesi (ISG) organizasyonunda Kıdemli Ürün Müdürüdür. Abhishek, boş zamanlarında geniş İtalyan ailesiyle seyahat etmekten, İtalyanca öğrenmekten ve Avrupa kültürlerini ve mutfaklarını keşfetmekten hoşlanıyor.

Zaman Damgası:

Den fazla AWS Makine Öğrenimi