Veri hazırlama, herhangi bir makine öğrenimi (ML) iş akışında çok önemli bir adımdır ancak çoğu zaman sıkıcı ve zaman alıcı görevler içerir. Amazon SageMaker Tuval artık tarafından desteklenen kapsamlı veri hazırlama yeteneklerini destekliyor Amazon SageMaker Veri Düzenleyicisi. Bu entegrasyonla SageMaker Canvas, müşterilere veri hazırlamak, makine öğrenimi ve temel modelleri oluşturmak ve kullanmak için verilerden iş içgörülerine kadar geçen süreyi hızlandırmak için uçtan uca kodsuz bir çalışma alanı sağlar. Artık 50'den fazla veri kaynağındaki verileri kolayca keşfedip toplayabilir ve SageMaker Canvas'ın görsel arayüzündeki 300'ün üzerinde yerleşik analiz ve dönüşümü kullanarak verileri keşfedip hazırlayabilirsiniz. Ayrıca dönüşümler ve analizler için daha hızlı performans ve makine öğrenimi için verileri keşfetmeye ve dönüştürmeye yönelik doğal bir dil arayüzü göreceksiniz.
Bu yazıda, SageMaker Canvas'ta uçtan uca model oluşturmaya yönelik verileri hazırlama sürecinde size yol göstereceğiz.
Çözüme genel bakış
Kullanım durumumuz için, bir finansal hizmetler şirketinde veri uzmanı rolünü üstleniyoruz. Bir kredinin borçlu tarafından tamamen geri ödenip ödenmeyeceğini tahmin eden bir ML modeli oluşturmak için iki örnek veri seti kullanıyoruz; bu, kredi riskini yönetmek için çok önemlidir. SageMaker Canvas'ın kodsuz ortamı, kodlamaya ihtiyaç duymadan verileri hızlı bir şekilde hazırlamamıza, özellikleri tasarlamamıza, bir makine öğrenimi modeli eğitmemize ve modeli uçtan uca iş akışında dağıtmamıza olanak tanır.
Önkoşullar
Bu izlenecek yolu takip etmek için, önkoşulları bölümünde ayrıntılı olarak açıklandığı şekilde uyguladığınızdan emin olun.
- Amazon SageMaker Canvas'ı başlatın. Zaten bir SageMaker Canvas kullanıcısıysanız, oturumu ve bu yeni özelliği kullanabilmek için tekrar giriş yapın.
- Snowflake'ten veri içe aktarmak için şuradaki adımları izleyin: Snowflake için OAuth'u ayarlama.
Etkileşimli verileri hazırlayın
Kurulum tamamlandıktan sonra artık etkileşimli veri hazırlığını etkinleştirmek için bir veri akışı oluşturabiliriz. Veri akışı, verileri düzenlemek için yerleşik dönüşümler ve gerçek zamanlı görselleştirmeler sağlar. Aşağıdaki adımları tamamlayın:
- Aşağıdaki yöntemlerden birini kullanarak yeni bir veri akışı oluşturun:
- Klinik Veri Düzenleyici, Veri akışları, Daha sonra seçmek oluşturmak.
- SageMaker Canvas veri kümesini seçin ve Veri akışı oluşturma.
- Klinik Tarihleri içe aktar seçin çizelge halinde açılır listeden seçin.
- Aşağıdakiler gibi 50'den fazla veri bağlayıcı aracılığıyla verileri doğrudan içe aktarabilirsiniz: Amazon Basit Depolama Hizmeti (Amazon S3), Amazon Atina, Amazon Kırmızıya Kaydırma, Snowflake ve Salesforce. Bu izlenecek yolda verilerinizi doğrudan Snowflake'ten içe aktarmayı ele alacağız.
Alternatif olarak, aynı veri kümesini yerel makinenizden de yükleyebilirsiniz. Veri setini indirebilirsiniz krediler-bölüm-1.csv ve krediler-bölüm-2.csv.
- Verileri içe aktar sayfasında listeden Snowflake'i seçin ve Bağlantı ekleyin.
- Bağlantı için bir ad girin, OAuth kimlik doğrulama yöntemi açılır listesinden seçeneği seçin. Okta hesap kimliğinizi girin ve Bağlantı ekle'yi seçin.
- Kimlik doğrulamak amacıyla Okta kimlik bilgilerini girmek için Okta giriş ekranına yönlendirileceksiniz. Kimlik doğrulamanın başarılı olması durumunda veri akışı sayfasına yönlendirileceksiniz.
- Snowflake veritabanından kredi veri kümesini bulmak için göz atın
Ekranın sol tarafından sağa doğru sürükleyip bırakarak iki kredi veri kümesini seçin. İki veri kümesi bağlanacak ve kırmızı ünlem işaretli bir birleştirme sembolü görünecektir. Üzerine tıklayın ve ardından her iki veri kümesi için de id anahtar. Birleştirme türünü şu şekilde bırakın: İç. Şöyle görünmelidir:
- Klinik Kaydet kapat.
- Klinik Veri kümesi oluşturun. Veri kümesine bir ad verin.
- Veri akışına gidin, aşağıdakileri göreceksiniz.
- Kredi verilerini hızlı bir şekilde keşfetmek için Veri içgörüleri alın Seçin ve
loan_status
hedef sütun ve Sınıflandırma sorun türü.
Oluşturulan Veri Kalitesi ve Analiz raporu önemli istatistikler, görselleştirmeler ve özellik önemi analizleri sağlar.
- Veri kümesini anlamak ve iyileştirmek için veri kalitesi sorunları ve dengesiz sınıflarla ilgili uyarıları inceleyin.
Bu kullanım örneğindeki veri kümesi için, verilerin temizlenmesi ve dengelenmesi gerektiğini belirten "Çok düşük hızlı model puanı" yüksek öncelikli uyarı ve azınlık sınıflarında (yüklü ve geçerli) çok düşük model etkinliği beklemelisiniz. Bakınız Kanvas belgeleri Veri analizleri raporu hakkında daha fazla bilgi edinmek için.
SageMaker Data Wrangler tarafından desteklenen 300'den fazla yerleşik dönüşümle SageMaker Canvas, kredi verilerini hızlı bir şekilde düzenlemenizi sağlar. Tıklayabilirsiniz Adım ekleve doğru dönüşümlere göz atın veya bunları arayın. Bu veri kümesi için şunu kullanın: Damla eksik ve Aykırı değerleri ele al verileri temizlemek ve ardından uygulamak için Tek-hot kodlama, ve Metni vektörleştir Makine öğrenimi için özellikler oluşturmak.
Veri hazırlığı için sohbet edin istekleri sade İngilizce olarak tanımlayarak sezgisel veri analizine olanak tanıyan yeni bir doğal dil yeteneğidir. Örneğin doğal ifadeler kullanarak kredi verileri üzerinde istatistik ve özellik korelasyon analizi elde edebilirsiniz. SageMaker Canvas, eylemleri konuşma etkileşimleri yoluyla anlar ve çalıştırarak veri hazırlığını bir sonraki seviyeye taşır.
Biz kullanabilirsiniz Veri hazırlığı için sohbet edin ve kredi verilerini dengelemek için yerleşik dönüşüm.
- Öncelikle aşağıdaki talimatları girin:
replace “charged off” and “current” in loan_status with “default”
Veri hazırlığı için sohbet edin iki azınlık sınıfını tek bir sınıfta birleştirmek için kod üretir default
sınıf.
- Yerleşik olanı seçin cezalandırdı Varsayılan sınıf için sentetik veriler oluşturmak için transform işlevi.
Artık dengeli bir hedef sütununuz var.
- Kredi verilerini temizleyip işledikten sonra yeniden oluşturun. Veri Kalitesi ve Analiz raporu iyileştirmeleri gözden geçirmek.
Yüksek öncelikli uyarı ortadan kalktı, bu da veri kalitesinin arttığını gösteriyor. Model eğitimi için veri kalitesini artırmak amacıyla gerektiği kadar başka dönüşümler ekleyebilirsiniz.
Veri işlemeyi ölçeklendirin ve otomatikleştirin
Veri hazırlamayı otomatikleştirmek için, tüm veri kümesini veya herhangi bir yeni veri kümesini uygun ölçekte işlemek üzere iş akışının tamamını dağıtılmış bir Spark işleme işi olarak çalıştırabilir veya planlayabilirsiniz.
- Veri akışına bir Amazon S3 hedef düğümü ekleyin.
- Şunu seçerek bir SageMaker İşleme işi başlatın: İş oluştur.
- İşleme işini yapılandırın ve seçin oluşturmakakışın yüzlerce GB'lık veri üzerinde örnekleme olmadan çalıştırılmasına olanak tanır.
Veri akışları, ML yaşam döngüsünü otomatikleştirmek için uçtan uca MLOps işlem hatlarına dahil edilebilir. Veri akışları, SageMaker işlem hattında veri işleme adımı olarak veya SageMaker çıkarım hattını dağıtmak için SageMaker Studio not defterlerine beslenebilir. Bu, veri hazırlamadan SageMaker eğitimi ve barındırmaya kadar akışın otomatikleştirilmesini sağlar.
Modeli SageMaker Canvas'ta oluşturun ve dağıtın
Veri hazırlığının ardından, bir kredi ödeme tahmin modeli oluşturmak, eğitmek ve dağıtmak için nihai veri kümesini sorunsuz bir şekilde SageMaker Canvas'a aktarabiliriz.
- Klinik Model oluştur veri akışının son düğümünde veya düğümler bölmesinde.
Bu, veri kümesini dışa aktarır ve kılavuzlu model oluşturma iş akışını başlatır.
- Dışa aktarılan veri kümesine bir ad verin ve Ihracat.
- Klinik Model oluştur bildirimden.
- Modele ad verin, seçin Tahmine dayalı analiz, ve Seç oluşturmak.
Bu sizi model oluşturma sayfasına yönlendirecektir.
- Hedef sütunu ve model tipini seçerek SageMaker Canvas model oluşturma deneyimine devam edin, ardından Hızlı inşa or Standart yapı.
Model oluşturma deneyimi hakkında daha fazla bilgi edinmek için bkz. Bir model oluşturmak.
Eğitim tamamlandığında modeli yeni verileri tahmin etmek veya dağıtmak için kullanabilirsiniz. Bakınız Amazon SageMaker Canvas'ta yerleşik ML modellerini Amazon SageMaker gerçek zamanlı uç noktalarına dağıtın SageMaker Canvas'tan bir model dağıtma hakkında daha fazla bilgi edinmek için.
Sonuç
Bu yazıda, SageMaker Data Wrangler tarafından desteklenen, kredi ödemesini tahmin etmek için verileri hazırlayan bir finansal veri uzmanı rolünü üstlenerek SageMaker Canvas'ın uçtan uca yeteneklerini gösterdik. Etkileşimli veri hazırlama, bilgilendirici özellikler oluşturmak için kredi verilerinin hızla temizlenmesine, dönüştürülmesine ve analiz edilmesine olanak sağladı. SageMaker Canvas, kodlama karmaşıklıklarını ortadan kaldırarak yüksek kaliteli bir eğitim veri seti oluşturmak için hızla yineleme yapmamıza olanak sağladı. Bu hızlandırılmış iş akışı, iş etkisi için doğrudan performanslı bir makine öğrenimi modelinin oluşturulmasına, eğitilmesine ve dağıtılmasına yol açar. SageMaker Canvas, kapsamlı veri hazırlama ve verilerden içgörülere kadar tümleşik deneyimiyle makine öğrenimi sonuçlarınızı iyileştirmenize olanak sağlar. Verilerden iş öngörülerine giden yolculuğunuzu nasıl hızlandıracağınız hakkında daha fazla bilgi için bkz. SageMaker Canvas'a dalma günü ve AWS kullanıcı kılavuzu.
yazarlar hakkında
Dr Çangşa Ma AWS'de AI/ML Uzmanıdır. Bilgisayar Bilimleri alanında doktorası, Eğitim Psikolojisi alanında yüksek lisans derecesi olan ve veri bilimi ve AI/ML'de bağımsız danışmanlık alanında uzun yıllara dayanan deneyime sahip bir teknoloji uzmanıdır. Makine ve insan zekasına yönelik metodolojik yaklaşımları araştırma konusunda tutkulu. İş dışında yürüyüş yapmayı, yemek yapmayı, yemek avlamayı ve arkadaşları ve aileleriyle vakit geçirmeyi seviyor.
Ajjay Govindaram AWS'de Kıdemli Çözüm Mimarıdır. Karmaşık iş sorunlarını çözmek için AI/ML kullanan stratejik müşterilerle çalışıyor. Tecrübesi, orta ila büyük ölçekli AI/ML uygulama devreye alımları için teknik yönlendirme ve tasarım yardımı sağlamada yatmaktadır. Bilgisi, uygulama mimarisinden büyük veriye, analitiğe ve makine öğrenimine kadar uzanıyor. Dinlenirken müzik dinlemekten, dışarıyı deneyimlemekten ve sevdikleriyle vakit geçirmekten hoşlanır.
Huong Nguyen AWS'de Kıdemli Ürün Yöneticisidir. Müşteri odaklı ve veri odaklı ürünler oluşturmada 15 yıllık deneyimiyle SageMaker Canvas ve SageMaker Data Wrangler için makine öğrenimi verilerinin hazırlanmasına liderlik ediyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/accelerate-data-preparation-for-ml-with-comprehensive-data-preparation-capabilities-and-a-natural-language-interface-in-amazon-sagemaker-canvas/
- :vardır
- :dır-dir
- $UP
- 100
- 12
- 13
- 14
- 15 yıl
- %15
- 300
- 50
- 8
- a
- Yapabilmek
- Hakkımızda
- hızlandırmak
- hızlandırılmış
- Hesap
- eylemler
- eklemek
- toplam
- AI / ML
- izin
- veriyor
- boyunca
- zaten
- Ayrıca
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Tuval
- Amazon Web Servisleri
- an
- analizleri
- analiz
- analytics
- analiz
- ve
- herhangi
- görünmek
- Uygulama
- yaklaşımlar
- mimari
- ARE
- AS
- Yardım
- At
- kimlik doğrulaması
- Doğrulama
- otomatikleştirmek
- ayrıca otomasyonun
- AWS
- Arka
- Bakiye
- dengeli
- BE
- Büyük
- büyük Veri
- pim
- borçlu
- her ikisi de
- inşa etmek
- bina
- yapılı
- yerleşik
- iş
- iş etkisi
- by
- CAN
- Alabilirsin
- tuval
- yetenekleri
- kabiliyet
- dava
- yüklü
- Klinik
- seçme
- sınıf
- sınıflar
- çamça
- Temizlik
- tıklayın
- kod
- kodlama
- Sütun
- şirket
- tamamlamak
- karmaşık
- karmaşıklıklar
- kapsamlı
- bilgisayar
- Bilgisayar Bilimleri
- Sosyal medya
- bağ
- danışman
- konuşkan
- yemek pişirme
- Ilişki
- kapak
- yaratmak
- oluşturma
- Tanıtım
- kredi
- çok önemli
- akım
- Müşteriler
- veri
- veri analizi
- Veri Hazırlama
- veri işleme
- veri kalitesi
- veri bilimi
- veri-güdümlü
- veri kümeleri
- Varsayılan
- derece
- gösterdi
- dağıtmak
- dağıtma
- dağıtımları
- tarif
- Dizayn
- hedef
- detaylı
- yön
- direkt olarak
- keşfetmek
- dağıtıldı
- aşağı
- indir
- Damla
- Damlama
- kolayca
- Eğitim
- etki
- olarak güçlendiriyor
- etkinleştirmek
- etkin
- sağlar
- etkinleştirme
- son uca
- mühendis
- İngilizce
- artırmak
- sağlamak
- Keşfet
- Tüm
- çevre
- Eter (ETH)
- örnek
- beklemek
- deneyim
- yaşıyor
- keşfetmek
- ihracat
- ihracat
- aileleri
- Daha hızlı
- Özellikler(Hazırlık aşamasında)
- Özellikler
- son
- mali
- finansal Veri
- finansal hizmetler
- finansal hizmetler şirketi
- akış
- Akışları
- takip et
- takip etme
- Gıda
- İçin
- Temeller
- taze
- arkadaşlar
- itibaren
- tamamen
- işlev
- daha fazla
- oluşturmak
- oluşturulan
- üretir
- almak
- Vermek
- güdümlü
- Var
- he
- Yüksek
- Yüksek kaliteli
- yürüyüş
- onun
- hosting
- Ne kadar
- Nasıl Yapılır
- HTML
- http
- HTTPS
- insan
- insan zekası
- Yüzlerce
- avcılık
- ID
- if
- dengesiz
- daldırma
- darbe
- uygulanan
- ithalat
- önem
- ithal
- iyileştirmek
- gelişmiş
- iyileştirmeler
- in
- Anonim
- bağımsız
- belirten
- bilgi
- aydınlatıcı
- kavrama
- anlayışlar
- talimatlar
- bütünleşme
- İstihbarat
- etkileşimleri
- interaktif
- arayüzey
- içine
- sezgisel
- içerir
- sorunlar
- IT
- ONUN
- İş
- kaydol
- yolculuklar
- jpg
- anahtar
- bilgi
- dil
- büyük ölçekli
- Soyad
- başlattı
- önemli
- İlanlar
- ÖĞRENİN
- öğrenme
- Ayrılmak
- sol
- seviye
- yalan
- yaşam döngüsü
- sevmek
- Liste
- Dinleme
- borç
- Krediler
- yerel
- log
- giriş
- Bakın
- gibi görünmek
- sevilen
- seviyor
- Düşük
- makine
- makine öğrenme
- yapmak
- müdür
- yönetme
- işaret
- yüksek lisans
- gitmek
- yöntem
- yöntemleri
- azınlık
- ML
- MLO'lar
- model
- modelleri
- mütevazi
- Daha
- Music
- isim
- Doğal (Madenden)
- Doğal lisan
- gerek
- gerekli
- yeni
- yeni özellik
- sonraki
- düğüm
- düğümler
- dizüstü bilgisayarlar
- tebliğ
- şimdi
- oauth
- of
- kapalı
- sık sık
- Okta
- on
- ONE
- olanlar
- seçenek
- or
- bizim
- sonuçlar
- açık havada
- dışında
- tekrar
- Kanal
- bölmesi
- tutkulu
- ödeme
- performans
- doktora
- ifadeler
- boru hattı
- Sade
- Platon
- Plato Veri Zekası
- PlatoVeri
- Çivi
- powered
- tahmin
- tahmin
- öngörür
- hazırlık
- Hazırlamak
- hazırlanması
- önkoşullar
- öncelik
- Sorun
- sorunlar
- süreç
- işleme
- PLATFORM
- ürün müdürü
- Ürünler
- profesyonel
- sağlar
- sağlama
- Psikoloji
- kalite
- hızla
- hızla
- gerçek zaman
- Kırmızı
- yönlendirme
- başvurmak
- kaldırma
- rapor
- isteklerinizi
- dayanma
- yorum
- krallar gibi yaşamaya
- Risk
- Rol
- koşmak
- ishal
- sagemaker
- SageMaker Çıkarımı
- satış ekibi
- aynı
- ölçek
- program
- Bilim
- Ekran
- sorunsuz
- Ara
- görmek
- seçmek
- kıdemli
- Hizmetler
- hizmet şirketi
- kurulum
- o
- meli
- yan
- Basit
- Çözümler
- ÇÖZMEK
- kaynaklar
- Kıvılcım
- uzman
- Harcama
- istatistik
- adım
- Basamaklar
- hafızası
- Stratejik
- stüdyo
- başarılı
- böyle
- Destekler
- elbette
- sembol
- sentetik
- sentetik veri
- alma
- Hedef
- görevleri
- Teknik
- teknoloji uzmanı
- o
- The
- Onları
- sonra
- Re-Tweet
- İçinden
- zaman
- zaman tükeniyor
- için
- Tren
- Eğitim
- Dönüştürmek
- dönüşümler
- dönüşüm
- dönüşümler
- iki
- tip
- anlamak
- anlar
- birleşik
- us
- kullanım
- kullanım durumu
- kullanıcı
- kullanma
- çok
- görsel
- yürümek
- örneklerde
- uyarı
- we
- ağ
- web hizmetleri
- İYİ
- olup olmadığını
- hangi
- süre
- DSÖ
- bütün
- irade
- ile
- olmadan
- İş
- iş akışı
- çalışır
- Atölyeler
- olur
- yıl
- henüz
- sen
- zefirnet