Görüntü kaynağı: Pixabay (Ücretsiz resim)

Veri bilimi iş akışında verimlilik

 
Veri bilimi ve makine öğrenimi, değişen derecelerde verimlilik ve üretkenlik ile uygulanabilir. Uygulama alanı veya uzmanlıktan bağımsız olarak, bir veri bilimcisi - acemi veya deneyimli profesyonel - verimliliğini artırmak tipik veri bilimi görevlerinin tüm yönlerinde,

• istatistiksel analiz,
• görselleştirme,
• model seçimi, özellik mühendisliği,
• kod kalitesi testi, modülerleştirme,
• paralel işleme,
• kolay web uygulaması dağıtımı

Görüntü kaynağı: Pixabay (Ücretsiz resim)

 

Bu, tüm bu görevleri yerine getirmek anlamına gelir,

• daha yüksek hızda
• daha hızlı hata ayıklama ile
• senkronize bir şekilde
• mevcut tüm donanım kaynaklarından tam olarak yararlanarak

Bu süreçte ne öğrenmeyi beklemelisiniz?

 
Birinin "Üretken Veri Bilimi” kursu ya da bu konuda bir kitap yazmak - dil çerçevesi olarak Python kullanmak. Böyle bir dersten veya kitaptan tipik beklentiler ne olmalıdır?

Görüntü kaynağı: Pixabay (Ücretsiz resim)

 

Kurs/kitap isteyenler için tasarlanmalıdır. standart yolun ötesinde birdirbir veri bilimi ve makine öğrenimi görevlerini gerçekleştirme ve çok daha yüksek bir üretkenlik düzeyi için Python veri bilimi ekosisteminin tüm yelpazesini kullanma.

Okuyuculara standart süreçteki verimsizlikleri ve darboğazları nasıl göz önünde bulunduracakları ve kalıpların ötesinde nasıl düşünecekleri öğretilmelidir.

Tekrarlayan veri bilimi görevlerinin otomasyonu okuyucuların bu kitabı okuyarak geliştirecekleri temel bir zihniyettir. Çoğu durumda, Python ekosisteminde zaten var olan ancak herhangi bir standart veri biliminde öğretilmeyen gelişmiş yazılım araçlarının yardımıyla daha büyük veri kümelerini yüksek verimlilikle işlemek için mevcut kodlama uygulamasını nasıl genişleteceklerini de öğreneceklerdir.

Bu, Numpy veya Pandas gibi standart kütüphaneleri öğreten sıradan bir Python yemek kitabı olmamalıdır.

Bunun yerine, nasıl yapılacağı gibi faydalı tekniklere odaklanmalıdır. bellek ayak izini ve yürütme hızını ölçün ML modelleri, kalite testi bir veri bilimi boru hattı, modülerleştirmek uygulama geliştirme için bir veri bilimi hattı vb. için çok kullanışlı olan Python kitaplıklarını da kapsamalıdır. ayrıca otomasyonun ve hızlandırmak herhangi bir veri bilimcisinin günlük görevleri.

Ayrıca, bir veri bilimcisine yardımcı olacak araçlara ve paketlere de değinmelidir. büyük ve karmaşık veri kümelerinin üstesinden gelmek standart Python veri bilimi teknolojisi bilgeliğini izleyerek mümkün olandan çok daha optimal bir şekilde.

Ustalaşmak için bazı özel beceriler

 

Görüntü kaynağı: Pixabay (Ücretsiz resim)

 

Her şeyi somut terimlerle ifade etmek için, öğrenme ve uygulama için ustalaşmak için bazı özel becerileri özetleyelim. Üretken Veri Bilimi. Ayrıca, her bir beceriyi referans olarak kullanmak için bazı temsili makalelerin bağlantılarını vermeye çalıştım.

1. nasıl veri bilimi için hızlı ve verimli kod yazın/ML ve hız ve verimliliklerinin nasıl ölçüleceği (bu makaleyi gör)
2. Verimliliği artırmak için modülerleştirilmiş ve anlamlı veri bilimi ardışık düzenleri nasıl oluşturulur (bu makaleyi gör)
3. Veri bilimi ve makine öğrenimi modelleri için test modülleri nasıl yazılır (bu makaleyi gör)
4. Büyük ve karmaşık veri kümeleri nasıl verimli bir şekilde işlenir (geleneksel DS araçlarıyla bu zor olurdu)
5. GPU ve çok çekirdekli işlemciler, yalnızca özel derin öğrenme modellemesi için değil, her türlü veri bilimi ve analitik görevi için nasıl tam olarak kullanılır?bu makaleyi gör)
6. Bir veri bilimi/ML fikrinin veya model ayarlamanın demosu için hızlı GUI uygulamaları nasıl başlatılır (bu makaleyi gör) veya uygulama düzeyinde makine öğrenimi modellerinin ve veri analizi kodunun nasıl kolayca (ve hızlı bir şekilde) dağıtılacağı (bu makaleyi gör)

Bu konuda ideal bir kitap…

 

Görüntü kaynağı: Pixabay (Ücretsiz resim)

 

1. Nasıl bakılacağını öğretin verimsizlikler ve darboğazlar standart veri bilimi kodunda ve bu sorunları çözmek için kutunun ötesinde nasıl düşünüleceğini.
2. Keşif amaçlı veri analizi, görselleştirme, derin öğrenme gibi çeşitli durumlarda üretkenliği artırmak için modülerleştirilmiş, verimli veri analizi ve makine öğrenimi kodunun nasıl yazılacağını öğretin.
3. Yazılım testi, modül geliştirme gibi çok çeşitli yan konuları kapsar, GUI programlama, ML modeli dağıtımı tomurcuklanan veri bilimcileri için paha biçilmez beceriler olan ve herhangi bir standart veri bilimi kitabında toplu olarak bulunması zor olan web uygulaması olarak.
4. Paralel hesaplamayı örtün (örn. Dask, Ray), ölçeklenebilirlik (örn. Vaex, Modin) ve GPU destekli veri bilimi yığını (HIZLI) uygulamalı örneklerle.
5. Okuyucuları, daha geniş ve sürekli genişleyen bir Python veri bilimi araçları ekosistemine gösterin ve onlara rehberlik edin. yazılım Mühendisliği ve üretim düzeyinde dağıtım.

Somut bir örnek: GPU destekli ve dağıtılmış veri bilimi

 
GPU'ların ve dağıtılmış bilgi işlemin kullanımı, temel AI/ML görevleri için akademik ve iş çevrelerinde geniş çapta tartışılırken, normal veri bilimi ve veri mühendisliği görevleri için kullanımlarında daha az kapsama alanı buldular. Bununla birlikte, GPU'ları düzenli günlük istatistiksel analizler veya diğer veri bilimi görevleri için kullanmak, herkesin bildiği gibi olma yolunda uzun bir yol kat edebilir. “Üretken Veri Bilimcisi".

Örneğin, RAPIDS yazılım kitaplıkları ve API'ler paketi size — düzenli bir veri bilimcisi (ve mutlaka bir derin öğrenme pratisyeni değil) — yürütme seçeneği ve esnekliği verin tamamen GPU'larda uçtan uca veri bilimi ve analitik işlem hatları.

Görüntü kaynağı: Yazar kolaj oluşturdu

 

Mütevazı bir GPU ile bile kullanıldığında, bu kütüphaneler, normal Python muadillerine göre hızda kayda değer bir gelişme gösterir. Doğal olarak, elimizden geldiğince bunları kucaklamalıyız. Üretken Veri Bilimi iş akışı.

 

Benzer şekilde, Python dilinin tek çekirdekli doğasının sınırlarının ötesine geçmek ve mükemmel veri bilimci kişiliğinden uzaklaşmadan paralel hesaplama paradigmasını benimsemek için mükemmel açık kaynak fırsatları vardır.

Görüntü kaynağı: Yazar kolaj oluşturdu

Özet

 
Bir sistemin yardımcı programlarını ve temel bileşenlerini tartıştık. Üretken Veri Bilimi iş akışı. Bu konuda ideal bir kursun veya kitabın okuyuculara neler sunacağını hayal ettik. Bazı somut örneklere değindik ve faydalarını anlattık. Bazı ilgili kaynaklar, ustalaşılacak beceriler bağlamında da sağlandı.

yazarı kontrol edebilirsiniz GitHub depoları makine öğrenimi ve veri bilimindeki kod, fikirler ve kaynaklar için. Benim gibi, AI / makine öğrenimi / veri bilimi hakkında tutkuluysanız, lütfen çekinmeyin beni LinkedIn'de ekle or beni Twitter'da takip et.

 
orijinal. İzinle yeniden yayınlandı.

İlgili:

• Yüzlerce Diğer Veri Bilimi Adayından Kendinizi Nasıl Ayırabilirsiniz?
• Makine Öğrenimi Kodunuz Ne Kadar Bellek Tüketiyor?
• Tek Bir Hata 3 Yıllık Veri Bilimi Yolculuğumu Nasıl Boşa Harcadı?