Yazara göre resim
csvkit tablo verilerinin kralıdır. CSV dosyalarını dönüştürmek, verileri değiştirmek ve veri analizi yapmak için kullanılabilecek bir araç koleksiyonuna sahiptir.
Yükleyebilirsiniz csvkit
pip kullanarak.
$ pip install csvkit
Örnek 1
Bu örnekte, yalnızca iki sütun seçmek için csvcut'ı ve sonuçları tablo biçiminde görüntülemek için csvlook'u kullanacağız.
csvcut -c sepal_length,species iris.csv | csvlook --max-rows 5
Not: argümanla satır sayısını sınırlayabilirsiniz --max-rows
Örnek 2
Bir CSV dosyasını csvjson kullanarak bir JSON dosyasına dönüştüreceğiz.
csvjson iris.csv > iris.json
Not: csvkit ayrıca bize Excel'den CSV'ye ve JSON'dan CSV'ye araçlar sağlar.
Örnek 3
SQL sorgusu kullanarak bir CSV dosyası üzerinde veri analizi de yapabiliriz. Csvsql, SQL sorgusu ve CSV dosya yolu gerektirir Sonuçları görüntüleyebilir veya CSV'ye kaydedebilirsiniz.
csvsql --query "select * from iris where species like 'Iris-setosa'" iris.csv | csvlook --max-rows 5
ipython jüpyter not defterinin bazı işlevlerini terminalinize getiren etkileşimli bir Python kabuğudur. Bir Python dosyası oluşturmadan fikirleri daha hızlı test etmenizi sağlar.
kurmak ipython
pip kurulumunu kullanarak.
$ pip install ipython
Not: Ipython ayrıca Anaconda ve Jupyter Notebook ile birlikte gelir. Bu nedenle, çoğu durumda yüklemeniz gerekmez.
kurduktan sonra yazmanız yeterli ipython
terminalde ve tıpkı Jupyter not defterlerinde yaptığınız gibi veri analizi yapmaya başlayın. Kolay ve hızlıdır.
cURL istemci URL'si anlamına gelir ve URL'leri kullanarak sunucuya ve sunucudan veri aktarımı için bir CLI aracıdır. Hızı sınırlamak, hataları günlüğe kaydetmek, ilerlemeyi görüntülemek ve uç noktaları test etmek için kullanabilirsiniz.
Örnekte, Kaliforniya Üniversitesi'nden makine öğrenimi verilerini indiriyor ve bunu bir CSV dosyası olarak kaydediyoruz.
curl -o blood.csv https://archive.ics.uci.edu/ml/machine-learning-databases/blood-transfusion/transfusion.data
Çıktı:
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
100 12843 100 12843 0 0 7772 0 0:00:01 0:00:01 --:--:-- 7769
API'lere belirteçler, push dosyaları ile erişmek ve veri ardışık düzenlerini otomatikleştirmek için cURL'yi kullanabilirsiniz.
Awk, verileri işlemek ve veri analizi yapmak için kullanabileceğimiz bir terminal betik dilidir. Şikayet etmeyi gerektirmez. Herhangi bir komut dosyası türünü yazmak için değişkenleri, sayısal işlevleri, dize işlevlerini ve mantıksal işleçleri kullanabiliriz.
Örnekte CSV dosyasının ilk ve son sütunlarını ve son 10 satırı gösteriyoruz. Komut dosyasındaki $1, ilk sütunları ifade eder. 3. sütunu görüntülemek için bunu $3 olarak da değiştirebilirsiniz. $NF, son sütunları temsil eder.
awk -F "," '{print $1 " | " $NF}' iris.csv | tail
Kaggle API'sı Kaggle web sitesinden her türlü veri setini indirmenize izin verir. Ayrıca, herkese açık veri setinizi güncelleyebilir, dosyayı yarışmaya gönderebilir ve Jupyter Notebook'u çalıştırabilir ve yönetebilirsiniz. Süper bir komut satırı aracıdır.
Kaggle API'yi pip kullanarak kurun.
$ pip install kaggle
Bundan sonra şuraya gidin: Kaggle web sitesine gidin ve kimlik bilgilerinizi alın. Takip edebilirsin Re-Tweet kullanıcı adınızı ve özel anahtarınızı ayarlama kılavuzu.
export KAGGLE_USERNAME=kingabzpro
export KAGGLE_KEY=xxxxxxxxxxxxxx
Örnek 1
Kimlik doğrulamayı ayarladıktan sonra rastgele veri kümelerini arayabilirsiniz. Bizim durumumuzda, biz kullanıyoruz İstihdam Eğilimleri Araştırması Veri kümesi.
Image İstihdam Eğilimleri Araştırması
İndirme komut dosyasını şununla çalıştırabilirsiniz: -d
KULLANICI ADI/VERİ SETİ bağımsız değişkeni.
$ kaggle datasets download -d revathyta/survey-on-employment-trends
altın,
Üç noktaya tıklayıp “API komutunu kopyala” seçeneğini seçerek API komutunu kolayca alabilirsiniz.
Image İstihdam Eğilimleri Araştırması
Veri kümesini bir zip dosyası biçiminde indirecektir. Ayrıca betiği şu şekilde yönlendirebilirsiniz: unzip
verileri ayıklamak için komut.
Downloading survey-on-employment-trends.zip to C:Usersabida 0%| | 0.00/6.22k [00:00<?, ?B/s] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 6.22k/6.22k [00:00<?, ?B/s]
Örnek 2
Veri kümenizi Kaggle'da oluşturmak ve paylaşmak için önce veri kümesinin yolunu sağlayarak bir meta veri dosyası başlatmanız gerekir.
$ kaggle datasets init -p /work/Kaggle/World-Vaccine-Progress
Bundan sonra veri setini oluşturun ve dosyayı Kaggle sunucusuna gönderin.
$ kaggle datasets create -p /work/Kaggle/World-Vaccine-Progress
Veri kümenizi aşağıdakileri kullanarak da güncelleyebilirsiniz: version
emretmek. Bir dosya yolu ve mesaj gerektirir. Tıpkı git gibi.
$ kaggle datasets version -p /work/Kaggle/World-Vaccine-Progress -m "second version"
benim projeme de bakabilirsin Aşı Güncelleme Panosu veri kümesini düzenli olarak güncellemek için Kaggle API'yi başarıyla uygulayan.
Kullandığım pek çok harika CLI aracı var ve bunlar üretkenliğimi artırdı ve işlerimin çoğunu otomatikleştirmeme yardımcı oldu. Click veya argparse kullanarak Python'da kendi CLI aracınızı bile oluşturabilirsiniz.
Bu makalede, veri kümesini indirmek, işlemek, analiz yapmak, komut dosyalarını çalıştırmak ve raporlar oluşturmak için CLI araçlarını öğrendik.
Kaalgle API ve csvkit hayranıyım. Defterlerimi ve analizlerimi otomatikleştirmek için düzenli olarak kullanıyorum. Veri bilimi iş akışınızda komut satırı araçlarını nasıl kullanacağınızı öğrenmek istiyorsanız, okuyun Komut Satırında Veri Bilimi ücretsiz çevrimiçi rezervasyon yapın.
Abid Ali Avan (@1abidaliwan), makine öğrenimi modelleri oluşturmayı seven sertifikalı bir veri bilimcisi uzmanıdır. Şu anda, makine öğrenimi ve veri bilimi teknolojileri üzerine içerik oluşturmaya ve teknik bloglar yazmaya odaklanıyor. Abid, Teknoloji Yönetimi alanında yüksek lisans ve Telekomünikasyon Mühendisliği alanında lisans derecesine sahiptir. Vizyonu, akıl hastalığı ile mücadele eden öğrenciler için bir grafik sinir ağı kullanarak bir AI ürünü oluşturmaktır.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://www.kdnuggets.com/2023/03/5-command-line-tools-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=5-more-command-line-tools-for-data-science
- :dır-dir
- $3
- $UP
- 10
- 100
- 7
- 8
- a
- Hakkımızda
- erişme
- AI
- Türkiye
- veriyor
- şaşırtıcı
- analiz
- ve
- api
- API'ler
- ARE
- tartışma
- göre
- AS
- At
- Doğrulama
- otomatikleştirmek
- ortalama
- BE
- birisinde
- kan
- kitap
- Getiriyor
- inşa etmek
- bina
- by
- Kaliforniya
- CAN
- dava
- durumlarda
- Onaylı
- değişiklik
- Kontrol
- tıklayın
- müşteri
- Toplamak
- Sütun
- Sütunlar
- rekabet
- içerik
- dönüştürmek
- yaratmak
- Oluşturma
- oluşturma
- Tanıtım
- akım
- Şu anda
- veri
- veri analizi
- veri bilimi
- veri bilimcisi
- veri kümeleri
- derece
- ekran
- sergileyen
- Dont
- indir
- ya
- iş
- Mühendislik
- Hatalar
- Eter (ETH)
- Hatta
- örnek
- Excel
- ihracat
- çıkarmak
- veriyi çıkar
- fan
- HIZLI
- Daha hızlı
- fileto
- dosyalar
- Ad
- odaklanma
- takip et
- İçin
- Airdrop Formu
- biçim
- Ücretsiz
- itibaren
- işlevsellikleri
- fonksiyonlar
- Ayrıca
- oluşturmak
- almak
- Git
- Go
- grafik
- Grafik Sinir Ağı
- rehberlik
- Var
- yardım
- tutar
- Ne kadar
- Nasıl Yapılır
- HTML
- HTTPS
- i
- ICS
- fikirler
- hastalık
- uygulanan
- gelişmiş
- in
- başlatmak
- kurmak
- yükleme
- interaktif
- IT
- json
- Jupyter Not Defteri
- KDNuggets
- anahtar
- King
- dil
- Soyad
- ÖĞRENİN
- öğrendim
- öğrenme
- sevmek
- LİMİT
- çizgi
- mantıksal
- makine
- makine öğrenme
- yönetmek
- yönetim
- çok
- usta
- anlamına geliyor
- zihinsel
- Zihinsel hastalık
- mesaj
- Metadata
- modelleri
- Daha
- çoğu
- gerek
- ağ
- sinirsel
- sinir ağı
- defter
- dizüstü bilgisayarlar
- numara
- of
- on
- Online
- operatörler
- seçenek
- kendi
- yol
- yapmak
- icra
- boru
- Platon
- Plato Veri Zekası
- PlatoVeri
- özel
- özel Anahtar
- PLATFORM
- verimlilik
- profesyonel
- Ilerleme
- proje
- sağlar
- sağlama
- halka açık
- Itmek
- Python
- rasgele
- oran
- Okumak
- Alınan
- düzenli
- Raporlar
- temsil
- gerektirir
- Sonuçlar
- koşmak
- s
- İndirim
- tasarruf
- Bilim
- bilim adamı
- scriptler
- Ara
- İkinci
- seçme
- set
- ayar
- paylaş
- Kabuk
- sadece
- So
- biraz
- hız
- harcanmış
- SQL
- standları
- başlama
- Mücadele
- Öğrenciler
- sunmak
- Başarılı olarak
- harika
- Teknik
- Teknolojileri
- Teknoloji
- telekomünikasyon
- terminal
- test
- o
- The
- üç
- zaman
- için
- Jeton
- araç
- araçlar
- Toplam
- aktarma
- üniversite
- California Üniversitesi
- Güncelleme
- URL
- us
- kullanım
- versiyon
- vizyonumuz
- Web sitesi
- hangi
- DSÖ
- irade
- ile
- olmadan
- İş
- iş akışı
- yazmak
- yazı yazıyor
- zefirnet
- zip