DALL-E ile Oluşturulan Görüntü
Veri analitiği işlemenin başarılı bir işletme ile başarısız arasındaki kritik fark olduğu bir zamanda, ihtiyaçları destekleyebilecek bir araç yığınına ihtiyacımız var. Teknolojinin ilerlemesi, ihtiyaç duyduğumuz tüm bu veri araçlarının, yani DuckDB ve MotherDuck'un geliştirilmesine yardımcı oldu.
ÖrdekDB açık kaynaklı, süreç içi bir SQL Çevrimiçi Analitik İşleme (OLAP) veritabanı yönetim sistemidir. Veritabanı sistemi, veri boyutundan bağımsız olarak veri analitik sorgularını hızlı bir şekilde işlemek için tasarlanmıştır. Sistem, veri analitik sürecimizi etkili bir şekilde geliştiren bellek içi işleme ve OLAP sistemlerini uygular.
DuckDB, veri analizi (tablo birleştirme, veri toplama vb.) içeren ve iş akışımızın genellikle tabloda önemli değişiklikler içerdiği durumlarda tablo halindeki verileri depolamak ve işlemek için mükemmeldir. Öte yandan DuckDB, yüksek hacimli veri etkinlikleri ve tek bir veritabanındaki birden fazla eşzamanlı işlem için uygun değildir.
anne ördek yönetilen bir bulutta DuckDB hizmetidir. DuckDB Topluluğu tarafından bakımı yapıldığı sürece kullanımı ücretsizdir ve açık kaynaktır. Kamunun kullanabileceği bir bulut hizmeti platformu oluşturmak için DuckDB Lab ile ortaklık yapılarak oluşturulmuş bir hizmettir.
DuckDB ve Motherduck'un birleşimiyle her senaryoda kolaylıkla kullanılabilecek bir analiz motoru oluşturabiliriz. Bunu nasıl yaparız? Hadi konuya girelim.
Hizmetin nasıl çalıştığına ve DuckDB'nin veri analitiği için neden güçlü bir araç olduğuna dair bir örnek vermek için yerel MotherDuck kullanıcı arayüzünü kullanacağız. Lütfen web sitesine kaydolun ve henüz yapmadıysanız MotherDuck hesabını edinin.
MotherDuck hesabına başarıyla kaydolduğunuzda MotherDuck kullanıcı arayüzüne yönlendirileceğiz. Kullanıcı arayüzüne aşina olmaya çalışın; eğer kullanırsanız kullanıcı arayüzünün Jupyter Notebook'a benzer olduğunu fark edeceksiniz.
MotherDuck kullanıcı arayüzündeki DBduck gücünü, DS Maaş verileriyle deneyeceğiz. Kaggle. Dosya Ekle düğmesini kullanarak verileri yükleyin; yürütülecek sorguyla birlikte yeni bir hücre gösterilecektir. Sorgu şu şekilde görünmelidir.
CREATE OR REPLACE TABLE ds_salaries AS SELECT * FROM read_csv_auto(['ds_salaries.csv']);
Tabloyu oluşturduktan sonra aşağıdaki kodla verileri sorgulamayı deneyin.
select * from my_db.ds_salaries limit 10;
Gördüğünüz gibi MotherDuck, Notebook'ta veri analizi yapmaya çok benzer, ancak SQL sorgularıyla. MotherDuck'ta veri analizi yapmak için sorguyu deneyelim.
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
Sorguyu hücrede yürütebilirsiniz; tablo sonucu aşağıdaki resme benzer şekilde gösterilir.
Kullanıcı arayüzünde bulunan seçim düğmesini kullanarak verileri filtreleyebilir, tabloyu özetleyebilir veya sonucu indirebilirsiniz.
MotherDuck ayrıca kullanıcının Notebook'unuzdaki Python aracılığıyla veritabanına erişmesine de olanak tanır. DuckDB paketini aşağıdaki kodu kullanarak kurmamız gerekiyor.
pip install duckdb==v0.9.2
MotherDuck'ın desteklediği güncel sürüm DuckDB 0.9.2'dir; bu yüzden bu sürümü yükledik.
Kurulum başarılı olduğunda DuckDB'yi Motherduck'a bağlamamız gerekiyor. Bağlantıyı doğrulamanın birkaç yolu vardır, ancak hizmet belirtecini kullanırız. Bu jeton MotherDuck ayarlarınızdan alınır.
import duckdb
token = "insert token here"
# initiate the MotherDuck connection
con = duckdb.connect(f'md:?motherduck_token={token}')
Herhangi bir veritabanı adı ayarlamamış olsaydık, MotherDuck varsayılan veritabanı olan my_db'yi kullanarak erişirdi. Daha sonra, daha önce Not Defteri'nde yaptığımız sorgunun aynısını kullanalım.
q = """
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
"""
con.sql(q).show()
Aşağıdaki tabloya benzer bir çıktı göreceksiniz.
┌─────────────────────────────────────┬───────────────────────┐
│ job_title │ average_salary_in_usd │
│ varchar │ double │
├─────────────────────────────────────┼───────────────────────┤
│ 3D Computer Vision Researcher │ 21352.25 │
│ AI Developer │ 136666.0909090909 │
│ AI Programmer │ 55000.0 │
│ AI Scientist │ 110120.875 │
│ Analytics Engineer │ 152368.63106796116 │
│ Applied Data Scientist │ 113726.3 │
│ Applied Machine Learning Engineer │ 99875.5 │
│ Applied Machine Learning Scientist │ 109452.83333333333 │
│ Applied Scientist │ 190264.4827586207 │
│ Autonomous Vehicle Technician │ 26277.5 │
│ · │ · │
│ · │ · │
│ · │ · │
│ Principal Data Engineer │ 192500.0 │
│ Principal Data Scientist │ 198171.125 │
│ Principal Machine Learning Engineer │ 190000.0 │
│ Product Data Analyst │ 56497.2 │
│ Product Data Scientist │ 8000.0 │
│ Research Engineer │ 163108.37837837837 │
│ Research Scientist │ 161214.19512195123 │
│ Software Data Engineer │ 62510.0 │
│ Staff Data Analyst │ 15000.0 │
│ Staff Data Scientist │ 105000.0 │
├─────────────────────────────────────┴───────────────────────┤
│ 93 rows (20 shown) 2 columns │
└─────────────────────────────────────────────────────────────┘
Yukarıdaki sorgu ile bunları Pandas DataFrame'e işlemek için aşağıdaki kodu kullanabilirsiniz.
import pandas as pd
df = con.sql(q).fetchdf()
Son olarak aşağıdaki sorguyu kullanarak veritabanına başka bir veri seti yükleyebilirsiniz.
con.sql("CREATE TABLE mytable AS SELECT * FROM '~/filepath.csv'")
Yukarıdaki sorgu, verilerinizin bir CSV dosyası olduğunu varsayar. Diğer seçenekler arasında S3 veya MotherDuck veritabanına yerel DuckDB yer alır.
DuckDB, özellikle veri analizi için geliştirilmiş açık kaynaklı bir veritabanı sistemidir. Sistem, veri işlemeyi hızlı ve verimli bir şekilde gerçekleştirecek şekilde tasarlanmıştır. MotherDuck, DuckDB için açık kaynaklı, yönetilen bulut tabanlı bir hizmettir.
DuckDB ve MotherDuck'ı birleştirerek verilerimizi bulutta bulundurup DuckDB ile hızlı bir şekilde işleyerek dizüstü bilgisayarlarımızı kişisel bir analiz motoruna dönüştürebiliriz.
Cornellius Yudha Wijaya bir veri bilimi müdür yardımcısı ve veri yazarıdır. Allianz Endonezya'da tam zamanlı çalışırken, sosyal medya ve yazılı medya aracılığıyla Python ve Veri ipuçlarını paylaşmayı seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://www.kdnuggets.com/turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck?utm_source=rss&utm_medium=rss&utm_campaign=turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- 10
- 125
- 15000
- 20
- 25
- 3d
- 7
- 8
- 8000
- 9
- a
- yukarıdaki
- erişim
- Hesap
- kazanmak
- edinilen
- etkinlik
- eklemek
- ilerlemek
- gelişme
- toplanma
- AI
- Türkiye
- Allianz
- veriyor
- zaten
- Ayrıca
- an
- analiz
- analist
- Analitik
- Analitik
- analytics
- ve
- Başka
- herhangi
- uygulamalı
- ARE
- AS
- Asistan
- varsayar
- At
- kimlik doğrulaması
- özerk
- otonom araç
- mevcut
- BE
- altında
- arasında
- yapılı
- iş
- fakat
- düğmesine tıklayın
- by
- CAN
- hücre
- değişiklikler
- bulut
- kod
- Sütunlar
- kombinasyon
- birleştirme
- topluluk
- bilgisayar
- Bilgisayar görüşü
- eşzamanlı
- Sosyal medya
- bağ
- olabilir
- yaratmak
- kritik
- akım
- veri
- veri analizi
- veri analisti
- Veri Analizi
- veri mühendisi
- veri işleme
- veri bilimi
- veri bilimcisi
- veritabanı
- Varsayılan
- tasarlanmış
- gelişmiş
- Geliştirici
- DID
- fark
- do
- yapıyor
- çift
- indir
- etkili bir şekilde
- verimli biçimde
- Motor
- mühendis
- vb
- Eter (ETH)
- hİÇ
- Her
- örnek
- yürütmek
- deneme
- tanıtmak
- az
- fileto
- dosyalar
- filtre
- takip etme
- İçin
- Ücretsiz
- itibaren
- oluşturulan
- almak
- Vermek
- grup
- el
- sap
- kullanma
- sahip olan
- he
- yardım
- okuyun
- Ne kadar
- HTTPS
- if
- görüntü
- uygular
- iyileştirmek
- in
- dahil
- Endonezya
- başlatmak
- kurmak
- Kurulum
- içine
- içerir
- içeren
- IT
- kaydol
- Jupyter Not Defteri
- KDNuggets
- laboratuvar
- dizüstü bilgisayar
- dizüstü bilgisayarlar
- öğrenme
- sevmek
- LİMİT
- yük
- yerel
- Bakın
- gibi görünmek
- seviyor
- makine
- makine öğrenme
- yönetilen
- yönetim
- Yönetim Sistemi
- müdür
- medya
- çok
- çoklu
- isim
- yani
- yerli
- gerek
- ihtiyaçlar
- yeni
- sonraki
- defter
- of
- on
- ONE
- Online
- açık kaynak
- Opsiyonlar
- or
- sipariş
- Diğer
- bizim
- dışarı
- çıktı
- paket
- pandalar
- ortaklık
- MÜKEMMEL OLAN YERİ BULUN
- kişisel
- Pivot
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- Lütfen
- güç kelimesini seçerim
- güçlü
- güzel
- Önceden
- Anapara
- süreç
- Süreçler
- işleme
- PLATFORM
- Programcı
- halka açık
- Python
- sorgular
- hızla
- kolayca
- gerçekleştirmek
- Ne olursa olsun
- kayıt olmak
- değiştirmek
- araştırma
- araştırmacı
- sonuç
- maaş
- aynı
- senaryo
- Bilim
- bilim adamı
- görmek
- seçmek
- seçim
- hizmet
- set
- ayarlar
- paylaş
- meli
- gösterilen
- önemli
- benzer
- benzer şekilde
- beden
- Sosyal Medya
- sosyal medya
- Yazılım
- özellikle
- SQL
- yığın
- Personel
- başarılı
- Başarılı olarak
- uygun
- destek
- Destekler
- hızla
- sistem
- Sistemler
- tablo
- alınan
- Teknoloji
- o
- The
- Onları
- Orada.
- Bunlar
- Re-Tweet
- zaman
- ipuçları
- için
- simge
- araç
- araçlar
- denemek
- DÖNÜŞ
- ui
- kullanım
- kullanıcı
- kullanma
- genellikle
- araç
- versiyon
- üzerinden
- vizyonumuz
- oldu
- yolları
- we
- Web sitesi
- ne zaman
- hangi
- süre
- neden
- irade
- ile
- iş akışı
- çalışma
- çalışır
- olur
- yazar
- yazı yazıyor
- sen
- kendiniz
- zefirnet