DALL-E کے ساتھ تیار کردہ تصویر
ایسے وقت میں جہاں ڈیٹا اینالیٹک پروسیسنگ ایک کامیاب کاروبار کے درمیان اہم فرق ہے اور نہیں، ہمیں ایک ٹول اسٹیک کی ضرورت ہے جو ضروریات کو پورا کر سکے۔ ٹیکنالوجی کی ترقی نے ان تمام ڈیٹا ٹولز کو آگے بڑھانے میں مدد کی ہے جن کی ہمیں ضرورت ہے، یعنی DuckDB اور MotherDuck۔
بتھ ڈی بی ایک اوپن سورس، ان پروسیس SQL آن لائن اینالیٹیکل پروسیسنگ (OLAP) ڈیٹا بیس مینجمنٹ سسٹم ہے۔ ڈیٹا بیس سسٹم کو ڈیٹا کے سائز سے قطع نظر ڈیٹا کے تجزیاتی سوالات کو تیزی سے سنبھالنے کے لیے ڈیزائن کیا گیا ہے۔ یہ سسٹم ان میموری پروسیسنگ اور OLAP سسٹمز کو لاگو کرتا ہے جو ہمارے ڈیٹا کے تجزیاتی عمل کو مؤثر طریقے سے بہتر بناتے ہیں۔
DuckDB ٹیبلر ڈیٹا کو ذخیرہ کرنے اور اس پر کارروائی کرنے کے لیے بہترین ہے جس میں ڈیٹا کا تجزیہ شامل ہے (ٹیبل جوائن، ڈیٹا اکٹھا کرنا، وغیرہ) اور جب ہمارے ورک فلو میں عام طور پر ٹیبل میں اہم تبدیلیاں شامل ہوتی ہیں۔ دوسری طرف، DuckDB ایک ڈیٹا بیس میں ہائی والیوم ڈیٹا کی سرگرمی اور متعدد ہم آہنگی کے عمل کے لیے موزوں نہیں ہے۔
مدر ڈک ایک منظم DuckDB-in-the-Cloud سروس ہے۔ DuckDB کمیونٹی کے ذریعہ برقرار رکھنے کے دوران یہ استعمال کرنے کے لئے مفت اور اوپن سورس ہے۔ یہ کلاؤڈ سروس پلیٹ فارم بنانے کے لیے DuckDB Lab کے ساتھ شراکت داری کے ذریعے بنائی گئی سروس ہے جسے عوام استعمال کر سکتے ہیں۔
DuckDB اور Motherduck کے امتزاج سے، ہم ایک اینالیٹکس انجن بنا سکتے ہیں جو ہر منظر نامے میں آسانی سے قابل استعمال ہو۔ ہم ایسا کیسے کریں؟ آئیے اس میں داخل ہوں۔
ہم آپ کو ایک مثال دینے کے لیے مقامی MotherDuck UI کا استعمال کریں گے کہ سروس کیسے کام کرتی ہے اور کیوں DuckDB ڈیٹا اینالیٹکس کے لیے ایک طاقتور ٹول ہے۔ براہ کرم ویب سائٹ پر رجسٹر ہوں اور مدر ڈک اکاؤنٹ حاصل کریں اگر آپ کے پاس پہلے سے نہیں ہے۔
ایک بار جب آپ مدر ڈک اکاؤنٹ کے لیے کامیابی کے ساتھ اندراج کر لیتے ہیں، تو ہمیں MotherDuck UI پر لے جایا جائے گا۔ اپنے آپ کو UI سے واقف کرنے کی کوشش کریں، اور آپ کو احساس ہو گا کہ UI Jupyter Notebook کی طرح ہے اگر آپ کبھی ایک استعمال کرتے ہیں۔
ہم DBduck پاور کے ساتھ MotherDuck UI میں DS سیلری ڈیٹا کے ساتھ تجربہ کریں گے۔ کاگل. فائلیں شامل کریں بٹن کا استعمال کرتے ہوئے ڈیٹا کو اپ لوڈ کریں، اور عمل درآمد کرنے کے لیے استفسار کے ساتھ ایک نیا سیل دکھایا جائے گا۔ استفسار اس طرح نظر آنا چاہئے۔
CREATE OR REPLACE TABLE ds_salaries AS SELECT * FROM read_csv_auto(['ds_salaries.csv']);
ٹیبل بنانے کے بعد، درج ذیل کوڈ کے ساتھ ڈیٹا سے استفسار کرنے کی کوشش کریں۔
select * from my_db.ds_salaries limit 10;
جیسا کہ آپ دیکھ سکتے ہیں، MotherDuck کافی حد تک نوٹ بک میں ڈیٹا کا تجزیہ کرنے جیسا ہے، لیکن SQL سوالات کے ساتھ۔ آئیے مدر ڈک میں ڈیٹا کا تجزیہ کرنے کے لیے استفسار کو آزماتے ہیں۔
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
آپ سیل میں استفسار پر عمل کر سکتے ہیں۔ ٹیبل کا نتیجہ نیچے کی تصویر کی طرح دکھایا گیا ہے۔
آپ ڈیٹا کو فلٹر کر سکتے ہیں، ٹیبل کو پیوٹ کر سکتے ہیں، یا UI میں دستیاب سلیکشن بٹن سے نتیجہ ڈاؤن لوڈ کر سکتے ہیں۔
MotherDuck صارف کو آپ کی نوٹ بک پر ازگر کے ذریعے ڈیٹا بیس تک رسائی کی بھی اجازت دیتا ہے۔ ہمیں درج ذیل کوڈ کا استعمال کرتے ہوئے DuckDB پیکیج کو انسٹال کرنے کی ضرورت ہے۔
pip install duckdb==v0.9.2
موجودہ ورژن جسے MotherDuck سپورٹ کرتا ہے وہ DuckDB 0.9.2 ہے۔ اس لیے ہم نے وہ ورژن انسٹال کیا۔
جب انسٹالیشن کامیاب ہو جاتی ہے، تو ہمیں DuckDB کو Motherduck سے جوڑنے کی ضرورت ہوتی ہے۔ کنکشن کی تصدیق کرنے کے چند طریقے ہیں، لیکن ہم سروس ٹوکن استعمال کریں گے۔ یہ ٹوکن آپ کی MotherDuck سیٹنگز میں حاصل کیا گیا ہے۔
import duckdb
token = "insert token here"
# initiate the MotherDuck connection
con = duckdb.connect(f'md:?motherduck_token={token}')
اگر ہم نے ڈیٹا بیس کا کوئی نام سیٹ نہیں کیا تو مدر ڈک ڈیفالٹ ڈیٹا بیس کا استعمال کرتے ہوئے رسائی حاصل کرے گا، جو کہ my_db ہے۔ اگلا، آئیے وہی سوال استعمال کریں جو ہم نے پہلے نوٹ بک میں کیا تھا۔
q = """
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
"""
con.sql(q).show()
آپ نیچے دیے گئے ٹیبل کی طرح آؤٹ پٹ دیکھیں گے۔
┌─────────────────────────────────────┬───────────────────────┐
│ job_title │ average_salary_in_usd │
│ varchar │ double │
├─────────────────────────────────────┼───────────────────────┤
│ 3D Computer Vision Researcher │ 21352.25 │
│ AI Developer │ 136666.0909090909 │
│ AI Programmer │ 55000.0 │
│ AI Scientist │ 110120.875 │
│ Analytics Engineer │ 152368.63106796116 │
│ Applied Data Scientist │ 113726.3 │
│ Applied Machine Learning Engineer │ 99875.5 │
│ Applied Machine Learning Scientist │ 109452.83333333333 │
│ Applied Scientist │ 190264.4827586207 │
│ Autonomous Vehicle Technician │ 26277.5 │
│ · │ · │
│ · │ · │
│ · │ · │
│ Principal Data Engineer │ 192500.0 │
│ Principal Data Scientist │ 198171.125 │
│ Principal Machine Learning Engineer │ 190000.0 │
│ Product Data Analyst │ 56497.2 │
│ Product Data Scientist │ 8000.0 │
│ Research Engineer │ 163108.37837837837 │
│ Research Scientist │ 161214.19512195123 │
│ Software Data Engineer │ 62510.0 │
│ Staff Data Analyst │ 15000.0 │
│ Staff Data Scientist │ 105000.0 │
├─────────────────────────────────────┴───────────────────────┤
│ 93 rows (20 shown) 2 columns │
└─────────────────────────────────────────────────────────────┘
مندرجہ بالا استفسار کے ساتھ، آپ ان کو پانڈاس ڈیٹا فریم میں پروسیس کرنے کے لیے درج ذیل کوڈ کا استعمال کر سکتے ہیں۔
import pandas as pd
df = con.sql(q).fetchdf()
آخر میں، آپ درج ذیل استفسار کا استعمال کرتے ہوئے ڈیٹا بیس میں ایک اور ڈیٹاسیٹ لوڈ کر سکتے ہیں۔
con.sql("CREATE TABLE mytable AS SELECT * FROM '~/filepath.csv'")
مندرجہ بالا استفسار فرض کرتا ہے کہ آپ کا ڈیٹا ایک CSV فائل ہے۔ دیگر اختیارات میں S3 یا مقامی DuckDB سے MotherDuck ڈیٹا بیس شامل ہیں۔
DuckDB ایک اوپن سورس ڈیٹا بیس سسٹم ہے جو خاص طور پر ڈیٹا کے تجزیہ کے لیے تیار کیا گیا تھا۔ سسٹم کو ڈیٹا پروسیسنگ کو تیزی سے اور مؤثر طریقے سے سنبھالنے کے لیے ڈیزائن کیا گیا ہے۔ MotherDuck DuckDB کے لیے ایک اوپن سورس مینیجڈ کلاؤڈ بیسڈ سروس ہے۔
DuckDB اور MotherDuck کو ملا کر، ہم اپنا ڈیٹا کلاؤڈ میں رکھ کر اور DuckDB کے ساتھ ان پر تیزی سے کارروائی کر کے اپنے لیپ ٹاپ کو ذاتی تجزیاتی انجن میں تبدیل کر سکتے ہیں۔
کارنیلیس یودھا وجایا ڈیٹا سائنس اسسٹنٹ مینیجر اور ڈیٹا رائٹر ہے۔ Allianz Indonesia میں کل وقتی کام کرتے ہوئے، وہ سوشل میڈیا اور تحریری میڈیا کے ذریعے Python اور Data ٹپس کا اشتراک کرنا پسند کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://www.kdnuggets.com/turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck?utm_source=rss&utm_medium=rss&utm_campaign=turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck
- : ہے
- : ہے
- : نہیں
- :کہاں
- 10
- 125
- 15000
- 20
- 25
- 3d
- 7
- 8
- 8000
- 9
- a
- اوپر
- تک رسائی حاصل
- اکاؤنٹ
- حاصل
- حاصل
- سرگرمی
- شامل کریں
- آگے بڑھانے کے
- ترقی
- مجموعی
- AI
- تمام
- آلانز
- کی اجازت دیتا ہے
- پہلے ہی
- بھی
- an
- تجزیہ
- تجزیہ کار
- تجزیاتی
- تجزیاتی
- تجزیاتی
- اور
- ایک اور
- کوئی بھی
- اطلاقی
- کیا
- AS
- اسسٹنٹ
- فرض کرتا ہے
- At
- تصدیق
- خود مختار
- خود مختار گاڑی
- دستیاب
- BE
- نیچے
- کے درمیان
- تعمیر
- کاروبار
- لیکن
- بٹن
- by
- کر سکتے ہیں
- سیل
- تبدیلیاں
- بادل
- کوڈ
- کالم
- مجموعہ
- امتزاج
- کمیونٹی
- کمپیوٹر
- کمپیوٹر ویژن
- سمورتی
- رابطہ قائم کریں
- کنکشن
- سکتا ہے
- تخلیق
- اہم
- موجودہ
- اعداد و شمار
- ڈیٹا تجزیہ
- ڈیٹا تجزیہ کار
- ڈیٹا تجزیات
- ڈیٹا انجینئر
- ڈیٹا پروسیسنگ
- ڈیٹا سائنس
- ڈیٹا سائنسدان
- ڈیٹا بیس
- پہلے سے طے شدہ
- ڈیزائن
- ترقی یافتہ
- ڈیولپر
- DID
- فرق
- do
- کر
- دوگنا
- ڈاؤن لوڈ، اتارنا
- مؤثر طریقے
- مؤثر طریقے سے
- انجن
- انجینئر
- وغیرہ
- Ether (ETH)
- کبھی نہیں
- ہر کوئی
- مثال کے طور پر
- عملدرآمد
- تجربہ
- واقف کرنا
- چند
- فائل
- فائلوں
- فلٹر
- کے بعد
- کے لئے
- مفت
- سے
- پیدا
- حاصل
- دے دو
- گروپ
- ہاتھ
- ہینڈل
- ہینڈلنگ
- ہونے
- he
- مدد
- یہاں
- کس طرح
- HTTPS
- if
- تصویر
- عمل
- کو بہتر بنانے کے
- in
- شامل
- انڈونیشیا
- شروع
- انسٹال
- تنصیب
- میں
- شامل ہے
- شامل
- IT
- میں شامل
- Jupyter نوٹ بک
- KDnuggets
- لیب
- لیپ ٹاپ
- لیپ ٹاپ
- سیکھنے
- کی طرح
- LIMIT
- لنکڈ
- لوڈ
- مقامی
- دیکھو
- کی طرح دیکھو
- سے محبت کرتا ہے
- مشین
- مشین لرننگ
- میں کامیاب
- انتظام
- مینیجمنٹ سسٹم
- مینیجر
- میڈیا
- بہت
- ایک سے زیادہ
- نام
- یعنی
- مقامی
- ضرورت ہے
- ضروریات
- نئی
- اگلے
- نوٹ بک
- of
- on
- ایک
- آن لائن
- اوپن سورس
- آپشنز کے بھی
- or
- حکم
- دیگر
- ہمارے
- باہر
- پیداوار
- پیکج
- pandas
- شراکت داری
- کامل
- ذاتی
- محور
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- مہربانی کرکے
- طاقت
- طاقتور
- خوبصورت
- پہلے
- پرنسپل
- عمل
- عمل
- پروسیسنگ
- مصنوعات
- پروگرامر
- عوامی
- ازگر
- سوالات
- جلدی سے
- آسانی سے
- احساس
- بے شک
- رجسٹر
- کی جگہ
- تحقیق
- محقق
- نتیجہ
- تنخواہ
- اسی
- منظر نامے
- سائنس
- سائنسدان
- دیکھنا
- منتخب
- انتخاب
- سروس
- مقرر
- ترتیبات
- سیکنڈ اور
- ہونا چاہئے
- دکھایا گیا
- اہم
- اسی طرح
- اسی طرح
- سائز
- سماجی
- سوشل میڈیا
- سافٹ ویئر کی
- خاص طور پر
- SQL
- ڈھیر لگانا
- سٹاف
- کامیاب
- کامیابی کے ساتھ
- موزوں
- حمایت
- کی حمایت کرتا ہے
- تیزی سے
- کے نظام
- سسٹمز
- ٹیبل
- لیا
- ٹیکنالوجی
- کہ
- ۔
- ان
- وہاں.
- یہ
- اس
- وقت
- تجاویز
- کرنے کے لئے
- ٹوکن
- کے آلے
- اوزار
- کوشش
- ٹرن
- ui
- استعمال کی شرائط
- رکن کا
- کا استعمال کرتے ہوئے
- عام طور پر
- گاڑی
- ورژن
- کی طرف سے
- نقطہ نظر
- تھا
- طریقوں
- we
- ویب سائٹ
- جب
- جس
- جبکہ
- کیوں
- گے
- ساتھ
- کام کا بہاؤ
- کام کر
- کام کرتا ہے
- گا
- مصنف
- تحریری طور پر
- آپ
- اور
- اپنے آپ کو
- زیفیرنیٹ