DALL-E के साथ बनाई गई छवि
ऐसे समय में जहां डेटा विश्लेषणात्मक प्रसंस्करण एक सफल व्यवसाय के बीच महत्वपूर्ण अंतर है और हमें एक टूल स्टैक की आवश्यकता है जो जरूरतों का समर्थन कर सके। प्रौद्योगिकी की प्रगति ने उन सभी डेटा टूल को आगे बढ़ाने में मदद की है जिनकी हमें आवश्यकता है, अर्थात् डकडीबी और मदरडक।
डकडीबी एक ओपन-सोर्स, इन-प्रोसेस SQL ऑनलाइन एनालिटिकल प्रोसेसिंग (OLAP) डेटाबेस प्रबंधन प्रणाली है। डेटाबेस सिस्टम को डेटा आकार की परवाह किए बिना, डेटा विश्लेषणात्मक प्रश्नों को तेजी से संभालने के लिए डिज़ाइन किया गया है। सिस्टम इन-मेमोरी प्रोसेसिंग और OLAP सिस्टम को लागू करता है जो हमारी डेटा विश्लेषणात्मक प्रक्रिया को प्रभावी ढंग से बेहतर बनाता है।
DuckDB डेटा विश्लेषण (तालिका में शामिल होना, डेटा एकत्रीकरण, आदि) से जुड़े सारणीबद्ध डेटा को संग्रहीत और संसाधित करने के लिए एकदम सही है और जब हमारे वर्कफ़्लो में आमतौर पर तालिका में महत्वपूर्ण परिवर्तन शामिल होते हैं। दूसरी ओर, DuckDB एक डेटाबेस में उच्च-मात्रा डेटा गतिविधि और एकाधिक समवर्ती प्रक्रियाओं के लिए उपयुक्त नहीं है।
मदरडक एक प्रबंधित डकडीबी-इन-द-क्लाउड सेवा है। डकडीबी समुदाय द्वारा रखरखाव के दौरान इसका उपयोग करना और ओपन-सोर्स करना मुफ़्त है। यह क्लाउड सेवा प्लेटफ़ॉर्म बनाने के लिए डकडीबी लैब के साथ साझेदारी करके बनाई गई एक सेवा है जिसका उपयोग जनता कर सकती है।
डकडीबी और मदरडक के संयोजन से, हम एक एनालिटिक्स इंजन बना सकते हैं जो हर परिदृश्य में आसानी से उपयोग करने योग्य है। हम इसे कैसे करते हैं? आइए इसमें शामिल हों।
हम आपको यह उदाहरण देने के लिए मूल मदरडक यूआई का उपयोग करेंगे कि सेवा कैसे काम करती है और डकडीबी डेटा एनालिटिक्स के लिए एक शक्तिशाली उपकरण क्यों है। कृपया वेबसाइट पर पंजीकरण करें और यदि आपने अभी तक मदरडक खाता प्राप्त नहीं किया है तो उसे प्राप्त करें।
एक बार जब आप मदरडक खाते के लिए सफलतापूर्वक पंजीकरण कर लेते हैं, तो हमें मदरडक यूआई पर ले जाया जाएगा। यूआई से खुद को परिचित करने का प्रयास करें, और यदि आप कभी ज्यूपिटर नोटबुक का उपयोग करते हैं तो आपको एहसास होगा कि यूआई ज्यूपिटर नोटबुक के समान है।
हम डीएस सैलरी डेटा के साथ मदरडक यूआई में डीबीडक पावर के साथ प्रयोग करेंगे Kaggle. फ़ाइलें जोड़ें बटन का उपयोग करके डेटा अपलोड करें, और निष्पादित करने के लिए क्वेरी के साथ एक नया सेल दिखाया जाएगा। क्वेरी इस तरह दिखनी चाहिए.
CREATE OR REPLACE TABLE ds_salaries AS SELECT * FROM read_csv_auto(['ds_salaries.csv']);
एक बार जब आप तालिका बना लें, तो निम्न कोड के साथ डेटा को क्वेरी करने का प्रयास करें।
select * from my_db.ds_salaries limit 10;
जैसा कि आप देख सकते हैं, मदरडक काफी हद तक नोटबुक में डेटा विश्लेषण करने जैसा है, लेकिन SQL क्वेरी के साथ। आइए मदरडक में डेटा विश्लेषण करने के लिए क्वेरी आज़माएं।
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
आप सेल में क्वेरी निष्पादित कर सकते हैं; तालिका परिणाम नीचे दी गई छवि के समान दिखाया गया है।
आप डेटा को फ़िल्टर कर सकते हैं, तालिका को पिवोट कर सकते हैं, या यूआई में उपलब्ध चयन बटन से परिणाम डाउनलोड कर सकते हैं।
मदरडक उपयोगकर्ता को आपके नोटबुक पर पायथन के माध्यम से डेटाबेस तक पहुंचने की भी अनुमति देता है। हमें निम्नलिखित कोड का उपयोग करके DuckDB पैकेज को स्थापित करने की आवश्यकता है।
pip install duckdb==v0.9.2
मदरडक द्वारा समर्थित वर्तमान संस्करण डकडीबी 0.9.2 है; इसीलिए हमने वह संस्करण स्थापित किया।
जब इंस्टॉलेशन सफल हो जाता है, तो हमें डकडीबी को मदरडक से कनेक्ट करना होगा। कनेक्शन को प्रमाणित करने के कुछ तरीके हैं, लेकिन हम सेवा टोकन का उपयोग करेंगे। यह टोकन आपकी मदरडक सेटिंग्स में प्राप्त किया गया है।
import duckdb
token = "insert token here"
# initiate the MotherDuck connection
con = duckdb.connect(f'md:?motherduck_token={token}')
यदि हमने कोई डेटाबेस नाम सेट नहीं किया है, तो मदरडक डिफ़ॉल्ट डेटाबेस का उपयोग करके एक्सेस करेगा, जो कि my_db है। इसके बाद, आइए उसी क्वेरी का उपयोग करें जो हमने पहले नोटबुक में किया था।
q = """
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
"""
con.sql(q).show()
आप नीचे दी गई तालिका के समान आउटपुट देखेंगे।
┌─────────────────────────────────────┬───────────────────────┐
│ job_title │ average_salary_in_usd │
│ varchar │ double │
├─────────────────────────────────────┼───────────────────────┤
│ 3D Computer Vision Researcher │ 21352.25 │
│ AI Developer │ 136666.0909090909 │
│ AI Programmer │ 55000.0 │
│ AI Scientist │ 110120.875 │
│ Analytics Engineer │ 152368.63106796116 │
│ Applied Data Scientist │ 113726.3 │
│ Applied Machine Learning Engineer │ 99875.5 │
│ Applied Machine Learning Scientist │ 109452.83333333333 │
│ Applied Scientist │ 190264.4827586207 │
│ Autonomous Vehicle Technician │ 26277.5 │
│ · │ · │
│ · │ · │
│ · │ · │
│ Principal Data Engineer │ 192500.0 │
│ Principal Data Scientist │ 198171.125 │
│ Principal Machine Learning Engineer │ 190000.0 │
│ Product Data Analyst │ 56497.2 │
│ Product Data Scientist │ 8000.0 │
│ Research Engineer │ 163108.37837837837 │
│ Research Scientist │ 161214.19512195123 │
│ Software Data Engineer │ 62510.0 │
│ Staff Data Analyst │ 15000.0 │
│ Staff Data Scientist │ 105000.0 │
├─────────────────────────────────────┴───────────────────────┤
│ 93 rows (20 shown) 2 columns │
└─────────────────────────────────────────────────────────────┘
उपरोक्त क्वेरी के साथ, आप उन्हें पांडा डेटाफ़्रेम में संसाधित करने के लिए निम्नलिखित कोड का उपयोग कर सकते हैं।
import pandas as pd
df = con.sql(q).fetchdf()
अंत में, आप निम्न क्वेरी का उपयोग करके किसी अन्य डेटासेट को डेटाबेस में लोड कर सकते हैं।
con.sql("CREATE TABLE mytable AS SELECT * FROM '~/filepath.csv'")
उपरोक्त क्वेरी मानती है कि आपका डेटा एक CSV फ़ाइल है। अन्य विकल्पों में मदरडक डेटाबेस में S3 या स्थानीय DuckDB शामिल है।
DuckDB एक ओपन-सोर्स डेटाबेस सिस्टम है जिसे विशेष रूप से डेटा विश्लेषण के लिए विकसित किया गया था। सिस्टम को डेटा प्रोसेसिंग को तेजी से और कुशलता से संभालने के लिए डिज़ाइन किया गया है। मदरडक डकडीबी के लिए एक ओपन-सोर्स प्रबंधित क्लाउड-आधारित सेवा है।
डकडीबी और मदरडक को मिलाकर, हम अपने डेटा को क्लाउड में रखकर और उन्हें डकडीबी के साथ त्वरित रूप से संसाधित करके अपने लैपटॉप को एक व्यक्तिगत एनालिटिक्स इंजन में बदल सकते हैं।
कार्नेलियस युधा विजया एक डेटा साइंस असिस्टेंट मैनेजर और डेटा राइटर है। एलियांज इंडोनेशिया में पूर्णकालिक काम करते हुए, उन्हें सोशल मीडिया और राइटिंग मीडिया के माध्यम से पायथन और डेटा टिप्स साझा करना पसंद है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://www.kdnuggets.com/turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck?utm_source=rss&utm_medium=rss&utm_campaign=turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck
- :हैस
- :है
- :नहीं
- :कहाँ
- 10
- 125
- 15000
- 20
- 25
- 3d
- 7
- 8
- 8000
- 9
- a
- ऊपर
- पहुँच
- लेखा
- अधिग्रहण
- प्राप्त
- गतिविधि
- जोड़ना
- उन्नत
- उन्नति
- एकत्रीकरण
- AI
- सब
- एलिआंज़
- की अनुमति देता है
- पहले ही
- भी
- an
- विश्लेषण
- विश्लेषक
- विश्लेषणात्मक
- विश्लेषणात्मक
- विश्लेषिकी
- और
- अन्य
- कोई
- लागू
- हैं
- AS
- सहायक
- मान लिया गया है
- At
- प्रमाणित
- स्वायत्त
- स्वायत्त वाहन
- उपलब्ध
- BE
- नीचे
- के बीच
- बनाया गया
- व्यापार
- लेकिन
- बटन
- by
- कर सकते हैं
- सेल
- परिवर्तन
- बादल
- कोड
- स्तंभ
- संयोजन
- संयोजन
- समुदाय
- कंप्यूटर
- Computer Vision
- समवर्ती
- जुडिये
- संबंध
- सका
- बनाना
- महत्वपूर्ण
- वर्तमान
- तिथि
- डेटा विश्लेषण
- तथ्य विश्लेषक
- डेटा विश्लेषण
- डेटा इंजीनियर
- डेटा संसाधन
- डेटा विज्ञान
- आँकड़े वाला वैज्ञानिक
- डाटाबेस
- चूक
- बनाया गया
- विकसित
- डेवलपर
- डीआईडी
- अंतर
- do
- कर
- डबल
- डाउनलोड
- प्रभावी रूप से
- कुशलता
- इंजन
- इंजीनियर
- आदि
- ईथर (ईटीएच)
- कभी
- प्रत्येक
- उदाहरण
- निष्पादित
- प्रयोग
- परिचित
- कुछ
- पट्टिका
- फ़ाइलें
- फ़िल्टर
- निम्नलिखित
- के लिए
- मुक्त
- से
- उत्पन्न
- मिल
- देना
- समूह
- हाथ
- संभालना
- हैंडलिंग
- होने
- he
- मदद की
- यहाँ उत्पन्न करें
- कैसे
- HTTPS
- if
- की छवि
- औजार
- में सुधार
- in
- शामिल
- इंडोनेशिया
- आरंभ
- स्थापित
- स्थापना
- में
- शामिल
- शामिल
- IT
- में शामिल होने
- जुपीटर नोटबुक
- केडनगेट्स
- प्रयोगशाला
- लैपटॉप
- लैपटॉप
- सीख रहा हूँ
- पसंद
- सीमा
- लिंक्डइन
- भार
- स्थानीय
- देखिए
- हमशक्ल
- प्यार करता है
- मशीन
- यंत्र अधिगम
- कामयाब
- प्रबंध
- प्रबंधन प्रणाली
- प्रबंधक
- मीडिया
- बहुत
- विभिन्न
- नाम
- यानी
- देशी
- आवश्यकता
- की जरूरत है
- नया
- अगला
- नोटबुक
- of
- on
- ONE
- ऑनलाइन
- खुला स्रोत
- ऑप्शंस
- or
- आदेश
- अन्य
- हमारी
- आउट
- उत्पादन
- पैकेज
- पांडा
- भागीदारी
- उत्तम
- स्टाफ़
- प्रधान आधार
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- कृप्या अ
- बिजली
- शक्तिशाली
- सुंदर
- पहले से
- प्रिंसिपल
- प्रक्रिया
- प्रक्रियाओं
- प्रसंस्करण
- एस्ट्रो मॉल
- प्रोग्रामर
- सार्वजनिक
- अजगर
- प्रश्नों
- जल्दी से
- आसानी से
- महसूस करना
- भले ही
- रजिस्टर
- की जगह
- अनुसंधान
- शोधकर्ता
- परिणाम
- वेतन
- वही
- परिदृश्य
- विज्ञान
- वैज्ञानिक
- देखना
- चयन
- चयन
- सेवा
- सेट
- सेटिंग्स
- Share
- चाहिए
- दिखाया
- महत्वपूर्ण
- समान
- उसी प्रकार
- आकार
- सोशल मीडिया
- सोशल मीडिया
- सॉफ्टवेयर
- विशेष रूप से
- एसक्यूएल
- धुआँरा
- कर्मचारी
- सफल
- सफलतापूर्वक
- उपयुक्त
- समर्थन
- समर्थन करता है
- तेजी से
- प्रणाली
- सिस्टम
- तालिका
- लिया
- टेक्नोलॉजी
- कि
- RSI
- उन
- वहाँ।
- इन
- इसका
- पहर
- सुझावों
- सेवा मेरे
- टोकन
- साधन
- उपकरण
- कोशिश
- मोड़
- ui
- उपयोग
- उपयोगकर्ता
- का उपयोग
- आमतौर पर
- वाहन
- संस्करण
- के माध्यम से
- दृष्टि
- था
- तरीके
- we
- वेबसाइट
- कब
- कौन कौन से
- जब
- क्यों
- मर्जी
- साथ में
- वर्कफ़्लो
- काम कर रहे
- कार्य
- होगा
- लेखक
- लिख रहे हैं
- इसलिए आप
- आपका
- स्वयं
- जेफिरनेट