ছবি DALL-E দিয়ে তৈরি
এমন একটি সময়ে যেখানে ডেটা বিশ্লেষণাত্মক প্রক্রিয়াকরণ একটি সফল ব্যবসার মধ্যে গুরুত্বপূর্ণ পার্থক্য এবং না, আমাদের একটি টুল স্ট্যাকের প্রয়োজন যা প্রয়োজনগুলিকে সমর্থন করতে পারে। প্রযুক্তির অগ্রগতি এই সমস্ত ডেটা টুলকে এগিয়ে নিতে সাহায্য করেছে যা আমাদের প্রয়োজন, যেমন DuckDB এবং MotherDuck।
ডাকডিবি একটি ওপেন সোর্স, ইন-প্রসেস SQL অনলাইন অ্যানালিটিক্যাল প্রসেসিং (OLAP) ডাটাবেস ম্যানেজমেন্ট সিস্টেম। ডেটাবেস সিস্টেমটি ডেটা আকার নির্বিশেষে ডেটা বিশ্লেষণমূলক প্রশ্নগুলি দ্রুত পরিচালনা করার জন্য ডিজাইন করা হয়েছে। সিস্টেমটি ইন-মেমরি প্রসেসিং এবং OLAP সিস্টেম প্রয়োগ করে যা কার্যকরভাবে আমাদের ডেটা বিশ্লেষণী প্রক্রিয়াকে উন্নত করে।
ডাকডিবি ডেটা বিশ্লেষণ (টেবিল যোগদান, ডেটা একত্রীকরণ ইত্যাদি) জড়িত ট্যাবুলার ডেটা সংরক্ষণ এবং প্রক্রিয়াকরণের জন্য উপযুক্ত এবং যখন আমাদের কর্মপ্রবাহে সাধারণত টেবিলে উল্লেখযোগ্য পরিবর্তন জড়িত থাকে। অন্যদিকে, DuckDB একটি ডাটাবেসে উচ্চ-ভলিউম ডেটা কার্যকলাপ এবং একাধিক সমসাময়িক প্রক্রিয়ার জন্য উপযুক্ত নয়।
মাদারডাক একটি পরিচালিত ডাকডিবি-ইন-দ্য-ক্লাউড পরিষেবা। DuckDB সম্প্রদায় দ্বারা রক্ষণাবেক্ষণের সময় এটি ব্যবহার করা বিনামূল্যে এবং ওপেন সোর্স। এটি একটি পরিষেবা যা জনসাধারণ ব্যবহার করতে পারে এমন একটি ক্লাউড পরিষেবা প্ল্যাটফর্ম তৈরি করতে DuckDB ল্যাবের সাথে অংশীদারিত্বের মাধ্যমে নির্মিত৷
DuckDB এবং Motherduck এর সংমিশ্রণে, আমরা একটি বিশ্লেষণ ইঞ্জিন তৈরি করতে পারি যা প্রতিটি পরিস্থিতিতে সহজেই ব্যবহারযোগ্য। আমরা যে কিভাবে করব? এর মধ্যে প্রবেশ করা যাক.
পরিষেবাটি কীভাবে কাজ করে এবং কেন DuckDB ডেটা বিশ্লেষণের জন্য একটি শক্তিশালী হাতিয়ার আপনাকে একটি উদাহরণ দিতে আমরা নেটিভ MotherDuck UI ব্যবহার করব। অনুগ্রহ করে ওয়েবসাইটে নিবন্ধন করুন এবং মাদারডক অ্যাকাউন্টটি অর্জন করুন যদি আপনি ইতিমধ্যে না থাকেন।
আপনি একবার মাদারডাক অ্যাকাউন্টের জন্য সফলভাবে নিবন্ধন করলে, আমাদের মাদারডাক UI-তে নিয়ে যাওয়া হবে। UI এর সাথে নিজেকে পরিচিত করার চেষ্টা করুন এবং আপনি বুঝতে পারবেন যে UI জুপিটার নোটবুকের মতোই যদি আপনি কখনও একটি ব্যবহার করেন।
আমরা DBduck পাওয়ার নিয়ে MotherDuck UI-তে DS বেতনের ডেটা নিয়ে পরীক্ষা করব Kaggle. ফাইল যোগ করুন বোতাম ব্যবহার করে ডেটা আপলোড করুন, এবং এক্সিকিউট করার জন্য ক্যোয়ারী সহ একটি নতুন সেল দেখানো হবে। ক্যোয়ারী এই মত দেখতে হবে.
CREATE OR REPLACE TABLE ds_salaries AS SELECT * FROM read_csv_auto(['ds_salaries.csv']);
একবার আপনি টেবিল তৈরি করার পরে, নিম্নলিখিত কোড দিয়ে ডেটা অনুসন্ধান করার চেষ্টা করুন।
select * from my_db.ds_salaries limit 10;
আপনি দেখতে পাচ্ছেন, মাদারডাক অনেকটা নোটবুকে ডেটা বিশ্লেষণ করার মতো, কিন্তু এসকিউএল কোয়েরি সহ। মাদারডাকে ডেটা বিশ্লেষণ করার জন্য ক্যোয়ারীটি চেষ্টা করা যাক।
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
আপনি ঘরে ক্যোয়ারী চালাতে পারেন; টেবিলের ফলাফল নীচের চিত্রের অনুরূপভাবে দেখানো হয়েছে।
আপনি ডেটা ফিল্টার করতে পারেন, টেবিলটি পিভট করতে পারেন, বা UI-তে উপলব্ধ নির্বাচন বোতাম দিয়ে ফলাফল ডাউনলোড করতে পারেন।
মাদারডাক ব্যবহারকারীকে আপনার নোটবুকে পাইথনের মাধ্যমে ডাটাবেস অ্যাক্সেস করার অনুমতি দেয়। আমাদের নিম্নলিখিত কোড ব্যবহার করে DuckDB প্যাকেজ ইনস্টল করতে হবে।
pip install duckdb==v0.9.2
MotherDuck সমর্থন করে বর্তমান সংস্করণ হল DuckDB 0.9.2; এই কারণেই আমরা সেই সংস্করণটি ইনস্টল করেছি।
ইনস্টলেশন সফল হলে, আমাদের মাদারডাকের সাথে DuckDB সংযোগ করতে হবে। সংযোগটি প্রমাণীকরণের কয়েকটি উপায় রয়েছে, তবে আমরা পরিষেবা টোকেন ব্যবহার করব। এই টোকেনটি আপনার MotherDuck সেটিংসে অর্জিত হয়েছে।
import duckdb
token = "insert token here"
# initiate the MotherDuck connection
con = duckdb.connect(f'md:?motherduck_token={token}')
যদি আমরা কোনো ডাটাবেসের নাম সেট না করে থাকি, মাদারডক ডিফল্ট ডাটাবেস ব্যবহার করে অ্যাক্সেস করবে, যা my_db। এর পরে, আসুন একই প্রশ্নটি ব্যবহার করি যা আমরা পূর্বে নোটবুকে করেছি।
q = """
select job_title,
avg(salary_in_usd) as average_salary_in_usd
from my_db.ds_salaries
GROUP BY job_title
ORDER BY job_title
"""
con.sql(q).show()
আপনি নীচের টেবিলের অনুরূপ আউটপুট দেখতে পাবেন।
┌─────────────────────────────────────┬───────────────────────┐
│ job_title │ average_salary_in_usd │
│ varchar │ double │
├─────────────────────────────────────┼───────────────────────┤
│ 3D Computer Vision Researcher │ 21352.25 │
│ AI Developer │ 136666.0909090909 │
│ AI Programmer │ 55000.0 │
│ AI Scientist │ 110120.875 │
│ Analytics Engineer │ 152368.63106796116 │
│ Applied Data Scientist │ 113726.3 │
│ Applied Machine Learning Engineer │ 99875.5 │
│ Applied Machine Learning Scientist │ 109452.83333333333 │
│ Applied Scientist │ 190264.4827586207 │
│ Autonomous Vehicle Technician │ 26277.5 │
│ · │ · │
│ · │ · │
│ · │ · │
│ Principal Data Engineer │ 192500.0 │
│ Principal Data Scientist │ 198171.125 │
│ Principal Machine Learning Engineer │ 190000.0 │
│ Product Data Analyst │ 56497.2 │
│ Product Data Scientist │ 8000.0 │
│ Research Engineer │ 163108.37837837837 │
│ Research Scientist │ 161214.19512195123 │
│ Software Data Engineer │ 62510.0 │
│ Staff Data Analyst │ 15000.0 │
│ Staff Data Scientist │ 105000.0 │
├─────────────────────────────────────┴───────────────────────┤
│ 93 rows (20 shown) 2 columns │
└─────────────────────────────────────────────────────────────┘
উপরের ক্যোয়ারী সহ, আপনি নিম্নলিখিত কোডগুলিকে পান্ডাস ডেটাফ্রেমে প্রক্রিয়া করতে ব্যবহার করতে পারেন।
import pandas as pd
df = con.sql(q).fetchdf()
অবশেষে, আপনি নিম্নলিখিত ক্যোয়ারী ব্যবহার করে ডাটাবেসে অন্য ডেটাসেট লোড করতে পারেন।
con.sql("CREATE TABLE mytable AS SELECT * FROM '~/filepath.csv'")
উপরের ক্যোয়ারীটি ধরে নেয় আপনার ডেটা একটি CSV ফাইল। অন্যান্য বিকল্পগুলির মধ্যে S3 বা স্থানীয় DuckDB থেকে MotherDuck ডাটাবেস অন্তর্ভুক্ত রয়েছে।
DuckDB একটি ওপেন সোর্স ডাটাবেস সিস্টেম যা বিশেষভাবে ডেটা বিশ্লেষণের জন্য তৈরি করা হয়েছিল। সিস্টেমটি দ্রুত এবং দক্ষতার সাথে ডেটা প্রক্রিয়াকরণ পরিচালনা করার জন্য ডিজাইন করা হয়েছে। MotherDuck DuckDB-এর জন্য একটি ওপেন-সোর্স পরিচালিত ক্লাউড-ভিত্তিক পরিষেবা।
DuckDB এবং MotherDuck একত্রিত করে, আমরা আমাদের ল্যাপটপগুলিকে একটি ব্যক্তিগত বিশ্লেষণ ইঞ্জিনে পরিণত করতে পারি আমাদের ডেটা ক্লাউডে রেখে এবং দ্রুত DuckDB এর সাথে প্রক্রিয়াকরণ করে৷
কর্নেলিয়াস যুধা বিজয়া একজন ডেটা বিজ্ঞান সহকারী ব্যবস্থাপক এবং ডেটা লেখক। আলিয়াঞ্জ ইন্দোনেশিয়াতে পূর্ণ-সময় কাজ করার সময়, তিনি সোশ্যাল মিডিয়া এবং লেখার মাধ্যমে পাইথন এবং ডেটা টিপস শেয়ার করতে পছন্দ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://www.kdnuggets.com/turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck?utm_source=rss&utm_medium=rss&utm_campaign=turn-your-laptop-into-a-personal-analytics-engine-with-duckdb-and-motherduck
- : আছে
- : হয়
- :না
- :কোথায়
- 10
- 125
- 15000
- 20
- 25
- 3d
- 7
- 8
- 8000
- 9
- a
- উপরে
- প্রবেশ
- হিসাব
- অর্জন
- অর্জিত
- কার্যকলাপ
- যোগ
- আগাম
- অগ্রগতি
- মোট পরিমাণ
- AI
- সব
- আলিয়াঞ্জ
- অনুমতি
- ইতিমধ্যে
- এছাড়াও
- an
- বিশ্লেষণ
- বিশ্লেষক
- বিশ্লেষণমূলক
- বিশ্লেষণাত্মক
- বৈশ্লেষিক ন্যায়
- এবং
- অন্য
- কোন
- ফলিত
- রয়েছি
- AS
- সহায়ক
- অনুমান
- At
- বিশুদ্ধতা প্রমাণ করা
- স্বশাসিত
- স্বায়ত্তশাসিত গাড়ি
- সহজলভ্য
- BE
- নিচে
- মধ্যে
- নির্মিত
- ব্যবসায়
- কিন্তু
- বোতাম
- by
- CAN
- কোষ
- পরিবর্তন
- মেঘ
- কোড
- কলাম
- সমাহার
- মিশ্রন
- সম্প্রদায়
- কম্পিউটার
- কম্পিউটার ভিশন
- সহগামী
- সংযোগ করা
- সংযোগ
- পারা
- সৃষ্টি
- সংকটপূর্ণ
- বর্তমান
- উপাত্ত
- তথ্য বিশ্লেষণ
- তথ্য বিশ্লেষক
- ডেটা বিশ্লেষণ
- ডেটা ইঞ্জিনিয়ার
- তথ্য প্রক্রিয়াজাতকরণ
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- ডেটাবেস
- ডিফল্ট
- পরিকল্পিত
- উন্নত
- বিকাশকারী
- DID
- পার্থক্য
- do
- করছেন
- ডবল
- ডাউনলোড
- কার্যকরীভাবে
- দক্ষতার
- ইঞ্জিন
- প্রকৌশলী
- ইত্যাদি
- থার (eth)
- কখনো
- প্রতি
- উদাহরণ
- এক্সিকিউট
- পরীক্ষা
- অভ্যস্ত করান
- কয়েক
- ফাইল
- নথি পত্র
- ছাঁকনি
- অনুসরণ
- জন্য
- বিনামূল্যে
- থেকে
- উত্পন্ন
- পাওয়া
- দাও
- গ্রুপ
- হাত
- হাতল
- হ্যান্ডলিং
- জমিদারি
- he
- সাহায্য
- এখানে
- কিভাবে
- HTTPS দ্বারা
- if
- ভাবমূর্তি
- সরঁজাম
- উন্নত করা
- in
- অন্তর্ভুক্ত করা
- ইন্দোনেশিয়া
- আরম্ভ করা
- ইনস্টল
- স্থাপন
- মধ্যে
- জড়িত
- ঘটিত
- IT
- যোগদানের
- Jupyter নোটবুক
- কেডনুগেটস
- গবেষণাগার
- ল্যাপটপ
- ল্যাপটপের
- শিক্ষা
- মত
- LIMIT টি
- লিঙ্কডইন
- বোঝা
- স্থানীয়
- দেখুন
- মত চেহারা
- ভালবাসে
- মেশিন
- মেশিন লার্নিং
- পরিচালিত
- ব্যবস্থাপনা
- ব্যবস্থাপনা পদ্ধতি
- পরিচালক
- মিডিয়া
- অনেক
- বহু
- নাম
- যথা
- স্থানীয়
- প্রয়োজন
- চাহিদা
- নতুন
- পরবর্তী
- নোটবই
- of
- on
- ONE
- অনলাইন
- ওপেন সোর্স
- অপশন সমূহ
- or
- ক্রম
- অন্যান্য
- আমাদের
- বাইরে
- আউটপুট
- প্যাকেজ
- পান্ডাস
- অংশিদারীত্বে
- নির্ভুল
- ব্যক্তিগত
- পিভট
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- ক্ষমতা
- ক্ষমতাশালী
- চমত্কার
- পূর্বে
- অধ্যক্ষ
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- পণ্য
- প্রোগ্রামার
- প্রকাশ্য
- পাইথন
- প্রশ্নের
- দ্রুত
- ইচ্ছাপূর্বক
- সাধা
- তথাপি
- খাতা
- প্রতিস্থাপন করা
- গবেষণা
- গবেষক
- ফল
- বেতন
- একই
- দৃশ্যকল্প
- বিজ্ঞান
- বিজ্ঞানী
- দেখ
- নির্বাচন করা
- নির্বাচন
- সেবা
- সেট
- সেটিংস
- শেয়ার
- উচিত
- প্রদর্শিত
- গুরুত্বপূর্ণ
- অনুরূপ
- একভাবে
- আয়তন
- সামাজিক
- সামাজিক মাধ্যম
- সফটওয়্যার
- বিশেষভাবে
- এসকিউএল
- গাদা
- দণ্ড
- সফল
- সফলভাবে
- উপযুক্ত
- সমর্থন
- সমর্থন
- দ্রুতগতিতে
- পদ্ধতি
- সিস্টেম
- টেবিল
- ধরা
- প্রযুক্তিঃ
- যে
- সার্জারির
- তাহাদিগকে
- সেখানে।
- এইগুলো
- এই
- সময়
- পরামর্শ
- থেকে
- টোকেন
- টুল
- সরঞ্জাম
- চেষ্টা
- চালু
- ui
- ব্যবহার
- ব্যবহারকারী
- ব্যবহার
- সাধারণত
- বাহন
- সংস্করণ
- মাধ্যমে
- দৃষ্টি
- ছিল
- উপায়
- we
- ওয়েবসাইট
- কখন
- যে
- যখন
- কেন
- ইচ্ছা
- সঙ্গে
- কর্মপ্রবাহ
- কাজ
- কাজ
- would
- লেখক
- লেখা
- আপনি
- আপনার
- নিজেকে
- zephyrnet