مصنف کی طرف سے تصویر
Csvkit ٹیبلر ڈیٹا کا بادشاہ ہے۔ اس میں ٹولز کا ایک مجموعہ ہے جو CSV فائلوں کو تبدیل کرنے، ڈیٹا میں ہیرا پھیری کرنے اور ڈیٹا کا تجزیہ کرنے کے لیے استعمال کیا جا سکتا ہے۔
آپ انسٹال کر سکتے ہیں csvkit
پائپ کا استعمال کرتے ہوئے.
$ pip install csvkit
مثال 1
اس مثال میں، ہم صرف دو کالم منتخب کرنے کے لیے csvcut استعمال کریں گے اور نتائج کو ٹیبلر فارمیٹ میں ظاہر کرنے کے لیے csvlook استعمال کریں گے۔
csvcut -c sepal_length,species iris.csv | csvlook --max-rows 5
نوٹ: آپ دلیل کے ساتھ قطاروں کی تعداد کو محدود کر سکتے ہیں۔ --max-rows
مثال 2
ہم csvjson کا استعمال کرتے ہوئے CSV فائل کو JSON فائل میں تبدیل کریں گے۔
csvjson iris.csv > iris.json
نوٹ: csvkit ہمیں Excel سے CSV اور JSON سے CSV ٹولز بھی فراہم کرتا ہے۔
مثال 3
ہم SQL استفسار کا استعمال کرکے CSV فائل پر ڈیٹا کا تجزیہ بھی کر سکتے ہیں۔ Csvsql کو SQL استفسار اور CSV فائل پاتھ کی ضرورت ہے آپ نتائج کو ظاہر کر سکتے ہیں یا اسے CSV میں محفوظ کر سکتے ہیں۔
csvsql --query "select * from iris where species like 'Iris-setosa'" iris.csv | csvlook --max-rows 5
آئی پیتھون ایک انٹرایکٹو Python شیل ہے جو آپ کے ٹرمینل میں jupyter نوٹ بک کی کچھ خصوصیات لاتا ہے۔ یہ آپ کو Python فائل بنائے بغیر آئیڈیاز کو تیزی سے جانچنے کی اجازت دیتا ہے۔
انسٹال ipython
پائپ انسٹال کا استعمال کرتے ہوئے.
$ pip install ipython
نوٹ: Ipython بھی Anaconda اور Jupyter Notebook کے ساتھ آتا ہے۔ لہذا، زیادہ تر معاملات میں آپ کو اسے انسٹال کرنے کی ضرورت نہیں ہے۔
انسٹال کرنے کے بعد، صرف ٹائپ کریں۔ ipython
ٹرمینل میں اور ڈیٹا کا تجزیہ کرنا شروع کریں جیسا کہ آپ Jupyter نوٹ بک میں کرتے ہیں۔ یہ آسان اور تیز ہے۔
cURL کلائنٹ یو آر ایل کا مطلب ہے اور یو آر ایل کا استعمال کرتے ہوئے سرور پر اور اس سے ڈیٹا منتقل کرنے کے لیے ایک CLI ٹول ہے۔ آپ اسے شرح کو محدود کرنے، لاگ ان غلطیوں، پیشرفت کو ظاہر کرنے اور اختتامی پوائنٹس کی جانچ کے لیے استعمال کر سکتے ہیں۔
مثال میں، ہم کیلیفورنیا یونیورسٹی سے مشین لرننگ ڈیٹا ڈاؤن لوڈ کر رہے ہیں اور اسے CSV فائل کے طور پر محفوظ کر رہے ہیں۔
curl -o blood.csv https://archive.ics.uci.edu/ml/machine-learning-databases/blood-transfusion/transfusion.data
: پیداوار
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
100 12843 100 12843 0 0 7772 0 0:00:01 0:00:01 --:--:-- 7769
آپ ٹوکنز، پش فائلز، اور ڈیٹا پائپ لائنز کو خودکار کرنے کے لیے APIs تک رسائی کے لیے cURL استعمال کر سکتے ہیں۔
اوک ایک ٹرمینل اسکرپٹنگ لینگویج ہے جسے ہم ڈیٹا میں ہیرا پھیری کرنے اور ڈیٹا کا تجزیہ کرنے کے لیے استعمال کر سکتے ہیں۔ اسے کسی شکایت کی ضرورت نہیں ہے۔ ہم کسی بھی قسم کی اسکرپٹ لکھنے کے لیے متغیرات، عددی افعال، سٹرنگ فنکشنز، اور منطقی آپریٹرز استعمال کر سکتے ہیں۔
مثال میں، ہم CSV فائل کے پہلے اور آخری کالم دکھا رہے ہیں اور آخری 10 قطاریں دکھا رہے ہیں۔ اسکرپٹ میں $1 کا مطلب ہے پہلے کالم۔ تیسرے کالم کو ظاہر کرنے کے لیے آپ اسے $3 میں بھی تبدیل کر سکتے ہیں۔ $NF آخری کالموں کی نمائندگی کرتا ہے۔
awk -F "," '{print $1 " | " $NF}' iris.csv | tail
Kaggle API آپ کو Kaggle ویب سائٹ سے ہر قسم کے ڈیٹاسیٹس ڈاؤن لوڈ کرنے کی اجازت دیتا ہے۔ مزید برآں، آپ اپنے عوامی ڈیٹاسیٹ کو اپ ڈیٹ کر سکتے ہیں، مقابلے میں فائل جمع کر سکتے ہیں، اور Jupyter Notebook کو چلا سکتے ہیں اور اس کا نظم کر سکتے ہیں۔ یہ ایک سپر کمانڈ لائن ٹول ہے۔
پائپ کا استعمال کرتے ہوئے Kaggle API انسٹال کریں۔
$ pip install kaggle
اس کے بعد، پر جائیں کاگل ویب سائٹ پر جائیں اور اپنی اسناد حاصل کریں۔ آپ پیروی کر سکتے ہیں۔ اس اپنا صارف نام اور نجی کلید ترتیب دینے کے لیے گائیڈ۔
export KAGGLE_USERNAME=kingabzpro
export KAGGLE_KEY=xxxxxxxxxxxxxx
مثال 1
تصدیق کو ترتیب دینے کے بعد، آپ بے ترتیب ڈیٹا سیٹس تلاش کر سکتے ہیں۔ ہمارے معاملے میں، ہم استعمال کر رہے ہیں روزگار کے رجحانات پر سروے ڈیٹاسیٹ
سے تصویر روزگار کے رجحانات پر سروے
آپ یا تو اس کے ساتھ ڈاؤن لوڈ اسکرپٹ چلا سکتے ہیں۔ -d
دلیل USERNAME/DATASET۔
$ kaggle datasets download -d revathyta/survey-on-employment-trends
یا،
آپ صرف تین نقطوں پر کلک کرکے اور "کاپی API کمانڈ" اختیار کو منتخب کرکے API کمانڈ حاصل کرسکتے ہیں۔
سے تصویر روزگار کے رجحانات پر سروے
یہ ڈیٹاسیٹ کو زپ فائل کی شکل میں ڈاؤن لوڈ کرے گا۔ آپ اسکرپٹ کو کے ساتھ پائپ بھی کرسکتے ہیں۔ unzip
ڈیٹا نکالنے کے لیے کمانڈ۔
Downloading survey-on-employment-trends.zip to C:Usersabida 0%| | 0.00/6.22k [00:00<?, ?B/s] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 6.22k/6.22k [00:00<?, ?B/s]
مثال 2
Kaggle پر اپنا ڈیٹا سیٹ بنانے اور اس کا اشتراک کرنے کے لیے، آپ کو پہلے ڈیٹا سیٹ کا راستہ فراہم کرکے ایک میٹا ڈیٹا فائل شروع کرنے کی ضرورت ہے۔
$ kaggle datasets init -p /work/Kaggle/World-Vaccine-Progress
اس کے بعد ڈیٹاسیٹ بنائیں اور فائل کو کیگل سرور پر دھکیلیں۔
$ kaggle datasets create -p /work/Kaggle/World-Vaccine-Progress
آپ کا استعمال کرکے اپنے ڈیٹاسیٹ کو بھی اپ ڈیٹ کر سکتے ہیں۔ version
کمانڈ. اس کے لیے فائل کا راستہ اور پیغام درکار ہے۔ بالکل گٹ کی طرح۔
$ kaggle datasets version -p /work/Kaggle/World-Vaccine-Progress -m "second version"
آپ میرا پروجیکٹ بھی دیکھ سکتے ہیں۔ ویکسین اپ ڈیٹ ڈیش بورڈ جس نے ڈیٹا سیٹ کو باقاعدگی سے اپ ڈیٹ کرنے کے لیے Kaggle API کو کامیابی سے لاگو کیا ہے۔
بہت سارے حیرت انگیز CLI ٹولز ہیں جو میں استعمال کرتا ہوں اور انہوں نے میری پیداواری صلاحیت کو بہتر بنایا ہے اور میرے زیادہ تر کام کو خودکار بنانے میں میری مدد کی ہے۔ یہاں تک کہ آپ کلک یا آرگ پارس کا استعمال کرتے ہوئے ازگر میں اپنا CLI ٹول بنا سکتے ہیں۔
اس مضمون میں، ہم نے ڈیٹاسیٹ کو ڈاؤن لوڈ کرنے، اس میں ہیرا پھیری کرنے، تجزیہ کرنے، اسکرپٹ چلانے، اور رپورٹیں تیار کرنے کے لیے CLI ٹولز کے بارے میں سیکھا ہے۔
میں Kaalgle API اور csvkit کا پرستار ہوں۔ میں اسے اپنی نوٹ بک اور تجزیے کو خودکار بنانے کے لیے باقاعدگی سے استعمال کرتا ہوں۔ اگر آپ اپنے ڈیٹا سائنس ورک فلو میں کمانڈ لائن ٹولز کا استعمال سیکھنا چاہتے ہیں تو پڑھیں کمانڈ لائن پر ڈیٹا سائنس مفت میں آن لائن بک کرو۔
عابد علی اعوان (@1abidaliawan) ایک سرٹیفائیڈ ڈیٹا سائنٹسٹ پروفیشنل ہے جو مشین لرننگ ماڈل بنانا پسند کرتا ہے۔ فی الحال، وہ مشین لرننگ اور ڈیٹا سائنس ٹیکنالوجیز پر مواد کی تخلیق اور تکنیکی بلاگ لکھنے پر توجہ دے رہا ہے۔ عابد کے پاس ٹیکنالوجی مینجمنٹ میں ماسٹر ڈگری اور ٹیلی کمیونیکیشن انجینئرنگ میں بیچلر ڈگری ہے۔ اس کا وژن دماغی بیماری کے ساتھ جدوجہد کرنے والے طلباء کے لیے گراف نیورل نیٹ ورک کا استعمال کرتے ہوئے ایک AI پروڈکٹ بنانا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://www.kdnuggets.com/2023/03/5-command-line-tools-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=5-more-command-line-tools-for-data-science
- : ہے
- $3
- $UP
- 10
- 100
- 7
- 8
- a
- ہمارے بارے میں
- تک رسائی حاصل
- AI
- تمام
- کی اجازت دیتا ہے
- حیرت انگیز
- تجزیہ
- اور
- اے پی آئی
- APIs
- کیا
- دلیل
- مضمون
- AS
- At
- کی توثیق
- خود کار طریقے سے
- اوسط
- BE
- بلاگز
- خون
- کتاب
- لاتا ہے
- تعمیر
- عمارت
- by
- کیلی فورنیا
- کر سکتے ہیں
- کیس
- مقدمات
- مصدقہ
- تبدیل
- چیک کریں
- کلک کریں
- کلائنٹ
- مجموعہ
- کالم
- کالم
- مقابلہ
- مواد
- تبدیل
- تخلیق
- تخلیق
- مخلوق
- اسناد
- موجودہ
- اس وقت
- اعداد و شمار
- ڈیٹا تجزیہ
- ڈیٹا سائنس
- ڈیٹا سائنسدان
- ڈیٹاسیٹس
- ڈگری
- دکھائیں
- دکھانا
- نہیں
- ڈاؤن لوڈ، اتارنا
- یا تو
- روزگار
- انجنیئرنگ
- نقائص
- Ether (ETH)
- بھی
- مثال کے طور پر
- ایکسل
- برآمد
- نکالنے
- ڈیٹا نکالیں
- پرستار
- فاسٹ
- تیز تر
- فائل
- فائلوں
- پہلا
- توجہ مرکوز
- پر عمل کریں
- کے لئے
- فارم
- فارمیٹ
- مفت
- سے
- افعال
- افعال
- مزید برآں
- پیدا
- حاصل
- جاؤ
- Go
- گراف
- گراف نیورل نیٹ ورک
- رہنمائی
- ہے
- مدد
- کی ڈگری حاصل کی
- کس طرح
- کیسے
- HTML
- HTTPS
- i
- ICS
- خیالات
- بیماری
- عملدرآمد
- بہتر
- in
- شروع
- انسٹال
- انسٹال کرنا
- انٹرایکٹو
- IT
- JSON
- Jupyter نوٹ بک
- KDnuggets
- کلیدی
- بادشاہ
- زبان
- آخری
- جانیں
- سیکھا ہے
- سیکھنے
- کی طرح
- LIMIT
- لائن
- منطقی
- مشین
- مشین لرننگ
- انتظام
- انتظام
- بہت سے
- ماسٹر
- کا مطلب ہے کہ
- ذہنی
- ذہنی بیماری
- پیغام
- میٹا ڈیٹا
- ماڈل
- زیادہ
- سب سے زیادہ
- ضرورت ہے
- نیٹ ورک
- عصبی
- عصبی نیٹ ورک
- نوٹ بک
- نوٹ بک
- تعداد
- of
- on
- آن لائن
- آپریٹرز
- اختیار
- خود
- راستہ
- انجام دینے کے
- کارکردگی کا مظاہرہ
- پائپ
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- نجی
- ذاتی کلید
- مصنوعات
- پیداوری
- پیشہ ورانہ
- پیش رفت
- منصوبے
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- پش
- ازگر
- بے ترتیب
- شرح
- پڑھیں
- موصول
- باقاعدگی سے
- رپورٹیں
- کی نمائندگی کرتا ہے
- کی ضرورت ہے
- نتائج کی نمائش
- رن
- s
- محفوظ کریں
- بچت
- سائنس
- سائنسدان
- سکرپٹ
- تلاش کریں
- دوسری
- منتخب
- مقرر
- قائم کرنے
- سیکنڈ اور
- شیل
- صرف
- So
- کچھ
- تیزی
- خرچ
- SQL
- کھڑا ہے
- شروع کریں
- جدوجہد
- طلباء
- جمع
- کامیابی کے ساتھ
- سپر
- ٹیکنیکل
- ٹیکنالوجی
- ٹیکنالوجی
- ٹیلی مواصلات
- ٹرمنل
- ٹیسٹ
- کہ
- ۔
- تین
- وقت
- کرنے کے لئے
- ٹوکن
- کے آلے
- اوزار
- کل
- منتقلی
- یونیورسٹی
- یونیورسٹی آف کیلی فورنیا
- اپ ڈیٹ کریں
- URL
- us
- استعمال کی شرائط
- ورژن
- نقطہ نظر
- ویب سائٹ
- جس
- ڈبلیو
- گے
- ساتھ
- بغیر
- کام
- کام کا بہاؤ
- لکھنا
- تحریری طور پر
- اور
- زیفیرنیٹ
- زپ