By ديليب سوبرامانيان، عالم البيانات ومتحمس الذكاء الاصطناعي

تعد Python جزءًا لا يتجزأ من التعلم الآلي والمكتبات تجعل حياتنا أكثر بساطة. في الآونة الأخيرة ، صادفت 6 مكتبات رائعة أثناء العمل في مشاريع ML الخاصة بي. لقد ساعدوني في توفير الكثير من الوقت وسأناقشهم في هذه المدونة.

1. نص نظيف

 
 
مكتبة مدهشة حقًا ، يجب أن يكون النص النظيف هو نقطة الانطلاق عندما تحتاج إلى التعامل مع بيانات الكشط أو الوسائط الاجتماعية. أروع ما في الأمر أنه لا يتطلب أي كود طويل أو تعبيرات عادية لتنظيف بياناتنا. دعنا نرى بعض الأمثلة:

التنزيل

!pip install cleantext

مثال

#Importing the clean text library
from cleantext import clean# Sample texttext = """ Zürich, largest city of Switzerland and capital of the canton of 633Zürich. Located in an Alu017eupine. (https://google.com). Currency is not ₹"""# Cleaning the "text" with clean textclean(text, fix_unicode=True, to_ascii=True, lower=True, no_urls=True, no_numbers=True, no_digits=True, no_currency_symbols=True, no_punct=True, replace_with_punct=" ", replace_with_url="", replace_with_number="", replace_with_digit=" ", replace_with_currency_symbol="Rupees")

الناتج

مما سبق ، يمكننا أن نرى أنه يحتوي على Unicode في كلمة Zurich (تم تشفير الحرف "u") ، وأحرف ASCII (في Alu017eupine.) ، ورمز العملة بالروبية ، ورابط HTML ، وعلامات الترقيم.

عليك فقط ذكر ASCII و Unicode وعناوين URL والأرقام والعملة وعلامات الترقيم المطلوبة في الوظيفة النظيفة. أو يمكن استبدالها بمعلمات الاستبدال في الوظيفة المذكورة أعلاه. على سبيل المثال ، قمت بتغيير رمز الروبية إلى الروبية.

ليست هناك حاجة مطلقًا لاستخدام التعبيرات العادية أو الرموز الطويلة. مكتبة مفيدة للغاية خاصة إذا كنت ترغب في تنظيف النصوص من كشط أو بيانات الوسائط الاجتماعية. بناءً على متطلباتك ، يمكنك أيضًا تمرير الحجج بشكل فردي بدلاً من دمجها جميعًا.

لمزيد من التفاصيل ، يرجى التحقق من هذا مستودع جيثب.

2. رسم البيانات

 
 
Drawdata هو اكتشاف آخر رائع لمكتبة الثعبان خاص بي. كم مرة مررت بموقف تحتاج فيه إلى شرح مفاهيم ML للفريق؟ يجب أن يحدث ذلك كثيرًا لأن علم البيانات يدور حول العمل الجماعي. تساعدك هذه المكتبة على رسم مجموعة بيانات في دفتر Jupyter.
شخصيًا ، لقد استمتعت حقًا باستخدام هذه المكتبة عندما شرحت مفاهيم ML لفريقي. مجد للمطورين الذين أنشأوا هذه المكتبة!

Drawdata هو فقط لمشكلة التصنيف مع أربع فئات.

التنزيل

!pip install drawdata

مثال

# Importing the drawdata from drawdata import draw_scatterdraw_scatter()

الناتج

الصورة من قبل المؤلف

سيتم فتح نوافذ الرسم أعلاه بعد تنفيذ draw_Scatter (). من الواضح أن هناك أربع فئات هي A و B و C و D. يمكنك النقر فوق أي فئة ورسم النقاط التي تريدها. يمثل كل فصل ألوانًا مختلفة في الرسم. لديك أيضًا خيار لتنزيل البيانات كملف csv أو json. أيضًا ، يمكن نسخ البيانات إلى الحافظة الخاصة بك وقراءتها من الكود أدناه

#Reading the clipboardimport pandas as pd df = pd.read_clipboard(sep=",")
df

أحد قيود هذه المكتبة هو أنها تعطي نقطتي بيانات فقط بأربعة فصول. لكن على خلاف ذلك ، فهو بالتأكيد يستحق ذلك. لمزيد من التفاصيل ، يرجى التحقق من هذا رابط جيثب.

3. أوتوفيز

 
 
لن أنسى أبدًا الوقت الذي أمضيته في إجراء تحليل البيانات الاستكشافية باستخدام matplotlib. هناك العديد من مكتبات التصور البسيطة. ومع ذلك ، اكتشفت مؤخرًا حول Autoviz الذي يصور تلقائيًا أي مجموعة بيانات بسطر واحد من التعليمات البرمجية.

التنزيل

!pip install autoviz

مثال

لقد استخدمت مجموعة بيانات IRIS في هذا المثال.

# Importing Autoviz class from the autoviz library
from autoviz.AutoViz_Class import AutoViz_Class#Initialize the Autoviz class in a object called df
df = AutoViz_Class()# Using Iris Dataset and passing to the default parametersfilename = "Iris.csv"
sep = ","graph = df.AutoViz( filename, sep=",", depVar="", dfte=None, header=0, verbose=0, lowess=False, chart_format="svg", max_rows_analyzed=150000, max_cols_analyzed=30,
)

المعلمات أعلاه هي الافتراضية. لمزيد من المعلومات ، يرجى التحقق هنا.

الناتج

الصورة من قبل المؤلف

يمكننا رؤية جميع العناصر المرئية وإكمال EDA بسطر واحد من التعليمات البرمجية. هناك العديد من مكتبات التصور التلقائي ، لكنني استمتعت حقًا بالتعرف على هذه المكتبة على وجه الخصوص.

4. ميتو

 
 
الجميع يحب Excel ، أليس كذلك؟ إنها إحدى أسهل الطرق لاستكشاف مجموعة البيانات في المقام الأول. لقد صادفت ميتو منذ بضعة أشهر ، لكنني جربته مؤخرًا فقط وأحببته تمامًا!

إنها مكتبة بيثون ملحق Jupyter-lab مع دعم واجهة المستخدم الرسومية التي تضيف وظائف جدول البيانات. يمكنك تحميل بيانات csv الخاصة بك وتحرير مجموعة البيانات كجدول بيانات ، ويقوم تلقائيًا بإنشاء رمز Pandas. رائع جدا.

يستحق ميتو حقًا مشاركة مدونة كاملة. ومع ذلك ، لن أخوض في الكثير من التفاصيل اليوم. إليك عرض توضيحي بسيط للمهمة بدلاً من ذلك. لمزيد من التفاصيل ، يرجى التحقق هنا.

التنزيل

#First install mitoinstaller in the command prompt
pip install mitoinstaller# Then, run the installer in the command prompt
python -m mitoinstaller install# Then, launch Jupyter lab or jupyter notebook from the command prompt
python -m jupyter lab

لمزيد من المعلومات حول التثبيت ، يرجى التحقق هنا.

# Importing mitosheet and ruuning this in Jupyter labimport mitosheet
mitosheet.sheet()

بعد تنفيذ الكود أعلاه ، سيتم فتح ورقة ميتوشيت في مختبر jupyter. أنا أستخدم مجموعة بيانات IRIS. أولاً ، قمت بإنشاء عمودين جديدين. أحدهما متوسط ​​طول سيبال والآخر هو مجموع عرض سيبال. ثانيًا ، لقد غيرت اسم العمود لمتوسط ​​طول Sepal. أخيرًا ، قمت بإنشاء رسم بياني لعمود متوسط ​​طول Sepal.

يتم إنشاء الكود تلقائيًا بعد اتباع الخطوات المذكورة أعلاه.

الناتج

الصورة من قبل المؤلف

تم إنشاء الكود أدناه للخطوات المذكورة أعلاه:

from mitosheet import * # Import necessary functions from Mito
register_analysis('UUID-119387c0-fc9b-4b04-9053-802c0d428285') # Let Mito know which analysis is being run# Imported C:UsersDhilipDownloadsarchive (29)Iris.csv
import pandas as pd
Iris_csv = pd.read_csv('C:UsersDhilipDownloadsarchive (29)Iris.csv')# Added column G to Iris_csv
Iris_csv.insert(6, 'G', 0)# Set G in Iris_csv to =AVG(SepalLengthCm)
Iris_csv['G'] = AVG(Iris_csv['SepalLengthCm'])# Renamed G to Avg_Sepal in Iris_csv
Iris_csv.rename(columns={"G": "Avg_Sepal"}, inplace=True)

5. النحوي

 
 
مكتبة أخرى مثيرة للإعجاب ، تعتمد Gramformer على النماذج التوليدية التي تساعدنا على تصحيح القواعد في الجمل. تحتوي هذه المكتبة على ثلاثة نماذج تحتوي على ملف كاشف وقلم تمييز ومصحح. يحدد الكاشف ما إذا كان النص يحتوي على قواعد نحوية غير صحيحة. تحدد أداة التمييز الأجزاء المعيبة من الكلام ويصلح المصحح الأخطاء. Gramformer هو مصدر مفتوح بالكامل وهو في مراحله الأولى. لكنها ليست مناسبة للفقرات الطويلة لأنها تعمل فقط على مستوى الجملة وقد تم تدريبها على 64 جملة طويلة.

حاليًا ، يعمل نموذج المصحح وقلم التمييز. دعونا نرى بعض الأمثلة.

التنزيل

!pip3 install -U git+https://github.com/PrithivirajDamodaran/Gramformer.git

مثيل Gramformer

gf = Gramformer(models = 1, use_gpu = False) # 1=corrector, 2=detector (presently model 1 is working, 2 has not implemented)

مثال

#Giving sample text for correction under gf.correctgf.correct(""" New Zealand is island countrys in southwestern Paciific Ocaen. Country population was 5 million """)

الناتج

الصورة من قبل المؤلف

من الناتج أعلاه ، يمكننا أن نرى أنه يصحح القواعد النحوية وحتى الأخطاء الإملائية. مكتبة رائعة حقًا وتعمل بشكل جيد جدًا أيضًا. لم أجرب أداة التمييز هنا ، يمكنك محاولة التحقق من وثائق GitHub هذه لمزيد من المعلومات تفاصيل.

6. ستايلفورمر

 
 
شجعتني تجربتي الإيجابية مع Gramformer على البحث عن المزيد من المكتبات الفريدة. هكذا وجدت Styleformer ، مكتبة أخرى جذابة للغاية من Python. تم إنشاء كل من Gramformer و Styleformer بواسطة Prithiviraj Damodaran وكلاهما يعتمد على نماذج توليدية. مجد للمبدع على مصادره المفتوحة.

يساعد Styleformer في تحويل الجمل العادية إلى الرسمية ، والجمل الرسمية إلى الجمل العادية ، والجمل النشطة إلى المبنية للمجهول ، والمجهولة إلى الجمل النشطة.

دعونا نرى بعض الأمثلة

التنزيل

!pip install git+https://github.com/PrithivirajDamodaran/Styleformer.git

إنشاء Styleformer

sf = Styleformer(style = 0)# style = [0=Casual to Formal, 1=Formal to Casual, 2=Active to Passive, 3=Passive to Active etc..]

أمثلة

# Converting casual to formal sf.transfer("I gotta go")

# Formal to casual sf = Styleformer(style = 1) # 1 -> Formal to casual# Converting formal to casual
sf.transfer("Please leave this place")

# Active to Passive sf = Styleformer(style = 2) # 2-> Active to Passive# Converting active to passive
sf.transfer("We are going to watch a movie tonight.")

# passive to active
sf = Styleformer(style = 2) # 2-> Active to Passive# Converting passive to active
sf.transfer("Tenants are protected by leases")

انظر الناتج أعلاه ، فإنه يتحول بدقة. لقد استخدمت هذه المكتبة للتحويل غير الرسمي إلى الرسمي ، خاصةً لمنشورات الوسائط الاجتماعية في أحد تحليلاتي. لمزيد من التفاصيل ، يرجى التحقق GitHub جيثب:.

قد تكون معتادًا على بعض المكتبات المذكورة سابقًا ، لكن بعض المكتبات مثل Gramformer و Styleformer هي من اللاعبين الجدد. لقد تم الاستخفاف بهم للغاية وهم بالتأكيد يستحقون أن يكونوا معروفين لأنهم وفروا الكثير من وقتي واستخدمتهم بكثافة في مشاريع البرمجة اللغوية العصبية الخاصة بي.

شكرا للقراءة. إذا كان لديك أي شيء تضيفه ، فلا تتردد في ترك تعليق!

قد تعجبك أيضًا مقالتي السابقة خمس مكتبات بيثون رائعة لعلوم البيانات

 
السيرة الذاتية: ديليب سوبرامانيان هو مهندس ميكانيكي وأكمل درجة الماجستير في التحليلات. لديه 9 سنوات من الخبرة في التخصص في مختلف المجالات المتعلقة بالبيانات بما في ذلك تكنولوجيا المعلومات والتسويق والبنوك والطاقة والتصنيع. وهو شغوف بلغة البرمجة اللغوية العصبية والتعلم الآلي. هو مساهم في مجتمع SAS ويحب كتابة مقالات فنية عن مختلف جوانب علم البيانات على المنصة المتوسطة.

أصلي. تم إعادة النشر بإذن.

هذا الموضوع ذو علاقة بـ:

• خمس مكتبات بيثون رائعة لعلوم البيانات
• من السهل تحويل النص إلى نص مع بايثون
• تعلم علوم البيانات وتعلم الآلة: الخطوات الأولى