By হর্ষিত ত্যাগী, ডেটা সায়েন্স প্রশিক্ষক | পরামর্শদাতা | YouTuber

এনএলপি-র একটি অত্যন্ত আকর্ষণীয় এবং বহুল ব্যবহৃত অ্যাপ্লিকেশন হল নামকৃত সত্তা স্বীকৃতি (এনইআর)।

কাঁচা এবং অসংগঠিত ডেটা থেকে অন্তর্দৃষ্টি পাওয়া অত্যন্ত গুরুত্বপূর্ণ। একটি নথি আপলোড করা এবং এটি থেকে তথ্যের গুরুত্বপূর্ণ বিটগুলি পাওয়াকে তথ্য পুনরুদ্ধার বলা হয়।

তথ্য পুনরুদ্ধার NLP-তে একটি প্রধান কাজ/চ্যালেঞ্জ হয়েছে। এবং NER (বা NEL — নামের সত্তা লিঙ্কিং) তথ্য পুনরুদ্ধারের উদ্দেশ্যে বিভিন্ন ডোমেনে (অর্থ, ওষুধ, ই-কমার্স, ইত্যাদি) ব্যবহার করা হয়।

এই টিউটোরিয়াল পোস্টে, আমি আপনাকে দেখাব কিভাবে আপনি NEL-এর সাহায্যে একটি কাস্টম স্টক মার্কেট নিউজ ফিড তৈরি করতে পারেন যা ইন্টারনেটে গুঞ্জনপূর্ণ স্টকগুলিকে তালিকাভুক্ত করে।

আগ্রহী

 
 
এই ধরনের কোনো প্রাক-প্রয়োজনীয়তা নেই। পাইথন এবং টোকেনাইজেশন, পিওএস ট্যাগিং, নির্ভরতা পার্সিং ইত্যাদির মতো NLP-এর প্রাথমিক কাজগুলির সাথে আপনার কিছু পরিচিতি থাকতে হবে।

আমি গুরুত্বপূর্ণ বিটগুলিকে আরও বিস্তারিতভাবে কভার করব, তাই আপনি যদি একজন সম্পূর্ণ শিক্ষানবিস হন তাহলেও আপনি যা ঘটছে তার চারপাশে আপনার মাথা গুটিয়ে নিতে সক্ষম হবেন।

সুতরাং, আসুন এটির সাথে এগিয়ে যাই, অনুসরণ করুন এবং আপনার কাছে একটি ন্যূনতম স্টক নিউজ ফিড থাকবে যা আপনি গবেষণা শুরু করতে পারেন৷

আপনার প্রয়োজন হবে টুল/সেটআপ:

1. ডেটা এবং SpaCy লাইব্রেরির প্রাথমিক পরীক্ষা ও অনুসন্ধানের জন্য Google Colab।
2. স্ট্রিমলিট অ্যাপ্লিকেশন কোড করার জন্য ভিএস কোড (বা যেকোনো সম্পাদক)।
3. স্টক মার্কেটের তথ্যের উৎস (সংবাদ) যার ভিত্তিতে আমরা NER এবং পরে NEL সম্পাদন করব।
4. Pandas, SpaCy, Streamlit, Streamlit-Spacy (যদি আপনি কিছু SpaCy রেন্ডার দেখাতে চান) এর মতো লাইব্রেরি সহ একটি ভার্চুয়াল পাইথন পরিবেশ (আমি কনডা ব্যবহার করছি)।

উদ্দেশ্য

 
 
এই প্রকল্পের লক্ষ্য হল গুরুত্বপূর্ণ সত্ত্বা (আমাদের উদাহরণে পাবলিকলি ট্রেড করা কোম্পানিগুলি) বের করার জন্য নামকৃত সত্তা স্বীকৃতি শেখা এবং প্রয়োগ করা এবং তারপর জ্ঞানের ভিত্তি (Nifty500 কোম্পানি তালিকা) ব্যবহার করে প্রতিটি সত্তাকে কিছু তথ্যের সাথে লিঙ্ক করা।

আমরা ইন্টারনেটে আরএসএস ফিড থেকে পাঠ্য ডেটা পাব, গুঞ্জনকারী স্টকগুলির নাম বের করব এবং তারপর সেই স্টকগুলিতে কোনও অবস্থান নেওয়ার আগে সংবাদের সত্যতা পরীক্ষা করার জন্য তাদের বাজার মূল্যের ডেটা টেনে আনব।

দ্রষ্টব্য: NER একটি অত্যাধুনিক সমস্যা নাও হতে পারে তবে শিল্পে এর অনেকগুলি অ্যাপ্লিকেশন রয়েছে৷

পরীক্ষা-নিরীক্ষা এবং পরীক্ষার জন্য Google Colab-এ চলে যাওয়া:

ধাপ 1: ট্রেন্ডিং স্টক নিউজ ডেটা বের করা

 
 
কিছু নির্ভরযোগ্য খাঁটি স্টক মার্কেট খবর পেতে, আমি ব্যবহার করা হবে অর্থনৈতিক টাইমস এবং অর্থ নিয়ন্ত্রণ এই টিউটোরিয়ালের জন্য RSS ফিড কিন্তু আপনি আপনার দেশের RSS ফিড বা টুইটার/টেলিগ্রাম(গ্রুপ) ডেটা ব্যবহার/যোগ করতে পারেন যাতে আপনার ফিডকে আরও তথ্যপূর্ণ/সঠিক করা যায়।

সুযোগ অপরিসীম। এই টিউটোরিয়ালটি বিভিন্ন ধরণের তথ্য পুনরুদ্ধার সমস্যা সমাধানের জন্য বিভিন্ন ডোমেনে অ্যাপ তৈরি করার জন্য NEL প্রয়োগ করার জন্য একটি পদক্ষেপের পাথর হিসাবে কাজ করা উচিত।

আপনি যদি আরএসএস ফিডের দিকে তাকাতে যান, তাহলে এটি এরকম কিছু দেখায়:

আমাদের লক্ষ্য হল এই RSS ফিড থেকে পাঠ্য শিরোনামগুলি পাওয়া এবং তারপরে আমরা শিরোনাম থেকে মূল সত্তাগুলি বের করতে SpaCy ব্যবহার করব৷

শিরোনাম ভিতরে উপস্থিত এখানে XML এর ট্যাগ।

প্রথমত, আমাদের পুরো XML নথিটি ক্যাপচার করতে হবে এবং আমরা ব্যবহার করতে পারি requests এটি করতে লাইব্রেরি। কোল্যাবে আপনার রানটাইম পরিবেশে এই প্যাকেজগুলি ইনস্টল করা আছে কিনা দেখে নিন।

কোলাবের কোড সেল থেকে প্রায় যেকোনো প্যাকেজ ইনস্টল করতে আপনি নিম্নলিখিত কমান্ডটি চালাতে পারেন:

!pip install <package_name>

একটি প্রেরণ GET XML ডক ক্যাপচার করার জন্য প্রদত্ত লিঙ্কে অনুরোধ করুন।

import requestsresp = requests.get("https://economictimes.indiatimes.com/markets/stocks/rssfeeds/2146842.cms")

প্রতিক্রিয়া অবজেক্টে আপনি কী পান তা পরীক্ষা করতে সেলটি চালান।

এটি আপনাকে HTTP কোড 200 এর সাথে নিম্নলিখিত হিসাবে একটি সফল প্রতিক্রিয়া দিতে হবে:

এখন যেহেতু আপনার কাছে এই রেসপন্স অবজেক্ট আছে, আমরা XML ডকুমেন্টকে নিম্নরূপ পার্স করতে BeautifulSoup ক্লাসে এর বিষয়বস্তু পাঠাতে পারি:

from bs4 import BeautifulSoupsoup = BeautifulSoup(resp.content, features='xml')
soup.findAll('title')

এটি আপনাকে পাইথন তালিকার ভিতরে সমস্ত শিরোনাম দেওয়া উচিত:

লেখক দ্বারা চিত্র

অসাধারণ, আমাদের কাছে পাঠ্য তথ্য রয়েছে যা থেকে আমরা NLP ব্যবহার করে প্রধান সত্তা (যা এই ক্ষেত্রে সর্বজনীনভাবে ব্যবসা করা কোম্পানি) বের করব।

এনএলপিকে কার্যকর করার সময় এসেছে।

ধাপ 2: শিরোনাম থেকে সত্তা বের করা

 
 
এই উত্তেজনাপূর্ণ অংশ. আমরা একটি ব্যবহার করা হবে প্রাক-প্রশিক্ষিত মূল ভাষা মডেল থেকে spaCy একটি শিরোনাম প্রধান সত্তা নিষ্কাশন করতে লাইব্রেরি.

spaCy এবং মূল মডেল সম্পর্কে একটু।

spaCy একটি ওপেন সোর্স এনএলপি লাইব্রেরি যা অতি দ্রুত গতিতে পাঠ্য ডেটা প্রক্রিয়া করে। এটি এনএলপি গবেষণার শীর্ষস্থানীয় গ্রন্থাগার যা এন্টারপ্রাইজ-গ্রেড অ্যাপ্লিকেশনগুলিতে স্কেলে ব্যবহৃত হচ্ছে। spaCy সমস্যার সাথে স্কেলিং করার জন্য সুপরিচিত। এবং এটি 64টিরও বেশি ভাষা সমর্থন করে এবং TensorFlow এবং PyTorch উভয়ের সাথেই ভাল কাজ করে।

মূল মডেল সম্পর্কে কথা বলতে গেলে, spaCy-এর দুটি প্রধান শ্রেণির পূর্বপ্রশিক্ষিত ভাষা মডেল রয়েছে যেগুলি আমাদেরকে অত্যাধুনিক অনুমান দিতে বিভিন্ন আকারের পাঠ্য ডেটাতে প্রশিক্ষিত।

1. মূল মডেল - সাধারণ-উদ্দেশ্যের মৌলিক NLP কাজের জন্য।
2. স্টার্টার মডেল - বিশেষ অ্যাপ্লিকেশনগুলির জন্য যার জন্য স্থানান্তর শেখার প্রয়োজন। আমরা স্ক্র্যাচ থেকে মডেলকে প্রশিক্ষণ না দিয়ে আমাদের কাস্টম মডেলগুলিকে সূক্ষ্ম-টিউন করার জন্য মডেলের শেখা ওজনগুলি ব্যবহার করতে পারি।

যেহেতু এই টিউটোরিয়ালে আমাদের ব্যবহারের কেস মৌলিক, তাই আমরা এর সাথে লেগে থাকব en_core_web_sm মূল মডেল পাইপলাইন।

সুতরাং, আমাদের নোটবুকে এটি লোড করা যাক:

nlp = spacy.load("en_core_web_sm")

বিঃদ্রঃ: Colab আমাদের জন্য ইতিমধ্যেই এটি ডাউনলোড করেছে কিন্তু আপনি যদি এটি আপনার স্থানীয় সিস্টেমে চালানোর চেষ্টা করেন, তাহলে আপনাকে প্রথমে নিম্নলিখিত কমান্ডটি ব্যবহার করে মডেলটি ডাউনলোড করতে হবে:

python -m spacy download en_core_web_sm

en_core_web_sm মূলত CPU-এর জন্য অপ্টিমাইজ করা একটি ইংরেজি পাইপলাইন যার নিম্নলিখিত উপাদান রয়েছে:

• tok2vec — ভেক্টরের টোকেন (টেক্সচুয়াল ডেটাতে টোকেনাইজেশন করে),
• tagger - প্রতিটি টোকেনে প্রাসঙ্গিক মেটাডেটা যোগ করে। spaCy প্রতিটি টোকেনের বক্তব্যের অংশ (POS) ভবিষ্যদ্বাণী করতে কিছু পরিসংখ্যানগত মডেল ব্যবহার করে। আরো ডকুমেন্টেশন.
• পার্সার — নির্ভরতা পার্সার টোকেনগুলির মধ্যে সম্পর্ক স্থাপন করে।
• অন্যান্য উপাদানের মধ্যে প্রেরক, নার, বৈশিষ্ট্য_শাসক, লেমাটাইজার অন্তর্ভুক্ত।

এখন, এই মডেলটি আমাদের জন্য কী করতে পারে তা পরীক্ষা করার জন্য, আমি তাত্ক্ষণিক মডেলের মাধ্যমে একটি শিরোনাম পাস করব এবং তারপর একটি বাক্যের বিভিন্ন অংশ পরীক্ষা করব।

# make sure you extract the text out of <title> tagsprocessed_hline = nlp(headlines[4].text)

পাইপলাইন টোকেনাইজেশন থেকে NER পর্যন্ত সমস্ত কাজ সম্পাদন করে। এখানে আমাদের প্রথমে টোকেন আছে:

লেখক দ্বারা চিত্র

আপনি ব্যবহার করে বক্তৃতা ট্যাগ করা অংশ দেখতে পারেন pos_ বৈশিষ্ট্যাবলী।

লেখক দ্বারা চিত্র

প্রতিটি টোকেন কিছু মেটাডেটা দিয়ে ট্যাগ করা হয়। উদাহরণস্বরূপ, ট্রেড একটি যথাযথ বিশেষ্য, সেটআপ একটি বিশেষ্য, : বিরাম চিহ্ন, তাই, এবং তাই ঘোষণা. ট্যাগের সম্পূর্ণ তালিকা দেওয়া আছে এখানে.

এবং তারপর, আপনি নির্ভরতা গ্রাফ ব্যবহার করে দেখে তারা কিভাবে সম্পর্কিত তা দেখতে পারেন dep_ অ্যাট্রিবিউট:

লেখক দ্বারা চিত্র

এখানে, ট্রেড হল একটি যৌগ, সেটআপ হল রুট, নিফটি হল অ্যাপস (অ্যাপোজিশনাল মডিফায়ার)। আবার, সব সিনট্যাকটিক ট্যাগ পাওয়া যাবে এখানে.

আপনি নিম্নলিখিত ডিসপ্লেসি ব্যবহার করে টোকেনগুলির মধ্যে সম্পর্ক নির্ভরতাও কল্পনা করতে পারেন render() পদ্ধতি:

spacy.displacy.render(processed_hline, style='dep',jupyter=True, options={'distance': 120})

যা এই গ্রাফ দেবে:

লেখক দ্বারা চিত্র

সত্তা নিষ্কাশন

 
 
আর বাক্যের গুরুত্বপূর্ণ সত্তাগুলো দেখতে হলে পাস করতে পারেন 'ent’ একই কোডে শৈলী হিসাবে:

লেখক দ্বারা চিত্র — আমি অন্য শিরোনাম ব্যবহার করেছি কারণ আমরা উপরে যেটি ব্যবহার করেছি তার কোনো সত্তা ছিল না।

আমাদের বিভিন্ন সত্তার জন্য বিভিন্ন ট্যাগ আছে যেমন দিন আছে DATE, Glasscoat এর GPE আছে যা দেশ/শহর/রাজ্য হতে পারে। আমরা প্রধানত ORG ট্যাগ আছে এমন সত্তা খুঁজছি যা আমাদের কোম্পানি, সংস্থা, প্রতিষ্ঠান ইত্যাদি দেবে।

আমরা এখন পাঠ্য থেকে সত্তা বের করতে সক্ষম। আসুন ORG সত্তা ব্যবহার করে সমস্ত শিরোনাম থেকে সংস্থাগুলিকে বের করে নেওয়া যাক৷

এটি নিম্নলিখিত হিসাবে সমস্ত কোম্পানির একটি তালিকা ফিরিয়ে দেবে:

লেখক দ্বারা চিত্র

এত সহজ, তাই না?

এটাই এখন স্পেসির জাদু!

পরবর্তী পদক্ষেপটি হল এই সমস্ত সংস্থাগুলিকে জ্ঞানের ভিত্তিতে সন্ধান করা যাতে সেই কোম্পানির জন্য সঠিক স্টক প্রতীক বের করা যায় এবং তারপরে দাম, রিটার্ন ইত্যাদির মতো বাজারের বিবরণ বের করতে ইয়াহু-ফাইনান্সের মতো লাইব্রেরি ব্যবহার করা।

ধাপ 3 — নামকৃত সত্তা লিঙ্কিং

 
 
বাজারে কোন স্টক গুঞ্জন করছে সে সম্পর্কে জানতে এবং আপনার ড্যাশবোর্ডে তাদের বিশদ বিবরণ পাওয়া এই প্রকল্পের লক্ষ্য।

আমাদের কোম্পানির নাম আছে কিন্তু তাদের ট্রেডিং বিশদ পেতে, আমাদের কোম্পানির ট্রেডিং স্টক প্রতীকের প্রয়োজন হবে।

যেহেতু আমি ভারতীয় কোম্পানির বিশদ বিবরণ এবং খবর বের করছি, তাই আমি একটি বহিরাগত ডাটাবেস ব্যবহার করতে যাচ্ছি নিফটি 500 কোম্পানি (একটি CSV ফাইল)।

প্রতিটি কোম্পানির জন্য, আমরা এটিকে পান্ডা ব্যবহার করে কোম্পানির তালিকায় দেখব এবং তারপরে আমরা স্টক মার্কেটের পরিসংখ্যান ক্যাপচার করব ইয়াহু-ফাইনান্স গ্রন্থাগার।

লেখক দ্বারা চিত্র

এখানে একটি জিনিস যা আপনার লক্ষ্য করা উচিত তা হল আমি প্রতিটি স্টক চিহ্নের পরে একটি ".NS" যোগ করেছি Ticker এর ক্লাস yfinance লাইব্রেরি কারণ ভারতীয় এনএসই স্টক প্রতীক a এর সাথে সংরক্ষণ করা হয় .NS প্রত্যয় yfinance.

এবং গুঞ্জন স্টকগুলি নীচের মত একটি ডেটাফ্রেমে পরিণত হবে:

লেখক দ্বারা চিত্র

ভয়লা ! এই মহান না? এমন একটি সহজ কিন্তু গভীর অ্যাপ যা আপনাকে সঠিক স্টক সহ সঠিক দিক নির্দেশ করতে পারে।

এখন এটি আরও অ্যাক্সেসযোগ্য করার জন্য, আমরা স্ট্রিমলিট ব্যবহার করে যে কোডটি লিখেছি তার থেকে আমরা একটি ওয়েব অ্যাপ্লিকেশন তৈরি করতে পারি।

ধাপ 4 — Streamlit ব্যবহার করে একটি ওয়েব অ্যাপ তৈরি করা

 
 
এটি একটি সম্পাদকে যাওয়ার এবং NLP অ্যাপ্লিকেশনের জন্য একটি নতুন প্রকল্প এবং ভার্চুয়াল পরিবেশ তৈরি করার সময়।

এই ধরনের ডেমো ডেটা অ্যাপ্লিকেশনের জন্য Streamlit দিয়ে শুরু করা খুবই সহজ। নিশ্চিত করুন যে আপনি স্ট্রিমলিট ইনস্টল করেছেন।

pip install Streamlit

এখন, app.py নামে একটি নতুন ফাইল তৈরি করি এবং অ্যাপটি প্রস্তুত করতে কার্যকরী কোড লেখা শুরু করি।

শীর্ষে সমস্ত প্রয়োজনীয় লাইব্রেরি আমদানি করুন।

import pandas as pdimport requestsimport spacyimport streamlit as stfrom bs4 import BeautifulSoupimport yfinance as yf

আপনার আবেদনে একটি শিরোনাম যোগ করুন:

st.title('Buzzing Stocks :zap:')

চালানোর মাধ্যমে আপনার অ্যাপ্লিকেশন পরীক্ষা করুন streamlit run app.py আপনার টার্মিনালে। এটি আপনার ওয়েব ব্রাউজারে একটি অ্যাপ খুলতে হবে।

আমি একাধিক উত্স থেকে ডেটা ক্যাপচার করার জন্য কিছু অতিরিক্ত কার্যকারিতা যুক্ত করেছি। এখন, আপনি অ্যাপ্লিকেশনটিতে আপনার পছন্দের একটি RSS ফিড URL যোগ করতে পারেন এবং ডেটা প্রক্রিয়া করা হবে এবং ট্রেন্ডিং স্টকগুলি একটি ডেটাফ্রেমে প্রদর্শিত হবে।

সম্পূর্ণ কোড বেস অ্যাক্সেস পেতে, আপনি এখানে আমার সংগ্রহস্থল চেক আউট করতে পারেন:

 
GitHub – dswh/NER_News_feed
 

আপনি একাধিক স্টাইলিং উপাদান, বিভিন্ন ডেটা উত্স এবং অন্যান্য ধরনের প্রক্রিয়াকরণ যোগ করতে পারেন যাতে এটি আরও দক্ষ এবং উপযোগী হয়।

আমার অ্যাপটি বর্তমান অবস্থায় ব্যানারে থাকা ছবির মতো দেখাচ্ছে।

আপনি যদি আমাকে ধাপে ধাপে অনুসরণ করতে চান, আমাকে এখানে এই অ্যাপ্লিকেশনটি কোড দেখুন:

পরবর্তী পদক্ষেপ!

 
 
একটি আর্থিক ব্যবহারের ক্ষেত্রে বাছাই করার পরিবর্তে, আপনি আপনার পছন্দের অন্য কোনো অ্যাপ্লিকেশনও বেছে নিতে পারেন। স্বাস্থ্যসেবা, ই-কমার্স, গবেষণা, এবং আরও অনেক কিছু। সমস্ত শিল্পের জন্য নথিগুলি প্রক্রিয়াকরণের প্রয়োজন হয় এবং গুরুত্বপূর্ণ সত্ত্বাগুলিকে নিষ্কাশন এবং লিঙ্ক করা হয়। অন্য ধারণা চেষ্টা করে দেখুন.

একটি সাধারণ ধারণা হল একটি গবেষণা পত্রের সমস্ত গুরুত্বপূর্ণ সত্তা বের করা এবং তারপর Google অনুসন্ধান API ব্যবহার করে এটির একটি নলেজ গ্রাফ তৈরি করা।

এছাড়াও, আপনি যদি স্টক নিউজ ফিড অ্যাপটিকে অন্য স্তরে নিয়ে যেতে চান, তাহলে আপনি ক্রয়-বিক্রয় সংকেত তৈরি করতে কিছু ট্রেডিং অ্যালগরিদম যোগ করতে পারেন।

আমি আপনাকে আপনার কল্পনার সাথে বন্য যেতে উত্সাহিত করি।

আপনি কিভাবে আমার সাথে সংযোগ করতে পারেন!

 
 
আপনি যদি এই পোস্টটি পছন্দ করেন এবং এই ধরনের আরও কন্টেন্ট দেখতে চান, তাহলে আপনি সাবস্ক্রাইব করতে পারেন আমার নিউজলেটার or আমার YouTube চ্যানেল যেখানে আমি এমন দরকারী এবং দ্রুত প্রকল্পগুলি শেয়ার করব যা কেউ তৈরি করতে পারে।

আপনি যদি এমন কেউ হন যিনি সবেমাত্র প্রোগ্রামিং শুরু করছেন বা ডেটা সায়েন্স বা এমএল-এ যেতে চান, আপনি আমার কোর্সটি এখানে দেখতে পারেন WIP লেন একাডেমী.

এলিয়ট গানকে ধন্যবাদ।

 
বায়ো: হর্ষিত ত্যাগী ওয়েব প্রযুক্তি এবং ডেটা সায়েন্স (ওরফে ফুল-স্ট্যাক ডেটা সায়েন্স) এর একত্রিত অভিজ্ঞতা সহ একজন প্রকৌশলী। তিনি 1000 টিরও বেশি এআই/ওয়েব/ডেটা সায়েন্স আগ্রহীদের পরামর্শ দিয়েছেন এবং ডেটা সায়েন্স এবং এমএল ইঞ্জিনিয়ারিং শেখার ট্র্যাক ডিজাইন করছেন। পূর্বে, হর্ষিত ইয়েল, এমআইটি এবং ইউসিএলএর গবেষণা বিজ্ঞানীদের সাথে ডেটা প্রসেসিং অ্যালগরিদম তৈরি করেছিলেন।

মূল। অনুমতি নিয়ে পোস্ট করা।

সম্পর্কিত:

• 2021 এর জন্য ডেটা সায়েন্স লার্নিং রোডম্যাপ
• কিভাবে মেশিন লার্নিং ডেটা সমস্যা সমাধানের জন্য লিনিয়ার বীজগণিতকে কাজে লাগায়
• ডেটা সায়েন্স এবং মেশিন লার্নিং শেখা: রোডম্যাপের পর প্রথম ধাপ