ডেটাতে কথোপকথন অ্যাক্সেস সহ একটি তথ্য প্রান্ত তৈরি করা

চিত্র 1: Text2SQL প্রবাহের উপস্থাপনা

যেহেতু আমাদের বিশ্ব আরও বিশ্বব্যাপী এবং গতিশীল হয়ে উঠছে, ব্যবসাগুলি তথ্য, উদ্দেশ্যমূলক এবং সময়োপযোগী সিদ্ধান্ত নেওয়ার জন্য ডেটার উপর আরও বেশি নির্ভরশীল। যাইহোক, এখন পর্যন্ত, সাংগঠনিক ডেটার সম্পূর্ণ সম্ভাবনা প্রকাশ করা প্রায়শই মুষ্টিমেয় ডেটা বিজ্ঞানী এবং বিশ্লেষকদের বিশেষাধিকার। বেশিরভাগ কর্মচারী প্রচলিত ডেটা সায়েন্স টুলকিট (SQL, Python, R ইত্যাদি) আয়ত্ত করতে পারে না। পছন্দসই ডেটা অ্যাক্সেস করতে, তারা একটি অতিরিক্ত স্তরের মধ্য দিয়ে যায় যেখানে বিশ্লেষক বা BI দলগুলি ডেটার ভাষায় ব্যবসায়িক প্রশ্নের গদ্য "অনুবাদ" করে। এই যাত্রায় ঘর্ষণ এবং অদক্ষতার সম্ভাবনা বেশি — উদাহরণস্বরূপ, ডেটা বিলম্বের সাথে বা এমনকি প্রশ্নটি ইতিমধ্যে অপ্রচলিত হয়ে গেলেও বিতরণ করা হতে পারে। যখন প্রয়োজনীয়তাগুলি বিশ্লেষণাত্মক প্রশ্নগুলিতে সঠিকভাবে অনুবাদ করা হয় না তখন তথ্য পথের সাথে হারিয়ে যেতে পারে। এছাড়াও, উচ্চ-মানের অন্তর্দৃষ্টি তৈরি করার জন্য একটি পুনরাবৃত্তিমূলক পদ্ধতির প্রয়োজন যা লুপের প্রতিটি অতিরিক্ত পদক্ষেপের সাথে নিরুৎসাহিত করা হয়। অন্য দিকে, এই অ্যাড-হক ইন্টারঅ্যাকশনগুলি ব্যয়বহুল ডেটা প্রতিভার জন্য ব্যাঘাত সৃষ্টি করে এবং তাদের আরও কৌশলগত ডেটা কাজ থেকে বিভ্রান্ত করে, যেমন একজন ডেটা বিজ্ঞানীর এই "স্বীকারোক্তি"তে বর্ণিত হয়েছে:

যখন আমি স্কোয়ারে ছিলাম এবং দলটি ছোট ছিল তখন আমাদের একটি ভয়ঙ্কর "অন-কল বিশ্লেষণ" ঘূর্ণন ছিল। এটি একটি সাপ্তাহিক ভিত্তিতে কঠোরভাবে ঘোরানো হয়েছিল, এবং যদি এটি আপনার হয়ে থাকে তবে আপনি জানতেন যে আপনি সেই সপ্তাহে খুব কম "বাস্তব" কাজ করতে পারবেন এবং আপনার বেশিরভাগ সময় ফিল্ডিংয়ে বিভিন্ন পণ্য এবং অপারেশন টিমের কাছ থেকে অ্যাড-হক প্রশ্নের জন্য ব্যয় করবেন। কোম্পানি (এসকিউএল বানরিং, আমরা এটিকে বলেছি)। অ্যানালিটিক্স টিমে ম্যানেজারের ভূমিকার জন্য কাটথ্রোট প্রতিযোগিতা ছিল এবং আমি মনে করি এটি সম্পূর্ণরূপে ম্যানেজারদের এই ঘূর্ণন থেকে অব্যাহতি দেওয়ার ফলাফল ছিল — কোনও স্ট্যাটাস পুরস্কার অন-কল কাজ না করার গাজরকে প্রতিদ্বন্দ্বিতা করতে পারে না।[1]

প্রকৃতপক্ষে, আপনার ডেটা কর্মীদের সাথে একাধিক রাউন্ড ইন্টারঅ্যাকশনের মধ্য দিয়ে যাওয়ার পরিবর্তে আপনার ডেটার সাথে সরাসরি কথা বলা কি ভাল হবে না? এই দৃষ্টিভঙ্গিটি কথোপকথনমূলক ইন্টারফেস দ্বারা আলিঙ্গন করা হয়েছে যা মানুষকে ভাষা ব্যবহার করে ডেটার সাথে যোগাযোগ করতে দেয়, যোগাযোগের আমাদের সবচেয়ে স্বজ্ঞাত এবং সর্বজনীন চ্যানেল। একটি প্রশ্ন পার্স করার পরে, একটি অ্যালগরিদম এটিকে একটি স্ট্রাকচার্ড লজিক্যাল ফর্মে এনকোড করে পছন্দের কোয়েরি ভাষায়, যেমন SQL। এইভাবে, নন-টেকনিক্যাল ব্যবহারকারীরা তাদের ডেটার সাথে চ্যাট করতে পারে এবং BI টিমের মাধ্যমে চক্কর না দিয়ে দ্রুত নির্দিষ্ট, প্রাসঙ্গিক এবং সময়োপযোগী তথ্য পেতে পারে। এই নিবন্ধে, আমরা Text2SQL-এর বিভিন্ন বাস্তবায়নের দিকগুলি বিবেচনা করব এবং লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) ব্যবহার করে আধুনিক পদ্ধতির উপর ফোকাস করব, যা এখন পর্যন্ত সর্বোত্তম কর্মক্ষমতা অর্জন করে (cf. [2]; বিকল্প পদ্ধতির উপর একটি সমীক্ষার জন্য এলএলএমের বাইরে, পাঠকদের উল্লেখ করা হয় [3])। একটি AI বৈশিষ্ট্য পরিকল্পনা এবং নির্মাণ করার সময় বিবেচনা করা প্রধান উপাদানগুলির নিম্নলিখিত "মানসিক মডেল" অনুসারে নিবন্ধটি গঠন করা হয়েছে:

আসুন শেষটি মাথায় রেখে শুরু করি এবং মানটি পুনরুদ্ধার করি — কেন আপনি আপনার ডেটা বা বিশ্লেষণ পণ্যে একটি Text2SQL বৈশিষ্ট্য তৈরি করবেন। তিনটি প্রধান সুবিধা হল:

• ব্যবসা ব্যবহারকারী একটি সরাসরি এবং সময়মত উপায়ে সাংগঠনিক তথ্য অ্যাক্সেস করতে পারেন.
• এই উপশম তথ্য বিজ্ঞানী এবং বিশ্লেষক ব্যবসায়িক ব্যবহারকারীদের কাছ থেকে অ্যাড-হক অনুরোধের বোঝা থেকে এবং তাদের উন্নত ডেটা চ্যালেঞ্জগুলিতে ফোকাস করার অনুমতি দেয়।
• এটি অনুমতি দেয় ব্যবসায় আরও তরল এবং কৌশলগত উপায়ে এর ডেটা ব্যবহার করতে, অবশেষে এটিকে সিদ্ধান্ত নেওয়ার জন্য একটি শক্ত ভিত্তিতে পরিণত করে।

এখন, আপনি Text2SQL বিবেচনা করতে পারেন যে পণ্য পরিস্থিতি কি? তিনটি প্রধান সেটিংস হল:

• আপনি একটি অফার করছেন পরিমাপযোগ্য ডেটা/BI পণ্য এবং আরও বেশি ব্যবহারকারীকে তাদের ডেটা অ-প্রযুক্তিগত উপায়ে অ্যাক্সেস করতে সক্ষম করতে চায়, এইভাবে ব্যবহার এবং ব্যবহারকারীর ভিত্তি উভয়ই বৃদ্ধি পায়। একটি উদাহরণ হিসাবে, ServiceNow আছে একটি বৃহত্তর কথোপকথন অফার মধ্যে একীভূত তথ্য প্রশ্ন, এবং Atlan সম্প্রতি হয়েছে প্রাকৃতিক-ভাষা তথ্য অন্বেষণ ঘোষণা.
• আপনি কোম্পানিগুলিতে ডেটা অ্যাক্সেসকে গণতান্ত্রিক করার জন্য ডেটা/এআই স্পেসে কিছু তৈরি করতে চাইছেন, এই ক্ষেত্রে আপনি সম্ভাব্যভাবে বিবেচনা করতে পারেন মূল অংশে Text2SQL সহ MVP. প্রদানকারীরা পছন্দ করে AI2SQL এবং Text2sql.ai ইতিমধ্যে এই স্থান একটি প্রবেশদ্বার তৈরি করা হয়.
• আপনি একটি কাজ করছেন কাস্টম বিআই সিস্টেম এবং ব্যক্তিগত কোম্পানিতে এর ব্যবহারকে সর্বাধিক এবং গণতান্ত্রিক করতে চান।

আমরা নিম্নলিখিত বিভাগে দেখতে পাব, Text2SQL-এর জন্য একটি নন-তুচ্ছ আপফ্রন্ট সেটআপ প্রয়োজন। ROI অনুমান করার জন্য, উপলভ্য ডেটার পাশাপাশি সমর্থিত সিদ্ধান্তগুলির প্রকৃতি বিবেচনা করুন। Text2SQL গতিশীল পরিবেশে একটি নিরঙ্কুশ জয় হতে পারে যেখানে ডেটা দ্রুত পরিবর্তন হচ্ছে এবং বিনিয়োগ, বিপণন, উত্পাদন এবং শক্তি শিল্পের মতো সিদ্ধান্ত গ্রহণে সক্রিয়ভাবে এবং ঘন ঘন ব্যবহার করা হয়। এই পরিবেশে, জ্ঞান পরিচালনার জন্য ঐতিহ্যবাহী সরঞ্জামগুলি খুব স্থির, এবং ডেটা এবং তথ্য অ্যাক্সেস করার আরও সাবলীল উপায় কোম্পানিগুলিকে একটি প্রতিযোগিতামূলক সুবিধা তৈরি করতে সহায়তা করে। ডেটার পরিপ্রেক্ষিতে, Text2SQL একটি ডাটাবেসের সাথে সবচেয়ে বড় মান প্রদান করে যা হল:

• বড় এবং ক্রমবর্ধমান, যাতে Text2SQL সময়ের সাথে সাথে এর মান প্রকাশ করতে পারে কারণ আরও বেশি করে ডেটা লিভারেজ করা হয়।
• উচ্চ গুনসম্পন্ন, যাতে Text2SQL অ্যালগরিদমকে ডেটাতে অতিরিক্ত শব্দ (অসংগতি, খালি মান ইত্যাদি) মোকাবেলা করতে না হয়। সাধারণভাবে, মানুষের দ্বারা তৈরি এবং রক্ষণাবেক্ষণ করা ডেটার তুলনায় অ্যাপ্লিকেশনগুলির দ্বারা স্বয়ংক্রিয়ভাবে তৈরি হওয়া ডেটার গুণমান এবং সামঞ্জস্য রয়েছে।
• শব্দার্থগতভাবে পরিপক্ক কাঁচা এর বিপরীতে, যাতে মানুষ তাদের মানসিক মডেলে বিদ্যমান কেন্দ্রীয় ধারণা, সম্পর্ক এবং মেট্রিক্সের উপর ভিত্তি করে ডেটা অনুসন্ধান করতে পারে। মনে রাখবেন যে শব্দার্থিক পরিপক্কতা একটি অতিরিক্ত রূপান্তর পদক্ষেপের মাধ্যমে অর্জন করা যেতে পারে যা কাঁচা ডেটাকে ধারণাগত কাঠামোতে রূপান্তরিত করে (cf. বিভাগ "ডাটাবেস তথ্যের সাথে প্রম্পট সমৃদ্ধ করা")।

নিম্নলিখিতটিতে, আমরা ডেটা, অ্যালগরিদম, ব্যবহারকারীর অভিজ্ঞতা এবং সেইসাথে Text2SQL বৈশিষ্ট্যের প্রাসঙ্গিক অ-কার্যকর প্রয়োজনীয়তাগুলির মধ্যে গভীরভাবে ডুব দেব। নিবন্ধটি প্রোডাক্ট ম্যানেজার, UX ডিজাইনার এবং সেই সমস্ত ডেটা সায়েন্টিস্ট এবং ইঞ্জিনিয়ারদের জন্য লেখা হয়েছে যারা তাদের Text2SQL যাত্রার শুরুতে রয়েছেন। এই লোকদের জন্য, এটি শুধুমাত্র শুরু করার জন্য একটি নির্দেশিকা প্রদান করে না, বরং পণ্য, প্রযুক্তি এবং ব্যবসার মধ্যে ইন্টারফেসগুলির আশেপাশে আলোচনার জন্য জ্ঞানের একটি সাধারণ ভিত্তি প্রদান করে, যার সাথে সম্পর্কিত ট্রেড-অফগুলিও রয়েছে৷ আপনি যদি ইতিমধ্যেই আপনার বাস্তবায়নে আরও অগ্রসর হন, তাহলে শেষে রেফারেন্সগুলি অন্বেষণ করার জন্য গভীর ডাইভের একটি পরিসীমা প্রদান করে।

যদি এই গভীর-শিক্ষামূলক সামগ্রী আপনার জন্য কার্যকর হয় তবে আপনি তা করতে পারেন আমাদের এআই গবেষণা মেলিং তালিকার সাবস্ক্রাইব করুন সতর্কতা অবলম্বন করার জন্য যখন আমরা নতুন উপাদান প্রকাশ করি। 

1। উপাত্ত

যেকোন মেশিন লার্নিং প্রচেষ্টা ডেটা দিয়ে শুরু হয়, তাই আমরা প্রশিক্ষণ এবং ভবিষ্যদ্বাণী করার সময় ব্যবহৃত ইনপুট এবং লক্ষ্য ডেটার গঠন স্পষ্ট করে শুরু করব। পুরো নিবন্ধ জুড়ে, আমরা চিত্র 2 থেকে Text1SQL প্রবাহকে আমাদের চলমান উপস্থাপনা হিসেবে ব্যবহার করব এবং বর্তমানে বিবেচিত উপাদান এবং সম্পর্কগুলিকে হলুদ রঙে হাইলাইট করব।

1.1 তথ্য বিন্যাস এবং গঠন

সাধারণত, একটি কাঁচা Text2SQL ইনপুট-আউটপুট জোড়ায় একটি প্রাকৃতিক-ভাষা প্রশ্ন এবং সংশ্লিষ্ট SQL কোয়েরি থাকে, উদাহরণস্বরূপ:

প্রশ্ন: "প্রতিটি ব্যবহারকারীর জন্য নাম এবং অনুসরণকারীদের সংখ্যা তালিকাভুক্ত করুন।"

এসকিউএল কোয়েরি:

user_profiles থেকে নাম, অনুসরণকারী নির্বাচন করুন

প্রশিক্ষণের ডেটা স্পেসে, প্রশ্ন এবং এসকিউএল কোয়েরির মধ্যে ম্যাপিং অনেক থেকে অনেক:

• একটি SQL ক্যোয়ারী প্রাকৃতিক ভাষায় বিভিন্ন প্রশ্নের ম্যাপ করা যেতে পারে; উদাহরণস্বরূপ, উপরের ক্যোয়ারী শব্দার্থবিদ্যা দ্বারা প্রকাশ করা যেতে পারে: “আমাকে ব্যবহারকারী প্রতি অনুসরণকারীদের নাম এবং সংখ্যা দেখান","প্রতিটি ব্যবহারকারীর জন্য কতজন অনুসরণকারী আছে?"ইত্যাদি
• এসকিউএল সিনট্যাক্স অত্যন্ত বহুমুখী এবং প্রায় প্রতিটি প্রশ্নই একাধিক উপায়ে এসকিউএল-এ উপস্থাপন করা যেতে পারে। সবচেয়ে সহজ উদাহরণ হল WHERE ক্লজের বিভিন্ন ক্রম। আরও উন্নত অবস্থানে, যারা SQL ক্যোয়ারী অপ্টিমাইজেশান করেছে তারা জানবে যে অনেক রাস্তা একই ফলাফলের দিকে নিয়ে যায় এবং শব্দার্থগতভাবে সমতুল্য প্রশ্নগুলির সম্পূর্ণ ভিন্ন বাক্য গঠন থাকতে পারে।

Text2SQL-এর জন্য প্রশিক্ষণ ডেটার ম্যানুয়াল সংগ্রহ বিশেষভাবে ক্লান্তিকর। এটির জন্য শুধুমাত্র টীকাকারের অংশে SQL আয়ত্তের প্রয়োজন হয় না, বরং সেন্টিমেন্ট বিশ্লেষণ এবং পাঠ্য শ্রেণীবিভাগের মতো আরও সাধারণ ভাষাগত কাজের চেয়ে উদাহরণ প্রতি আরও বেশি সময় প্রয়োজন। পর্যাপ্ত পরিমাণে প্রশিক্ষণের উদাহরণ নিশ্চিত করতে, ডেটা বৃদ্ধি ব্যবহার করা যেতে পারে — উদাহরণস্বরূপ, একই প্রশ্নের জন্য প্যারাফ্রেজ তৈরি করতে LLM ব্যবহার করা যেতে পারে। [৩] Text3SQL ডেটা অগমেন্টেশন কৌশলগুলির আরও সম্পূর্ণ সমীক্ষা প্রদান করে।

1.2 ডাটাবেস তথ্য সহ প্রম্পট সমৃদ্ধ করা

Text2SQL হল অসংগঠিত এবং কাঠামোগত ডেটার মধ্যে ইন্টারফেসের একটি অ্যালগরিদম। সর্বোত্তম কর্মক্ষমতার জন্য, প্রশিক্ষণ এবং ভবিষ্যদ্বাণীর সময় উভয় ধরনের ডেটা উপস্থিত থাকতে হবে। বিশেষত, অ্যালগরিদমকে জিজ্ঞাসা করা ডাটাবেস সম্পর্কে জানতে হবে এবং কোয়েরিটি এমনভাবে তৈরি করতে সক্ষম হতে হবে যাতে এটি ডাটাবেসের বিরুদ্ধে কার্যকর করা যায়। এই জ্ঞান অন্তর্ভুক্ত করতে পারে:

• ডাটাবেসের কলাম এবং টেবিল
• টেবিলের মধ্যে সম্পর্ক (বিদেশী কী)
• ডাটাবেস বিষয়বস্তু

ডাটাবেস জ্ঞান অন্তর্ভুক্ত করার জন্য দুটি বিকল্প রয়েছে: একদিকে, প্রশিক্ষণের ডেটা নির্দিষ্ট ডাটাবেসের জন্য লিখিত উদাহরণগুলিতে সীমাবদ্ধ থাকতে পারে, এই ক্ষেত্রে স্কিমাটি SQL কোয়েরি থেকে সরাসরি শেখা হয় এবং প্রশ্নে এর ম্যাপিং। এই একক-ডাটাবেস সেটিং একটি পৃথক ডাটাবেস এবং/অথবা কোম্পানির জন্য অ্যালগরিদম অপ্টিমাইজ করার অনুমতি দেয়। যাইহোক, এটি স্কেলেবিলিটির জন্য যেকোন উচ্চাকাঙ্ক্ষাকে মেরে ফেলে, যেহেতু মডেলটিকে প্রতিটি একক গ্রাহক বা ডাটাবেসের জন্য সূক্ষ্ম-টিউন করা দরকার। বিকল্পভাবে, একটি মাল্টি-ডাটাবেস সেটিংয়ে, ডাটাবেস স্কিমা ইনপুটের অংশ হিসাবে প্রদান করা যেতে পারে, অ্যালগরিদমকে নতুন, অদেখা ডাটাবেস স্কিমাগুলিতে "সাধারণকরণ" করার অনুমতি দেয়। আপনি যদি বিভিন্ন ডেটাবেসে Text2SQL ব্যবহার করতে চান তবে আপনাকে এই পদ্ধতির জন্য একেবারে যেতে হবে, মনে রাখবেন যে এটির জন্য যথেষ্ট প্রম্পট ইঞ্জিনিয়ারিং প্রচেষ্টা প্রয়োজন। যেকোনো যুক্তিসঙ্গত ব্যবসার ডাটাবেসের জন্য, প্রম্পটে সম্পূর্ণ তথ্য সহ অত্যন্ত অদক্ষ হবে এবং প্রম্পটের দৈর্ঘ্যের সীমাবদ্ধতার কারণে সম্ভবত অসম্ভব। সুতরাং, প্রম্পট ফর্মুলেশনের জন্য দায়ী ফাংশনটি যথেষ্ট স্মার্ট হওয়া উচিত ডাটাবেস তথ্যের একটি উপসেট নির্বাচন করার জন্য যা একটি প্রদত্ত প্রশ্নের জন্য সবচেয়ে "উপযোগী" এবং সম্ভাব্য অদেখা ডেটাবেসের জন্য এটি করতে।

অবশেষে, ডাটাবেস গঠন একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। সেইসব পরিস্থিতিতে যেখানে ডাটাবেসের উপর আপনার যথেষ্ট নিয়ন্ত্রণ আছে, আপনি একটি স্বজ্ঞাত কাঠামো থেকে শিখতে দিয়ে আপনার মডেলের জীবনকে সহজ করতে পারেন। একটি সাধারণ নিয়ম হিসাবে, আপনার ডেটাবেস যত বেশি প্রতিফলিত করে কীভাবে ব্যবসায়িক ব্যবহারকারীরা ব্যবসা সম্পর্কে কথা বলে, আপনার মডেল এটি থেকে আরও ভাল এবং দ্রুত শিখতে পারে। এইভাবে, ডেটাতে অতিরিক্ত রূপান্তর প্রয়োগ করার কথা বিবেচনা করুন, যেমন স্বাভাবিক বা অন্যথায় বিচ্ছুরিত ডেটাকে প্রশস্ত টেবিলে বা ডেটা ভল্টে একত্রিত করা, সুস্পষ্ট এবং দ্ব্যর্থহীন উপায়ে টেবিল এবং কলামের নামকরণ ইত্যাদি। সমস্ত ব্যবসায়িক জ্ঞান যা আপনি আপ-ফ্রন্ট এনকোড করতে পারেন তা হ্রাস পাবে আপনার মডেলের উপর সম্ভাব্য শিক্ষার বোঝা এবং আপনাকে আরও ভাল ফলাফল অর্জনে সহায়তা করে।

2. অ্যালগরিদম

Text2SQL হল এক প্রকার শব্দার্থিক পার্সিং — যৌক্তিক উপস্থাপনায় পাঠ্যের ম্যাপিং। এইভাবে, অ্যালগরিদমকে শুধুমাত্র প্রাকৃতিক ভাষাই "শিখতে" নয়, লক্ষ্য উপস্থাপনাও - আমাদের ক্ষেত্রে, SQL। বিশেষত, এটির জ্ঞানের নিম্নলিখিত বিটগুলি অর্জন করতে হবে:

• এসকিউএল সিনট্যাক্স এবং শব্দার্থবিদ্যা
• ডাটাবেস গঠন
• প্রাকৃতিক ভাষা বোঝাপড়া (এনএলইউ)
• প্রাকৃতিক ভাষা এবং SQL প্রশ্নের মধ্যে ম্যাপিং (সিনট্যাটিক, আভিধানিক এবং শব্দার্থিক)

2.1 ইনপুটে ভাষাগত পরিবর্তনশীলতা সমাধান করা

ইনপুটে, Text2SQL-এর প্রধান চ্যালেঞ্জ ভাষার নমনীয়তার মধ্যে রয়েছে: ডেটার বিন্যাস এবং কাঠামো বিভাগে বর্ণিত হিসাবে, একই প্রশ্নটি বিভিন্ন উপায়ে ব্যাখ্যা করা যেতে পারে। উপরন্তু, বাস্তব জীবনের কথোপকথন প্রসঙ্গে, আমাদের বানান এবং ব্যাকরণের ভুল, অসম্পূর্ণ এবং অস্পষ্ট ইনপুট, বহুভাষিক ইনপুট ইত্যাদির মতো বেশ কয়েকটি সমস্যা মোকাবেলা করতে হবে।

LLM যেমন GPT মডেল, T5, এবং CodeX এই চ্যালেঞ্জের সমাধানের কাছাকাছি আসছে। বিপুল পরিমাণ বৈচিত্র্যময় পাঠ্য থেকে শিক্ষা নিয়ে, তারা প্রচুর সংখ্যক ভাষাগত নিদর্শন এবং অনিয়ম মোকাবেলা করতে শেখে। শেষ পর্যন্ত, তারা বিভিন্ন সারফেস ফর্ম থাকা সত্ত্বেও শব্দার্থগতভাবে একই প্রশ্নগুলির উপর সাধারণীকরণ করতে সক্ষম হয়। এলএলএমগুলি বাক্সের বাইরে (জিরো-শট) বা ফাইন-টিউনিংয়ের পরে প্রয়োগ করা যেতে পারে। প্রাক্তন, যদিও সুবিধাজনক, কম নির্ভুলতার দিকে পরিচালিত করে। পরেরটির জন্য আরও দক্ষতা এবং কাজের প্রয়োজন, তবে উল্লেখযোগ্যভাবে নির্ভুলতা বৃদ্ধি করতে পারে।

যথার্থতার পরিপ্রেক্ষিতে, প্রত্যাশিত হিসাবে, সেরা-পারফর্মিং মডেলগুলি হল কোডএক্স মডেল সহ GPT পরিবারের সর্বশেষ মডেল৷ এপ্রিল 2023-এ, GPT-4 পূর্ববর্তী অত্যাধুনিকের তুলনায় 5% এর বেশি নাটকীয় নির্ভুলতা বৃদ্ধির দিকে পরিচালিত করে এবং 85.3% এর নির্ভুলতা অর্জন করে (মেট্রিক "মানগুলির সাথে সম্পাদন")।[4] ওপেন সোর্স ক্যাম্পে, Text2SQL ধাঁধা সমাধানের প্রাথমিক প্রয়াস BERT-এর মতো স্বয়ংক্রিয়-এনকোডিং মডেলগুলিতে ফোকাস করা হয়েছিল, যা NLU কার্যগুলিতে দক্ষতা অর্জন করে। অটোরিগ্রেসিভ মডেলে যেমন T5 মডেল। T6 মাল্টি-টাস্ক লার্নিং ব্যবহার করে প্রাক-প্রশিক্ষিত এবং এইভাবে সহজেই নতুন ভাষাগত কাজগুলির সাথে খাপ খাইয়ে নেয়, সহ। শব্দার্থিক পার্সিংয়ের বিভিন্ন রূপ। যাইহোক, অটোরিগ্রেসিভ মডেলগুলির একটি অন্তর্নিহিত ত্রুটি রয়েছে যখন এটি শব্দার্থিক পার্সিং কার্যগুলির ক্ষেত্রে আসে: তাদের একটি সীমাবদ্ধ আউটপুট স্পেস নেই এবং কোনও শব্দার্থিক গার্ডেল নেই যা তাদের আউটপুটকে সীমাবদ্ধ করবে, যার অর্থ তারা তাদের আচরণে অত্যাশ্চর্যভাবে সৃজনশীল হতে পারে। যদিও এটি ফ্রি-ফর্ম সামগ্রী তৈরির জন্য আশ্চর্যজনক জিনিস, এটি Text7SQL এর মতো কাজের জন্য একটি উপদ্রব যেখানে আমরা একটি সীমাবদ্ধ, সু-গঠিত লক্ষ্য আউটপুট আশা করি।

2.2 ক্যোয়ারী যাচাইকরণ এবং উন্নতি

LLM আউটপুট সীমাবদ্ধ করার জন্য, আমরা অনুসন্ধানের বৈধতা এবং উন্নতির জন্য অতিরিক্ত প্রক্রিয়া চালু করতে পারি। পিকার্ড সিস্টেমে প্রস্তাবিত হিসাবে এটি একটি অতিরিক্ত বৈধতা পদক্ষেপ হিসাবে প্রয়োগ করা যেতে পারে। PICARD একটি SQL পার্সার ব্যবহার করে যা যাচাই করতে পারে যে একটি আংশিক SQL কোয়েরি সমাপ্তির পরে একটি বৈধ SQL কোয়েরি হতে পারে কিনা। এলএলএম-এর প্রতিটি প্রজন্মের ধাপে, টোকেনগুলি যেগুলি ক্যোয়ারীটিকে বাতিল করে দেয় তা প্রত্যাখ্যান করা হয় এবং সর্বোচ্চ-সম্ভাব্য বৈধ টোকেনগুলি রাখা হয়৷ নির্ধারক হওয়ার কারণে, এই পদ্ধতিটি 8% SQL বৈধতা নিশ্চিত করে যতক্ষণ না পার্সার সঠিক SQL নিয়মগুলি পর্যবেক্ষণ করে। এটি প্রজন্ম থেকে জিজ্ঞাসার বৈধতাকেও দ্বিগুণ করে, এইভাবে উভয় উপাদানকে একে অপরের থেকে স্বাধীনভাবে বজায় রাখতে এবং এলএলএম আপগ্রেড এবং সংশোধন করার অনুমতি দেয়।

আরেকটি পদ্ধতি হল কাঠামোগত এবং এসকিউএল জ্ঞান সরাসরি এলএলএম-এ অন্তর্ভুক্ত করা। উদাহরণস্বরূপ, গ্রাফিক্স [৯] গ্রাফ-সচেতন স্তরগুলি ব্যবহার করে টি 9 মডেলে কাঠামোগত SQL জ্ঞান ইনজেক্ট করতে। এই পদ্ধতির সম্ভাব্য প্রকৃতির কারণে, এটি সঠিক প্রশ্নের দিকে সিস্টেমকে পক্ষপাতদুষ্ট করে, কিন্তু সাফল্যের জন্য একটি গ্যারান্টি প্রদান করে না।

অবশেষে, এলএলএম একটি মাল্টি-স্টেপ এজেন্ট হিসাবে ব্যবহার করা যেতে পারে যা স্বায়ত্তশাসিতভাবে অনুসন্ধান এবং অনুসন্ধানের উন্নতি করতে পারে। একটি চেইন-অফ-থট প্রম্পটে একাধিক পদক্ষেপ ব্যবহার করে, এজেন্টকে তার নিজের প্রশ্নের সঠিকতা প্রতিফলিত করার এবং কোনো ত্রুটির উন্নতি করার দায়িত্ব দেওয়া যেতে পারে। যদি যাচাইকৃত ক্যোয়ারী এখনও কার্যকর করা না যায়, তাহলে SQL ব্যতিক্রম ট্রেসব্যাক উন্নতির জন্য অতিরিক্ত প্রতিক্রিয়া হিসাবে এজেন্টের কাছে পাঠানো যেতে পারে।

ব্যাকএন্ডে ঘটতে থাকা এই স্বয়ংক্রিয় পদ্ধতির বাইরে, ক্যোয়ারী চেকিং প্রক্রিয়া চলাকালীন ব্যবহারকারীকে জড়িত করাও সম্ভব। আমরা ব্যবহারকারীর অভিজ্ঞতার বিভাগে এটি আরও বিশদভাবে বর্ণনা করব।

2.3 মূল্যায়ন

আমাদের Text2SQL অ্যালগরিদম মূল্যায়ন করতে, আমাদের একটি পরীক্ষা (বৈধতা) ডেটাসেট তৈরি করতে হবে, এতে আমাদের অ্যালগরিদম চালাতে হবে এবং ফলাফলে প্রাসঙ্গিক মূল্যায়ন মেট্রিক্স প্রয়োগ করতে হবে। প্রশিক্ষণ, বিকাশ এবং বৈধতা ডেটাতে একটি নিষ্পাপ ডেটাসেট বিভক্ত হবে প্রশ্ন-কোয়েরি জোড়ার উপর ভিত্তি করে এবং সাবঅপ্টিমাল ফলাফলের দিকে পরিচালিত করবে। প্রশিক্ষণের সময় মডেলের কাছে বৈধকরণের প্রশ্নগুলি প্রকাশ করা যেতে পারে এবং এর সাধারণীকরণ দক্ষতার উপর অত্যধিক আশাবাদী দৃষ্টিভঙ্গির দিকে নিয়ে যেতে পারে। ক প্রশ্ন ভিত্তিক বিভাজন, যেখানে ডেটাসেটটি এমনভাবে বিভক্ত করা হয়েছে যাতে প্রশিক্ষণের সময় এবং যাচাইকরণের সময় কোনও প্রশ্নই দেখা যায় না, আরও সত্য ফলাফল প্রদান করে।

মূল্যায়ন মেট্রিক্সের পরিপ্রেক্ষিতে, আমরা Text2SQL-এ যা যত্ন করি তা হল গোল্ড স্ট্যান্ডার্ডের সাথে সম্পূর্ণ অভিন্ন প্রশ্নগুলি তৈরি করা নয়। এই "সঠিক স্ট্রিং ম্যাচ" পদ্ধতিটি অত্যন্ত কঠোর এবং অনেকগুলি মিথ্যা নেতিবাচক উৎপন্ন করবে, যেহেতু বিভিন্ন এসকিউএল কোয়েরি একই ডেটাসেটের দিকে নিয়ে যেতে পারে। পরিবর্তে, আমরা উচ্চ অর্জন করতে চাই শব্দার্থগত নির্ভুলতা এবং ভবিষ্যদ্বাণী করা এবং "গোল্ড স্ট্যান্ডার্ড" প্রশ্নগুলি সর্বদা একই ডেটাসেটগুলি ফিরিয়ে দেবে কিনা তা মূল্যায়ন করুন। তিনটি মূল্যায়ন মেট্রিক রয়েছে যা এই লক্ষ্যকে আনুমানিক করে:

• সঠিক-সেট ম্যাচ নির্ভুলতা: জেনারেট করা এবং টার্গেট এসকিউএল কোয়েরিগুলিকে তাদের উপাদানে বিভক্ত করা হয়, এবং ফলাফলের সেটগুলিকে পরিচয়ের জন্য তুলনা করা হয়।[11] এখানে ঘাটতি হল যে এটি শুধুমাত্র এসকিউএল ক্যোয়ারীতে ক্রম বৈচিত্র্যের জন্য দায়ী, কিন্তু শব্দার্থগতভাবে সমতুল্য কোয়েরির মধ্যে আরও স্পষ্ট সিনট্যাকটিক পার্থক্যের জন্য নয়।
• মৃত্যুদন্ড নির্ভুলতা: জেনারেট করা এবং টার্গেট SQL কোয়েরি থেকে প্রাপ্ত ডেটাসেটগুলি পরিচয়ের জন্য তুলনা করা হয়। সৌভাগ্যের সাথে, বিভিন্ন শব্দার্থবিদ্যার প্রশ্নগুলি এখনও একটি নির্দিষ্ট ডাটাবেসের উদাহরণে এই পরীক্ষাটি পাস করতে পারে। উদাহরণস্বরূপ, একটি ডাটাবেস ধরে নিলাম যেখানে সমস্ত ব্যবহারকারীর বয়স 30 বছরের বেশি, নিম্নলিখিত দুটি প্রশ্ন ভিন্ন শব্দার্থবিদ্যা থাকা সত্ত্বেও একই ফলাফল দেবে:
  ব্যবহারকারী থেকে * নির্বাচন করুন
  ব্যবহারকারীর থেকে * নির্বাচন করুন যেখানে বয়স > 30
• টেস্ট-স্যুট নির্ভুলতা: টেস্ট-স্যুট নির্ভুলতা কার্যকরী নির্ভুলতার একটি আরও উন্নত এবং কম অনুমোদনযোগ্য সংস্করণ। প্রতিটি প্রশ্নের জন্য, ডেটাবেসের একটি সেট ("পরীক্ষা স্যুট") তৈরি করা হয় যেগুলি ক্যোয়ারীতে ভেরিয়েবল, শর্ত এবং মানগুলির ক্ষেত্রে অত্যন্ত আলাদা। তারপরে, এই ডাটাবেসের প্রতিটিতে এক্সিকিউশন নির্ভুলতা পরীক্ষা করা হয়। টেস্ট-স্যুট প্রজন্মকে ইঞ্জিনিয়ার করার জন্য অতিরিক্ত প্রচেষ্টার প্রয়োজন হলেও, এই মেট্রিকটি মূল্যায়নে মিথ্যা ইতিবাচক হওয়ার ঝুঁকিও উল্লেখযোগ্যভাবে হ্রাস করে.[12]

3. ব্যবহারকারীর অভিজ্ঞতা

Text2SQL-এর বর্তমান অত্যাধুনিক উৎপাদন ব্যবস্থায় সম্পূর্ণ বিরামবিহীন একীকরণের অনুমতি দেয় না — পরিবর্তে, ব্যবহারকারীর প্রত্যাশা এবং আচরণ সক্রিয়ভাবে পরিচালনা করা প্রয়োজন, যিনি সর্বদা সচেতন থাকা উচিত যে তিনি যোগাযোগ করছেন একটি এআই সিস্টেম।

3.1 ব্যর্থতা ব্যবস্থাপনা

Text2SQL দুটি মোডে ব্যর্থ হতে পারে, যা বিভিন্ন উপায়ে ধরা দরকার:

• এসকিউএল ত্রুটি: জেনারেট করা ক্যোয়ারী বৈধ নয় — হয় SQL অবৈধ, অথবা আভিধানিক বা শব্দার্থিক ত্রুটির কারণে নির্দিষ্ট ডাটাবেসের বিরুদ্ধে এটি কার্যকর করা যাবে না। এই ক্ষেত্রে, কোনও ফলাফল ব্যবহারকারীকে ফেরত দেওয়া যাবে না।
• শব্দার্থিক ত্রুটি: জেনারেট করা প্রশ্নটি বৈধ কিন্তু এটি প্রশ্নের শব্দার্থকে প্রতিফলিত করে না, এইভাবে একটি ভুল ফেরত ডেটাসেটের দিকে নিয়ে যায়।

দ্বিতীয় মোডটি বিশেষভাবে জটিল কারণ "নীরব ব্যর্থতার" ঝুঁকি - ত্রুটিগুলি যা ব্যবহারকারীর দ্বারা সনাক্ত করা যায় না - উচ্চ। প্রোটোটাইপিকাল ব্যবহারকারীর কাছে কোয়েরির সঠিকতা এবং/অথবা ফলস্বরূপ ডেটা যাচাই করার জন্য সময় বা প্রযুক্তিগত দক্ষতা থাকবে না। যখন বাস্তব জগতে সিদ্ধান্ত নেওয়ার জন্য ডেটা ব্যবহার করা হয়, তখন এই ধরনের ব্যর্থতার বিধ্বংসী পরিণতি হতে পারে। এটি এড়াতে, ব্যবহারকারীদের শিক্ষিত করা এবং প্রতিষ্ঠা করা গুরুত্বপূর্ণ একটি ব্যবসার স্তরে guardrails যেগুলি সম্ভাব্য প্রভাবকে সীমিত করে, যেমন উচ্চতর প্রভাব সহ সিদ্ধান্তগুলির জন্য অতিরিক্ত ডেটা পরীক্ষা। অন্যদিকে, আমরা মানব-মেশিন মিথস্ক্রিয়া পরিচালনা করতে ব্যবহারকারী ইন্টারফেস ব্যবহার করতে পারি এবং ব্যবহারকারীকে সমস্যাযুক্ত অনুরোধগুলি সনাক্ত করতে এবং উন্নত করতে সহায়তা করতে পারি।

3.2 মানব-যন্ত্র মিথস্ক্রিয়া

ব্যবহারকারীরা আপনার এআই সিস্টেমের সাথে বিভিন্ন মাত্রার তীব্রতার সাথে জড়িত হতে পারে। অনুরোধ প্রতি আরও মিথস্ক্রিয়া আরও ভাল ফলাফলের দিকে নিয়ে যেতে পারে, তবে এটি ব্যবহারকারীর অভিজ্ঞতার তরলতাকেও ধীর করে দেয়। ভুল ক্যোয়ারী এবং ফলাফলের সম্ভাব্য নেতিবাচক প্রভাব ছাড়াও, আরও সঠিক ফলাফল পেতে এবং দীর্ঘমেয়াদে পণ্যের উন্নতিতে সাহায্য করার জন্য আপনার ব্যবহারকারীরা পিছনে পিছনে প্রতিক্রিয়া প্রদান করতে কতটা অনুপ্রাণিত হবে তা বিবেচনা করুন।

সবচেয়ে সহজ এবং কম আকর্ষক উপায় হল আত্মবিশ্বাসের স্কোর নিয়ে কাজ করা। উত্পন্ন টোকেনগুলির সম্ভাব্যতার গড় হিসাবে আত্মবিশ্বাসের নির্বোধ গণনা অত্যধিক সরল, মৌখিক প্রতিক্রিয়ার মতো আরও উন্নত পদ্ধতি ব্যবহার করা যেতে পারে। [১৩] কনফিডেন্স ইন্টারফেসে প্রদর্শিত হতে পারে এবং বিপজ্জনকভাবে কম হলে একটি স্পষ্ট সতর্কতা দিয়ে হাইলাইট করা যেতে পারে। এইভাবে, "বাস্তব জগতে" একটি উপযুক্ত ফলো-আপের দায়িত্ব — তা প্রত্যাখ্যান, গ্রহণযোগ্যতা বা ডেটার অতিরিক্ত চেক হোক — আপনার ব্যবহারকারীর কাঁধে বর্তায়৷ যদিও এটি একজন বিক্রেতা হিসাবে আপনার জন্য একটি নিরাপদ বাজি, এই কাজটি ব্যবহারকারীর কাছে হস্তান্তর করা আপনার পণ্যের মূল্যও কমিয়ে দিতে পারে।

দ্বিতীয় সম্ভাবনা হল কম-আস্থা, অস্পষ্ট বা অন্যথায় সন্দেহজনক প্রশ্নের ক্ষেত্রে ব্যবহারকারীকে একটি স্পষ্টীকরণ সংলাপে জড়িত করা। উদাহরণস্বরূপ, আপনার সিস্টেম ইনপুটটিতে অর্থোগ্রাফিক বা ব্যাকরণ সংশোধনের পরামর্শ দিতে পারে এবং নির্দিষ্ট শব্দ বা ব্যাকরণগত কাঠামোকে দ্ব্যর্থহীন করতে বলতে পারে। এটি ব্যবহারকারীকে সক্রিয়ভাবে প্রশ্নে সংশোধনের জন্য জিজ্ঞাসা করার অনুমতি দিতে পারে:[14]

ব্যবহারকারী: এই স্প্রিন্টে আমাকে জন এর কাজ দেখান।

সহকারী: আপনি কি জন তৈরি করা কাজগুলি দেখতে চান, বা তিনি যেগুলিতে কাজ করছেন তা দেখতে চান?

ব্যবহারকারী: জন তৈরি করা টাস্ক

সহকারী: ঠিক আছে, এখানে টাস্ক আইডি আছে:

ব্যবহারকারী: ধন্যবাদ, আমি কাজ সম্পর্কে আরও তথ্য দেখতে চাই। জরুরী ভিত্তিতে বাছাই করুন.

সহকারী: অবশ্যই, এখানে সংক্ষিপ্ত বিবরণ, অ্যাসাইনি এবং সময়সীমা সহ কার্যগুলি রয়েছে, সময়সীমা অনুসারে সাজানো।

অবশেষে, ব্যবহারকারীর দ্বারা প্রশ্নের বোঝা সহজ করার জন্য, আপনার সিস্টেমটি প্রশ্নের একটি স্পষ্ট পাঠ্য সংস্কার প্রদান করতে পারে এবং ব্যবহারকারীকে এটি নিশ্চিত করতে বা সংশোধন করতে বলতে পারে।[15]

4. অকার্যকর প্রয়োজনীয়তা

এই বিভাগে, আমরা Text2SQL-এর জন্য নির্দিষ্ট অ-কার্যকর প্রয়োজনীয়তাগুলির পাশাপাশি তাদের মধ্যে ট্রেড-অফ নিয়ে আলোচনা করি। আমরা ছয়টি প্রয়োজনীয়তার উপর ফোকাস করব যা কাজের জন্য সবচেয়ে গুরুত্বপূর্ণ বলে মনে হয়: যথার্থতা, মাপযোগ্যতা, গতি, ব্যাখ্যাযোগ্যতা, গোপনীয়তা এবং সময়ের সাথে সাথে অভিযোজনযোগ্যতা।

4.1 নির্ভুলতা

Text2SQL এর জন্য, নির্ভুলতার প্রয়োজনীয়তা বেশি। প্রথমত, Text2SQL সাধারণত একটি কথোপকথনের সেটিংয়ে প্রয়োগ করা হয় যেখানে ভবিষ্যদ্বাণীগুলি একে একে করা হয়। এইভাবে, "বড় সংখ্যার আইন" যা সাধারণত ব্যাচ করা ভবিষ্যদ্বাণীতে ত্রুটির ভারসাম্য বজায় রাখতে সাহায্য করে, সাহায্য করে না। দ্বিতীয়ত, সিনট্যাকটিক এবং আভিধানিক বৈধতা একটি "কঠিন" শর্ত: মডেলটিকে একটি সুগঠিত SQL কোয়েরি তৈরি করতে হবে, সম্ভাব্য জটিল বাক্য গঠন এবং শব্দার্থবিদ্যা সহ, অন্যথায় ডেটাবেসের বিরুদ্ধে অনুরোধটি কার্যকর করা যাবে না। এবং যদি এটি ভাল হয় এবং ক্যোয়ারীটি কার্যকর করা যায়, তবে এটিতে এখনও শব্দার্থিক ত্রুটি থাকতে পারে এবং একটি ভুল ফেরত ডেটাসেটের দিকে নিয়ে যেতে পারে (cf. বিভাগ 3.1 ব্যর্থতা ব্যবস্থাপনা)।

4.2 স্কেলিবিলিটি

মূল স্কেলেবিলিটি বিবেচ্য বিষয় হল আপনি এক বা একাধিক ডাটাবেসে Text2SQL প্রয়োগ করতে চান কিনা — এবং পরবর্তী ক্ষেত্রে, ডাটাবেসের সেটটি পরিচিত এবং বন্ধ আছে কিনা। যদি হ্যাঁ, আপনার কাছে একটি সহজ সময় থাকবে যেহেতু আপনি প্রশিক্ষণের সময় এই ডেটাবেসগুলির তথ্য অন্তর্ভুক্ত করতে পারেন৷ যাইহোক, একটি পরিমাপযোগ্য পণ্যের একটি দৃশ্যে - এটি একটি স্বতন্ত্র Text2SQL অ্যাপ্লিকেশন হোক বা একটি বিদ্যমান ডেটা পণ্যের মধ্যে একটি ইন্টিগ্রেশন হোক - আপনার অ্যালগরিদমকে উড়তে থাকা যেকোনো নতুন ডাটাবেস স্কিমার সাথে মানিয়ে নিতে হবে। এই দৃশ্যটি আপনাকে শেখার জন্য আরও স্বজ্ঞাত করার জন্য ডাটাবেস কাঠামোকে রূপান্তর করার সুযোগ দেয় না (লিঙ্ক!)। এই সবগুলি সঠিকতার সাথে একটি ভারী ট্রেড-অফের দিকে নিয়ে যায়, যা ব্যাখ্যা করতে পারে যে কেন বর্তমান Text2SQL প্রদানকারীরা নতুন ডেটাবেসের অ্যাড-হক অনুসন্ধানের প্রস্তাব দেয় তারা এখনও একটি উল্লেখযোগ্য বাজারে অনুপ্রবেশ অর্জন করতে পারেনি।

4.3 গতি

যেহেতু Text2SQL অনুরোধগুলি সাধারণত একটি কথোপকথনে অনলাইনে প্রক্রিয়া করা হবে, তাই গতির দিকটি ব্যবহারকারীর সন্তুষ্টির জন্য গুরুত্বপূর্ণ। ইতিবাচক দিকে, ব্যবহারকারীরা প্রায়ই এই সত্য সম্পর্কে সচেতন যে ডেটা অনুরোধগুলি একটি নির্দিষ্ট সময় নিতে পারে এবং প্রয়োজনীয় ধৈর্য দেখাতে পারে। যাইহোক, এই সদিচ্ছাকে চ্যাট সেটিং দ্বারা ক্ষুন্ন করা যেতে পারে, যেখানে ব্যবহারকারীরা অবচেতনভাবে মানুষের মত কথোপকথনের গতি আশা করে। মডেলের আকার হ্রাস করার মতো ব্রুট-ফোর্স অপ্টিমাইজেশন পদ্ধতিগুলি সঠিকতার উপর অগ্রহণযোগ্য প্রভাব ফেলতে পারে, তাই এই প্রত্যাশা পূরণ করতে অনুমান অপ্টিমাইজেশন বিবেচনা করুন।

4.4 ব্যাখ্যাযোগ্যতা এবং স্বচ্ছতা

আদর্শ ক্ষেত্রে, ব্যবহারকারী পাঠ্য থেকে কীভাবে কোয়েরি তৈরি হয়েছে তা অনুসরণ করতে পারে, প্রশ্নে নির্দিষ্ট শব্দ বা অভিব্যক্তি এবং এসকিউএল কোয়েরি ইত্যাদির মধ্যে ম্যাপিং দেখতে পারে। এটি সিস্টেমের সাথে ইন্টারঅ্যাক্ট করার সময় ক্যোয়ারী যাচাই করতে এবং যেকোনো সমন্বয় করতে দেয়। . এছাড়াও, সিস্টেমটি প্রশ্নের একটি সুস্পষ্ট পাঠ্য সংস্কার প্রদান করতে পারে এবং ব্যবহারকারীকে এটি নিশ্চিত করতে বা সংশোধন করতে বলতে পারে।

4.5 গোপনীয়তা

Text2SQL ফাংশন ক্যোয়ারী এক্সিকিউশন থেকে বিচ্ছিন্ন করা যেতে পারে, তাই প্রত্যাবর্তিত ডাটাবেস তথ্য অদৃশ্য রাখা যেতে পারে। যাইহোক, সমালোচনামূলক প্রশ্ন হল ডাটাবেস সম্পর্কে কতটা তথ্য প্রম্পটে অন্তর্ভুক্ত করা হয়েছে। তিনটি বিকল্প (গোপনীয়তা স্তর হ্রাস করে):

• কোন তথ্য নেই
• ডাটাবেস স্কিমা
• ডাটাবেস বিষয়বস্তু

গোপনীয়তা নির্ভুলতার সাথে ব্যবসা বন্ধ করে — প্রম্পটে দরকারী তথ্য অন্তর্ভুক্ত করার ক্ষেত্রে আপনি যত কম সীমাবদ্ধ থাকবেন, ফলাফল তত ভাল হবে।

4.6 সময়ের সাথে অভিযোজনযোগ্যতা

টেকসই উপায়ে Text2SQL ব্যবহার করার জন্য, আপনাকে ডেটা ড্রিফ্টের সাথে খাপ খাইয়ে নিতে হবে, অর্থাৎ মডেলটি প্রয়োগ করা ডেটার পরিবর্তন বন্টন। উদাহরণস্বরূপ, ধরা যাক যে প্রাথমিক ফাইন-টিউনিংয়ের জন্য ব্যবহৃত ডেটা ব্যবহারকারীরা যখন BI সিস্টেম ব্যবহার করা শুরু করে তখন তাদের সাধারণ অনুসন্ধানের আচরণকে প্রতিফলিত করে। সময় অতিবাহিত হওয়ার সাথে সাথে ব্যবহারকারীদের তথ্যের চাহিদা আরও পরিশীলিত হয়ে ওঠে এবং আরও জটিল প্রশ্নের প্রয়োজন হয়, যা আপনার নিষ্পাপ মডেলকে অভিভূত করে। এছাড়াও, লক্ষ্য বা কোম্পানীর পরিবর্তনের কৌশল ডাটাবেসের অন্যান্য ক্ষেত্রগুলির দিকে তথ্যের প্রয়োজনীয়তাকে প্রবাহিত করতে পারে এবং নির্দেশ করতে পারে। অবশেষে, একটি Text2SQL-নির্দিষ্ট চ্যালেঞ্জ হল ডাটাবেস ড্রিফ্ট। কোম্পানির ডাটাবেস প্রসারিত হওয়ার সাথে সাথে নতুন, অদেখা কলাম এবং টেবিলগুলি প্রম্পটে তাদের পথ তৈরি করে। যদিও Text2SQL অ্যালগরিদমগুলি মাল্টি-ডাটাবেস অ্যাপ্লিকেশনের জন্য ডিজাইন করা হয়েছে এই সমস্যাটি ভালভাবে পরিচালনা করতে পারে, এটি একটি একক-ডাটাবেস মডেলের নির্ভুলতাকে উল্লেখযোগ্যভাবে প্রভাবিত করতে পারে। এই সমস্ত সমস্যাগুলি একটি সূক্ষ্ম-টিউনিং ডেটাসেটের মাধ্যমে সর্বোত্তমভাবে সমাধান করা হয় যা ব্যবহারকারীদের বর্তমান, বাস্তব-বিশ্বের আচরণকে প্রতিফলিত করে। এইভাবে, ব্যবহারকারীর প্রশ্ন এবং ফলাফল, সেইসাথে ব্যবহার থেকে সংগ্রহ করা যেতে পারে এমন কোনও সম্পর্কিত প্রতিক্রিয়া লগ করা অত্যন্ত গুরুত্বপূর্ণ। উপরন্তু, শব্দার্থগত ক্লাস্টারিং অ্যালগরিদম, উদাহরণস্বরূপ এম্বেডিং বা বিষয় মডেলিং ব্যবহার করে, ব্যবহারকারীর আচরণে অন্তর্নিহিত দীর্ঘমেয়াদী পরিবর্তনগুলি সনাক্ত করতে প্রয়োগ করা যেতে পারে এবং আপনার সূক্ষ্ম-টিউনিং ডেটাসেটকে নিখুঁত করার জন্য তথ্যের একটি অতিরিক্ত উত্স হিসাবে ব্যবহার করা যেতে পারে।

উপসংহার

আসুন নিবন্ধটির মূল পয়েন্টগুলি সংক্ষিপ্ত করা যাক:

• Text2SQL একটি ব্যবসায় স্বজ্ঞাত এবং গণতান্ত্রিক ডেটা অ্যাক্সেস বাস্তবায়নের অনুমতি দেয়, এইভাবে উপলব্ধ ডেটার মান সর্বাধিক করে।
• Text2SQL ডেটাতে ইনপুটে প্রশ্ন থাকে এবং আউটপুটে SQL প্রশ্ন থাকে। প্রশ্ন এবং এসকিউএল কোয়েরির মধ্যে ম্যাপিং অনেক থেকে অনেক।
• প্রম্পটের অংশ হিসাবে ডাটাবেস সম্পর্কে তথ্য প্রদান করা গুরুত্বপূর্ণ। অতিরিক্তভাবে, অ্যালগরিদমের জন্য এটি শিখতে এবং বুঝতে সহজ করার জন্য ডাটাবেস কাঠামোটি অপ্টিমাইজ করা যেতে পারে।
• ইনপুটে, প্রধান চ্যালেঞ্জ হল প্রাকৃতিক-ভাষার প্রশ্নগুলির ভাষাগত পরিবর্তনশীলতা, যেগুলি এলএলএম ব্যবহার করে যোগাযোগ করা যেতে পারে যেগুলি বিভিন্ন ধরণের পাঠ্য শৈলীর উপর প্রাক-প্রশিক্ষিত ছিল।
• Text2SQL এর আউটপুট একটি বৈধ SQL কোয়েরি হওয়া উচিত। এই সীমাবদ্ধতা অ্যালগরিদমের মধ্যে এসকিউএল জ্ঞান "ইনজেকশন" দ্বারা অন্তর্ভুক্ত করা যেতে পারে; বিকল্পভাবে, একটি পুনরাবৃত্তিমূলক পদ্ধতি ব্যবহার করে, ক্যোয়ারীটি একাধিক ধাপে চেক এবং উন্নত করা যেতে পারে।
• "নীরব ব্যর্থতা" এর সম্ভাব্য উচ্চ প্রভাবের কারণে যা সিদ্ধান্ত গ্রহণের জন্য ভুল ডেটা ফেরত দেয়, ব্যর্থতা ব্যবস্থাপনা ইউজার ইন্টারফেসে একটি প্রাথমিক উদ্বেগ।
• একটি "বর্ধিত" ফ্যাশনে, ব্যবহারকারীরা পুনরাবৃত্ত বৈধতা এবং SQL প্রশ্নের উন্নতিতে সক্রিয়ভাবে জড়িত হতে পারে। যদিও এটি অ্যাপ্লিকেশনটিকে কম তরল করে তোলে, এটি ব্যর্থতার হারও হ্রাস করে, ব্যবহারকারীদের আরও নমনীয় উপায়ে ডেটা অন্বেষণ করতে দেয় এবং আরও শেখার জন্য মূল্যবান সংকেত তৈরি করে।
• বিবেচনা করার জন্য প্রধান অ-কার্যকরী প্রয়োজনীয়তা হল যথার্থতা, মাপযোগ্যতা, গতি, ব্যাখ্যাযোগ্যতা, গোপনীয়তা এবং সময়ের সাথে অভিযোজনযোগ্যতা। প্রধান ট্রেড-অফগুলি একদিকে যথার্থতা এবং অন্যদিকে মাপযোগ্যতা, গতি এবং গোপনীয়তার মধ্যে রয়েছে।

তথ্যসূত্র

[১] কেন ভ্যান হারেন। 1। 26টি পুনরাবৃত্ত GPT প্রম্পট সহ একজন SQL বিশ্লেষক প্রতিস্থাপন করা হচ্ছে

[২] নিদর্শন রাজকুমার প্রমুখ। 2। বড় ভাষার মডেলের পাঠ্য থেকে এসকিউএল ক্ষমতার মূল্যায়ন করা

[৩] নাইহাও ডেং এট আল। 3। টেক্সট-টু-এসকিউএল-এ সাম্প্রতিক অগ্রগতি: আমাদের কী আছে এবং আমরা কী আশা করি তার একটি সমীক্ষা

[৪] মোহাম্মদরেজা পুররেজা প্রমুখ। 4। ডিআইএন-এসকিউএল: স্ব-সংশোধন সহ পাঠ্য-টু-এসকিউএল-এর পচনশীল ইন-কনটেক্সট লার্নিং

[৫] ভিক্টর ঝং এট আল। 5। জিরো-শট এক্সিকিউটেবল সিমেন্টিক পার্সিংয়ের জন্য গ্রাউন্ডেড অ্যাডাপ্টেশন

[৬] শি ভিক্টোরিয়া লিন এট আল। 6 ক্রস-ডোমেন টেক্সট-টু-এসকিউএল শব্দার্থিক পার্সিংয়ের জন্য পাঠ্য এবং ট্যাবুলার ডেটা ব্রিজিং

[৭] টং গুও এট আল। 7 বিষয়বস্তু উন্নত BERT-ভিত্তিক টেক্সট-টু-এসকিউএল জেনারেশন

[৮] টর্স্টেন স্কোলাক এট আল। 8। পিকার্ড: ভাষা মডেল থেকে সীমাবদ্ধ অটো-রিগ্রেসিভ ডিকোডিংয়ের জন্য ক্রমবর্ধমানভাবে পার্সিং

[৯] জিনইয়াং লি এট আল। 9। গ্রাফিক্স-টি 5: টেক্সট-টু-এসকিউএল পার্সিংয়ের জন্য গ্রাফ-সচেতন স্তরগুলির সাথে প্রাক-প্রশিক্ষিত ট্রান্সফরমার মিশ্রিত করা

[১০] ল্যাংচেইন। 10। এলএলএম এবং এসকিউএল

[১১] তাও ইউ এট আল। 11। স্পাইডার: জটিল এবং ক্রস-ডোমেন শব্দার্থিক পার্সিং এবং টেক্সট-টু-এসকিউএল টাস্কের জন্য একটি বড়-স্কেল মানব-লেবেলযুক্ত ডেটাসেট

[১২] রুইকি ঝং এট আল। 12 ডিস্টিলড টেস্ট স্যুট সহ টেক্সট-টু-এসকিউএল-এর জন্য শব্দার্থিক মূল্যায়ন

[১৩] ক্যাথরিন তিয়ান এট আল। 13। শুধু ক্রমাঙ্কনের জন্য জিজ্ঞাসা করুন: মানুষের প্রতিক্রিয়ার সাথে সূক্ষ্ম-সুরক্ষিত ভাষার মডেলগুলি থেকে ক্যালিব্রেটেড কনফিডেন্স স্কোরগুলি বের করার কৌশলগুলি

[১৪] ব্র্যাডেন হ্যানকক এবং অন্যান্য। 14 স্থাপনার পর সংলাপ থেকে শেখা: ফিড ইউরসেলফ, চ্যাটবট!

[১৫] আহমদ এলগোহারী প্রমুখ। 15 আপনার পার্সারের সাথে কথা বলুন: প্রাকৃতিক ভাষা প্রতিক্রিয়া সহ ইন্টারেক্টিভ টেক্সট-টু-এসকিউএল

[১৬] জান্না লিপেনকোভা। 16। আমার সাথে কথা বল! আপনার কোম্পানির ডেটার সাথে Text2SQL কথোপকথন, নিউ ইয়র্কের প্রাকৃতিক ভাষা প্রক্রিয়াকরণ বৈঠকে কথা বলুন।

সব ছবি লেখকের।

এই নিবন্ধটি মূলত উপর প্রকাশ করা হয়েছিল ডেটা সায়েন্সের দিকে এবং লেখকের অনুমতি নিয়ে TOPBOTS এ আবার প্রকাশিত।

এই নিবন্ধটি উপভোগ করবেন? আরও এআই গবেষণা আপডেটের জন্য সাইন আপ করুন।

আমরা যখন এর মতো আরও সংক্ষিপ্ত নিবন্ধগুলি প্রকাশ করি তখন আমরা আপনাকে জানাব।

সংশ্লিষ্ট

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
• উত্স: https://www.topbots.com/conversational-ai-for-data-analysis/