Why LLMs Used Alone Can’t Address Your Company’s Predictive Needs - KDnuggets

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

স্পনসর্ড বিষয়বস্তু

চ্যাটজিপিটি এবং বড় ভাষা মডেলের (এলএলএম) উপর ভিত্তি করে অনুরূপ সরঞ্জামগুলি আশ্চর্যজনক। কিন্তু তারা সর্ব-উদ্দেশ্যের সরঞ্জাম নয়।

এটি নির্মাণ এবং তৈরির জন্য অন্যান্য সরঞ্জামগুলি বেছে নেওয়ার মতো। আপনাকে কাজের জন্য সঠিকটি বেছে নিতে হবে। আপনি একটি হাতুড়ি দিয়ে একটি বোল্ট আঁটসাঁট করার চেষ্টা করবেন না বা একটি হুইস্ক দিয়ে হ্যামবার্গার প্যাটি ফ্লিপ করবেন না। প্রক্রিয়াটি বিশ্রী হবে, যার ফলে একটি অগোছালো ব্যর্থতা হবে।

এলএলএম-এর মতো ভাষা মডেলগুলি বৃহত্তর মেশিন লার্নিং টুলকিটের শুধুমাত্র একটি অংশ গঠন করে, যার মধ্যে জেনারেটিভ এআই এবং ভবিষ্যদ্বাণীমূলক এআই উভয়ই রয়েছে। আপনার টাস্কের প্রয়োজনীয়তার সাথে সারিবদ্ধ করার জন্য সঠিক ধরণের মেশিন লার্নিং মডেল নির্বাচন করা অত্যন্ত গুরুত্বপূর্ণ।

আপনার ব্যবসার সবচেয়ে গুরুত্বপূর্ণ ভবিষ্যদ্বাণীমূলক মডেলিং কাজগুলিকে মোকাবেলা করার চেয়ে কেন LLMগুলি আপনাকে পাঠ্য খসড়া বা উপহারের ধারণা তৈরি করতে সহায়তা করার জন্য আরও উপযুক্ত তা আরও গভীরভাবে খনন করা যাক৷ "ঐতিহ্যগত" মেশিন লার্নিং মডেলগুলির জন্য এখনও একটি গুরুত্বপূর্ণ ভূমিকা রয়েছে যা LLM-এর আগে ছিল এবং বারবার ব্যবসায় তাদের মূল্য প্রমাণ করেছে। আমরা এই টুলগুলিকে একসাথে ব্যবহার করার জন্য একটি অগ্রগামী পন্থাও অন্বেষণ করব — একটি উত্তেজনাপূর্ণ বিকাশ যা আমরা পেকানে কল করছি ভবিষ্যদ্বাণীমূলক GenAI.

এলএলএম শব্দের জন্য ডিজাইন করা হয়েছে, সংখ্যা নয়

মেশিন লার্নিং-এ, বিভিন্ন গাণিতিক পদ্ধতি ব্যবহার করা হয় যা "প্রশিক্ষণ ডেটা" নামে পরিচিত তা বিশ্লেষণ করার জন্য - একটি প্রাথমিক ডেটাসেট যে সমস্যাটির প্রতিনিধিত্ব করে যা একজন ডেটা বিশ্লেষক বা ডেটা বিজ্ঞানী সমাধান করার আশা করেন।

প্রশিক্ষণ তথ্যের তাত্পর্য overstated করা যাবে না. এটির মধ্যে নিদর্শন এবং সম্পর্ক রয়েছে যা একটি মেশিন লার্নিং মডেল পরবর্তীতে নতুন, অদেখা ডেটা দেওয়া হলে ফলাফলের পূর্বাভাস দিতে "শিখবে"।

সুতরাং, বিশেষভাবে একটি এলএলএম কি? বড় ভাষা মডেল, বা এলএলএম, মেশিন লার্নিং এর ছাতার নিচে পড়ে। তারা গভীর শিক্ষা থেকে উদ্ভূত, এবং তাদের গঠন বিশেষভাবে প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য তৈরি করা হয়েছে।

আপনি বলতে পারেন তারা শব্দের ভিত্তির উপর নির্মিত। তাদের লক্ষ্য কেবল ভবিষ্যদ্বাণী করা যে কোন শব্দটি শব্দের ক্রমানুসারে পরবর্তী হবে। উদাহরণস্বরূপ, iOS 17-এ iPhones-এর স্বয়ংক্রিয় সংশোধন বৈশিষ্ট্য এখন একটি LLM ব্যবহার করে আরও ভালভাবে অনুমান করার জন্য যে আপনি সম্ভবত পরবর্তী কোন শব্দটি টাইপ করতে চান।

এলএলএম এবং প্রথাগত মেশিন লার্নিং এর শক্তি

এখন, কল্পনা করুন আপনি একজন মেশিন লার্নিং মডেল। (আমাদের সাথে সহ্য করুন, আমরা জানি এটি একটি প্রসারিত।) আপনি শব্দের ভবিষ্যদ্বাণী করতে প্রশিক্ষিত হয়েছেন। আপনি সমস্ত ধরণের বিষয়ে বিস্তৃত উৎস থেকে লক্ষ লক্ষ শব্দ পড়েছেন এবং অধ্যয়ন করেছেন৷ আপনার পরামর্শদাতারা (ওরফে ডেভেলপাররা) আপনাকে শব্দের ভবিষ্যদ্বাণী করার সেরা উপায় শিখতে এবং ব্যবহারকারীর অনুরোধের সাথে মানানসই নতুন পাঠ্য তৈরি করতে সাহায্য করেছে৷

কিন্তু এখানে একটা টুইস্ট আছে। একজন ব্যবহারকারী এখন আপনাকে গ্রাহক এবং লেনদেন ডেটার একটি বিশাল স্প্রেডশীট দেয়, যেখানে লক্ষাধিক সারি রয়েছে এবং আপনাকে এই বিদ্যমান ডেটার সাথে সম্পর্কিত সংখ্যাগুলির পূর্বাভাস দিতে বলে৷

আপনি কিভাবে আপনার ভবিষ্যদ্বাণী চালু হবে বলে মনে করেন? প্রথমত, আপনি সম্ভবত বিরক্ত হবেন যে এই কাজটি আপনি যা শিখতে এত কঠোর পরিশ্রম করেছেন তার সাথে মেলে না। (সৌভাগ্যবশত, যতদূর আমরা জানি, এলএলএম-এর এখনও অনুভূতি নেই।) আরও গুরুত্বপূর্ণ, আপনাকে এমন একটি কাজ করতে বলা হচ্ছে যা আপনি যা করতে শিখেছেন তার সাথে মেলে না। এবং আপনি সম্ভবত এত ভাল অভিনয় করবেন না.

প্রশিক্ষণ এবং কাজের মধ্যে ব্যবধান ব্যাখ্যা করতে সাহায্য করে কেন এলএলএমগুলি সংখ্যাসূচক, ট্যাবুলার ডেটা জড়িত ভবিষ্যদ্বাণীমূলক কাজের জন্য উপযুক্ত নয় — প্রাথমিক ডেটা ফর্ম্যাট যা বেশিরভাগ ব্যবসা সংগ্রহ করে। পরিবর্তে, এই ধরণের ডেটা পরিচালনা করার জন্য বিশেষভাবে তৈরি এবং সূক্ষ্ম সুর করা একটি মেশিন লার্নিং মডেল আরও কার্যকর। এটা আক্ষরিক এই জন্য প্রশিক্ষিত করা হয়েছে.

LLM-এর দক্ষতা এবং অপ্টিমাইজেশান চ্যালেঞ্জ

সাংখ্যিক ডেটার জন্য একটি ভাল মিল হওয়ার পাশাপাশি, প্রথাগত মেশিন লার্নিং পদ্ধতিগুলি এলএলএমগুলির তুলনায় আরও ভাল পারফরম্যান্সের জন্য অপ্টিমাইজ করা অনেক বেশি দক্ষ এবং সহজ।

আসুন আপনার এলএলএম ছদ্মবেশী অভিজ্ঞতায় ফিরে যাই। এই সমস্ত শব্দ পড়া এবং তাদের শৈলী এবং ক্রম অধ্যয়ন একটি টন কাজের মত শোনাচ্ছে, তাই না? সেই সমস্ত তথ্য অভ্যন্তরীণ করতে অনেক প্রচেষ্টা লাগবে।

একইভাবে, এলএলএম-এর জটিল প্রশিক্ষণের ফলে বিলিয়ন প্যারামিটার সহ মডেল হতে পারে। এই জটিলতা এই মডেলগুলিকে মানুষের ভাষার জটিল সূক্ষ্মতাগুলি বুঝতে এবং প্রতিক্রিয়া জানাতে দেয়। যাইহোক, ভারী-শুল্ক প্রশিক্ষণ ভারী-শুল্ক কম্পিউটেশনাল চাহিদার সাথে আসে যখন এলএলএম প্রতিক্রিয়া তৈরি করে। সংখ্যাগতভাবে ভিত্তিক "প্রথাগত" মেশিন লার্নিং অ্যালগরিদম, যেমন ডিসিশন ট্রি বা নিউরাল নেটওয়ার্ক, সম্ভবত অনেক কম কম্পিউটিং সংস্থানগুলির প্রয়োজন হবে। এবং এটি "বড় ভাল" এর ক্ষেত্রে নয়। এমনকি যদি এলএলএমগুলি সাংখ্যিক ডেটা পরিচালনা করতে পারে তবে এই পার্থক্যের অর্থ হবে যে প্রথাগত মেশিন লার্নিং পদ্ধতিগুলি এখনও দ্রুত, আরও দক্ষ, আরও পরিবেশগতভাবে টেকসই এবং আরও ব্যয়-কার্যকর হবে।

উপরন্তু, আপনি কি কখনও ChatGPT কে জিজ্ঞাসা করেছেন যে এটি একটি নির্দিষ্ট প্রতিক্রিয়া প্রদান করতে জানে? এর উত্তর সম্ভবত একটু অস্পষ্ট হবে:

আমি লাইসেন্সকৃত ডেটা, মানব প্রশিক্ষকদের দ্বারা তৈরি ডেটা এবং সর্বজনীনভাবে উপলব্ধ ডেটার মিশ্রণের উপর ভিত্তি করে প্রতিক্রিয়া তৈরি করি৷ আমার প্রশিক্ষণে মানব ভাষার বিস্তৃত বোঝার বিকাশের জন্য বই, ওয়েবসাইট এবং অন্যান্য পাঠ্য সহ বিভিন্ন উত্স থেকে প্রাপ্ত বড় আকারের ডেটাসেটগুলিও জড়িত। প্রশিক্ষণ প্রক্রিয়ায় সপ্তাহ বা মাস ধরে হাজার হাজার GPU-তে কম্পিউটেশন চালানো জড়িত, তবে সঠিক বিবরণ এবং টাইমস্কেল OpenAI-এর মালিকানাধীন।

মানব প্রশিক্ষক বনাম পাবলিক ডেটা বনাম বই থেকে এই প্রতিক্রিয়ায় প্রতিফলিত "জ্ঞান" কতটা এসেছে? এমনকি ChatGPT নিজেও নিশ্চিত নয়: "এই উত্সগুলির আপেক্ষিক অনুপাত অজানা, এবং আমার কাছে বিস্তারিত দৃশ্যমানতা নেই যে নির্দিষ্ট নথিগুলি আমার প্রশিক্ষণ সেটের অংশ ছিল।"

চ্যাটজিপিটি আপনার প্রশ্নের এই ধরনের আত্মবিশ্বাসী উত্তর প্রদান করে তবে নির্দিষ্ট উত্সগুলিতে এর প্রতিক্রিয়াগুলি ট্রেস করতে সক্ষম না হওয়াটা কিছুটা বিরক্তিকর। এলএলএম-এর সীমিত ব্যাখ্যাযোগ্যতা এবং ব্যাখ্যাযোগ্যতা বিশেষ ব্যবসায়িক প্রয়োজনের জন্য তাদের অপ্টিমাইজ করার ক্ষেত্রেও চ্যালেঞ্জ তৈরি করে। তাদের তথ্য বা ভবিষ্যদ্বাণীর পিছনে যুক্তি বোঝা কঠিন হতে পারে। জিনিসগুলিকে আরও জটিল করার জন্য, নির্দিষ্ট ব্যবসাগুলি নিয়ন্ত্রক চাহিদাগুলির সাথে লড়াই করে যার অর্থ তারা অবশ্যই একটি মডেলের ভবিষ্যদ্বাণীগুলিকে প্রভাবিত করার কারণগুলি ব্যাখ্যা করতে সক্ষম হবে। সব মিলিয়ে, এই চ্যালেঞ্জগুলি দেখায় যে প্রথাগত মেশিন লার্নিং মডেলগুলি - সাধারণত আরও ব্যাখ্যাযোগ্য এবং ব্যাখ্যাযোগ্য - সম্ভবত ব্যবসায়িক ব্যবহারের ক্ষেত্রে আরও উপযুক্ত।

ব্যবসার ভবিষ্যদ্বাণীমূলক টুলকিটে এলএলএম-এর জন্য সঠিক জায়গা

সুতরাং, আমাদের কি কেবল এলএলএমগুলিকে তাদের শব্দ-সম্পর্কিত কাজগুলিতে ছেড়ে দেওয়া উচিত এবং ভবিষ্যদ্বাণীমূলক ব্যবহারের ক্ষেত্রে সেগুলি ভুলে যাওয়া উচিত? এখন মনে হতে পারে যে তারা গ্রাহক মন্থন বা গ্রাহকের জীবনকালের মূল্য ভবিষ্যদ্বাণী করতে সহায়তা করতে পারে না।

এখানে জিনিসটি হল: "প্রথাগত মেশিন লার্নিং মডেল" বলার সময় এই কৌশলগুলিকে ব্যাপকভাবে বোঝা যায় এবং ব্যবহার করা সহজ হয়, আমরা পেকানে আমাদের অভিজ্ঞতা থেকে জানি যে ব্যবসাগুলি এখনও AI এর আরও পরিচিত রূপগুলি গ্রহণ করতে অনেকাংশে সংগ্রাম করছে।

উত্তর আমেরিকার 42% কোম্পানি AI ব্যবহার করা শুরু করেনি বা শুধুমাত্র তাদের বিকল্পগুলি নিয়ে গবেষণা করতে শুরু করেছে।

ওয়ার্কডে এর সাম্প্রতিক গবেষণা প্রকাশ করে যে উত্তর আমেরিকার 42% কোম্পানি হয় AI ব্যবহার শুরু করেনি বা তাদের বিকল্পগুলি অন্বেষণের প্রাথমিক পর্যায়ে রয়েছে। এবং এটি এক দশকেরও বেশি সময় হয়ে গেছে যখন মেশিন লার্নিং টুলগুলি কোম্পানিগুলির কাছে আরও অ্যাক্সেসযোগ্য হয়ে উঠেছে৷ তাদের সময় আছে, এবং বিভিন্ন সরঞ্জাম উপলব্ধ।

কিছু কারণে, ডেটা সায়েন্স এবং এআই-এর চারপাশে ব্যাপক গুঞ্জন থাকা সত্ত্বেও সফল এআই বাস্তবায়ন আশ্চর্যজনকভাবে বিরল হয়েছে — এবং তাদের উল্লেখযোগ্য ব্যবসায়িক প্রভাবের জন্য স্বীকৃত সম্ভাবনা। AI দ্বারা প্রদত্ত প্রতিশ্রুতি এবং এটি উত্পাদনশীলভাবে বাস্তবায়নের ক্ষমতার মধ্যে ব্যবধান পূরণে সহায়তা করার জন্য কিছু গুরুত্বপূর্ণ প্রক্রিয়া অনুপস্থিত।

এবং এখানেই আমরা বিশ্বাস করি যে এলএলএম এখন একটি গুরুত্বপূর্ণ ব্রিজিং ভূমিকা পালন করতে পারে। এলএলএমগুলি ব্যবসায়িক ব্যবহারকারীদের একটি ব্যবসায়িক সমস্যা চিহ্নিত করার এবং একটি ভবিষ্যদ্বাণীমূলক মডেল তৈরি করার মধ্যবর্তী ঘাটতি অতিক্রম করতে সহায়তা করতে পারে।

LLM-এর সাথে এখন ছবিতে, ব্যবসায়িক এবং ডেটা টিম যাদের হ্যান্ড-কোড মেশিন লার্নিং মডেলগুলি করার ক্ষমতা বা ক্ষমতা নেই তারা এখন তাদের প্রয়োজনগুলিকে মডেলগুলিতে আরও ভালভাবে অনুবাদ করতে পারে। তারা "তাদের শব্দ ব্যবহার করতে পারে," যেমন অভিভাবকরা বলতে চান, মডেলিং প্রক্রিয়া শুরু করতে।

ব্যবসায়িক ডেটাতে উৎকর্ষের জন্য তৈরি মেশিন লার্নিং কৌশলগুলির সাথে এলএলএমগুলিকে ফিউজ করা

সেই ক্ষমতা এখন পেকানের ভবিষ্যদ্বাণীমূলক GenAI-তে এসেছে, যা আমাদের ইতিমধ্যেই অত্যন্ত পরিমার্জিত এবং স্বয়ংক্রিয় মেশিন লার্নিং প্ল্যাটফর্মের সাথে LLM-এর শক্তিগুলিকে একত্রিত করছে। আমাদের LLM-চালিত ভবিষ্যদ্বাণীমূলক চ্যাট একটি ভবিষ্যদ্বাণীমূলক প্রশ্নের সংজ্ঞা এবং বিকাশের নির্দেশনা দেওয়ার জন্য একজন ব্যবসায়ী ব্যবহারকারীর কাছ থেকে ইনপুট সংগ্রহ করে — ব্যবহারকারী একটি মডেলের সাথে যে নির্দিষ্ট সমস্যাটি সমাধান করতে চান।

তারপর, GenAI ব্যবহার করে, আমাদের প্ল্যাটফর্ম একটি ভবিষ্যদ্বাণীমূলক নোটবুক তৈরি করে যাতে মডেলিংয়ের দিকে পরবর্তী পদক্ষেপ আরও সহজ হয়। আবার, এলএলএম ক্ষমতার উপর অঙ্কন করে, নোটবুকে ভবিষ্যদ্বাণীমূলক মডেলের জন্য প্রশিক্ষণের ডেটা নির্বাচন করার জন্য পূর্ব-ভরা SQL প্রশ্ন রয়েছে। পেকানের স্বয়ংক্রিয় ডেটা প্রস্তুতি, বৈশিষ্ট্য প্রকৌশল, মডেল বিল্ডিং, এবং স্থাপনার ক্ষমতা রেকর্ড সময়ের মধ্যে বাকি প্রক্রিয়াটি সম্পাদন করতে পারে, অন্য যেকোনো ভবিষ্যদ্বাণীমূলক মডেলিং সমাধানের চেয়ে দ্রুত।

সংক্ষেপে, পেকানের ভবিষ্যদ্বাণীমূলক GenAI আমাদের সর্বোত্তম-শ্রেণীর ভবিষ্যদ্বাণীমূলক মডেলিং প্ল্যাটফর্মকে ব্যবসায়িক ব্যবহারকারীদের জন্য আরও বেশি অ্যাক্সেসযোগ্য এবং বন্ধুত্বপূর্ণ করতে LLM-এর অতুলনীয় ভাষা দক্ষতা ব্যবহার করে। এই পদ্ধতিটি কীভাবে আরও অনেক কোম্পানিকে AI এর সাথে সফল হতে সাহায্য করবে তা দেখে আমরা উত্তেজিত।

তাই, এলএলএম করার সময় একা আপনার সমস্ত ভবিষ্যদ্বাণীমূলক প্রয়োজনগুলি পরিচালনা করার জন্য উপযুক্ত নয়, তারা আপনার এআই প্রকল্পগুলিকে এগিয়ে নিয়ে যাওয়ার জন্য একটি শক্তিশালী ভূমিকা পালন করতে পারে। আপনার ব্যবহারের ক্ষেত্রে ব্যাখ্যা করে এবং আপনাকে স্বয়ংক্রিয়ভাবে তৈরি করা এসকিউএল কোড দিয়ে শুরু করার মাধ্যমে, পেকানের ভবিষ্যদ্বাণীমূলক GenAI এই প্রযুক্তিগুলিকে একত্রিত করার পথে নেতৃত্ব দিচ্ছে। তুমি পারবে একটি বিনামূল্যে ট্রায়াল সঙ্গে এটি এখন পরীক্ষা করে দেখুন.