এলএলএম অ্যাপোক্যালিপস নাও: ওপেন সোর্স ক্লোনের প্রতিশোধ – কেডিনাগেটস

“আমাদের মধ্যে অনেক ছিলাম। আমাদের কাছে অনেক বেশি টাকা, অত্যধিক সরঞ্জাম ছিল এবং ধীরে ধীরে আমরা পাগল হয়ে গিয়েছিলাম।

ফ্রান্সিস ফোর্ড কপোলা AI কোম্পানিগুলির জন্য একটি রূপক তৈরি করেননি যেগুলি খুব বেশি খরচ করে এবং তাদের পথ হারায়, তবে তিনি হতে পারতেন। এখন রহস্যোদ্ঘাটন মহাকাব্য ছিল কিন্তু একটি দীর্ঘ, কঠিন এবং ব্যয়বহুল প্রকল্প তৈরি করা, অনেকটা GPT-4 এর মতো। আমি পরামর্শ দিই যে এলএলএম-এর বিকাশ অত্যধিক অর্থ এবং অত্যধিক সরঞ্জামের জন্য অভিকর্ষিত হয়েছে। এবং কিছু "আমরা কেবলমাত্র সাধারণ বুদ্ধিমত্তা আবিষ্কার করেছি" হাইপটি কিছুটা উন্মাদ। কিন্তু এখন ওপেন সোর্স সম্প্রদায়ের পালা যা তারা সবচেয়ে ভাল করে তা করার: অনেক কম অর্থ এবং সরঞ্জাম ব্যবহার করে বিনামূল্যে প্রতিযোগী সফ্টওয়্যার সরবরাহ করা।

OpenAI $11Bn তহবিল নিয়েছে এবং এটি অনুমান করা হয়েছে GPT-3.5-এর জন্য প্রতি প্রশিক্ষণে $5-$6m খরচ হয়। আমরা GPT-4 সম্পর্কে খুব কম জানি কারণ OpenAI বলছে না, কিন্তু আমি মনে করি এটা নিরাপদ যে এটা GPT-3.5-এর থেকে ছোট নয়। বর্তমানে বিশ্বব্যাপী একটি GPU ঘাটতি রয়েছে এবং – পরিবর্তনের জন্য – এটি সর্বশেষ ক্রিপ্টোকয়েনের কারণে নয়। জেনারেটিভ AI স্টার্ট-আপগুলি বিশাল মূল্যায়নে $100m+ সিরিজ A রাউন্ডে অবতরণ করছে যখন তারা LLM-এর জন্য কোনো আইপি-র মালিক না থাকে যা তারা তাদের পণ্যকে পাওয়ার জন্য ব্যবহার করে। এলএলএম ব্যান্ডওয়াগন উচ্চ গিয়ারে রয়েছে এবং অর্থ প্রবাহিত হচ্ছে।

It had looked like the die was cast: only deep-pocketed companies like Microsoft/OpenAI, Amazon, and Google could afford to train hundred-billion parameter models. Bigger models were assumed to be better models. GPT-3 got something wrong? Just wait until there's a bigger version and it’ll all be fine! Smaller companies looking to compete had to raise far more capital or be left building commodity integrations in the ChatGPT marketplace. Academia, with even more constrained research budgets, was relegated to the sidelines.

সৌভাগ্যবশত, একগুচ্ছ স্মার্ট মানুষ এবং ওপেন সোর্স প্রকল্পগুলি এটিকে সীমাবদ্ধতার পরিবর্তে একটি চ্যালেঞ্জ হিসাবে নিয়েছে। স্ট্যানফোর্ডের গবেষকরা আলপাকা প্রকাশ করেছেন, একটি 7-বিলিয়ন প্যারামিটার মডেল যার কার্যক্ষমতা GPT-3.5-এর 175-বিলিয়ন প্যারামিটার মডেলের কাছাকাছি। OpenAI দ্বারা ব্যবহৃত আকারের একটি প্রশিক্ষণ সেট তৈরি করার জন্য সংস্থানগুলির অভাবের কারণে, তারা চতুরতার সাথে একটি প্রশিক্ষিত ওপেন সোর্স LLM, LLaMA নেওয়া বেছে নিয়েছে এবং পরিবর্তে GPT-3.5 প্রম্পট এবং আউটপুটগুলির একটি সিরিজে এটিকে সূক্ষ্ম-টিউন করেছে। মূলত মডেলটি জিপিটি-3.5 কী করে তা শিখেছে, যা এর আচরণের প্রতিলিপি করার জন্য একটি খুব কার্যকর কৌশল হিসাবে পরিণত হয়েছে।

Alpaca শুধুমাত্র কোড এবং ডেটা উভয় ক্ষেত্রেই অ-বাণিজ্যিক ব্যবহারের জন্য লাইসেন্সপ্রাপ্ত কারণ এটি ওপেন সোর্স অ-বাণিজ্যিক LLaMA মডেল ব্যবহার করে, এবং OpenAI স্পষ্টভাবে প্রতিযোগী পণ্য তৈরি করতে তার API-এর কোনো ব্যবহার নিষিদ্ধ করে। এটি আলপাকার প্রম্পট এবং আউটপুটে একটি ভিন্ন ওপেন সোর্স এলএলএম ফাইন-টিউনিং করার উত্তেজনাপূর্ণ সম্ভাবনা তৈরি করে… বিভিন্ন লাইসেন্সিং সম্ভাবনা সহ একটি তৃতীয় GPT-3.5-এর মতো মডেল তৈরি করে।

এখানে বিদ্রুপের আরেকটি স্তর রয়েছে, যে সমস্ত প্রধান এলএলএম ইন্টারনেটে উপলব্ধ কপিরাইটযুক্ত পাঠ্য এবং চিত্রগুলির উপর প্রশিক্ষিত ছিল এবং তারা অধিকারধারীদের একটি পয়সাও দেয়নি। কোম্পানিগুলি দাবি করে যে ইউএস কপিরাইট আইনের অধীনে "ন্যায্য ব্যবহার" ছাড় এই যুক্তি দিয়ে যে ব্যবহারটি "পরিবর্তনমূলক"। যাইহোক, যখন তারা বিনামূল্যে ডেটা দিয়ে তৈরি করা মডেলগুলির আউটপুটের কথা আসে, তখন তারা সত্যিই চায় না যে কেউ তাদের সাথে একই জিনিস করুক। আমি আশা করি অধিকার-ধারকদের বুদ্ধিমত্তার সাথে সাথে এটি পরিবর্তিত হবে এবং কোনও সময়ে আদালতে শেষ হতে পারে৷

এটি একটি পৃথক এবং স্বতন্ত্র পয়েন্ট যা সীমাবদ্ধ-লাইসেন্সযুক্ত ওপেন সোর্সের লেখকদের দ্বারা উত্থাপিত হয়েছে যারা CoPilot-এর মতো কোড পণ্যগুলির জন্য তৈরি AI-এর জন্য, লাইসেন্স অনুসরণ করা হচ্ছে না বলে প্রশিক্ষণের জন্য তাদের কোড ব্যবহার করা নিয়ে আপত্তি জানায়। স্বতন্ত্র ওপেন-সোর্স লেখকদের জন্য সমস্যা হল যে তাদের দাঁড়ানো দেখাতে হবে - প্রকৃত কপি করা - এবং তাদের ক্ষতি হয়েছে। এবং যেহেতু মডেলগুলি ইনপুট (লেখকের সোর্স কোডের লাইন) সাথে আউটপুট কোড লিঙ্ক করা কঠিন করে তোলে এবং কোনও অর্থনৈতিক ক্ষতি নেই (এটি বিনামূল্যে বলে মনে করা হয়), এটি একটি মামলা করা অনেক কঠিন। এটি লাভ-লাভকারী নির্মাতাদের (যেমন, ফটোগ্রাফারদের) থেকে ভিন্ন, যাদের সম্পূর্ণ ব্যবসায়িক মডেল তাদের কাজের লাইসেন্সিং/বিক্রয় করে এবং যাদের গেটি ইমেজের মতো সমষ্টিকারীরা প্রতিনিধিত্ব করে যারা প্রকৃত কপি দেখাতে পারে।

LLaMA সম্পর্কে আরেকটি আকর্ষণীয় বিষয় হল এটি মেটা থেকে বেরিয়ে এসেছে। এটি মূলত শুধুমাত্র গবেষকদের কাছে প্রকাশ করা হয়েছিল এবং তারপরে বিটটরেন্টের মাধ্যমে বিশ্বে ফাঁস করা হয়েছিল। মেটা ওপেনএআই, মাইক্রোসফ্ট, গুগল এবং অ্যামাজন থেকে একটি মৌলিকভাবে আলাদা ব্যবসায় রয়েছে যে এটি আপনাকে ক্লাউড পরিষেবা বা সফ্টওয়্যার বিক্রি করার চেষ্টা করছে না, এবং তাই খুব আলাদা প্রণোদনা রয়েছে। এটি অতীতে তার কম্পিউট ডিজাইনগুলিকে ওপেন-সোর্স করেছে (ওপেনকম্পিউট) এবং সম্প্রদায়কে সেগুলিতে উন্নতি করতে দেখেছে – এটি ওপেন সোর্সের মূল্য বোঝে।

মেটা সবচেয়ে গুরুত্বপূর্ণ ওপেন সোর্স এআই অবদানকারীদের মধ্যে একটি হতে পারে। এটিতে কেবল বিশাল সংস্থানই নেই, তবে দুর্দান্ত জেনারেটিভ এআই প্রযুক্তির প্রসার হলে এটি উপকৃত হয়: সোশ্যাল মিডিয়াতে নগদীকরণের জন্য এটির জন্য আরও সামগ্রী থাকবে। মেটা অন্য তিনটি ওপেন-সোর্স এআই মডেল প্রকাশ করেছে: ইমেজবিন্ড (মাল্টি-ডাইমেনশনাল ডেটা ইনডেক্সিং), DINOv2 (কম্পিউটার ভিশন) এবং সেগমেন্ট এনিথিং। পরবর্তীটি চিত্রগুলিতে অনন্য বস্তুগুলিকে সনাক্ত করে এবং অত্যন্ত অনুমোদিত অ্যাপাচি লাইসেন্সের অধীনে প্রকাশিত হয়।

অবশেষে আমরা একটি অভ্যন্তরীণ Google ডকুমেন্ট ফাঁস করার অভিযোগও পেয়েছি "উই হ্যাভ নো মোট, এবং নাইদার ডজ ওপেনএআই" যা বন্ধ মডেলগুলির একটি ম্লান দৃষ্টিভঙ্গি নেয় বনাম সম্প্রদায়গুলির উদ্ভাবন যা অনেক ছোট, সস্তা মডেল তৈরি করে যা এর কাছাকাছি বা ভাল কাজ করে তাদের বন্ধ উৎস প্রতিপক্ষ. আমি কথিত বলছি কারণ নিবন্ধটির উৎস Google অভ্যন্তরীণ বলে যাচাই করার কোনো উপায় নেই। যাইহোক, এটি এই বাধ্যতামূলক গ্রাফ ধারণ করে:

স্ট্যাবল ডিফিউশন, যা টেক্সট থেকে ইমেজ সংশ্লেষিত করে, তার আরেকটি উদাহরণ যেখানে ওপেন সোর্স জেনারেটিভ এআই মালিকানাধীন মডেলের চেয়ে দ্রুত অগ্রসর হতে সক্ষম হয়েছে। সেই প্রকল্পের একটি সাম্প্রতিক পুনরাবৃত্তি (কন্ট্রোলনেট) এটিকে এমনভাবে উন্নত করেছে যে এটি ডাল-ই 2 এর ক্ষমতাকে ছাড়িয়ে গেছে। এটি সারা বিশ্ব জুড়ে প্রচুর টিঙ্কারিং থেকে এসেছে, যার ফলে অগ্রগতির গতি যা কোনও একক প্রতিষ্ঠানের পক্ষে মেলে ধরা কঠিন। এই টিঙ্কারদের মধ্যে কেউ কেউ কীভাবে স্থিতিশীল ডিফিউশনকে দ্রুততর করে প্রশিক্ষিত করতে এবং সস্তা হার্ডওয়্যারে চালানো যায়, আরও বেশি লোকের দ্বারা সংক্ষিপ্ত পুনরাবৃত্তি চক্র সক্ষম করে।

আর তাই আমরা পুরো বৃত্তে এসেছি। অত্যধিক অর্থ এবং অত্যধিক সরঞ্জাম না থাকা সাধারণ মানুষের একটি সম্পূর্ণ সম্প্রদায়ের দ্বারা একটি ধূর্ত স্তরের উদ্ভাবনকে অনুপ্রাণিত করেছে। এআই ডেভেলপার হওয়ার কী সময়।
 
 
ম্যাথু লজ Diffblue-এর সিইও, একটি AI ফর কোড স্টার্টআপ৷ অ্যানাকোন্ডা এবং ভিএমওয়্যারের মতো কোম্পানিগুলিতে পণ্য নেতৃত্বে তার 25+ বছরের বৈচিত্র্যময় অভিজ্ঞতা রয়েছে। লজ বর্তমানে গুড ল প্রজেক্টের বোর্ডে কাজ করছে এবং রয়্যাল ফটোগ্রাফিক সোসাইটির ট্রাস্টি বোর্ডের ডেপুটি চেয়ার।
 

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোএআইস্ট্রিম। Web3 ডেটা ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• অ্যাড্রিয়েন অ্যাশলির সাথে ভবিষ্যত মিন্টিং। এখানে প্রবেশ করুন.
• PREIPO® এর সাথে PRE-IPO কোম্পানিতে শেয়ার কিনুন এবং বিক্রি করুন। এখানে প্রবেশ করুন.
• উত্স: https://www.kdnuggets.com/2023/05/llm-apocalypse-revenge-open-source-clones.html?utm_source=rss&utm_medium=rss&utm_campaign=llm-apocalypse-now-revenge-of-the-open-source-clones