Meta Lets Code Llama Run Riot Under Almost-open Terms

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

মেটা আরেকটি সাজানোর-ওপেন মেশিন লার্নিং মডেল প্রকাশ করেছে, এইবার সফ্টওয়্যার সোর্স কোড তৈরি করার জন্য টিউন করা হয়েছে।

কোড লামা বৃহৎ ভাষা মডেলের একটি পরিবার - তাই মাঝে মাঝে বড় বড়করণ "LLaMA" - Llama 2 মডেলের উপর ভিত্তি করে মুক্ত জুলাই তে. এটিকে সূক্ষ্ম সুর করা হয়েছে এবং টেক্সট প্রম্পটের প্রতিক্রিয়া হিসাবে উত্স কোড বিতরণ এবং আলোচনা করার জন্য প্রশিক্ষণ দেওয়া হয়েছে, এর পূর্বপুরুষের মতো গদ্যের পরিবর্তে।

সমস্ত আধুনিক প্রযুক্তির মতো, কোড লামা ঝুঁকি নিয়ে আসে

"কোড লামা প্রোগ্রামারদের আরও শক্তিশালী, ভাল-ডকুমেন্টেড সফ্টওয়্যার লিখতে সাহায্য করার জন্য একটি উত্পাদনশীলতা এবং শিক্ষামূলক সরঞ্জাম হিসাবে ব্যবহার করার সম্ভাবনা রয়েছে," মেটা দাবি করেছে একটি ঘোষনা বৃহস্পতিবার।

আপনি যদি কোড লামাকে ফিবোনাচি সিকোয়েন্স তৈরি করে এমন একটি ফাংশন লিখতে বলেন, তাহলে মডেলটি উৎস ব্যাখ্যা করে কোড এবং প্রাকৃতিক ভাষা উভয়ই তৈরি করবে, মেটা বলে। এবং এআই মডেল পাইথন, সি++, জাভা, পিএইচপি, টাইপস্ক্রিপ্ট (জাভাস্ক্রিপ্ট), সি#, ব্যাশ এবং অন্যান্য ভাষায় তা করতে পারে।

ব্যবহারকারীদের অবশ্য কোড লামাকে ইংরেজিতে সম্বোধন করার জন্য নির্দেশ দেওয়া হয়েছে কারণ মডেলটিকে অন্য ভাষায় নিরাপত্তা পরীক্ষার মাধ্যমে রাখা হয়নি এবং কোনো বিষয়ে জিজ্ঞাসা করা হলে তারা ভয়ঙ্কর কিছু বলতে পারে। সুযোগের বাইরে ভাষা.

"সমস্ত আধুনিক প্রযুক্তির মতো, কোড লামা ঝুঁকি নিয়ে আসে," মেটা ব্যাখ্যা করে, দূষিত কোড তৈরির অনুরোধ করার জন্য নিজস্ব রেড টিম পরীক্ষার সময়, কোড লামা ChatGPT (GPT3.5 Turbo) এর চেয়ে নিরাপদ উত্তর দিয়ে প্রতিক্রিয়া জানিয়েছিল।

মেটা অনুসারে, কোড লামা ওপেন-সোর্স, কোড-নির্দিষ্ট এলএলএম এবং এর নিজস্ব প্যারেন্ট লামা 2 দুটি বেঞ্চমার্কে ছাড়িয়ে গেছে – হিউম্যান ইভাল এবং বেশিরভাগ বেসিক পাইথন প্রোগ্রামিং (এমবিপিপি) - এবং OpenAI এর ChatGPT-এর কর্মক্ষমতার সাথে মেলে।

কোড লামা তিনটি আকারে আসে - 7B, 13B এবং 34B প্যারামিটার - এবং প্রতিটি ভেরিয়েন্টকে 500B টোকেন কোড এবং কোড-সম্পর্কিত ডেটা দিয়ে প্রশিক্ষণ দেওয়া হয়েছিল। একটি টোকেন ইংরেজিতে মোটামুটি চারটি অক্ষর। ওপেনএআই-এর কোডেক্সের বৃহত্তম সংস্করণ, যখন এটি প্রকাশিত হয়েছিল, তখন ছিল 12B প্যারামিটার.

দুটি ক্ষুদ্রতম কোড লামা মডেল, মেটা বলে, অনুপস্থিত উত্স পূরণ করার জন্য প্রশিক্ষণ দেওয়া হয়েছে যা তাদের আরও সূক্ষ্ম টিউনিং ছাড়াই কোড সমাপ্তির জন্য ব্যবহার করার অনুমতি দেয়। 34B সংস্করণটি সর্বোত্তম ফলাফল প্রদান করে বলে বলা হয়, তবে ছোট দুটি দ্রুত সাড়া দেয়, কোড সমাপ্তির মতো কাজের জন্য তাদের আরও ভাল করে তোলে যেখানে লেটেন্সি লক্ষণীয়।

এছাড়াও দুটি রূপ রয়েছে: কোড লামা – পাইথন এবং কোড লামা – নির্দেশ। প্রথমটি পাইথন কোডের অতিরিক্ত 100B টোকেন সহ সূক্ষ্ম টিউনিং কোড লামা থেকে এসেছে। পরবর্তীটি ইনপুট এবং আউটপুট প্যাটার্নগুলি মেনে চলার জন্য সূক্ষ্ম সুর করা হয়েছে, এটিকে কোড তৈরির জন্য আরও উপযুক্ত করে তুলেছে।

নির্ভরযোগ্যতা, কেউ?

এলএলএম প্রায়ই প্রদান করে ত্রুটিপূর্ণ উত্তর প্রোগ্রামিং প্রম্পটে, যদিও অনেক ডেভেলপাররা রোট প্যাটার্ন এবং এপিআই প্যারামিটার রিকল করার জন্য বা সার্চ কোয়েরি এবং ডকুমেন্টেশন চেক এড়িয়ে যাওয়ার জন্য ব্যবহার করে।

কোড লামার বিক্রয় পয়েন্টগুলির মধ্যে একটি হল এটি 100,000 টোকেন সমন্বিত কোড সিকোয়েন্সের ইনপুট এবং আউটপুট পরিচালনা করতে পারে। অর্থাৎ, আপনি কোডের অনেক লাইন সহ মডেলটিকে প্রম্পট করতে পারেন এবং আপনি একটি শব্দপূর্ণ প্রতিক্রিয়া পেতে পারেন।

"দীর্ঘ প্রোগ্রাম তৈরি করার পূর্বশর্ত হওয়া ছাড়াও, দীর্ঘতর ইনপুট সিকোয়েন্স থাকা একটি কোড এলএলএম-এর জন্য উত্তেজনাপূর্ণ নতুন ব্যবহারের ক্ষেত্রে আনলক করে," মেটা ব্যাখ্যা করেছেন। "উদাহরণস্বরূপ, ব্যবহারকারীরা প্রজন্মকে আরও প্রাসঙ্গিক করতে তাদের কোডবেস থেকে আরও প্রসঙ্গ সহ মডেলটি সরবরাহ করতে পারে। এটি বৃহত্তর কোডবেসগুলিতে পরিস্থিতিগুলি ডিবাগ করতেও সহায়তা করে, যেখানে একটি কংক্রিট সমস্যা সম্পর্কিত সমস্ত কোডের শীর্ষে থাকা বিকাশকারীদের জন্য চ্যালেঞ্জিং হতে পারে।"

প্রজন্মকে আরও প্রাসঙ্গিক করতে ব্যবহারকারীরা তাদের কোডবেস থেকে মডেলটিকে আরও প্রসঙ্গ সরবরাহ করতে পারে

কোড লামা ওপেনএআই-এর কোডেক্স এবং গিটহাবের সাথে যুক্ত কোড-কথোপকথন মডেলগুলির একটি ক্রমবর্ধমান ক্ষেত্রে যোগদান করে litigation-encumbered কপিলট (2021) প্রোগ্রামিং পরামর্শ পরিষেবা। প্রোগ্রামিং-পজিটিভ মডেলগুলির মধ্যে রয়েছে ডিপমাইন্ডস আলফাকোড (2022), OpenAI এর GPT-4 (2023), Amazon কোড হুইস্পারার (2023), এবং Google's Bard (2023), এপ্রিলে টিউন করা হয়েছে উৎপাদন করতে সোর্স কোড.

এছাড়াও, বিভিন্ন ওপেন সোর্স (বা সাজানোর ওপেন) এলএলএম-এর মতো রয়েছে স্টারকোডার এবং এক্সজেন, দুই নাম করতে.

মেটা একই অধীনে কোড লামা প্রকাশ করেছে সম্প্রদায় লাইসেন্স Llama 2 হিসেবে, উদ্ভাবনী, নিরাপদ এবং দায়িত্বশীল টুলস ডেভেলপ করার সর্বোত্তম উপায় হিসাবে "AI-তে একটি উন্মুক্ত পদ্ধতি"-তে মেগা-কর্পোরেশনের বিশ্বাসকে উদ্ধৃত করে।

কিন্তু Llama 2 এর সাথে ব্যাপকভাবে উল্লেখ করা হয়েছে, কমিউনিটি লাইসেন্স হল ওপেন সোর্স লাইসেন্স নয়. AI-তে Meta-এর "ওপেন অ্যাপ্রোচ" প্রতিযোগিতার জন্য বন্ধ - লাইসেন্স স্পষ্টভাবে সফ্টওয়্যার ব্যবহার করে "অন্য যেকোন বৃহৎ ভাষার মডেল উন্নত করতে" অনুমতি দেয় না।

এবং যখন Meta-এর কমিউনিটি লাইসেন্স তার বিভিন্ন লামাগুলির বাণিজ্যিক ব্যবহারের অনুমতি দেয়, এটি "700 মিলিয়নেরও বেশি মাসিক সক্রিয় ব্যবহারকারীদের" পরিষেবাগুলিতে লাইন আঁকে৷

যে বরং গ্রুপ নির্বাচন করুন মেগা-পরিষেবাগুলির - YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat, এবং Douyin, সামাজিক মিডিয়া প্ল্যাটফর্মগুলির মধ্যে যেগুলি ইতিমধ্যে মেটা দ্বারা পরিচালিত হয় না এবং সম্ভবত অ্যাপল, গুগল এবং মাইক্রোসফ্টের মতো অপারেটিং সিস্টেম-ভিত্তিক প্ল্যাটফর্মগুলি চালাচ্ছে - "অবশ্যই অনুরোধ করা উচিত মেটা থেকে একটি লাইসেন্স, যা মেটা আপনাকে তার নিজস্ব বিবেচনার ভিত্তিতে মঞ্জুর করতে পারে...”®