Meta يتيح لـ Code Llama تشغيل Riot بموجب شروط شبه مفتوحة

أعاد نشره أفلاطون

المتابعون: 0

أصدرت Meta نموذجًا مفتوحًا آخر للتعلم الآلي، تم ضبطه هذه المرة لإنشاء كود مصدر البرنامج.

كود اللاما هي عائلة من نماذج اللغات الكبيرة - ومن هنا تأتي الكتابة بالأحرف الكبيرة "LLaMA" في بعض الأحيان - استنادًا إلى نموذج Llama 2 صدر في يوليو. لقد تم ضبطه وتدريبه جيدًا لتوزيع ومناقشة الكود المصدري استجابةً للمطالبات النصية، بدلاً من النثر مثل سلفه.

كما هو الحال مع جميع التقنيات المتطورة، فإن Code Llama ينطوي على مخاطر

"يتمتع Code Llama بإمكانية استخدامه كأداة إنتاجية وتعليمية لمساعدة المبرمجين على كتابة برامج أكثر قوة وموثقة جيدًا،" كما زعم ميتا في إعلان الخميس.

إذا طلبت من Code Llama كتابة دالة تنتج تسلسل فيبوناتشي، فسيقوم النموذج بإنشاء كل من الكود واللغة الطبيعية التي تشرح المصدر، كما يقول ميتا. ويمكن لنموذج الذكاء الاصطناعي القيام بذلك في Python، وC++، وJava، وPHP، وTypescript (Javascript)، وC#، وBash، وغيرها من اللغات.

ومع ذلك، يتم توجيه المستخدمين إلى معالجة Code Llama باللغة الإنجليزية نظرًا لأن النموذج لم يتم إخضاعه لاختبارات السلامة بلغات أخرى وقد يقول شيئًا فظيعًا إذا تم الاستعلام عنه بطريقة ما. خارج النطاق لغة.

"كما هو الحال مع جميع التقنيات المتطورة، فإن Code Llama يأتي مع المخاطر"، تشرح Meta، مشيرة إلى أنه أثناء اختبار الفريق الأحمر الخاص بها لطلب إنشاء تعليمات برمجية ضارة، استجابت Code Llama بإجابات أكثر أمانًا من ChatGPT (GPT3.5 Turbo).

وفقًا لـ Meta، تتفوق Code Llama في الأداء على LLMs مفتوحة المصدر ومحددة التعليمات البرمجية وأصلها Llama 2 في معيارين - HumanEval وبرمجة بايثون الأساسية في الغالب (مبب) - ويطابق أداء ChatGPT الخاص بـ OpenAI.

يأتي Code Llama بثلاثة أحجام – معلمات 7B و13B و34B – وتم تدريب كل متغير باستخدام 500B رمز مميز من التعليمات البرمجية والبيانات المتعلقة بالرمز. رمز واحد هو ما يقرب من أربعة أحرف باللغة الإنجليزية. أكبر نسخة من مخطوطة OpenAI، عندما تم إصدارها، كانت تحتوي على 12B المعلمات.

يقول ميتا إنه تم تدريب أصغر نموذجين من نماذج Code Llama لملء المصدر المفقود مما يسمح باستخدامهما لإكمال التعليمات البرمجية دون مزيد من الضبط الدقيق. يُقال إن الإصدار 34B يوفر أفضل النتائج، لكن الإصدارين الأصغر حجمًا يستجيبان بشكل أسرع، مما يجعلهما أفضل لمهام مثل إكمال التعليمات البرمجية حيث يكون زمن الوصول ملحوظًا.

هناك أيضًا نوعان مختلفان: Code Llama – Python، وCode Llama – Instruct. يأتي الأول من الضبط الدقيق لـ Code Llama مع 100 مليار رمز إضافي من كود Python. وقد تم ضبط هذا الأخير بشكل دقيق ليلتزم بأنماط الإدخال والإخراج، مما يجعله أكثر ملاءمة لإنشاء التعليمات البرمجية.

الموثوقية ، أي شخص؟

غالبًا ما توفر LLMs غير صحيح الأجوبة لمطالبات البرمجة، على الرغم من استخدامها من قبل العديد من المطورين لاستدعاء الأنماط الروتينية ومعلمات واجهة برمجة التطبيقات (API)، أو تجنب استعلامات البحث والتحقق من الوثائق.

إحدى نقاط البيع في Code Llama هي أنه يمكنه التعامل مع إدخال وإخراج تسلسلات التعليمات البرمجية التي تتكون من ما يصل إلى 100,000 رمز مميز. وهذا يعني أنه يمكنك مطالبة النموذج بالعديد من أسطر التعليمات البرمجية وقد تحصل على استجابة مطولة.

وأوضح ميتا: "بصرف النظر عن كونه شرطًا أساسيًا لإنشاء برامج أطول، فإن الحصول على تسلسلات إدخال أطول يفتح حالات استخدام جديدة ومثيرة لكود LLM". "على سبيل المثال، يمكن للمستخدمين تزويد النموذج بمزيد من السياق من قاعدة التعليمات البرمجية الخاصة بهم لجعل الأجيال أكثر ملاءمة. كما أنه يساعد في تصحيح الأخطاء في السيناريوهات في قواعد التعليمات البرمجية الأكبر حجمًا، حيث يمكن أن يمثل البقاء على اطلاع بكل التعليمات البرمجية المتعلقة بمشكلة محددة تحديًا للمطورين.

يمكن للمستخدمين تزويد النموذج بمزيد من السياق من قاعدة التعليمات البرمجية الخاصة بهم لجعل الأجيال أكثر صلة بالموضوع

تنضم Code Llama إلى مجال متنامٍ من النماذج المتعلمة بالبرمجة والتي تم زرعها في البداية بواسطة Codex التابع لـ OpenAI وGitHub المرتبطين مثقلة بالتقاضي خدمة اقتراحات البرمجة Copilot (2021). نماذج البرمجة الإيجابية التي تلت ذلك تشمل DeepMind ألفا كود (2022)، OpenAI's GPT-4 (2023)، أمازون كود Whisperer (2023)، وGoogle's Bard (2023)، تم ضبطهما في أبريل لتوليد مصدر الرمز.

بالإضافة إلى ذلك، كان هناك العديد من برامج LLM مفتوحة المصدر (أو نوع مفتوح) مثل ستاركودير و XGen، على سبيل المثال لا الحصر.

أصدرت Meta Code Llama تحت نفس الشيء رخصة المجتمع مثل Llama 2، نقلاً عن إيمان الشركة العملاقة بـ "النهج المفتوح للذكاء الاصطناعي" باعتباره أفضل طريقة لتطوير أدوات مبتكرة وآمنة ومسؤولة.

ولكن كما لوحظ على نطاق واسع مع Llama 2، فإن ترخيص المجتمع هو ليس ترخيصًا مفتوح المصدر. إن "النهج المفتوح" الذي تتبعه شركة Meta في التعامل مع الذكاء الاصطناعي مغلق أمام المنافسة - فالترخيص لا يسمح صراحةً باستخدام البرنامج "لتحسين أي نموذج لغة كبير آخر".

وبينما يسمح ترخيص مجتمع ميتا بالاستخدام التجاري لمختلف أنواع اللاما الخاصة بها، فإنه يضع حدودًا على الخدمات التي تضم "أكثر من 700 مليون مستخدم نشط شهريًا".

ذلك بالأحرى اختر مجموعة من الخدمات الضخمة - YouTube، وWeChat، وTikTok، وLinkedIn، وTelegram، وSnapchat، وDouyin، من بين منصات الوسائط الاجتماعية التي لا تديرها شركة Meta بالفعل، ومن المفترض الشركات التي تدير منصات قائمة على أنظمة التشغيل مثل Apple وGoogle وMicrosoft - "يجب أن تطلب ترخيص من Meta، والذي قد تمنحه لك Meta وفقًا لتقديرها الخاص..." ®