Meta позволяет кодировать Llama Run Riot на почти открытых условиях

Переиздано Платоном

Читают: 0

Meta выпустила еще одну своего рода открытую модель машинного обучения, на этот раз настроенную для генерации исходного кода программного обеспечения.

Код Ламы — это семейство больших языковых моделей (отсюда и случайное написание слова «LLaMA»), основанное на модели Llama 2. выпустил в июле. Он был прекрасно настроен и обучен выдавать и обсуждать исходный код в ответ на текстовые подсказки, а не в виде прозы, как его прародитель.

Как и все передовые технологии, Code Llama сопряжена с рисками.

«Code Llama потенциально может использоваться в качестве инструмента повышения производительности и обучения, который поможет программистам писать более надежное и хорошо документированное программное обеспечение», — заявила Мета в объявление Четверг.

Если вы попросите Code Llama написать функцию, которая создает последовательность Фибоначчи, модель сгенерирует как код, так и естественный язык, объясняющий источник, говорит Мета. И модель ИИ может делать это на Python, C++, Java, PHP, Typescript (Javascript), C#, Bash и других языках.

Однако пользователям рекомендуется обращаться к Code Llama на английском языке, поскольку модель не прошла тестирование на безопасность на других языках и может просто сказать что-то ужасное, если ее запросить в вне сферы язык.

«Как и все передовые технологии, Code Llama сопряжена с рисками», — объясняет Meta, отмечая, что во время собственного тестирования красной командой по провоцированию создания вредоносного кода Code Llama ответила более безопасными ответами, чем ChatGPT (GPT3.5 Turbo).

По данным Meta, Code Llama превосходит LLM с открытым исходным кодом, ориентированный на конкретный код, и свою собственную родительскую Llama 2 в двух тестах: HumanEval и в основном базовое программирование на Python (МБПП) – и соответствует производительности ChatGPT OpenAI.

Code Llama поставляется в трех размерах — 7B, 13B и 34B параметров — и каждый вариант был обучен с использованием 500B токенов кода и данных, связанных с кодом. Один токен составляет примерно четыре символа в английском языке. Самая большая версия Кодекса OpenAI на момент ее выпуска имела 12B параметры.

По словам Меты, две самые маленькие модели Code Llama были обучены заполнять недостающий исходный код, что позволяет использовать их для завершения кода без дальнейшей тонкой настройки. Говорят, что версия 34B обеспечивает наилучшие результаты, но две меньшие реагируют быстрее, что делает их лучше для таких задач, как завершение кода, где заметна задержка.

Также есть два варианта: Code Llama – Python и Code Llama – Instruct. Первый вариант получен в результате тонкой настройки Code Llama с добавлением 100 миллиардов токенов кода Python. Последний был точно настроен для соответствия шаблонам ввода и вывода, что делает его более подходящим для генерации кода.

Надежность, кто-нибудь?

LLM часто предоставляют неправильный ответы к подсказкам программирования, хотя они, тем не менее, используются многими разработчиками для вызова шаблонов и параметров API или для того, чтобы избежать поисковых запросов и проверки документации.

Одним из преимуществ Code Llama является то, что он может обрабатывать ввод и вывод последовательностей кода, состоящих до 100,000 XNUMX токенов. То есть вы можете запросить модель с помощью многих строк кода и получить подробный ответ.

«Помимо того, что наличие более длинных входных последовательностей является обязательным условием для создания более длинных программ, они открывают новые захватывающие варианты использования кода LLM», — объяснил Мета. «Например, пользователи могут предоставить модели больше контекста из своей кодовой базы, чтобы сделать поколения более актуальными. Это также помогает в отладке сценариев в более крупных базах кода, где разработчикам может быть сложно оставаться в курсе всего кода, связанного с конкретной проблемой».

Пользователи могут предоставить модели больше контекста из своей кодовой базы, чтобы сделать поколения более актуальными.

Code Llama присоединяется к растущей области моделей, ориентированных на код, первоначально зародившихся Codex OpenAI и связанным с ним GitHub. обремененный судебными разбирательствами Служба предложений по программированию Copilot (2021). Последующие модели позитивного программирования включают модель DeepMind. АльфаКод (2022 г.), GPT-4 OpenAI (2023 г.), Amazon Код Шепчущий (2023 г.) и Google's Bard (2023 г.), настроено в апреле. генерировать исходный код.

Кроме того, существовали различные LLM с открытым исходным кодом (или своего рода открытые), такие как Старкодер и XGen, чтобы назвать два.

Meta выпустила Code Llama под тем же общественная лицензия как Llama 2, ссылаясь на веру мегакорпорации в «открытый подход к ИИ» как лучший способ разработки инновационных, безопасных и ответственных инструментов.

Но, как было широко отмечено в случае с Llama 2, лицензия сообщества не лицензия с открытым исходным кодом. «Открытый подход» Meta к ИИ закрыт для конкуренции — лицензия прямо запрещает использовать программное обеспечение «для улучшения любой другой большой языковой модели».

И хотя общественная лицензия Meta разрешает коммерческое использование различных лам, она ограничивает сервисы с «более 700 миллионами активных пользователей в месяц».

Это скорее выберите группу мегасервисов – YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat и Douyin, среди платформ социальных сетей, которые еще не управляются Meta, и, предположительно, компаний, использующих платформы на базе операционных систем, такие как Apple, Google и Microsoft – «должны запросить лицензию от Meta, которую Meta может предоставить вам по своему усмотрению…» ®