Meta 让 Code Llama 在几乎开放的条款下运行 Riot

由柏拉图重新发布

关注： 0

Meta 发布了另一种开放式机器学习模型，这次用于生成软件源代码。

代码骆驼是一个大型语言模型家族 - 因此偶尔大写“LLaMA” - 基于 Llama 2 模型发布在七月。它经过了微调和训练，可以根据文本提示分发和讨论源代码，而不是像其祖先那样散文。

与所有尖端技术一样，Code Llama 也存在风险

Meta 声称：“Code Llama 有潜力被用作生产力和教育工具，帮助程序员编写更强大、文档更齐全的软件。” 公告星期四。

Meta 表示，如果你要求 Code Llama 编写一个生成斐波那契数列的函数，该模型将生成代码和自然语言来解释其来源。 AI 模型可以使用 Python、C++、Java、PHP、Typescript (Javascript)、C#、Bash 和其他语言来执行此操作。

然而，用户被指示用英语称呼 Code Llama，因为该模型尚未通过其他语言的安全测试，如果在其他语言中查询，可能会说一些糟糕的内容。超出范围语言。

“与所有尖端技术一样，Code Llama 也存在风险，”Meta 解释道，并指出在其自己的红队测试中征求恶意代码的创建过程中，Code Llama 给出了比 ChatGPT (GPT3.5 Turbo) 更安全的答案。

根据 Meta 的说法，Code Llama 在两个基准测试中优于开源、特定于代码的 Llama 及其父级 Llama 2：人类评估以及大部分基本的 Python 编程 (MBPP) – 并与 OpenAI 的 ChatGPT 的性能相匹配。

Code Llama 具有三种大小 - 7B、13B 和 34B 参数 - 每个变体都使用 500B 代码令牌和代码相关数据进行训练。一个标记大约是四个英文字符。 OpenAI Codex 的最大版本在发布时已经 12B参数.

Meta 表示，两个最小的 Code Llama 模型已经过训练来填补缺失的源代码，这使得它们无需进一步微调即可用于代码补全。据说 34B 版本可以提供最佳结果，但较小的两个版本响应速度更快，这使得它们更适合延迟明显的代码完成等任务。

还有两种变体：Code Llama – Python 和 Code Llama – Instruct。前者来自对 Code Llama 的微调，并添加了额外 100B 的 Python 代码标记。后者经过微调以遵循输入和输出模式，使其更适合代码生成。

可靠性，有人吗？

法学硕士通常提供不正确答案编程提示，尽管许多开发人员仍然使用它们来回忆死记硬背的模式和 API 参数，或避免搜索查询和文档检查。

Code Llama 的卖点之一是它可以处理最多由 100,000 个令牌组成的代码序列的输入和输出。也就是说，您可以使用多行代码提示模型，并且可能会得到详细的响应。

“除了是生成更长程序的先决条件之外，更长的输入序列还为代码法学硕士解锁了令人兴奋的新用例，”Meta 解释道。 “例如，用户可以为模型提供来自其代码库的更多上下文，以使各代产品更具相关性。它还有助于在较大的代码库中调试场景，在这种情况下，掌握与具体问题相关的所有代码对于开发人员来说可能是一项挑战。”

用户可以为模型提供来自其代码库的更多上下文，以使各代更相关

Code Llama 加入了一个不断发展的代码熟悉模型领域，该领域最初由 OpenAI 的 Codex 和 GitHub 的相关人员培育受诉讼困扰 Copilot (2021) 编程建议服务。随后出现的积极编程模型包括 DeepMind 的字母代码 (2022)，OpenAI 的 GPT-4 (2023)，亚马逊代码密语者 (2023) 和 Google 的 Bard (2023)，于 XNUMX 月调整生成源代码。

此外，还有各种开源（或某种开放）的法学硕士，例如星码器和 XGen，举两个。

Meta 在同一版本下发布了 Code Llama 社区许可证 Llama 2 引用了这家大型企业的信念，即“开放的人工智能方法”是开发创新、安全和负责任的工具的最佳方式。

但正如 Llama 2 广泛指出的那样，社区许可证是不是开源许可证。 Meta 的人工智能“开放方法”不参与竞争——许可证明确禁止使用该软件“改进任何其他大型语言模型”。

虽然 Meta 的社区许可证允许将其各种美洲驼用于商业用途，但它对“每月活跃用户超过 700 亿”的服务划定了界限。

那倒是选择组大型服务——YouTube、微信、TikTok、LinkedIn、Telegram、Snapchat 和抖音，以及尚未由 Meta 运营的社交媒体平台，以及运行苹果、谷歌和微软等基于操作系统的平台的公司——“必须要求Meta 的许可，Meta 可以自行决定授予您......”®