Meta cho phép mã Llama chạy bạo loạn theo các điều khoản gần như mở

Được xuất bản lại bởi Plato

Người theo dõi: 0

Meta đã phát hành một mô hình học máy mở khác, lần này được điều chỉnh để tạo mã nguồn phần mềm.

Mã Llama là một nhóm các mô hình ngôn ngữ lớn – do đó đôi khi được viết hoa “LLaMA” – dựa trên mô hình Llama 2 phát hành trong tháng Bảy. Nó đã được tinh chỉnh và đào tạo để phân phối và thảo luận về mã nguồn theo lời nhắc của văn bản, thay vì văn xuôi như tổ tiên của nó.

Như với tất cả các công nghệ tiên tiến, Code Llama đi kèm với rủi ro

“Code Llama có tiềm năng được sử dụng như một công cụ giáo dục và năng suất để giúp các lập trình viên viết phần mềm mạnh mẽ hơn, được ghi chép đầy đủ hơn,” Meta tuyên bố trong một thông báo Thứ năm.

Nếu bạn yêu cầu Code Llama viết một hàm tạo ra chuỗi Fibonacci, mô hình sẽ tạo ra cả mã và ngôn ngữ tự nhiên giải thích nguồn, Meta nói. Và mô hình AI có thể làm như vậy bằng Python, C++, Java, PHP, Typescript (Javascript), C#, Bash và các ngôn ngữ khác.

Tuy nhiên, người dùng được hướng dẫn giải quyết Code Llama bằng tiếng Anh vì mô hình này chưa được đưa vào thử nghiệm an toàn bằng các ngôn ngữ khác và có thể chỉ nói điều gì đó khủng khiếp nếu được truy vấn bằng một ra khỏi phạm vi ngôn ngữ.

Meta giải thích: “Giống như tất cả các công nghệ tiên tiến, Code Llama đều có rủi ro,” Meta giải thích và lưu ý rằng trong quá trình thử nghiệm của đội đỏ nhằm thu hút việc tạo ra mã độc, Code Llama đã phản hồi bằng các câu trả lời an toàn hơn ChatGPT (GPT3.5 Turbo).

Theo Meta, Code Llama vượt trội hơn LLM mã nguồn mở, dành riêng cho mã và Llama 2 gốc của chính nó trên hai điểm chuẩn – con người và Lập trình Python cơ bản nhất (MBPP) – và phù hợp với hiệu suất của ChatGPT của OpenAI.

Mã Llama có ba kích cỡ – tham số 7B, 13B và 34B – và mỗi biến thể được đào tạo với 500B mã thông báo mã và dữ liệu liên quan đến mã. Một mã thông báo có khoảng bốn ký tự bằng tiếng Anh. Phiên bản lớn nhất của Codex của OpenAI khi được phát hành có 12B thông số.

Meta cho biết, hai mô hình Code Llama nhỏ nhất đã được đào tạo để điền vào nguồn còn thiếu, cho phép chúng được sử dụng để hoàn thiện mã mà không cần tinh chỉnh thêm. Phiên bản 34B được cho là mang lại kết quả tốt nhất, nhưng hai phiên bản nhỏ hơn phản hồi nhanh hơn, giúp chúng thực hiện tốt hơn các tác vụ như hoàn thành mã nơi có độ trễ đáng chú ý.

Ngoài ra còn có hai biến thể: Code Llama – Python và Code Llama – Instruct. Cái trước xuất phát từ việc tinh chỉnh Code Llama với thêm 100 tỷ mã thông báo Python. Cái sau đã được tinh chỉnh để tuân thủ các mẫu đầu vào và đầu ra, làm cho nó phù hợp hơn cho việc tạo mã.

Độ tin cậy, có ai không?

LLM thường cung cấp sai câu trả lời đối với các lời nhắc lập trình, mặc dù chúng vẫn được nhiều nhà phát triển sử dụng để nhớ lại các mẫu thuộc lòng và tham số API hoặc tránh các truy vấn tìm kiếm và kiểm tra tài liệu.

Một trong những điểm nổi bật của Code Llama là nó có thể xử lý đầu vào và đầu ra của chuỗi mã bao gồm tới 100,000 mã thông báo. Điều đó có nghĩa là, bạn có thể nhắc mô hình bằng nhiều dòng mã và bạn có thể nhận được phản hồi chi tiết.

Meta giải thích: “Ngoài việc là điều kiện tiên quyết để tạo các chương trình dài hơn, việc có chuỗi đầu vào dài hơn sẽ mở ra các trường hợp sử dụng mới thú vị cho mã LLM”. “Ví dụ: người dùng có thể cung cấp cho mô hình nhiều ngữ cảnh hơn từ cơ sở mã của họ để làm cho các thế hệ trở nên phù hợp hơn. Nó cũng giúp gỡ lỗi các kịch bản trong các cơ sở mã lớn hơn, nơi việc cập nhật tất cả các mã liên quan đến một vấn đề cụ thể có thể là thách thức đối với các nhà phát triển.”

Người dùng có thể cung cấp cho mô hình nhiều ngữ cảnh hơn từ cơ sở mã của họ để làm cho các thế hệ trở nên phù hợp hơn

Code Llama tham gia vào một lĩnh vực đang phát triển của các mô hình giao tiếp bằng mã, ban đầu được tạo ra bởi Codex của OpenAI và liên kết của GitHub vướng kiện tụng Dịch vụ gợi ý lập trình Copilot (2021). Các mô hình tích cực về lập trình sau đó bao gồm DeepMind Mã chữ cái (2022), GPT-4 của OpenAI (2023), Amazon Người thì thầm mã (2023) và Bard của Google (2023), được điều chỉnh vào tháng XNUMX để tạo ra mã nguồn.

Ngoài ra, đã có nhiều LLM nguồn mở (hoặc loại mở) khác nhau như StarCoder và XGen, để đặt tên cho hai.

Meta đã phát hành Code Llama theo cùng giấy phép cộng đồng với tư cách là Llama 2, trích dẫn niềm tin của tập đoàn lớn vào “cách tiếp cận mở với AI” là cách tốt nhất để phát triển các công cụ đổi mới, an toàn và có trách nhiệm.

Nhưng như đã được lưu ý rộng rãi với Llama 2, giấy phép cộng đồng là không phải là giấy phép nguồn mở. “Cách tiếp cận mở” của Meta đối với AI không còn cạnh tranh nữa – giấy phép rõ ràng không cho phép sử dụng phần mềm “để cải thiện bất kỳ mô hình ngôn ngữ lớn nào khác”.

Và mặc dù giấy phép cộng đồng của Meta cho phép sử dụng thương mại các loại lạc đà không bướu khác nhau, nhưng nó vẫn thu hút các dịch vụ có “hơn 700 triệu người dùng hoạt động hàng tháng”.

Đúng hơn là Chọn nhóm của các dịch vụ lớn – YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat và Douyin, trong số các nền tảng truyền thông xã hội chưa được Meta điều hành và có lẽ là các công ty chạy các nền tảng dựa trên hệ điều hành như Apple, Google và Microsoft – “phải yêu cầu giấy phép từ Meta, mà Meta có thể cấp cho bạn theo quyết định riêng của mình…” ®