Meta Lets Code Llama Run Riot Under Almost-open Terms

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Meta, bu sefer yazılım kaynak kodu oluşturmaya ayarlanmış başka bir tür açık makine öğrenimi modeli daha yayınladı.

Kod Laması Llama 2 modelini temel alan, büyük dil modellerinden oluşan bir ailedir - bu nedenle ara sıra büyük harflerle "LLaMA" kullanılır serbest Temmuzda. Ataları gibi düzyazı yerine, metin istemlerine yanıt olarak kaynak kodunu dağıtmak ve tartışmak için ince ayar yapılmış ve eğitilmiştir.

Tüm ileri teknolojilerde olduğu gibi Code Llama'nın da riskleri vardır

Meta, "Code Lama, programcıların daha sağlam, iyi belgelenmiş yazılımlar yazmasına yardımcı olacak bir üretkenlik ve eğitim aracı olarak kullanılma potansiyeline sahip" dedi. bir duyuru Perşembe.

Meta, Code Lama'dan Fibonacci dizisini üreten bir fonksiyon yazmasını isterseniz, modelin hem kodu hem de kaynağı açıklayan doğal dili üreteceğini söylüyor. Yapay zeka modeli bunu Python, C++, Java, PHP, Typescript (Javascript), C#, Bash ve diğer dillerde yapabilir.

Ancak model başka dillerde güvenlik testinden geçirilmediğinden kullanıcılar Code Llama'yı İngilizce olarak ele almaya yönlendiriliyor ve bir başka dilde sorgulandığında sadece kötü şeyler söyleyebiliyor. kapsam dışında dil.

Meta, "Tüm ileri teknolojilerde olduğu gibi Code Llama da risklerle birlikte gelir" diye açıklıyor ve kötü amaçlı kod oluşturulmasını teşvik etmek için kendi kırmızı ekip testleri sırasında Code Llama'nın ChatGPT'den (GPT3.5 Turbo) daha güvenli yanıtlar verdiğini belirtiyor.

Meta'ya göre Code Llama, iki kriterde açık kaynaklı, koda özel LLM'lerden ve kendi ana ürünü olan Llama 2'den daha iyi performans gösteriyor: İnsanDeğerlendirmesi ve Çoğunlukla Temel Python Programlama (MBPP) – ve OpenAI'nin ChatGPT'sinin performansıyla eşleşir.

Code Llama üç boyutta (7B, 13B ve 34B parametreleri) gelir ve her değişken, 500B kod tokeni ve kodla ilgili verilerle eğitilmiştir. Bir jeton İngilizce'de kabaca dört karakterdir. OpenAI Codex'in en büyük versiyonu piyasaya çıktığında 12B parametreleri.

Meta, en küçük iki Code Llama modelinin eksik kaynağı doldurmak üzere eğitildiğini ve bu sayede daha fazla ince ayar gerektirmeden kod tamamlama için kullanılabileceğini söylüyor. 34B sürümünün en iyi sonuçları sağladığı söyleniyor, ancak daha küçük olan ikisi daha hızlı yanıt veriyor ve bu da onları kod tamamlama gibi gecikmenin fark edilebilir olduğu görevlerde daha iyi hale getiriyor.

Ayrıca iki çeşidi vardır: Code Llama – Python ve Code Llama – Instruct. İlki, Code Llama'nın ekstra 100B Python kodu jetonuyla ince ayarından geliyor. İkincisi, giriş ve çıkış kalıplarına uyacak şekilde ince ayarlanmıştır, bu da onu kod oluşturmaya daha uygun hale getirir.

Güvenilirlik var mı?

Yüksek Lisans'lar sıklıkla sağlar yanlış cevaplar Ancak yine de birçok geliştirici tarafından ezber kalıplarını ve API parametrelerini hatırlamak veya arama sorgularından ve belge kontrollerinden kaçınmak için kullanılıyorlar.

Code Llama'nın avantajlı yönlerinden biri, 100,000'e kadar tokenden oluşan kod dizilerinin giriş ve çıkışını yönetebilmesidir. Yani modeli birçok satır kodla sorabilir ve ayrıntılı bir yanıt alabilirsiniz.

Meta, "Daha uzun programlar oluşturmak için bir ön koşul olmasının yanı sıra, daha uzun giriş dizilerine sahip olmak, kod yüksek lisansı için heyecan verici yeni kullanım durumlarının kilidini açar" diye açıkladı. "Örneğin kullanıcılar, nesilleri daha alakalı hale getirmek için modele kod tabanlarından daha fazla bağlam sağlayabilir. Ayrıca, somut bir sorunla ilgili tüm kodlara hakim olmanın geliştiriciler için zorlayıcı olabileceği daha büyük kod tabanlarındaki senaryolarda hata ayıklamaya da yardımcı oluyor."

Kullanıcılar, nesilleri daha alakalı hale getirmek için modele kod tabanlarından daha fazla bağlam sağlayabilir

Code Llama, başlangıçta OpenAI'nin Codex'i ve GitHub'un ilgili uygulamaları tarafından tohumlanan, giderek büyüyen kod bilen modeller alanına katılıyor dava yüklü Copilot (2021) programlama öneri hizmeti. Takip edilen programlama açısından olumlu modeller arasında DeepMind'ınkiler yer alıyor. Alfa Kodu (2022), OpenAI'nin GPT-4'ü (2023), Amazon Kod Fısıldayan (2023) ve Google's Bard (2023), Nisan ayında ayarlandı üretmek kaynak kodu.

Ek olarak, çeşitli açık kaynaklı (veya bir nevi açık) LLM'ler de mevcut: Yıldız Kodlayıcı ve XGen, iki isim.

Meta aynı çatı altında Code Llama'yı yayınladı topluluk lisansı Llama 2 olarak mega şirketin yenilikçi, güvenli ve sorumlu araçlar geliştirmenin en iyi yolu olarak "Yapay Zeka'ya açık bir yaklaşım" inancına değiniyor.

Ancak Llama 2'de yaygın olarak belirtildiği gibi, topluluk lisansı açık kaynak lisansı değil. Meta'nın yapay zekaya yönelik "açık yaklaşımı" rekabete kapalıdır; lisans, yazılımın "başka herhangi bir büyük dil modelini geliştirmek için" kullanılmasına açıkça izin vermemektedir.

Meta'nın topluluk lisansı, çeşitli lamalarının ticari kullanımına izin verirken, "aylık 700 milyondan fazla aktif kullanıcıya" sahip hizmetlerde sınır çiziyor.

daha doğrusu grup Seç Halihazırda Meta tarafından çalıştırılmayan sosyal medya platformları arasında YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat ve Douyin gibi mega hizmetlerin ve muhtemelen Apple, Google ve Microsoft gibi işletim sistemi tabanlı platformları çalıştıran şirketlerin "talep etmesi gerekiyor" Meta'nın tamamen kendi takdirine bağlı olarak size verebileceği bir Meta lisansı…” ®