Meta laseb Code Lama Run Riot peaaegu avatud tingimuste alusel

Taasavaldanud Platon

järgijaid: 0

Meta on välja andnud veel ühe omamoodi avatud masinõppe mudeli, mis on seekord häälestatud tarkvara lähtekoodi genereerimiseks.

Koodlaama on suurte keelemudelite perekond – siit ka aeg-ajalt suurtähtede kasutamine “LLaMA” –, mis põhineb mudelil Llama 2 vabastatud juulil. Seda on peenhäälestatud ja õpetatud välja andma ja arutama lähtekoodi vastuseks tekstiviipadele, mitte proosale nagu selle eellas.

Nagu kõigi tipptehnoloogiate puhul, kaasnevad Code Llamaga ka riskid

"Code Llamat saab kasutada tootlikkuse ja õppevahendina, mis aitab programmeerijatel kirjutada tugevamat ja paremini dokumenteeritud tarkvara," väitis Meta. teade Neljapäev.

Kui palute Code Llamal kirjutada funktsioon, mis toodab Fibonacci jada, genereerib mudel nii koodi kui ka loomuliku keele, mis selgitab allikat, ütleb Meta. Ja AI mudel saab seda teha Pythonis, C++, Java, PHP, Typescript (Javascript), C#, Bash ja teistes keeltes.

Kasutajaid suunatakse aga Code Llama poole pöörduma inglise keeles, kuna mudelit ei ole muudes keeltes ohutustestitud ja see võib lihtsalt öelda midagi kohutavat, kui küsitakse reguleerimisalast väljas keel.

"Nagu kõigi tipptehnoloogiatega, kaasnevad Code Llamaga ka riskid," selgitab Meta, märkides, et oma punase meeskonna testimisel pahatahtliku koodi loomiseks vastas Code Llama turvalisemate vastustega kui ChatGPT (GPT3.5 Turbo).

Meta sõnul edestab Code Llama avatud lähtekoodiga koodispetsiifilisi LLM-e ja oma emaettevõtet Llama 2 kahel võrdlusalusel - HumanEval ja enamasti põhiline Pythoni programmeerimine (MBPP) – ja ühtib OpenAI ChatGPT jõudlusega.

Code Llama on saadaval kolmes suuruses – parameetrid 7B, 13B ja 34B – ning iga varianti koolitati 500B koodi ja koodiga seotud andmetega. Üks märgis on inglise keeles ligikaudu neli tähemärki. OpenAI Codexi suurim versioon, kui see välja anti, oli olemas 12B parameetrid.

Kaks väikseimat Code Llama mudelit on Meta sõnul koolitatud täitma puuduvaid allikaid, mis võimaldab neid kasutada koodi lõpuleviimiseks ilma täiendava peenhäälestuseta. Väidetavalt annab 34B versioon parimaid tulemusi, kuid kaks väiksemat reageerivad kiiremini, muutes need paremaks selliste ülesannete jaoks nagu koodi lõpetamine, kus latentsus on märgatav.

Samuti on kaks varianti: Code Llama – Python ja Code Llama – Instruct. Esimene pärineb Code Llama peenhäälestusest koos täiendava 100B Pythoni koodi märgiga. Viimane on peenhäälestatud nii, et see järgiks sisend- ja väljundmustreid, muutes selle koodi genereerimiseks paremini sobivaks.

Usaldusväärsus, keegi?

LLM-id pakuvad sageli ebaõige vastuseid programmeerimisviipade juurde, kuigi paljud arendajad kasutavad neid siiski mälumustrite ja API parameetrite meeldetuletamiseks või otsingupäringute ja dokumentatsiooni kontrollimise vältimiseks.

Code Llama üks müügiargumente on see, et see suudab käsitleda kuni 100,000 XNUMX märgist koosnevate koodijadade sisendit ja väljundit. See tähendab, et saate mudelit küsida paljude koodiridadega ja võite saada üksikasjaliku vastuse.

"Peale selle, et see on pikemate programmide genereerimise eeltingimus, avab pikemad sisestusjadad LLM-koodi jaoks põnevaid uusi kasutusjuhtumeid," selgitas Meta. "Näiteks saavad kasutajad pakkuda mudelile oma koodibaasist rohkem konteksti, et muuta põlvkonnad asjakohasemaks. See aitab ka silumistsenaariume suuremates koodibaasides, kus konkreetse probleemiga seotud koodiga kursis püsimine võib arendajatele olla keeruline.

Kasutajad saavad pakkuda mudelile oma koodibaasist rohkem konteksti, et muuta põlvkonnad asjakohasemaks

Code Llama liitub kasvava koodiga tuttavate mudelite valdkonnaga, mille algselt külvasid OpenAI Codex ja GitHubi seotud kohtuvaidlustega koormatud Copilot (2021) programmeerimissoovituste teenus. Järgnevad programmeerimispositiivsed mudelid hõlmavad DeepMind'i Alfakood (2022), OpenAI GPT-4 (2023), Amazon Koodisosistaja (2023) ja Google'i Bard (2023), häälestatud aprillis genereerida lähtekood.

Lisaks on olnud mitmesuguseid avatud lähtekoodiga (või omamoodi avatud) LLM-e nagu StarCoder ja XGen, kui nimetada kahte.

Meta on sama all välja andnud Code Llama kogukonna litsents nagu Llama 2, viidates megakorporatsiooni usule „avatud lähenemisse tehisintellektile”, mis on parim viis uuenduslike, ohutute ja vastutustundlike tööriistade väljatöötamiseks.

Kuid nagu Llama 2 puhul laialdaselt märgiti, on kogukonna litsents ei ole avatud lähtekoodiga litsents. Meta "avatud lähenemisviis" AI-le on konkurentsile suletud – litsents keelab selgesõnaliselt tarkvara kasutamise "mis tahes muu suure keelemudeli täiustamiseks".

Ja kuigi Meta kogukonnalitsents lubab selle erinevate laamade ärilist kasutamist, tõmbab see piiri teenustele, millel on "rohkem kui 700 miljonit igakuist aktiivset kasutajat".

Seda pigem vali grupp megateenustest – YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat ja Douyin, sotsiaalmeedia platvormide hulgas, mida Meta veel ei halda, ning arvatavasti ettevõtted, mis kasutavad operatsioonisüsteemipõhiseid platvorme nagu Apple, Google ja Microsoft – peavad taotlema Meta litsents, mille Meta võib teile anda oma äranägemise järgi…” ®