LLM Apocalypse Now: Revenge Of The Open Source Clones - KDnuggets

Taasavaldanud Platon

järgijaid: 0

LLM-i apokalüpsis nüüd: avatud lähtekoodiga kloonide kättemaks

Pilt Adobe Fireflyst

"Meid oli liiga palju. Meil oli juurdepääs liiga palju raha, liiga palju varustust ja tasapisi läksime hulluks.

Francis Ford Coppola ei loonud metafoori tehisintellekti ettevõtetele, kes kulutavad liiga palju ja eksivad, kuid ta oleks võinud olla. Apokalüpsis nüüd oli eepiline, kuid ka pikk, raske ja kallis projekt, sarnaselt GPT-4-ga. Ma pakun, et LLM-ide arendamine on toonud kaasa liiga palju raha ja liiga palju seadmeid. Ja mõned "me just leiutasime üldise luure" hüpe on natuke hullumeelne. Kuid nüüd on avatud lähtekoodiga kogukondade kord teha seda, mida nad kõige paremini oskavad: tarnida tasuta konkureerivat tarkvara, kasutades palju vähem raha ja seadmeid.

OpenAI on rahastanud 11 miljardit dollarit ja hinnanguliselt maksab GPT-3.5 5–6 miljonit dollarit treeningu kohta. Me teame GPT-4-st väga vähe, sest OpenAI ei ütle midagi, kuid arvan, et on ohutu eeldada, et see ei ole väiksem kui GPT-3.5. Praegu valitseb ülemaailmne GPU-puudus ja vahelduseks ei ole selle põhjuseks uusim krüptocoin. Generatiivsed tehisintellekti idufirmad teenivad A-seeria üle 100 miljoni dollari ja hindavad tohutult, kui neil ei ole oma toote toiteks kasutatava LLM-i IP-d. LLM-i vagunid on kõrgel käigul ja raha liigub.

It had looked like the die was cast: only deep-pocketed companies like Microsoft/OpenAI, Amazon, and Google could afford to train hundred-billion parameter models. Bigger models were assumed to be better models. GPT-3 got something wrong? Just wait until there's a bigger version and it’ll all be fine! Smaller companies looking to compete had to raise far more capital or be left building commodity integrations in the ChatGPT marketplace. Academia, with even more constrained research budgets, was relegated to the sidelines.

Õnneks võttis hulk nutikaid inimesi ja avatud lähtekoodiga projekte seda pigem väljakutse kui piiranguna. Stanfordi teadlased andsid välja Alpaca, 7 miljardi parameetriga mudeli, mille jõudlus on lähedane GPT-3.5 175 miljardi parameetriga mudelile. Kuna OpenAI kasutatava suurusega koolituskomplekti koostamiseks puudusid vahendid, otsustasid nad nutikalt kasutada väljaõppinud avatud lähtekoodiga LLM-i, LLaMA, ja selle asemel peenhäälestada GPT-3.5 viipade ja väljundite seeriat. Põhimõtteliselt sai mudel teada, mida teeb GPT-3.5, mis osutub väga tõhusaks strateegiaks selle käitumise kordamiseks.

Alpaca on litsentsitud ainult mitteäriliseks kasutamiseks nii koodis kui ka andmetes, kuna see kasutab avatud lähtekoodiga mitteärilist LLaMA mudelit ja OpenAI keelab selgesõnaliselt oma API-de kasutamise konkureerivate toodete loomiseks. See loob ahvatleva väljavaate erineva avatud lähtekoodiga LLM-i peenhäälestamiseks Alpaca juhiste ja väljundi alusel… luues kolmanda GPT-3.5-laadse mudeli erinevate litsentsimisvõimalustega.

Siin on veel üks irooniakiht, kuna kõik suuremad LLM-id said väljaõppe Internetis saadaolevate autoriõigustega kaitstud tekstide ja piltide kohta ning nad ei maksnud õiguste omanikele sentigi. Ettevõtted väidavad, et USA autoriõiguse seaduse alusel on „õiglase kasutamise” erand, väites, et kasutus on „muutev”. Kui aga rääkida nende tasuta andmetega ehitatud mudelite väljundist, siis nad tõesti ei taha, et keegi neile sama asja teeks. Loodan, et see muutub, kui õiguste valdajad aru saavad, ja võib ühel hetkel kohtusse jõuda.

See on eraldiseisev punkt sellest, mille tõstatasid piirava litsentsiga avatud lähtekoodiga autorid, kes on koodi generatiivsete AI jaoks mõeldud toodete puhul, nagu CoPilot, vastu nende koodi kasutamisele koolituseks, kuna litsentsi ei järgita. Üksikute avatud lähtekoodiga autorite probleem seisneb selles, et nad peavad end tõestama – sisulist kopeerimist – ja et nad on kandnud kahju. Ja kuna mudelid muudavad väljundkoodi ja sisendi sidumise keeruliseks (autori lähtekoodi read) ja majanduslikku kahju pole (see peaks olema tasuta), on juhtumit palju raskem teha. See on erinevalt kasumit taotlevatest loojatest (nt fotograafidest), kelle kogu ärimudel seisneb oma tööde litsentseerimises/müügis ja keda esindavad koondajad, nagu Getty Images, kes suudavad näidata sisulist kopeerimist.

Veel üks huvitav asi LLaMA juures on see, et see tuli Metast välja. Algselt avaldati see ainult teadlastele ja seejärel lekkis see BitTorrenti kaudu maailma. Meta tegevus on OpenAI-st, Microsoftist, Google'ist ja Amazonist põhimõtteliselt erinev, kuna see ei püüa teile pilveteenuseid ega tarkvara müüa ning seetõttu on tal väga erinevad stiimulid. See on varem kasutanud oma arvutuslahendusi avatud lähtekoodiga (OpenCompute) ja näinud, kuidas kogukond neid täiustab – mõistab avatud lähtekoodi väärtust.

Meta võib osutuda üheks kõige olulisemaks avatud lähtekoodiga tehisintellekti toetajaks. Sellel pole mitte ainult tohutuid ressursse, vaid sellest tuleb kasu ka suurepärase generatiivse AI-tehnoloogia levik: sellel on rohkem sisu, mida sotsiaalmeedias raha teenida. Meta on välja andnud veel kolm avatud lähtekoodiga AI mudelit: ImageBind (mitmemõõtmeline andmete indekseerimine), DINOv2 (arvutinägemine) ja Segment Anything. Viimane tuvastab unikaalsed objektid piltidel ja on välja antud väga lubava Apache litsentsi alusel.

Lõpuks lekkis ka väidetavalt Google'i sisedokument "Meil pole vallikraavi ega ka OpenAI-d", mis annab hämaras ülevaate suletud mudelitest võrreldes kogukondade innovatsiooniga, mis toodavad palju väiksemaid ja odavamaid mudeleid, mis toimivad samaväärselt või paremini. nende suletud lähtekoodiga kolleegid. Ütlen väidetavalt seetõttu, et pole võimalik kontrollida, et artikli allikas on Google'i sise. Siiski sisaldab see seda veenvat graafikut:

Vertikaalne telg on LLM-väljundite liigitus GPT-4 järgi.

Stable Diffusion, mis sünteesib pilte tekstist, on veel üks näide sellest, kus avatud lähtekoodiga generatiivne AI on suutnud areneda kiiremini kui patenteeritud mudelid. Selle projekti hiljutine iteratsioon (ControlNet) on seda täiustanud nii, et see on ületanud Dall-E2 võimalused. See tulenes suurest nokitsemisest üle kogu maailma, mille tulemuseks on edutempo, mida ühelgi institutsioonil on raske võrrelda. Mõned neist nokitsejatest leidsid, kuidas muuta Stable Diffusion kiiremini treenimiseks ja odavama riistvaraga töötamiseks, võimaldades lühemaid iteratsioonitsükleid rohkematel inimestel.

Ja nii olemegi jõudnud täisringi. Liiga palju raha ja varustuse puudumine on inspireerinud tervet tavainimeste kogukonda kavalal tasemel uuendusi. Milline aeg olla AI arendaja.

Mathew Lodge on AI For Code idufirma Diffblue tegevjuht. Tal on üle 25-aastane mitmekülgne kogemus tootejuhtimise alal sellistes ettevõtetes nagu Anaconda ja VMware. Lodge töötab praegu Good Law Projecti juhatuses ja on Royal Photography Society hoolekogu aseesimees.