Nyílt neurális hálózatok: az AI és a web3 metszéspontja

írta: Rishin Sharma és Jake Brukhman.

Külön köszönet mindenkinek, aki visszajelzést adott erről a darabról, beleértve Nick Yakovenko-t, David Pakmant, Jan Coppenst, AC-t, Evan Feng-t, Adi Sidemant.

Forrás: mesterséges intelligencia által generált kép a Lexica.art stabil diffúziós keresőmotorból

A technológiai innováció soha nem nyugszik, és ez különösen igaz a mesterséges intelligenciára. Az elmúlt néhány évben azt tapasztaltuk, hogy a mély tanulási modellek népszerűsége újból előfutára vált az AI-ban. Más néven neurális hálózatok, ezek a modellek egymással sűrűn összefüggő csomópontrétegekből állnak, amelyek információt adnak át egymáson, nagyjából utánozva az emberi agy felépítését. A 2010-es évek elején a legfejlettebb modellek több millió paraméterrel rendelkeztek, erősen felügyelt modelleket használtak konkrét hangulatelemzésre és osztályozásra. A mai legfejlettebb modellek, mint pl álom stúdió, GPT-3, DALL-E2és Kép egybillió paraméterhez közelítenek, és olyan összetett, sőt kreatív feladatokat hajtanak végre, amelyek az emberi munkával vetekednek. Vegyük például ennek a blogbejegyzésnek a fejlécét vagy összefoglalóját. Mindkettőt mesterséges intelligencia állította elő. Még csak most kezdjük meglátni e modellek társadalmi és kulturális vonatkozásait, ahogy alakítják azt, hogyan tanulunk új dolgokat, hogyan lépünk kapcsolatba egymással, és hogyan fejezzük ki magunkat kreatívan.

A technikai know-how, a kulcsfontosságú adatkészletek és a nagy neurális hálózatok betanításához szükséges számítási képességek nagy része azonban manapság zárt forráskódú, és a „Big Tech” cégek, például a Google és a Meta által biztosítottak. Míg a replika nyílt forráskódú modellek, mint pl GPT-NeoX, DALLE-megaés VIRÁGZÁS olyan szervezetek álltak az élen, mint pl StabilitásAI, Eleuther AIés HuggingFace, a web3 készen áll arra, hogy még jobban feltöltse a nyílt forráskódú AI-t.

„A mesterséges intelligencia web3-as infrastrukturális rétege bevezetheti a nyílt forráskódú fejlesztés, a közösségi tulajdonlás és irányítás, valamint az egyetemes hozzáférés elemeit, amelyek új modelleket és hatékonyságot teremtenek ezen új technológiák fejlesztésében."

Ezenkívül a web3 számos kritikus felhasználási esetét továbbfejleszti az AI-technológiák alkalmazása. Tól től generatív művészeti NFT-k A metaverzális tájakon az AI számos felhasználási esetet talál a web3-ban. A nyílt forráskódú mesterséges intelligencia illeszkedik a web3 nyílt, decentralizált és demokratizált szellemiségébe, és a Big Tech által kínált mesterséges intelligencia alternatíváját képviseli, amely valószínűleg nem válik egyhamar nyílttá.

Alapozó modellek olyan neurális hálózatok, amelyek kiterjedt adatkészletekre vannak kiképezve, hogy olyan feladatokat hajtsanak végre, amelyek általában intelligens emberi viselkedést igényelnek. Ezek a modellek lenyűgöző eredményeket hoztak.

Nyelvi modellek, mint például az OpenAI GPT-3, A Google LaMDAés Az Nvidia Megatron-Turing NLG-je képes a természetes nyelv megértésére és előállítására, szöveg összefoglalására és szintetizálására, sőt írjon számítógépes kódot.

A DALLE-2 az OpenAI szöveg-kép diffúziós modell amelyek egyedi képeket tudnak előállítani írott szövegből. A Google mesterséges intelligencia részlege, a DeepMind olyan versengő modelleket készített, mint a PaLM, egy 540B paraméterű nyelvi modell, és az Imagen, saját képgeneráló modell, amely felülmúlja a DALLE-2-t a DrawBench és a COCO FID Benchmarkokon. Az Imagen különösen fotorealisztikusabb eredményeket produkál, és képes a helyesírásra.

Megerősítő tanulási modellek, mint például a Google AlphaGo legyőzték a human Go világbajnok miközben olyan újszerű stratégiákat és játéktechnikákat fedez fel, amelyek a játék háromezer éves története során még nem jelentek meg.

Az összetett alapozási modellek megépítéséért folytatott verseny már elkezdődött, a Big Tech az innováció élvonalában. Bármilyen izgalmas is a terület előrehaladása, van egy kulcsfontosságú téma, amely aggodalomra ad okot.

Az elmúlt évtizedben az AI-modellek kifinomultabbá válásával a nyilvánosság előtt is egyre zártabbakká váltak.

A technológiai óriáscégek jelentős összegeket fektetnek be ilyen modellek előállításába, valamint az adatok és kódok szabadalmaztatott technológiaként való megőrzésébe, miközben megőrzik versenyképességüket a méretgazdaságossági előnyök révén a modellképzés és -számítás terén.

Bármely harmadik fél számára az alapozómodellek készítése erőforrás-igényes folyamat, amelynek három fő szűk keresztmetszete van: adat, számítás, és a bevételszerzési.

Itt láthatjuk a web3-as témák korai betörését néhány ilyen probléma megoldásában.

A címkézett adatkészletek kritikusak a hatékony modellek felépítéséhez. Az AI-rendszerek az adathalmazokon belüli példákból általánosítva tanulnak, és folyamatosan fejlődnek, ahogyan idővel betanítják őket. A minőségi adatkészlet-összeállítás és címkézés azonban a számítási erőforrások mellett speciális ismereteket és feldolgozást igényel. A nagy technológiai vállalatok gyakran rendelkeznek belső adatcsoportokkal, amelyek nagy, szabadalmaztatott adatkészletekkel való munkavégzésre specializálódtak IP rendszerek modelljeik képzésére, és kevés ösztönzést kapnak arra, hogy nyílt hozzáférést biztosítsanak adataik előállításához vagy terjesztéséhez.

Már vannak olyan közösségek, amelyek a modellképzést nyitottá és elérhetővé teszik a kutatók globális közössége számára. Íme néhány példa:

1. Közös feltérképezés, tíz éves internetes adatok nyilvános tárháza, általános képzésre használható. (Bár a kutatás azt mutatja hogy a precízebb, párosított adatkészletek javíthatják a modellek általános tartományok közötti tudását és a későbbi általánosítási képességeit.)
2. LAION egy non-profit szervezet, amelynek célja nagyszabású gépi tanulási modellek és adatkészletek elérhetővé tétele és közzététele a nagyközönség számára LAION5B, egy 5.85 milliárd CLIP-szűrésű kép-szöveg pár adatkészlet, amely a kiadáskor a legnagyobb nyíltan elérhető kép-szöveg adatkészlet lett a világon.
3. Eleuther AI egy decentralizált kollektíva, amely kiadta az egyik legnagyobb nyílt forráskódú szöveges adatkészletet A halom. A Pile egy 825.18 GiB-os angol nyelvű adatkészlet nyelvi modellezéshez, amely 22 különböző adatforrást használ.

Jelenleg ezek a közösségek informálisan szerveződnek, és széles önkéntes bázis hozzájárulásaira támaszkodnak. Erőfeszítéseik fokozására a token jutalmak használhatók nyílt forráskódú adatkészletek létrehozására. A tokenek kibocsátása olyan hozzájárulások alapján történhet, mint például egy nagy szöveg-kép adatkészlet címkézése, és egy DAO közösség ellenőrizheti az ilyen állításokat. Végső soron a nagy modellek tokeneket bocsáthatnak ki egy közös készletből, és az említett modellekre épülő termékekből származó downstream bevételek gyarapodhatnak a token értékében. Ily módon az adathalmazok közreműködői tokenjeik révén részesedést szerezhetnek a nagy modellekben, a kutatók pedig pénzt szerezhetnek az épület erőforrásaiból a szabadban.

A jól felépített nyílt forráskódú adatkészletek összeállítása kritikus fontosságú a nagy modellek kutatási hozzáférhetőségének bővítéséhez és a modellek teljesítményének javításához. A szöveges kép adatkészletek bővíthetők a méret és a szűrők növelésével a különböző típusú képekhez a finomabb eredmények érdekében. Nem angol nyelvű adatkészletekre lesz szükség a természetes nyelvi modellek képzéséhez, amelyeket a nem angolul beszélő lakosság is használhat. Idővel ezeket az eredményeket sokkal gyorsabban és nyíltabban érhetjük el web3 megközelítéssel.

A nagyméretű neurális hálózatok betanításához szükséges számítás az alapmodellek egyik legnagyobb szűk keresztmetszete. Az elmúlt évtizedben megnőtt az igény a számítástechnika iránt a mesterséges intelligencia modellek oktatásában 3.4 havonta megduplázódott. Ebben az időszakban az AI-modellek a képfelismeréstől a megerősítő tanulási algoritmusok használatán át a stratégiai játékokban az emberi bajnokok legyőzéséig, valamint a transzformátorok felhasználásáig jutottak el a nyelvi modellek betanításához. Például az OpenAI GPT-3-nak 175 milliárd paramétere volt, és 3,640 petaFLOPS-napot vett igénybe a betanítás. A világ leggyorsabb szuperszámítógépén ez két hétig, egy szabványos laptopon pedig több mint egy évezredig tartana. Mivel a modellméretek csak tovább nőnek, a számítástechnika továbbra is szűk keresztmetszetet jelent a terület fejlődésében.

Az AI szuperszámítógépekhez speciális hardverre van szükség, amelyet a neurális hálózatok betanításához szükséges matematikai műveletek elvégzésére optimalizáltak, mint például a grafikus feldolgozó egységek (GPU) vagy az alkalmazás-specifikus integrált áramkörök (ASIC). Ma az ilyen típusú számításokhoz optimalizált hardverek többségét néhány oligopolisztikus felhőszolgáltató vezérli, mint például a Google Cloud, az Amazon Web Services, a Microsoft Azure és az IBM Cloud.

Ez a következő nagy kereszteződés, ahol azt látjuk, hogy a nyilvános, nyílt hálózatokon keresztüli decentralizált számítási elosztás egyre nagyobb teret hódít. A decentralizált kormányzás felhasználható a közösség által vezérelt projektek képzésére és források elosztására. Ezenkívül egy decentralizált piaci modell nyíltan elérhető a különböző földrajzi területeken, így bármely kutató hozzáférhet a számítási erőforrásokhoz. Képzeljünk el egy jutalomrendszert, amely tokenek kibocsátásával finanszírozza a modellképzést. A sikeres közösségi finanszírozások prioritást élveznek a modelljükhöz, és előmozdítják az innovációkat ott, ahol nagy a kereslet. Például, ha jelentős igény mutatkozik a DAO részéről egy spanyol vagy hindi GPT-modell előállítására a lakosság nagyobb rétegeinek kiszolgálására, a kutatás erre a területre összpontosíthat.

Már a cégek szeretik GenSyn protokollok bevezetésén dolgoznak, hogy ösztönözzék és koordinálják az alternatív, költséghatékony és felhőalapú hardver-hozzáférést a mély tanulási számításokhoz. Idővel a web3 infrastruktúrával felépített, megosztott, decentralizált globális számítási hálózat költséghatékonyabbá válik, és jobban ki fog szolgálni minket, miközben közösen kutatjuk a mesterséges intelligencia határait.

Az adatkészletek és a számítások lehetővé teszik ezt a dolgozatot: nyílt forráskódú AI modellek. Az elmúlt néhány évben a nagy modellek egyre inkább magánjellegűvé váltak, mivel az előállításukhoz szükséges erőforrás-befektetések miatt a projektek zárt forráskódúvá válnak.

Vegyük az OpenAI-t. Az OpenAI 2015-ben alakult nonprofit kutatólaboratóriumként, amelynek küldetése általános mesterséges intelligencia előállítása az egész emberiség javára, éles kontraszt az AI akkori vezetőitől, a Google-tól és a Facebooktól. Az idő múlásával az éles verseny és a finanszírozási nyomás aláásta az átláthatóság és a nyílt forráskódú kód eszméit, ahogy az OpenAI a profitorientált modell és aláírt egy hatalmas 1 milliárd dolláros kereskedelmi megállapodás a Microsofttal. Ezenkívül a közelmúltban viták övezték a szöveg-kép modellt, a DALLE-2-t, általánosított cenzúrája miatt. (Például a DALLE-2 betiltotta a „fegyver”, „végrehajtás”, „támadás”, „Ukrajna” kifejezéseket és a hírességek képeit; az ilyen durva cenzúra megakadályozza az olyan felszólításokat, mint „Lebron James megtámadja a kosarat” vagy „programozó végrehajt egy kódsor”.) Ezeknek a modelleknek a privát béta verziójához való hozzáférés implicit földrajzi torzítással jár a nyugati felhasználók számára, hogy a globális lakosság nagy részét elzárják attól, hogy interakciót és tájékoztatást kapjanak ezekkel a modellekkel.

A mesterséges intelligenciát nem így kell terjeszteni: néhány nagy technológiai cégnek őrzi, felügyeli és megőrzi. A blokklánchoz hasonlóan az új technológiát a lehető legméltányosabban kell alkalmazni, hogy előnyei ne koncentrálódjanak azon kevesek közé, amelyek hozzáférhetnek. A mesterséges intelligencia terén elért előrehaladást nyíltan ki kell használni a különböző iparágakban, földrajzi területeken és közösségekben, hogy közösen felfedezzék a legérdekesebb felhasználási eseteket, és konszenzusra jussanak a mesterséges intelligencia méltányos használatáról. Az alapítványi modellek nyílt forráskódú megőrzése biztosíthatja a cenzúra megakadályozását és az elfogultság gondos figyelemmel kísérését a nyilvánosság előtt.

Az általánosított alapmodellek token-struktúrájával lehetővé válik a közreműködők nagyobb csoportjának összevonása, akik bevételt szerezhetnek munkájukkal, miközben nyílt forráskódú kódot adnak ki. Az olyan projekteknek, mint az OpenAI, amelyet nyílt forráskódú tézisek szem előtt tartásával építettek, önálló finanszírozású vállalattá kellett válniuk, hogy versenyezzenek a tehetségekért és az erőforrásokért. A Web3 lehetővé teszi, hogy a nyílt forráskódú projektek pénzügyileg ugyanolyan jövedelmezőek legyenek, és tovább versenyezzenek azokkal, amelyeket a Big Tech magánbefektetései vezetnek. Ezenkívül a nyílt forráskódú modellekre termékeket építő innovátorok magabiztosan építhetik fel a mögöttes mesterséges intelligencia átláthatóságát. Ennek downstream hatása az új mesterséges intelligencia-használati esetek gyors elfogadása és piacra kerülése lesz. A web3 térben ez magában foglalja biztonsági alkalmazások amelyek prediktív elemzést végeznek az intelligens szerződések sebezhetőségeire és a szőnyegre vonásokra vonatkozóan, képgenerátorok amelyek felhasználhatók NFT-k készítésére és metaverzum tájak létrehozására, digitális AI személyiségek amelyek a láncon belül létezhetnek az egyéni tulajdon megőrzése érdekében, és még sok más.

A mesterséges intelligencia napjaink egyik leggyorsabban fejlődő technológiája, amely óriási hatással lesz társadalmunk egészére. Ma a területet a nagy technológia uralja, mivel a tehetségekbe, az adatokba és a számítástechnikába történő pénzügyi befektetések jelentős akadályokat képeznek a nyílt forráskódú fejlesztések előtt. A web3 integrálása a mesterséges intelligencia infrastrukturális rétegébe kulcsfontosságú lépés annak biztosítására, hogy a mesterséges intelligencia rendszerek tisztességes, nyitott és hozzáférhető módon épüljenek fel. Már most látjuk, hogy a nyílt modellek gyors, nyilvános innovációs pozíciót foglalnak el az olyan nyílt tereken, mint a Twitter és a HuggingFace, és a kriptográfia felerősítheti ezeket az erőfeszítéseket.

Íme, mit keres a CoinFund csapata az AI és a kriptográfia találkozásánál:

1. Nyílt mesterséges intelligenciával rendelkező csapatok küldetésük középpontjában
2. Olyan közösségek, amelyek nyilvános erőforrásokat, például adatokat és számításokat gyűjtenek, hogy segítsenek AI-modellek felépítésében
3. Olyan termékek, amelyek mesterséges intelligenciát használnak a kreativitás, a biztonság és az innováció általánossá tételére

Ha az AI és a web3 találkozási pontján épít egy projektet, csevegjen velünk a CoinFund segítségével Twitter vagy e-mail rishin@coinfund.io or jake@coinfund.io.