Avoimet neuroverkot: tekoälyn ja web3:n leikkauspiste

Kirjailija: Rishin Sharma & Jake Brukhman

Erityiset kiitokset kaikille tästä kappaleesta palautetta antaneille, mukaan lukien Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Lähde: Tekoälyn luoma kuva Lexica.artista, vakaasta diffuusiohakukoneesta

Tekniset innovaatiot eivät koskaan lepää, ja tämä pätee erityisesti tekoälyyn. Viime vuosina olemme nähneet syväoppimismallien suosion nousevan uudelleen edelläkävijöiksi tekoälyssä. Kutsutaan myös nimellä hermoverkkoihinNämä mallit koostuvat tiiviisti yhteenliitetyistä solmukerroksista, jotka välittävät tietoa toistensa läpi jäljitellen karkeasti ihmisaivojen rakennetta. 2010-luvun alussa kehittyneimmissä malleissa oli miljoonia parametreja, voimakkaasti valvottuja malleja, joita käytettiin erityiseen tunteiden analysointiin ja luokitteluun. Nykypäivän edistyneimmät mallit, kuten unelma studio, GPT-3, DALL-E2ja Kuva lähestyvät biljoonaa parametria ja suorittavat monimutkaisia ​​ja jopa luovia tehtäviä, jotka kilpailevat ihmisen työn kanssa. Otetaan esimerkiksi tämän blogikirjoituksen otsikkokuva tai yhteenveto. Molemmat ovat tekoälyn tuottamia. Olemme vasta alkamassa nähdä näiden mallien sosiaaliset ja kulttuuriset vaikutukset, kun ne muokkaavat tapaa, jolla opimme uusia asioita, olemme vuorovaikutuksessa toistemme kanssa ja ilmaisemme itseämme luovasti.

Suurin osa teknisestä tietotiedosta, keskeisistä tietojoukoista ja laskennallisesta kyvystä kouluttaa suuria neuroverkkoja ovat kuitenkin nykyään suljetun lähdekoodin ja "Big Tech" -yritysten, kuten Googlen ja Metan, aidattua. Vaikka replika avoimen lähdekoodin malleja, kuten GPT-NeoX, DALLE-megaja KUKINTA ovat johtaneet organisaatiot, mukaan lukien VakausAI, Eleuther AIja HalaaKasvot, web3 on valmis lataamaan avoimen lähdekoodin tekoälyä entistä enemmän.

"Tekoälyn web3-infrastruktuurikerros voisi tuoda mukanaan elementtejä avoimen lähdekoodin kehityksestä, yhteisön omistajuudesta ja hallinnosta sekä yleisestä pääsystä, jotka luovat uusia malleja ja tehokkuuksia näiden uusien teknologioiden kehittämisessä."

Lisäksi monet web3:n kriittiset käyttötapaukset paranevat AI-tekniikoiden käyttöönoton myötä. From generatiivisen taiteen NFT:t metaversaalisiin maisemiin, tekoäly löytää monia käyttötapauksia web3:sta. Avoimen lähdekoodin tekoäly sopii web3:n avoimeen, hajautettuun ja demokratisoituun eetoosiin ja edustaa vaihtoehtoa Big Techin tarjoamalle tekoälylle, joka ei todennäköisesti avaudu lähiaikoina.

Perustusmallit ovat neuroverkkoja, jotka on koulutettu laajojen tietojoukkojen avulla suorittamaan tehtäviä, jotka normaalisti edellyttävät älykästä ihmisen käyttäytymistä. Nämä mallit ovat saaneet aikaan vaikuttavia tuloksia.

Kielimallit, kuten OpenAI GPT-3, Googlen LaMDAja Nvidian Megatron-Turing NLG on kyky ymmärtää ja tuottaa luonnollista kieltä, tiivistää ja syntetisoida tekstiä ja jopa kirjoittaa tietokonekoodia.

DALLE-2 on OpenAI:n tekstistä kuvaksi diffuusiomalli jotka voivat tuottaa ainutlaatuisia kuvia kirjoitetusta tekstistä. Googlen AI-divisioona DeepMind on tuottanut kilpailevia malleja, kuten PaLM, 540B-parametrikielimalli, ja Imagen, oma kuvanluontimalli, joka päihittää DALLE-2:n DrawBench- ja COCO FID Benchmarkissa. Imagen tuottaa huomattavasti fotorealistisempia tuloksia ja sillä on kyky kirjoittaa.

Vahvistusoppimismallit, kuten Googlen AlphaGo ovat voittaneet human Go -maailmanmestari samalla kun hän löytää uusia strategioita ja pelitekniikoita, joita ei ole tullut esiin pelin kolmen tuhannen vuoden historiassa.

Kilpailu monimutkaisten perusmallien rakentamisesta on jo alkanut Big Techin ollessa innovaatioiden eturintamassa. Niin jännittävää kuin alan edistyminen onkin, yksi keskeinen teema on huolestuttava.

Tekoälymalleista on viime vuosikymmenen aikana tullut entistä kehittyneempiä, ja niistä on myös tullut yhä enemmän suljettuja yleisöltä.

Teknologiajättiläiset investoivat voimakkaasti tällaisten mallien tuottamiseen ja tietojen ja koodin säilyttämiseen patentoituina teknologioina säilyttäen samalla kilpailukykynsä mallien koulutuksen ja laskennan mittakaavaetujen ansiosta.

Kaikille kolmansille osapuolille perusmallien tuottaminen on resursseja vaativa prosessi, jossa on kolme suurta pullonkaulaa: data, laskea, ja ansioita.

Täällä näemme web3-teemojen varhaisen tunkeutumisen joidenkin näiden ongelmien ratkaisemiseen.

Merkityt tietojoukot ovat kriittisiä tehokkaiden mallien rakentamisessa. Tekoälyjärjestelmät oppivat yleistämällä tietojoukoissa olevista esimerkeistä ja kehittyvät jatkuvasti, kun niitä koulutetaan ajan myötä. Laadukas tietoaineiston kokoaminen ja merkitseminen edellyttävät kuitenkin laskentaresurssien lisäksi erikoisosaamista ja käsittelyä. Suurilla teknologiayrityksillä on usein sisäisiä tietoryhmiä, jotka ovat erikoistuneet työskentelemään suurten, omien tietokokonaisuuksien ja IP-järjestelmät kouluttaa mallejaan, ja heillä on vain vähän kannustimia avata pääsyä tietojensa tuotantoon tai jakeluun.

Jo nyt on yhteisöjä, jotka tekevät mallikoulutuksesta avoimia ja saavutettavia maailmanlaajuiselle tutkijayhteisölle. Tässä muutamia esimerkkejä:

1. Yleinen indeksointi, joka on julkinen kymmenen vuoden Internet-tietojen arkisto, voidaan käyttää yleiskoulutukseen. (Vaikka tutkimus osoittaa että tarkemmat, paritetut tietojoukot voivat parantaa yleistä verkkotunnusten välistä tietämystä ja mallien loppupään yleistysominaisuuksia.)
2. LAION on voittoa tavoittelematon organisaatio, jonka tavoitteena on saattaa suuren mittakaavan koneoppimismallit ja -tietojoukot yleisön saataville ja julkaista LAION5B, 5.85 miljardin CLIP-suodatettu kuva-teksti-paritietojoukko, josta tuli julkaisun jälkeen maailman suurin avoimesti saatavilla oleva kuva-tekstitietojoukko.
3. Eleuther AI on hajautettu kollektiivi, joka julkaisi yhden suurimmista avoimen lähdekoodin tekstitietojoukoista nimeltä Kasa. Pile on 825.18 GiB:n englanninkielinen tietojoukko kielten mallintamiseen, joka käyttää 22 eri tietolähdettä.

Tällä hetkellä nämä yhteisöt ovat järjestäytyneet epävirallisesti ja tukeutuvat laajan vapaaehtoispohjan panoksiin. Heidän ponnistelunsa tehostamiseksi tunnuspalkkioita voidaan käyttää mekanismina avoimen lähdekoodin tietojoukkojen luomiseen. Tunnuksia voitaisiin lähettää panoksen perusteella, kuten suuren tekstikuvatietojoukon merkitsemisen perusteella, ja DAO-yhteisö voisi vahvistaa tällaiset väitteet. Lopulta suuret mallit voivat antaa tunnuksia yhteisestä poolista, ja loppupään tulot mainittujen mallien päälle rakennetuista tuotteista voivat kertyä tunnuksen arvoon. Tällä tavalla tietojoukon avustajat voivat osallistua suuriin malleihin tokenien avulla ja tutkijat voivat kaupallistaa rakennusresursseja avoimesti.

Hyvin rakennettujen avoimen lähdekoodin tietojoukkojen kokoaminen on ratkaisevan tärkeää suurten mallien tutkimuksen saatavuuden laajentamiseksi ja mallien suorituskyvyn parantamiseksi. Tekstikuvatietojoukkoja voidaan laajentaa lisäämällä erityyppisten kuvien kokoa ja suodattimia hienosäädetympien tulosten saamiseksi. Ei-englanninkielisiä tietojoukkoja tarvitaan luonnollisen kielen mallien koulutukseen, joita ei-englanninkieliset väestöt voivat käyttää. Ajan myötä voimme saavuttaa nämä tulokset paljon nopeammin ja avoimemmin käyttämällä web3-lähestymistapaa.

Laajamittainen neuroverkkojen kouluttamiseen tarvittava laskenta on yksi suurimmista perustusmallien pullonkauloista. Viime vuosikymmenen aikana on ollut kysyntää laskennalle koulutuksen tekoälymalleissa kaksinkertaistui 3.4 kuukauden välein. Tänä aikana tekoälymallit ovat edenneet kuvantunnistuksesta vahvistusoppimisalgoritmien käyttöön, voittamaan ihmismestareita strategiapeleissä ja hyödyntämään muuntajia kielimallien kouluttamisessa. Esimerkiksi OpenAI:n GPT-3:ssa oli 175 miljardia parametria ja sen harjoittelu kesti 3,640 XNUMX petaFLOPS-päivää. Tämä kestäisi kaksi viikkoa maailman nopeimmalla supertietokoneella ja yli vuosituhannen tavallisen kannettavan tietokoneen laskemiseen. Koska mallikoot vain kasvavat, laskeminen on edelleen pullonkaula alan kehityksessä.

Tekoälysupertietokoneet vaativat erityisiä laitteistoja, jotka on optimoitu suorittamaan neuroverkkojen opettamiseen tarvittavia matemaattisia operaatioita, kuten grafiikkaprosessointiyksiköitä (GPU) tai sovelluskohtaisia ​​integroituja piirejä (ASIC). Nykyään useimpia oligopolistisia pilvipalveluntarjoajia, kuten Google Cloud, Amazon Web Services, Microsoft Azure ja IBM Cloud, hallitsevat useimmat tämäntyyppiseen laskentaan optimoiduista laitteistoista.

Tämä on seuraava suuri risteys, jossa näemme hajautetun laskennan allokoinnin julkisten, avoimien verkkojen kautta saamassa vetoa. Hajautettua hallintoa voidaan käyttää rahoittamaan ja jakamaan resursseja yhteisölähtöisten hankkeiden kouluttamiseen. Lisäksi hajautettu markkinapaikkamalli voi olla avoimesti saatavilla eri maantieteellisillä alueilla siten, että kuka tahansa tutkija voi käyttää laskentaresursseja. Kuvittele palkkiojärjestelmä, joka rahoittaa mallikoulutusta antamalla rahakkeita. Onnistuneet joukkorahoitukset saavat mallinsa etusijalla ja vievät innovaatioita eteenpäin siellä, missä kysyntä on suuri. Jos esimerkiksi DAO:lla on huomattava kysyntä tuottaa espanjalainen tai hindilainen GPT-malli palvelemaan suurempia väestöryhmiä, tutkimus voidaan keskittyä kyseiseen alueeseen.

Jo yritykset pitävät GenSyn työskentelevät käynnistääkseen protokollia, jotka kannustavat ja koordinoivat vaihtoehtoisten, kustannustehokkaiden ja pilvipohjaisten laitteistojen käyttöä syväoppimisen laskennassa. Ajan myötä web3-infrastruktuurilla rakennettu jaettu, hajautettu globaali laskentaverkko tulee kustannustehokkaammaksi skaalautumaan ja palvelee meitä paremmin, kun tutkimme yhdessä tekoälyn rajoja.

Tietojoukot ja laskenta mahdollistavat tämän opinnäytetyön: avoimen lähdekoodin tekoälymallit. Muutaman viime vuoden aikana suuret mallit ovat tulleet yhä yksityisemmiksi, sillä niiden tuottamiseen tarvittavat resurssisijoitukset ovat saaneet hankkeita suljetuiksi.

Ota OpenAI. OpenAI on perustettu vuonna 2015 voittoa tavoittelematon tutkimuslaboratorio, jonka tehtävänä on tuottaa yleistä tekoälyä koko ihmiskunnan hyödyksi, mikä on jyrkkä vastakohta tekoälyn silloisille johtajille Googlelle ja Facebookille. Ajan myötä kova kilpailu ja rahoituspaineet ovat heikentäneet avoimuuden ja avoimen lähdekoodin ihanteita, kun OpenAI on siirtynyt voittoa tavoitteleva malli ja allekirjoitti massiivisen Miljardin dollarin kaupallinen sopimus Microsoftin kanssa. Lisäksi viimeaikaiset kiistat ovat ympäröineet heidän tekstistä kuvaksi -mallia, DALLE-2, sen yleisen sensuurin vuoksi. (Esimerkiksi DALLE-2 on kieltänyt termit "ase", "teloittaa", "hyökkäys", "Ukraina" ja kuvat julkkiksista; tällainen karkea sensuuri estää kehotteita, kuten "Lebron James hyökkää koriin" tai "ohjelmoija suorittaa Näiden mallien yksityisen beta-version käyttö mahdollistaa länsimaisten käyttäjien implisiittisen maantieteellisen harhan, joka estää suuria osia maailman väestöstä olemasta vuorovaikutuksessa ja tiedottamasta näitä malleja.

Tekoälyä ei näin pitäisi levittää: muutaman suuren teknologiayrityksen vartioi, valvo ja säilyttää. Kuten lohkoketjun tapauksessa, uutta teknologiaa tulisi soveltaa mahdollisimman tasapuolisesti, jotta sen hyödyt eivät keskittyisi niihin harvoihin, joilla on pääsy. Tekoälyn monimutkaista kehitystä olisi hyödynnettävä avoimesti eri toimialoilla, maantieteellisillä alueilla ja yhteisöissä, jotta voidaan yhdessä löytää kiinnostavimmat käyttötapaukset ja päästä yhteisymmärrykseen tekoälyn oikeudenmukaisesta käytöstä. Säätiömallien pitäminen avoimena lähdekoodina voi varmistaa, että sensuuri estetään ja puolueellisuutta seurataan huolellisesti julkisesti.

Yleisten perustusmallien tunnusrakenteella on mahdollista koota suurempi joukko avustajia, jotka voivat ansaita rahaa työnsä julkaisemalla avoimen lähdekoodin koodia. OpenAI:n kaltaisten avoimen lähdekoodin opinnäytetyötä ajatellen rakennettujen projektien on täytynyt kääntyä itsenäiseksi rahoitetuksi yritykseksi kilpaillakseen kyvyistä ja resursseista. Web3 mahdollistaa avoimen lähdekoodin hankkeiden olevan taloudellisesti yhtä kannattavia ja kilpailla edelleen Big Techin yksityisten investointien johtamien projektien kanssa. Lisäksi innovaattorit, jotka rakentavat tuotteita avoimen lähdekoodin mallien päälle, voivat rakentaa luottavaisin mielin, että taustalla oleva tekoäly on läpinäkyvä. Tämän loppupään vaikutus on uusien tekoälyn käyttötapausten nopea käyttöönotto ja markkinoilletulo. Web3-tilassa tämä sisältää tietoturvasovellukset jotka tekevät ennakoivaa analytiikkaa älykkäiden sopimusten haavoittuvuuksille ja mattovedoille, kuvan generaattorit joita voidaan käyttää NFT:iden lyömiseen ja metaversumimaisemien luomiseen, digitaalisia AI-persoonallisuuksia jotka voivat olla olemassa ketjussa yksittäisen omistuksen säilyttämiseksi ja paljon muuta.

Tekoäly on yksi nopeimmin kehittyvistä teknologioista nykyään, jolla on valtavia vaikutuksia koko yhteiskuntaamme. Nykyään alaa hallitsee iso teknologia, sillä taloudelliset investoinnit kykyihin, dataan ja laskentaan luovat merkittäviä esteitä avoimen lähdekoodin kehitykselle. Web3:n integrointi tekoälyn infrastruktuurikerrokseen on ratkaiseva askel sen varmistamiseksi, että tekoälyjärjestelmät rakennetaan reilulla, avoimella ja helposti saavutettavissa olevalla tavalla. Näemme jo avoimien mallien ottavan nopean julkisen innovaation aseman avoimissa tiloissa, kuten Twitter ja HuggingFace, ja kryptotekniikka voi tehostaa näitä pyrkimyksiä eteenpäin.

Tässä on mitä CoinFund-tiimi etsii tekoälyn ja krypton risteyksestä:

1. Tiimit, joilla on avoin tekoäly tehtävänsä ytimessä
2. Yhteisöt, jotka kuroivat julkisia resursseja, kuten dataa ja laskentaa auttaakseen tekoälymallien rakentamisessa
3. Tuotteet, jotka käyttävät tekoälyä tuomaan luovuutta, turvallisuutta ja innovaatioita valtavirtaan

Jos rakennat projektia tekoälyn ja web3:n risteyskohdassa, keskustele kanssamme ottamalla yhteyttä CoinFundiin osoitteessa Twitter tai sähköpostitse rishin@coinfund.io or jake@coinfund.io.