Otwarte sieci neuronowe: skrzyżowanie AI i web3

autorstwa Rishina Sharmy i Jake'a Brukhmana.

Specjalne podziękowania dla wszystkich, którzy przekazali opinie na temat tego utworu, w tym dla Nicka Yakovenko, Davida Pakmana, Jana Coppensa, AC, Evan Feng, Adi Sideman.

Źródło: obraz wygenerowany przez sztuczną inteligencję z Lexica.art, stabilnej wyszukiwarki rozpowszechniania

Innowacje technologiczne nigdy nie odpoczywają, a dotyczy to zwłaszcza sztucznej inteligencji. W ciągu ostatnich kilku lat byliśmy świadkami ponownego wzrostu popularności modeli głębokiego uczenia się jako prekursorów sztucznej inteligencji. Nazywany również sieci neuronowe, modele te składają się z gęsto połączonych ze sobą warstw węzłów, które przekazują informacje między sobą, z grubsza naśladując budowę ludzkiego mózgu. Na początku 2010 roku najbardziej zaawansowane modele miały miliony parametrów, ściśle nadzorowanych modeli używanych do określonej analizy nastrojów i klasyfikacji. Dzisiejsze najbardziej zaawansowane modele, takie jak pracownia marzeń, GPT-3, DALL-E2, Obraz zbliżają się do jednego biliona parametrów i wykonują złożone, a nawet kreatywne zadania, które mogą konkurować z pracą ludzką. Weźmy na przykład obraz nagłówka lub podsumowanie tego posta na blogu. Oba zostały wyprodukowane przez sztuczną inteligencję. Dopiero zaczynamy dostrzegać społeczne i kulturowe implikacje tych modeli, które kształtują sposób, w jaki uczymy się nowych rzeczy, wchodzimy w interakcje i kreatywnie wyrażamy siebie.

Jednak znaczna część technicznego know-how, kluczowych zestawów danych i zdolności obliczeniowej do trenowania dużych sieci neuronowych ma dziś zamknięte źródło i jest udostępniana przez firmy „Big Tech”, takie jak Google i Meta. Podczas gdy replikowane są modele open source, takie jak GPT-NeoX, DALLE mega, BLOOM kierowane przez organizacje m.in StabilnośćAI, Eleuther AI, Przytulanie twarzy, web3 jest gotowy jeszcze bardziej doładować sztuczną inteligencję open source.

„Warstwa infrastruktury web3 dla sztucznej inteligencji mogłaby wprowadzić elementy rozwoju open source, własności społeczności i zarządzania oraz powszechnego dostępu, które tworzą nowe modele i wydajność w opracowywaniu tych nowych technologii."

Ponadto wiele krytycznych przypadków użycia web3 zostanie ulepszonych dzięki przyjęciu technologii sztucznej inteligencji. Z NFT sztuki generatywnej do metawersalnych krajobrazów, sztuczna inteligencja znajdzie wiele przypadków użycia w web3. Sztuczna inteligencja typu open source pasuje do otwartego, zdecentralizowanego i zdemokratyzowanego etosu web3 i stanowi alternatywę dla sztucznej inteligencji zapewnianej przez Big Tech, która prawdopodobnie nie zostanie otwarta w najbliższym czasie.

Modele fundamentów to sieci neuronowe przeszkolone na rozległych zbiorach danych w celu wykonywania zadań, które normalnie wymagałyby inteligentnego zachowania człowieka. Modele te dały imponujące wyniki.

Modele językowe, takie jak OpenAI GPT-3, LaMDA Google, Nvidia Megatron-Turing NLG mieć zdolność rozumienia i tworzenia języka naturalnego, streszczania i syntezy tekstu, a nawet napisać kod komputerowy.

DALLE-2 jest OpenAI model dyfuzji tekstu do obrazu które mogą tworzyć unikalne obrazy z tekstu pisanego. Dział sztucznej inteligencji Google DeepMind stworzył konkurencyjne modele, w tym PaLM, model języka parametrów 540B oraz Imagen, własny model generowania obrazów, który przewyższa DALLE-2 w testach porównawczych DrawBench i COCO FID. Imagen w szczególności daje bardziej fotorealistyczne wyniki i ma możliwość pisowni.

Modele uczenia się przez wzmacnianie, takie jak Google AlphaGo pokonali mistrz świata w człowieku Go jednocześnie odkrywając nowe strategie i techniki gry, które nie pojawiły się w trzytysięcznej historii gry.

Wyścig w budowaniu złożonych modeli fundamentów już się rozpoczął z Big Tech na czele innowacji. Choć postęp w tej dziedzinie jest ekscytujący, istnieje kluczowy temat, który budzi niepokój.

W ciągu ostatniej dekady, w miarę jak modele sztucznej inteligencji stawały się coraz bardziej wyrafinowane, stawały się one coraz bardziej zamknięte dla publiczności.

Giganci technologiczni dużo inwestują w tworzenie takich modeli i zachowanie danych i kodu jako zastrzeżonych technologii, jednocześnie zachowując swoją konkurencyjną fosę dzięki korzyściom skali w zakresie uczenia modeli i obliczeń.

Dla każdej strony trzeciej tworzenie modeli fundamentów jest procesem wymagającym dużych zasobów, z trzema głównymi wąskimi gardłami: dane, obliczenia, i Monetyzacji.

Oto, gdzie widzimy wczesne inwazje motywów web3 w rozwiązywaniu niektórych z tych problemów.

Oznaczone zestawy danych mają kluczowe znaczenie dla tworzenia efektywnych modeli. Systemy sztucznej inteligencji uczą się poprzez uogólnianie na przykładach w zbiorach danych i stale ulepszają się w miarę upływu czasu. Jednak kompilacja i etykietowanie zestawu danych wysokiej jakości wymaga specjalistycznej wiedzy i przetwarzania oprócz zasobów obliczeniowych. Duże firmy technologiczne często mają wewnętrzne zespoły danych specjalizujące się w pracy z dużymi, zastrzeżonymi zestawami danych i systemy IP trenować swoje modele i mają niewielką motywację do otwartego dostępu do produkcji lub dystrybucji swoich danych.

Istnieją już społeczności, które sprawiają, że szkolenie modelowe jest otwarte i dostępne dla globalnej społeczności badaczy. Oto kilka przykładów:

1. Wspólne indeksowanie, publiczne repozytorium danych internetowych z dziesięciu lat, może być wykorzystywane do szkoleń ogólnych. (Chociaż badania pokazują że bardziej precyzyjne, sparowane zestawy danych mogą poprawić ogólną wiedzę międzydomenową i możliwości uogólniania modeli w dół).
2. LAION jest organizacją non-profit, której celem jest udostępnianie i publikowanie wielkoskalowych modeli uczenia maszynowego i zestawów danych ogółowi społeczeństwa LAION5B, 5.85 miliarda przefiltrowanych przez CLIP zestawów danych par obraz-tekst, który po wydaniu stał się największym ogólnodostępnym zestawem danych obraz-tekst na świecie.
3. Eleuther AI to zdecentralizowany kolektyw, który wydał jeden z największych zbiorów danych tekstowych open source o nazwie Słup. The Pile to zestaw danych języka angielskiego o pojemności 825.18 GiB do modelowania języka, który wykorzystuje 22 różne źródła danych.

Obecnie społeczności te są zorganizowane nieformalnie i opierają się na wkładzie szerokiej bazy wolontariuszy. Aby zwiększyć ich wysiłki, nagrody tokenowe mogą być wykorzystywane jako mechanizm tworzenia zbiorów danych typu open source. Tokeny mogą być emitowane na podstawie wkładów, takich jak etykietowanie dużego zbioru danych tekstowo-obrazowych, a społeczność DAO może weryfikować takie twierdzenia. Ostatecznie duże modele mogą emitować tokeny ze wspólnej puli, a dalsze przychody z produktów zbudowanych na podstawie tych modeli mogą naliczać się do wartości tokena. W ten sposób współautorzy zestawów danych mogą mieć udziały w dużych modelach za pośrednictwem swoich tokenów, a badacze będą mogli zarabiać na zasobach budowlanych na otwartej przestrzeni.

Kompilowanie dobrze skonstruowanych zbiorów danych typu open source ma kluczowe znaczenie dla poszerzenia dostępności badań dla dużych modeli i poprawy wydajności modeli. Zestawy danych tekstowo-obrazowych można rozszerzyć, zwiększając rozmiar i filtry dla różnych typów obrazów, aby uzyskać bardziej precyzyjne wyniki. Zestawy danych w języku innym niż angielski będą potrzebne do szkolenia modeli języka naturalnego, z których mogą korzystać populacje nieanglojęzyczne. Z biegiem czasu możemy osiągnąć te wyniki znacznie szybciej i bardziej otwarcie, stosując podejście web3.

Obliczenia wymagane do trenowania sieci neuronowych na dużą skalę są jednym z największych wąskich gardeł w modelach podstawowych. W ciągu ostatniej dekady zapotrzebowanie na moc obliczeniową w szkoleniu modeli sztucznej inteligencji wzrosło podwaja się co 3.4 miesiąca. W tym okresie modele sztucznej inteligencji przeszły od rozpoznawania obrazów do stosowania algorytmów uczenia się przez wzmacnianie, pokonywania ludzkich mistrzów w grach strategicznych i wykorzystywania transformatorów do trenowania modeli językowych. Na przykład GPT-3 OpenAI miał 175 miliardów parametrów, a trenowanie go zajęło 3,640 petaFLOPS-dni. Zajęłoby to dwa tygodnie na najszybszym na świecie superkomputerze i ponad tysiąc lat na standardowym laptopie. Ponieważ rozmiary modeli wciąż rosną, obliczenia pozostają wąskim gardłem w rozwoju tej dziedziny.

Superkomputery AI wymagają specjalnego sprzętu zoptymalizowanego pod kątem wykonywania operacji matematycznych niezbędnych do szkolenia sieci neuronowych, takiego jak procesory graficzne (GPU) lub układy scalone specyficzne dla aplikacji (ASIC). Obecnie większość sprzętu zoptymalizowanego pod kątem tego typu obliczeń jest kontrolowana przez kilku oligopolistycznych dostawców usług w chmurze, takich jak Google Cloud, Amazon Web Services, Microsoft Azure i IBM Cloud.

To kolejne ważne skrzyżowanie, w którym zdecentralizowana alokacja mocy obliczeniowej za pośrednictwem publicznych, otwartych sieci zyskuje na popularności. Zdecentralizowane zarządzanie może być wykorzystywane do finansowania i przydzielania zasobów na szkolenie projektów kierowanych przez społeczność. Co więcej, zdecentralizowany model rynku może być otwarty w różnych lokalizacjach geograficznych, tak że każdy badacz może uzyskać dostęp do zasobów obliczeniowych. Wyobraź sobie system bounty, który polega na finansowaniu społecznościowym modelowania szkolenia poprzez emisję tokenów. Udane finansowanie społecznościowe otrzyma priorytetowe obliczenia dla swojego modelu i popchnie innowacje tam, gdzie jest duże zapotrzebowanie. Na przykład, jeśli istnieje znaczne zapotrzebowanie ze strony DAO na opracowanie modelu GPT w języku hiszpańskim lub hindi, aby obsłużyć większe połacie populacji, badania można skoncentrować na tej domenie.

Już teraz firmy lubią GenSyn pracują nad uruchomieniem protokołów zachęcających i koordynujących alternatywny, ekonomiczny i oparty na chmurze dostęp sprzętowy do obliczeń głębokiego uczenia. Z biegiem czasu współdzielona, ​​zdecentralizowana globalna sieć obliczeniowa zbudowana z infrastrukturą web3 stanie się bardziej opłacalna w skalowaniu i będzie lepiej służyć nam, gdy wspólnie będziemy badać granice sztucznej inteligencji.

Zbiory danych i obliczenia umożliwią realizację tej tezy: modele sztucznej inteligencji typu open source. W ciągu ostatnich kilku lat duże modele stały się coraz bardziej prywatne, ponieważ inwestycje w zasoby niezbędne do ich wyprodukowania spowodowały, że projekty stały się zamkniętymi źródłami.

Weź OpenAI. OpenAI powstało w 2015 roku jako laboratorium badawcze non-profit, którego misją jest produkcja sztucznej inteligencji ogólnej z korzyścią dla całej ludzkości, co stanowi wyraźny kontrast w stosunku do ówczesnych liderów sztucznej inteligencji, Google i Facebooka. Z biegiem czasu zacięta konkurencja i presja na finansowanie podważyły ​​ideały przejrzystości i otwartego kodu, gdy OpenAI przekształciło się w model nastawiony na zysk i podpisał masywną Umowa handlowa z Microsoftem o wartości 1 miliarda dolarów. Co więcej, niedawne kontrowersje otaczały ich model zamiany tekstu na obraz, DALLE-2, za powszechną cenzurę. (Na przykład DALLE-2 zakazał używania terminów „broń”, „egzekucja”, „atak”, „Ukraina” oraz wizerunków celebrytów; taka prymitywna cenzura zapobiega monitom, takim jak „Lebron James atakujący kosz” lub „programista wykonujący linii kodu”). Dostęp do prywatnej wersji beta tych modeli ma ukryte geograficzne nastawienie dla zachodnich użytkowników, aby odciąć duże połacie globalnej populacji od interakcji i informowania tych modeli.

Nie tak należy rozpowszechniać sztuczną inteligencję: strzeżona, nadzorowana i chroniona przez kilka dużych firm technologicznych. Podobnie jak w przypadku łańcucha bloków, nowa technologia powinna być stosowana w sposób możliwie najbardziej sprawiedliwy, aby jej korzyści nie były skoncentrowane wśród nielicznych, którzy mają do niej dostęp. Łączący się postęp w dziedzinie sztucznej inteligencji powinien być otwarcie wykorzystywany w różnych branżach, regionach geograficznych i społecznościach, aby wspólnie odkrywać najbardziej interesujące przypadki użycia i osiągnąć konsensus w sprawie uczciwego wykorzystania sztucznej inteligencji. Utrzymywanie modeli bazowych na otwartym kodzie źródłowym może zapewnić zapobieganie cenzurze i dokładne monitorowanie uprzedzeń w widoku publicznym.

Dzięki strukturze tokenów dla uogólnionych modeli podstawowych możliwe będzie agregowanie większej puli współpracowników, którzy będą mogli zarabiać na swojej pracy, jednocześnie udostępniając kod typu open source. Projekty takie jak OpenAI, stworzone z myślą o otwartym oprogramowaniu, musiały przekształcić się w samodzielną, finansowaną firmę, aby konkurować o talenty i zasoby. Web3 pozwala projektom open source być równie lukratywnymi finansowo i dalej konkurować z tymi, które są prowadzone przez prywatne inwestycje Big Tech. Co więcej, innowatorzy budujący produkty w oparciu o modele open source mogą budować z pewnością, że sztuczna inteligencja jest przezroczysta. Efektem końcowym będzie szybkie przyjęcie i wprowadzenie na rynek nowych przypadków użycia sztucznej inteligencji. W przestrzeni web3 obejmuje to aplikacje zabezpieczające które przeprowadzają analizy predykcyjne pod kątem luk w zabezpieczeniach inteligentnych kontraktów i działań niepożądanych, generatory obrazów które można wykorzystać do wybijania NFT i tworzenia krajobrazów metaverse, cyfrowe osobowości AI które mogą istnieć w łańcuchu, aby zachować indywidualną własność i wiele więcej.

Sztuczna inteligencja jest obecnie jedną z najszybciej rozwijających się technologii, która będzie miała ogromny wpływ na całe nasze społeczeństwo. Obecnie dziedzina jest zdominowana przez wielkie technologie, ponieważ inwestycje finansowe w talenty, dane i moce obliczeniowe tworzą znaczące bariery dla rozwoju open source. Integracja web3 z warstwą infrastruktury sztucznej inteligencji to kluczowy krok, który należy podjąć, aby zapewnić, że systemy sztucznej inteligencji są budowane w sposób uczciwy, otwarty i dostępny. Widzimy już, jak otwarte modele zajmują pozycję szybkich, publicznych innowacji w otwartych przestrzeniach, takich jak Twitter i HuggingFace, a kryptowaluty mogą przyspieszyć te wysiłki.

Oto, czego szuka zespół CoinFund na styku sztucznej inteligencji i kryptowalut:

1. Zespoły z otwartą sztuczną inteligencją w centrum ich misji
2. Społeczności zarządzające zasobami publicznymi, takimi jak dane i obliczenia, aby pomóc w tworzeniu modeli AI
3. Produkty wykorzystujące sztuczną inteligencję w celu zapewnienia kreatywności, bezpieczeństwa i innowacji w powszechnym użyciu

Jeśli budujesz projekt na styku sztucznej inteligencji i web3, porozmawiaj z nami, kontaktując się z CoinFund na Twitter lub e-mail rishin@coinfund.io or jake@coinfund.io.