Offene neuronale Netze: die Schnittmenge von KI und Web3

von Rishin Sharma & Jake Brukhman.

Besonderer Dank geht an alle, die Feedback zu diesem Stück gegeben haben, einschließlich Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Quelle: KI-generiertes Bild von Lexica.art, einer stabilen Diffusionssuchmaschine

Technologische Innovation ruht nie, und das gilt insbesondere für künstliche Intelligenz. In den letzten Jahren haben wir gesehen, wie die Popularität von Deep-Learning-Modellen als Vorläufer der KI wieder auftaucht. Auch bezeichnet als Neuronale Netze, bestehen diese Modelle aus dicht miteinander verbundenen Schichten von Knoten, die Informationen durcheinander leiten und in etwa den Aufbau des menschlichen Gehirns nachahmen. In den frühen 2010er Jahren verfügten die fortschrittlichsten Modelle über Millionen von Parametern, stark überwachte Modelle, die für spezifische Stimmungsanalysen und -klassifizierungen verwendet wurden. Die heutigen fortschrittlichsten Modelle wie z DreamStudio, GPT-3, DALL-E2 und Imagen, nähern sich einer Billion Parameter und lösen komplexe und sogar kreative Aufgaben, die mit menschlicher Arbeit konkurrieren. Nehmen Sie zum Beispiel das Header-Bild oder die Zusammenfassung dieses Blog-Beitrags. Beide wurden von künstlicher Intelligenz produziert. Wir fangen gerade erst an, die sozialen und kulturellen Implikationen dieser Modelle zu erkennen, da sie bestimmen, wie wir neue Dinge lernen, miteinander interagieren und uns kreativ ausdrücken.

Ein Großteil des technischen Know-hows, der wichtigsten Datensätze und der Rechenfähigkeit zum Trainieren großer neuronaler Netze ist jedoch heute Closed Source und wird von „Big Tech“-Unternehmen wie Google und Meta verwaltet. Während Replikate von Open-Source-Modellen wie z GPT-NeoX, DALLE-mega und BLOOM wurden von Organisationen wie angeführt StabilitätAI, Eleuther AI und Umarmendes Gesicht, web3 ist bereit, Open-Source-KI noch weiter zu verbessern.

„Eine Web3-Infrastrukturebene für KI könnte Elemente der Open-Source-Entwicklung, Gemeinschaftseigentum und -verwaltung sowie universellen Zugang einführen, die neue Modelle und Effizienzen bei der Entwicklung dieser neuen Technologien schaffen."

Darüber hinaus werden viele kritische Anwendungsfälle für web3 durch die Einführung von KI-Technologien verbessert. Aus Generative Kunst NFTs bis hin zu metaversalen Landschaften findet KI viele Anwendungsfälle in web3. Open-Source-KI passt in das offene, dezentralisierte und demokratisierte Ethos von web3 und stellt eine Alternative zu der von Big Tech bereitgestellten KI dar, die wahrscheinlich nicht in absehbarer Zeit offen sein wird.

Gründungsmodelle sind neuronale Netze, die auf umfangreichen Datensätzen trainiert werden, um Aufgaben auszuführen, die normalerweise intelligentes menschliches Verhalten erfordern würden. Diese Modelle haben einige beeindruckende Ergebnisse erzielt.

Sprachmodelle wie die von OpenAI GPT-3, LaMDA von Google und Nvidias Megatron-Turing NLG haben die Fähigkeit, natürliche Sprache zu verstehen und zu produzieren, Text zusammenzufassen und zu synthetisieren und sogar Computercode schreiben.

DALLE-2 ist von OpenAI Text-zu-Bild-Diffusionsmodell die einzigartige Bilder aus geschriebenem Text erzeugen können. Googles KI-Abteilung DeepMind hat konkurrierende Modelle produziert, darunter PaLM, ein 540B-Parameter-Sprachmodell, und Imagen, sein eigenes Bilderzeugungsmodell, das DALLE-2 bei DrawBench und COCO FID Benchmarks übertrifft. Imagen erzeugt insbesondere fotorealistischere Ergebnisse und kann buchstabieren.

Reinforcement-Learning-Modelle wie das von Google AlphaGo haben die besiegt menschlicher Go-Weltmeister während Sie neue Strategien und Spieltechniken entdecken, die in der dreitausendjährigen Geschichte des Spiels noch nie aufgetaucht sind.

Der Wettlauf um den Bau komplexer Fundamentmodelle hat bereits begonnen, wobei Big Tech an der Spitze der Innovation steht. So aufregend der Fortschritt auf diesem Gebiet auch ist, es gibt ein Schlüsselthema, das Anlass zur Sorge gibt.

In den letzten zehn Jahren, als KI-Modelle immer ausgefeilter wurden, wurden sie auch zunehmend für die Öffentlichkeit verschlossen.

Tech-Giganten investieren stark in die Herstellung solcher Modelle und die Beibehaltung von Daten und Code als proprietäre Technologien, während sie gleichzeitig ihren Wettbewerbsvorteil durch ihre Größenvorteile für Modelltraining und -berechnung bewahren.

Für Dritte ist die Erstellung von Fundamentmodellen ein ressourcenintensiver Prozess mit drei großen Engpässen: Daten, berechnen, und Monetisierung.

Hier sehen wir einen frühen Einzug von Web3-Themen bei der Lösung einiger dieser Probleme.

Beschriftete Datensätze sind entscheidend für die Erstellung effektiver Modelle. KI-Systeme lernen durch Verallgemeinerung von Beispielen innerhalb von Datensätzen und verbessern sich kontinuierlich, wenn sie im Laufe der Zeit trainiert werden. Die Zusammenstellung und Kennzeichnung hochwertiger Datensätze erfordert jedoch neben Rechenressourcen auch spezielles Wissen und Verarbeitung. Große Technologieunternehmen verfügen häufig über interne Datenteams, die auf die Arbeit mit großen, proprietären Datensätzen spezialisiert sind IP-Systeme ihre Modelle zu trainieren, und haben wenig Anreiz, den Zugang zur Produktion oder Verbreitung ihrer Daten zu öffnen.

Es gibt bereits Gemeinschaften, die das Modelltraining für eine globale Gemeinschaft von Forschern offen und zugänglich machen. Hier sind einige Beispiele:

1. Allgemeines Crawlen, ein öffentliches Repositorium von zehn Jahren Internetdaten, kann für allgemeine Schulungen verwendet werden. (Obwohl Forschung zeigt, dass präzisere, geparste Datensätze das allgemeine domänenübergreifende Wissen und die nachgelagerten Generalisierungsfähigkeiten der Modelle verbessern können.)
2. LAION ist eine Non-Profit-Organisation, die sich zum Ziel gesetzt hat, großangelegte Machine-Learning-Modelle und Datensätze der Allgemeinheit zugänglich zu machen und zu veröffentlichen LAION5B, ein 5.85 Milliarden CLIP-gefilterter Bild-Text-Paar-Datensatz, der nach seiner Veröffentlichung zum größten frei zugänglichen Bild-Text-Datensatz der Welt wurde.
3. Eleuther AI ist ein dezentralisiertes Kollektiv, das einen der größten Open-Source-Textdatensätze namens veröffentlicht hat Der Stapel. The Pile ist ein englischsprachiger Datensatz mit 825.18 GiB für die Sprachmodellierung, der 22 verschiedene Datenquellen nutzt.

Gegenwärtig sind diese Gemeinschaften informell organisiert und auf Beiträge einer breiten Freiwilligenbasis angewiesen. Um ihre Bemühungen zu verstärken, können Token-Belohnungen als Mechanismus zum Erstellen von Open-Source-Datensätzen verwendet werden. Token könnten auf der Grundlage von Beiträgen ausgegeben werden, z. B. durch die Kennzeichnung eines großen Text-Bild-Datensatzes, und eine DAO-Community könnte solche Behauptungen validieren. Letztendlich können große Modelle Token aus einem gemeinsamen Pool ausgeben, und nachgelagerte Einnahmen aus Produkten, die auf diesen Modellen aufbauen, können dem Token-Wert zufließen. Auf diese Weise können Datensatz-Beitragende durch ihre Token an den großen Modellen beteiligt sein, und Forscher können Bauressourcen im Freien monetarisieren.

Die Zusammenstellung gut konstruierter Open-Source-Datensätze ist entscheidend, um den Forschungszugang für große Modelle zu erweitern und die Modellleistung zu verbessern. Text-Bild-Datensätze können erweitert werden, indem die Größe und Filter für verschiedene Bildtypen erhöht werden, um feiner abgestimmte Ergebnisse zu erzielen. Nicht-englische Datensätze werden benötigt, um natürliche Sprachmodelle zu trainieren, die nicht-englischsprachige Bevölkerungsgruppen verwenden können. Mit der Zeit können wir diese Ergebnisse mit einem web3-Ansatz viel schneller und offener erreichen.

Die zum Trainieren großer neuronaler Netze erforderliche Rechenleistung ist einer der größten Engpässe bei Basismodellen. In den letzten zehn Jahren ist die Nachfrage nach Rechenleistung beim Training von KI-Modellen gestiegen alle 3.4 Monate verdoppelt. In dieser Zeit haben sich KI-Modelle von der Bilderkennung zur Verwendung von Reinforcement-Learning-Algorithmen entwickelt, um menschliche Champions in Strategiespielen zu schlagen und Transformatoren zum Trainieren von Sprachmodellen einzusetzen. GPT-3 von OpenAI hatte beispielsweise 175 Milliarden Parameter und benötigte 3,640 petaFLOPS-Tage zum Trainieren. Auf dem schnellsten Supercomputer der Welt würde dies zwei Wochen und mit einem Standard-Laptop über ein Jahrtausend dauern. Da die Modellgrößen immer weiter wachsen, bleibt die Rechenleistung ein Engpass bei der Weiterentwicklung des Feldes.

KI-Supercomputer erfordern spezielle Hardware, die für die Durchführung der mathematischen Operationen optimiert ist, die zum Trainieren neuronaler Netze erforderlich sind, wie z. B. Grafikverarbeitungseinheiten (GPUs) oder anwendungsspezifische integrierte Schaltungen (ASICs). Heutzutage wird der Großteil der für diese Art der Berechnung optimierten Hardware von einigen wenigen oligopolistischen Cloud-Service-Anbietern wie Google Cloud, Amazon Web Services, Microsoft Azure und IBM Cloud kontrolliert.

Dies ist der nächste große Schnittpunkt, an dem die dezentrale Rechenzuweisung durch öffentliche, offene Netzwerke an Zugkraft gewinnt. Dezentralisierte Governance kann verwendet werden, um Ressourcen zu finanzieren und zuzuweisen, um gemeinschaftsgesteuerte Projekte zu trainieren. Darüber hinaus kann ein dezentralisiertes Marktplatzmodell geografisch offen zugänglich sein, sodass jeder Forscher auf Rechenressourcen zugreifen kann. Stellen Sie sich ein Prämiensystem vor, das Modelltraining durch die Ausgabe von Token finanziert. Erfolgreiche Crowdfundings erhalten priorisierte Berechnungen für ihr Modell und treiben Innovationen dort voran, wo eine hohe Nachfrage besteht. Wenn beispielsweise seitens der DAO eine erhebliche Nachfrage besteht, ein GPT-Modell für Spanisch oder Hindi zu erstellen, um größere Teile der Bevölkerung zu bedienen, kann die Forschung auf diesen Bereich konzentriert werden.

Unternehmen mögen bereits GenSyn arbeiten an der Einführung von Protokollen, um alternative, kosteneffiziente und Cloud-basierte Hardwarezugriffe für Deep-Learning-Berechnungen anzuregen und zu koordinieren. Im Laufe der Zeit wird ein gemeinsam genutztes, dezentralisiertes globales Rechennetzwerk, das mit einer web3-Infrastruktur aufgebaut ist, kostengünstiger zu skalieren und uns besser zu dienen, wenn wir gemeinsam die Grenzen der künstlichen Intelligenz erkunden.

Datensätze und Berechnungen werden diese These ermöglichen: Open-Source-KI-Modelle. In den letzten Jahren wurden große Modelle zunehmend privatisiert, da die für ihre Herstellung erforderlichen Ressourceninvestitionen dazu geführt haben, dass Projekte zu Closed-Source-Modellen wurden.

Nehmen Sie OpenAI. OpenAI wurde 2015 gegründet als gemeinnütziges Forschungslabor mit der Mission, künstliche allgemeine Intelligenz zum Wohle der gesamten Menschheit zu produzieren, ein starker Kontrast zu den damaligen Marktführern in der KI, Google und Facebook. Im Laufe der Zeit haben harter Wettbewerb und Finanzierungsdruck die Ideale von Transparenz und Open-Sourcing-Code untergraben, als sich OpenAI zu a gewinnorientiertes Modell und unterschrieb eine massive 1-Milliarde-Dollar-Geschäft mit Microsoft. Darüber hinaus hat sich die jüngste Kontroverse um ihr Text-zu-Bild-Modell, DALLE-2, für seine allgemeine Zensur. (Zum Beispiel hat DALLE-2 die Begriffe „Waffe“, „hinrichten“, „Angriff“, „Ukraine“ und Bilder von Prominenten verboten; solch grobe Zensur verhindert Aufforderungen wie „Lebron James greift den Korb an“ oder „ein Programmierer führt eine Codezeile'.) Der Zugriff auf die private Beta für diese Modelle hat eine implizite geografische Ausrichtung für westliche Benutzer, um große Teile der Weltbevölkerung von der Interaktion und Information dieser Modelle abzuschneiden.

So sollte künstliche Intelligenz nicht verbreitet werden: bewacht, überwacht und bewahrt von ein paar großen Technologieunternehmen. Wie im Fall von Blockchain sollten neuartige Technologien so gerecht wie möglich angewendet werden, damit sich ihre Vorteile nicht auf die wenigen konzentrieren, die Zugang haben. Der zunehmende Fortschritt in der künstlichen Intelligenz sollte offen über verschiedene Branchen, Regionen und Gemeinschaften hinweg genutzt werden, um gemeinsam die interessantesten Anwendungsfälle zu entdecken und einen Konsens über die faire Nutzung von KI zu erzielen. Stiftungsmodelle quelloffen zu halten, kann sicherstellen, dass Zensur verhindert und Voreingenommenheit unter öffentlicher Aufsicht sorgfältig überwacht wird.

Mit einer Token-Struktur für verallgemeinerte Gründungsmodelle wird es möglich sein, einen größeren Pool von Mitwirkenden zu aggregieren, die ihre Arbeit monetarisieren können, während sie Code als Open Source veröffentlichen. Projekte wie OpenAI, die mit Blick auf eine Open-Source-These entwickelt wurden, mussten sich einem eigenständig finanzierten Unternehmen zuwenden, um um Talente und Ressourcen zu konkurrieren. Web3 ermöglicht es Open-Source-Projekten, finanziell genauso lukrativ zu sein und weiter mit denen zu konkurrieren, die von privaten Investitionen von Big Tech geleitet werden. Darüber hinaus können Innovatoren, die Produkte auf Open-Source-Modellen aufbauen, darauf vertrauen, dass die zugrunde liegende KI transparent ist. Der nachgelagerte Effekt davon wird die schnelle Einführung und Markteinführung neuartiger Anwendungsfälle für künstliche Intelligenz sein. Im Web3-Bereich umfasst dies Sicherheitsanwendungen die prädiktive Analysen für Smart-Contract-Schwachstellen und Rug-Pulls durchführen, Bildgeneratoren die verwendet werden können, um NFTs zu prägen und Metaverse-Landschaften zu erstellen, digitale KI-Persönlichkeiten die in der Kette existieren können, um das individuelle Eigentum zu wahren, und vieles mehr.

Künstliche Intelligenz ist heute eine der sich am schnellsten entwickelnden Technologien, die immense Auswirkungen auf unsere Gesellschaft als Ganzes haben wird. Heute wird das Feld von Big Tech dominiert, da finanzielle Investitionen in Talente, Daten und Computer erhebliche Gräben für die Open-Source-Entwicklung schaffen. Die Integration von web3 in die Infrastrukturebene der KI ist ein entscheidender Schritt, um sicherzustellen, dass Systeme der künstlichen Intelligenz auf faire, offene und zugängliche Weise aufgebaut werden. Wir sehen bereits, dass offene Modelle eine Position der schnellen, öffentlichen Innovation in offenen Räumen wie Twitter und HuggingFace einnehmen, und Krypto kann diese Bemühungen vorantreiben.

Hier ist, wonach das CoinFund-Team an der Schnittstelle von KI und Krypto sucht:

1. Teams mit offener künstlicher Intelligenz im Mittelpunkt ihrer Mission
2. Communities, die öffentliche Ressourcen wie Daten und Computer kuratieren, um beim Erstellen von KI-Modellen zu helfen
3. Produkte, die KI nutzen, um Kreativität, Sicherheit und Innovation in den Mainstream zu bringen

Wenn Sie ein Projekt an der Schnittstelle von KI und Web3 aufbauen, chatten Sie mit uns, indem Sie sich an CoinFund wenden Twitter oder per E-Mail an rishin@coinfund.io or jake@coinfund.io.