Відкриті нейронні мережі: перетин ШІ та web3

Рішин Шарма та Джейк Брухман.

Особлива подяка всім, хто залишив відгук про цей твір, зокрема Ніку Яковенку, Девіду Пакману, Яну Коппенсу, AC, Евану Фенгу, Аді Сайдману.

Джерело: створене штучним інтелектом зображення з Lexica.art, стабільної дифузійної пошукової системи

Технологічні інновації ніколи не відпочивають, і це особливо вірно для штучного інтелекту. Протягом останніх кількох років ми спостерігали, як моделі глибокого навчання знову з’явилися як попередники ШІ. Також згадується як нейронні мережі, ці моделі складаються з щільно пов’язаних між собою шарів вузлів, які передають інформацію один через одного, приблизно імітуючи побудову людського мозку. На початку 2010-х найдосконаліші моделі мали мільйони параметрів, моделі під суворим наглядом використовувалися для аналізу настроїв і класифікації. Сучасні найдосконаліші моделі, такі як DreamStudio, GPT-3, ВІД-Є 2 та Зображення наближаються до одного трильйона параметрів і виконують складні та навіть творчі завдання, які конкурують з людською працею. Візьмемо, наприклад, зображення заголовка або короткий виклад цієї публікації в блозі. Обидва були створені штучним інтелектом. Ми тільки починаємо бачити соціальні та культурні наслідки цих моделей, оскільки вони формують те, як ми вивчаємо нове, взаємодіємо один з одним і творчо виражаємо себе.

Однак значна частина технічного ноу-хау, ключових наборів даних і обчислювальних можливостей для навчання великих нейронних мереж сьогодні є закритими та закритими «великими технологічними» компаніями, такими як Google і Meta. У той час як копії моделей з відкритим кодом, наприклад GPT-NeoX, ДАЛЛЕ-мега та BLOOM очолили організації, в тому числі Стабільність AI, ЕлеутерAI та HuggingFace, web3 готовий ще більше посилити ШІ з відкритим кодом.

«Рівень інфраструктури web3 для штучного інтелекту міг би запровадити елементи розробки з відкритим кодом, власності та управління спільнотою, а також універсального доступу, що створює нові моделі та підвищує ефективність розробки цих нових технологій."

Крім того, впровадження технологій ШІ покращить багато критичних варіантів використання web3. Від генеративне мистецтво NFT до метаверсальних ландшафтів ШІ знайде багато варіантів використання в web3. Штучний інтелект з відкритим кодом відповідає відкритому, децентралізованому та демократичному духу web3 і є альтернативою штучному інтелекту, наданому Big Tech, який навряд чи стане відкритим найближчим часом.

Моделі фундаменту це нейронні мережі, навчені на великих наборах даних для виконання завдань, які зазвичай потребують розумної поведінки людини. Ці моделі дали вражаючі результати.

Мовні моделі, такі як OpenAI GPT-3, LaMDA від Google та Megatron-Turing NLG від Nvidia мати здатність розуміти та створювати природну мову, узагальнювати та синтезувати текст і навіть написати комп'ютерний код.

DALLE-2 - це OpenAI модель дифузії тексту в зображення які можуть створювати унікальні зображення з написаного тексту. Підрозділ Google AI DeepMind розробив конкуруючі моделі, включаючи PaLM, модель мови параметрів 540B, і Imagen, власну модель генерації зображень, яка перевершує DALLE-2 у тестах DrawBench і COCO FID. Imagen, зокрема, дає більш фотореалістичні результати та має можливість написання.

Моделі навчання з підкріпленням, такі як Google AlphaGo перемогли Чемпіон світу з гуманного го одночасно відкриваючи нові стратегії та прийоми гри, які не з’являлися за тритисячолітню історію гри.

Гонка зі створення складних моделей основи вже почалася з Big Tech на передньому краї інновацій. Яким би захоплюючим не був розвиток галузі, є ключова тема, яка викликає занепокоєння.

За останнє десятиліття, оскільки моделі штучного інтелекту ставали все більш складними, вони також ставали все більш закритими для громадськості.

Технічні гіганти вкладають значні кошти у створення таких моделей і збереження даних і коду як власних технологій, зберігаючи при цьому свою конкурентоспроможність завдяки перевагам економії масштабу для навчання моделей і обчислень.

Для будь-якої третьої сторони виготовлення базових моделей є ресурсомістким процесом із трьома основними вузькими місцями: дані, обчислення, та монетизація.

Ось де ми бачимо раннє впровадження тем web3 у вирішення деяких із цих проблем.

Мічені набори даних є критично важливими для побудови ефективних моделей. Системи штучного інтелекту навчаються, узагальнюючи приклади в наборах даних, і постійно вдосконалюються в міру навчання з часом. Однак якісне складання набору даних і маркування потребують спеціальних знань і обробки на додаток до обчислювальних ресурсів. Великі технологічні компанії часто мають внутрішні групи даних, які спеціалізуються на роботі з великими власними наборами даних і IP системи для навчання своїх моделей і не мають стимулів відкривати доступ до виробництва чи розповсюдження своїх даних.

Вже є спільноти, які роблять навчання моделей відкритим і доступним для глобальної спільноти дослідників. Ось кілька прикладів:

1. Загальне сканування, загальнодоступне сховище даних Інтернету за десять років, можна використовувати для загального навчання. (Однак Дослідження показують, що більш точні, об’єднані набори даних можуть покращити загальні міждоменні знання та можливості узагальнення моделей.)
2. ЛАЙОН є некомерційною організацією, яка прагне зробити широкомасштабні моделі машинного навчання та набори даних доступними для широкої громадськості та випустити Laion5b5.85 мільярдів парних даних із зображенням і текстом, відфільтрованих CLIP, які після випуску стали найбільшим загальнодоступним набором даних із зображенням і текстом у світі.
3. ЕлеутерAI це децентралізований колектив, який випустив один із найбільших наборів текстових даних із відкритим кодом під назвою Купа. Pile — це набір даних англійською мовою розміром 825.18 ГіБ для мовного моделювання, який використовує 22 різні джерела даних.

Наразі ці спільноти організовані неофіційно та спираються на внески великої кількості волонтерів. Щоб посилити їхні зусилля, токенні винагороди можна використовувати як механізм для створення наборів даних з відкритим кодом. Токени можуть випускатися на основі внесків, таких як позначення великого набору даних із зображенням тексту, і спільнота DAO може підтвердити такі заяви. Зрештою, великі моделі можуть випускати токени із загального пулу, а дохід від продуктів, створених на основі цих моделей, може нараховуватися до вартості токена. Таким чином учасники набору даних можуть тримати частку у великих моделях через свої токени, а дослідники зможуть монетизувати ресурси будівництва у відкритому доступі.

Компіляція добре побудованих наборів даних з відкритим вихідним кодом має вирішальне значення для розширення доступності досліджень для великих моделей і покращення продуктивності моделей. Набори даних текстових зображень можна розширити, збільшивши розмір і фільтри для різних типів зображень, щоб отримати точніші результати. Неангломовні набори даних знадобляться для навчання моделей природної мови, якими зможуть користуватися неангломовні групи населення. З часом ми зможемо досягти цих результатів набагато швидше та відкритіше, використовуючи підхід web3.

Обчислення, необхідні для навчання великомасштабних нейронних мереж, є одним із найбільших вузьких місць у базових моделях. За останнє десятиліття зріс попит на обчислення для навчання моделей ШІ подвоюється кожні 3.4 місяці. Протягом цього періоду моделі штучного інтелекту пройшли шлях від розпізнавання зображень до використання алгоритмів навчання з підкріпленням до перемоги над людьми-чемпіонами в стратегічних іграх і використання трансформаторів для навчання мовних моделей. Наприклад, GPT-3 OpenAI мав 175 мільярдів параметрів і займав 3,640 petaFLOPS-днів для навчання. Це займе два тижні на найшвидшому у світі суперкомп’ютері та більше тисячоліття для стандартного ноутбука. Оскільки розмір моделей продовжує зростати, обчислення залишаються вузьким місцем у розвитку галузі.

Суперкомп’ютери зі штучним інтелектом вимагають спеціального апаратного забезпечення, оптимізованого для виконання математичних операцій, необхідних для навчання нейронних мереж, наприклад графічних процесорів (GPU) або інтегральних схем (ASIC). Сьогодні більша частина апаратного забезпечення, оптимізованого для цього типу обчислень, контролюється кількома олігополістичними постачальниками хмарних послуг, такими як Google Cloud, Amazon Web Services, Microsoft Azure та IBM Cloud.

Це наступний великий перетин, де ми бачимо, як децентралізований розподіл обчислювальних ресурсів через загальнодоступні відкриті мережі набирає обертів. Децентралізоване управління може використовуватися для фінансування та розподілу ресурсів для підготовки проектів, керованих громадою. Крім того, децентралізована ринкова модель може бути відкрито доступною в різних регіонах, щоб будь-який дослідник міг отримати доступ до обчислювальних ресурсів. Уявіть собі систему винагороди, яка моделює навчання, випускаючи токени. Успішні краудфандинги отримають пріоритетні обчислення для своєї моделі та просуватимуть інновації там, де є високий попит. Наприклад, якщо є значний попит з боку DAO на створення іспанської або хінді моделі GPT для обслуговування більшої кількості населення, дослідження можна зосередити на цьому домені.

Вже, компаніям подобається GenSyn працюють над запуском протоколів для стимулювання та координації альтернативного, економічно ефективного та хмарного доступу до апаратного забезпечення для глибокого навчання обчислень. Згодом спільна децентралізована глобальна обчислювальна мережа, створена за допомогою інфраструктури web3, стане економічнішою для масштабування та стане кращою для нас, коли ми спільно досліджуємо передові можливості штучного інтелекту.

Набори даних і обчислення увімкнуть цю тезу: моделі ШІ з відкритим кодом. Протягом останніх кількох років великі моделі ставали все більш приватними, оскільки інвестиції ресурсів, необхідні для їх виробництва, підштовхнули проекти до закритого коду.

Візьміть OpenAI. OpenAI була заснована в 2015 році як некомерційна дослідницька лабораторія з місією створення загального штучного інтелекту на благо всього людства, різкого контрасту з лідерами штучного інтелекту того часу, Google і Facebook. З часом жорстка конкуренція та тиск на фінансування підірвали ідеали прозорості та відкритого коду, оскільки OpenAI перейшов до комерційна модель і підписав масову Комерційна угода з Microsoft на 1 мільярд доларів. Крім того, нещодавні суперечки оточили їхню модель перетворення тексту в зображення DALLE-2, за його загальну цензуру. (Наприклад, DALLE-2 заборонив терміни «зброя», «страти», «атака», «Україна» та зображення знаменитостей; така груба цензура запобігає підказкам на зразок «Леброн Джеймс атакує кошик» або «програміст виконує Доступ до приватної бета-версії для цих моделей має неявне географічне упередження для західних користувачів, щоб відрізати широкі маси населення світу від взаємодії та інформування цих моделей.

Не так слід поширювати штучний інтелект: охороняти, контролювати та зберігати кілька великих технологічних компаній. Як і у випадку з блокчейном, нову технологію слід застосовувати настільки справедливо, наскільки це можливо, щоб її переваги не були зосереджені серед небагатьох, хто має доступ. Комбінований прогрес у галузі штучного інтелекту слід відкрито використовувати в різних галузях, регіонах і спільнотах, щоб колективно знаходити найбільш привабливі випадки використання та досягати консенсусу щодо справедливого використання ШІ. Зберігання базових моделей із відкритим вихідним кодом може гарантувати запобігання цензурі та ретельний моніторинг упередженості на очах громадськості.

Завдяки структурі маркерів для узагальнених базових моделей стане можливим об’єднати більший пул учасників, які зможуть монетизувати свою роботу, випускаючи код із відкритим кодом. Проекти на кшталт OpenAI, створені з урахуванням дисертації з відкритим вихідним кодом, мали бути переведені в окрему фінансовану компанію, щоб конкурувати за таланти та ресурси. Web3 дозволяє проектам з відкритим вихідним кодом бути такими ж фінансово прибутковими та конкурувати з проектами, створеними за рахунок приватних інвестицій Big Tech. Крім того, новатори, які створюють продукти на основі моделей з відкритим вихідним кодом, можуть будувати з упевненістю, що базовий ШІ є прозорим. Наступним ефектом цього стане швидке впровадження та вихід на ринок нових варіантів використання штучного інтелекту. У просторі web3 це включає програми безпеки які проводять прогнозну аналітику для виявлення вразливостей смарт-контрактів і несправностей, генератори зображень які можна використовувати для карбування NFT і створення ландшафтів метавсесвіту, особистості цифрового штучного інтелекту які можуть існувати в мережі для збереження індивідуальної власності та багато іншого.

Штучний інтелект є однією з найшвидших технологій сьогодні, яка матиме величезний вплив на наше суспільство в цілому. Сьогодні в галузі домінують великі технології, оскільки фінансові інвестиції в таланти, дані та обчислення створюють значні перешкоди для розробки відкритого коду. Інтеграція web3 в рівень інфраструктури штучного інтелекту є вирішальним кроком, щоб гарантувати, що системи штучного інтелекту будуються чесно, відкрито та доступно. Ми вже бачимо, як відкриті моделі займають позицію швидких публічних інновацій у відкритих просторах, таких як Twitter і HuggingFace, і криптовалюта може посилити ці зусилля, щоб рухатися вперед.

Ось що шукає команда CoinFund на перетині ШІ та криптовалюти:

1. Команди з відкритим штучним інтелектом в основі своєї місії
2. Спільноти, які курують публічні ресурси, як-от дані та обчислення, щоб допомогти створювати моделі ШІ
3. Продукти, які використовують штучний інтелект для впровадження креативності, безпеки та інновацій у масове впровадження

Якщо ви будуєте проект на перетині штучного інтелекту та web3, спілкуйтеся з нами, звернувшись до CoinFund на Twitter або електронною поштою rishin@coinfund.io or jake@coinfund.io.