Протокол Gensyn бездоганно тренує нейронні мережі в гіпермасштабі з нижчим порядком величини…

Мітка часу: 21 березня 2022 р., 8:57
Вихідний вузол: 1225331

Протокол Gensyn бездоганно тренує нейронні мережі в гіпермасштабі з нижчим порядком вартості

Посилання: Веб-сайт Gensyn, Папір, Портфоліо CoinFund, Стаття TechCrunch посилання

Резюме інвестиційної дисертації

  • Світський важіль для зростання складності та цінності ML: Обчислювальна складність сучасних систем штучного інтелекту подвоюється кожні 3 місяці, в той час як цінність цих моделей продовжує швидко зростати, в той час як колишній чорний ящик цих алгоритмів тепер все більше може відповідати більшій зрозумілі людині освітлювачі.
  • Нове проектування системи координації та верифікації: Gensyn створює систему верифікації (testnet v1 буде розгорнуто пізніше цього року), яка ефективно вирішує проблему залежності стану в навчанні нейронних мереж у будь-якому масштабі. Система поєднує контрольні точки навчання моделі з імовірнісними перевірками, які завершуються в ланцюжку. Він робить все це безнадійно, а накладні витрати лінійно масштабуються з розміром моделі (підтримуючи постійні витрати на перевірку).
  • Тематичний фокус на децентралізації ШІ: Більшість відомих прикладів додатків машинного навчання (автомобілі Tesla, Google DeepMind) виробляються одними і тими ж компаніями, тому що індустрія глибокого навчання зараз виглядає як монополія між великими технологічними компаніями, оскільки а також такі держави, як Китай і США. Ці сили призводять до величезних сил централізації, які суперечать web3 і навіть історичним витокам web1.

CoinFund з гордістю підтримує нещодавній збір коштів Gensyn Protocol і бачення команди, щоб забезпечити бездовірне навчання нейронних мереж у гіпермасштабуванні та з низькою вартістю через їхню нову систему перевірки. Використання імовірнісних перевірок, які завершуються в ланцюжку під час натискання на недостатньо використані та недостатньо використані джерела обчислень, починаючи від недостатньо використовуваних ігрових графічних процесорів і закінчуючи складними пулами майнінгу ETH1, які збираються відокремитися від мережі Ethereum, оскільки ця мережа переходить на Proof of Stake, протокол Gensyn не вимагає адміністративного нагляду чи юридичного забезпечення, а полегшує розподіл завдань за допомогою програмного забезпечення та платежів. смарт-контракти. Ще краще, децентралізована природа протоколу означає, що в кінцевому підсумку він буде керуватися громадою більшості, і його не можна буде «вимкнути» без згоди громади; це робить його стійким до цензури, на відміну від його аналогів web2. Зрештою, ми вважаємо, що Gensyn грає, щоб стати основою для обчислювальних машин на основі web3, оскільки сторонні учасники в кінцевому підсумку створюють багаті користувацькі можливості та специфічні функціональні можливості в численних нішах.

Частина 1: Введення в багаторічне секулярне зростання глибокого навчання

Кожне обличчя, яке ви бачите під час відеодзвінка, і всі звуки, які ви чуєте, піддаються маніпуляції. Для покращення якості дзвінків нейронні мережі вибірково налаштувати роздільну здатність у Zoom і придушення фонового шуму в Microsoft Teams. Останні досягнення навіть показують відео з нижчою роздільною здатністю 'мріяла' у вищій роздільній здатності. Нейронні мережі – це моделі, які використовуються в галузі глибокого навчання штучного інтелекту. Вони слабо засновані на структурі людський мозок і мають безліч застосувань, можливо, в кінцевому підсумку створивши штучний інтелект людського рівня. Більші моделі зазвичай дають кращі результати, а обладнання, необхідне для найсучаснішої розробки, подвоюється кожні три місяці. Цей вибух у розвитку зробив глибоке навчання фундаментальною частиною сучасного людського досвіду. У 2020 році нейронна мережа керував радаром на американському шпигунському літаку тепер пишуть мовні моделі краще шахрайські електронні листи ніж люди, і алгоритми самокерованого автомобіля Перевершити людей у ​​багатьох середовищах.

GPT-3 175B, найбільша модель GPT-3, запропонована OpenAI в Brown et al. (2020) використовував для навчання кластер із 1,000 графічних процесорів NVIDIA Tesla V100 — приблизно еквівалентно 355 рокам навчання на одному пристрої. DALL-E від Рамеш та ін. (2021), інша модель Transformer від OpenAI, має 12 мільярдів параметрів і пройшла навчання на понад 400 мільйонах зображень із підписами. OpenAI поніс витрати на навчання DALL-E, але суперечливо відмовився від відкритого вихідного коду моделі, а це означає, що, можливо, одна з найважливіших сучасних мультимодальних моделей глибокого навчання залишається недоступною для всіх, крім кількох обраних. Величезні потреби в ресурсах для їх створення моделі фундаменту створюють значні бар’єри для доступу, а без методу об’єднання ресурсів і водночас одержання цінності, ймовірно, призведе до стагнації в розвитку ШІ. Багато хто вважає, що ці узагальнені моделі є ключем до розблокування штучного загального інтелекту (AGI), завдяки чому нинішній метод навчання в ізольованих штучних силосах здається абсурдним.

Сучасні рішення, які надають доступ до комп’ютерів, або олігополістичні та дорогі, або просто нездійсненним враховуючи складність обчислень, необхідних для великомасштабного ШІ. Щоб задовольнити зростаючий попит, потрібна система, яка економно використовує важелі всі доступні обчислення (на відміну від сьогоднішнього приблизно 40% глобального використання процесора). Зараз цю проблему посилює той факт, що сам по собі обчислювальний ресурс обмежений асимптотичний прогрес у продуктивності мікропроцесора — поряд ланцюжка поставок та геополітичний дефіцит чіпів.

Частина 2: Чому потрібна координація Gensyn?

Основною проблемою в побудові цієї мережі є перевірка завершеної роботи з ML. Це дуже складна проблема, яка знаходиться на перетині теорії складності, теорії ігор, криптографії та оптимізації. Окрім людських знань у розробці моделей, існують три фундаментальні проблеми, які уповільнюють прогрес прикладного ML: 1) доступ до обчислювальної потужності; 2) доступ до даних; і 3) доступ до знань (маркування основою правди). Gensyn вирішує першу проблему, надаючи доступ на вимогу до глобально масштабованих обчислень за справедливою ринковою ціною, тоді як Gensyn Foundation намагатиметься заохочувати вирішення двох і трьох за допомогою досліджень, фінансування та співпраці з іншими протоколами.

Зокрема, доступ до чудових процесорів дає змогу навчати дедалі більші/складні моделі. За останнє десятиліття збільшення щільності транзисторів і досягнення швидкості доступу до пам’яті/паралелізації різко скоротили час навчання для великих моделей. Віртуальний доступ до цього обладнання через хмарні гіганти, такі як AWS і Alibaba, одночасно розширив поширення. Відповідно, існує сильний державний інтерес у придбанні засобів для виробництва найсучасніших процесорів. Материковий Китай ще не має наскрізних можливостей для виробництва найсучасніших напівпровідників (а саме кремнієвих пластин), важливого компонента процесорів. Вони повинні імпортувати їх, особливо з TSMC (Taiwan Semiconductor Manufacturing Company). Продавці мікросхем також намагаються заблокувати іншим клієнтам доступ до виробників мікросхем шляхом скупки поставок. На державному рівні були США агресивно блокують будь-який крок китайських компаній щодо придбання цієї технології. Продовжуючи технологію, деякі компанії пішли так далеко, щоб створити власне обладнання для глибокого навчання, наприклад кластери TPU від Google. Вони перевершують стандартні графічні процесори за рівнем глибокого навчання і не доступні для продажу, а лише для оренди.

Значне збільшення масштабів доступних обчислень, водночас знижуючи їх вартість за одиницю, відкриває двері до абсолютно нової парадигми глибокого навчання як для дослідницьких, так і промислових спільнот. Покращення масштабу та вартості дозволяють протоколу створити набір уже перевірених, попередньо навчених базових моделей, також відомих як Моделі основи– подібним чином до модельні зоопарки популярних фреймворків. Це дозволяє дослідникам та інженерам відкрито досліджувати та навчати кращі моделі над величезними відкритими наборами даних, подібно до Елетер проект. Ці моделі дозволять вирішити деякі з фундаментальних проблем людства без централізованої власності чи цензури. Криптографія, зокрема функціональне шифрування, дозволить використовувати протокол над приватними даними на вимогу. Величезні базові моделі потім можуть бути точно налаштовані будь-хто, використовуючи власний набір даних, підтримуючи цінність/конфіденційність цих даних, але все ще ділячись колективними знаннями при розробці моделей та дослідженнях.

Високий масштаб + низька вартість: Протокол Gensyn забезпечує вартість, подібну до вартості власного графічного процесора в центрі обробки даних у масштабі, який може перевершити AWS. (Ціни станом на листопад 2021 року).

Частина 3: Централізація даних Gensyn Drives Web3-Native

Інтернет, можливо, народився урядом США в 1960-х роках, але до 1990-х він був анархічною мережею творчості, індивідуалізму та можливостей. Задовго до того, як Google накопичував TPU, такі проекти, як SETI@home, намагалися виявити інопланетне життя за допомогою краудсорсингу децентралізованих обчислювальних потужностей. До 2000 року SETI@home мав швидкість обробки 17 терафлопс, що вдвічі перевищує продуктивність найкращого на той час суперкомп’ютера IBM ASCI White. Цей період часу зазвичай називають «web1», за мить до гегемонії великих платформ, таких як Google або Amazon (web2), але децентралізовані обчислення захитнулися в масштабуванні, щоб задовольнити початкові потреби Інтернету через декілька проблем того часу.

Однак поточна централізація веб-інфраструктури на величезні платформи web2 створює свої власні проблеми, такі як вартість (валова прибуток AWS є приблизною 61%, що представляє стиснення маржі для більшості субмасштабних дослідників і компаній, що керуються даними. У той же час централізовані обчислювальні екземпляри також жертвують контролем — AWS вимкнув інфраструктуру популярної правої платформи соціальних медіа Parler за допомогою повідомлення за один день Після бунту на Капітолії 6 січня 2021 року. Багато погодилися з таким рішенням, але прецедент небезпечний, коли AWS господарі 42% з 10,000 XNUMX найкращих сайтів в Інтернеті. Однак навчання моделей глибокого навчання на децентралізованому обладнанні є складним через проблему перевірки, яку допомагає вирішити протокол Gensyn.

Побудова ринку як протоколу Web3 усуває централізовані накладні витрати на масштабування та зменшує бар’єри для входу нових учасників постачання, дозволяючи мережі потенційно охоплювати кожен комп’ютерний пристрій у світі. Підключення всіх пристроїв через єдину децентралізовану мережу забезпечує рівень масштабованості, якого наразі неможливо досягти за допомогою жодного існуючого постачальника, надаючи безпрецедентний доступ на вимогу до всього світового постачання обчислень. Для кінцевих користувачів це повністю усуває дилему між ціною та масштабом і забезпечує прозоре та недороге обчислення для навчання ML для потенційно нескінченної масштабованості (до світових обмежень фізичного обладнання) та цін за одиницю продукції, які визначаються ринковою динамікою. Це обходить звичайні рови, якими користуються великі постачальники, значно знижує ціни та сприяє справді глобальній конкуренції на рівні ресурсів, і навіть розглядає випадок, коли існуючі постачальники хмарних послуг також розглядають протокол Gensyn як шлях розповсюдження, який доповнює більш централізовану першу сторону. пакетні пропозиції.

Висновок:

Оскільки штучний інтелект майже настільки ж популярний, як криптовалюта та блокчейни, наша теза щодо інвестування в Gensyn, як описано тут, має пройти випробування на легкість розуміння та підтвердження доказів, а також амбітність щодо можливостей, створених для здатності протоколу додати цінність спочатку цільової, але узагальнюючої мережі ресурсів, яка є рідною для web3. Завдяки протоколу Gensyn ми вважаємо, що ми бачимо початок гіпермасштабованої, економічно ефективної координаційної мережі, яка відкриває шлях для ще більш цінних ідей, які закладають основу для безлічі програм у майбутньому.

Про CoinFund

CoinFund — це різноманітна провідна інвестиційна компанія, орієнтована на блокчейн, заснована в 2015 році, що базується в США. Ми маємо великий досвід і досвід у сфері криптовалюти, традиційного акціонерного капіталу, кредиту, прямих інвестицій та венчурного інвестування. Стратегії CoinFund охоплюють як ліквідні, так і венчурні ринки та отримують переваги від нашого міждисциплінарного підходу, який синхронізує технічну криптонавку з традиційним фінансовим досвідом. Завдяки підходу «засновники перш за все» CoinFund тісно співпрацює зі своїми портфельними компаніями, щоб стимулювати інновації в просторі цифрових активів.

відмова

Вміст, наданий на цьому сайті, призначений лише для інформаційних цілей та для обговорення, і не слід покладатися на нього у зв’язку з конкретним інвестиційним рішенням або розглядатися як пропозиція, рекомендація чи прохання щодо будь-яких інвестицій. Автор не підтримує жодну компанію, проект чи токен, які обговорюються в цій статті. Вся інформація представлена ​​тут «як є», без будь-яких гарантій, явних чи неявних, і будь-які прогнозні заяви можуть виявитися помилковими. CoinFund Management LLC та її філії можуть мати довгі або короткі позиції в токенах або проектах, які розглядаються в цій статті.

Протокол Gensyn бездоганно тренує нейронні мережі в гіпермасштабі з нижчим порядком величини… був спочатку опублікований в Блог CoinFund на Medium, де люди продовжують розмову, висвітлюючи та відповідаючи на цю історію.

Часова мітка:

Більше від Монетний фонд