Протокол Gensyn надежно обучает нейронные сети в гипермасштабе с более низким порядком величины затрат
Ссылки: Сайт Генсин, Litepaper, Портфолио CoinFund, Статья TechCrunch Ссылка
Резюме инвестиционной диссертации
- Светское влияние на растущую сложность и ценность машинного обучения: Вычислительная сложность современных систем искусственного интеллекта удваивается каждые 3 месяца, в то время как ценность этих моделей продолжает быстро расти, в то время как прежняя природа этих алгоритмов в виде черного ящика теперь все больше способна соответствовать более высоким понятные человеку иллюминаторы.
- Новый дизайн системы координации и проверки: Gensyn создает систему проверки (testnet v1 будет развернута позже в этом году), которая эффективно решает проблему зависимости от состояния при обучении нейронной сети любого масштаба. Система сочетает контрольные точки обучения модели с вероятностными проверками, которые завершаются в цепочке. Он делает все это без доверия, а накладные расходы линейно масштабируются с размером модели (сохраняя постоянные затраты на проверку).
- Тематическая направленность на децентрализацию ИИ: Большинство известных примеров приложений для машинного обучения (беспилотные автомобили Tesla, Google DeepMind) производятся одним и тем же набором компаний, потому что индустрия глубокого обучения в настоящее время выглядит как игра в монополию между крупными технологическими компаниями, поскольку а также такие государства, как Китай и США. Эти силы приводят к огромным силам централизации, которые противоречат web3 и даже историческому происхождению web1.
CoinFund гордится тем, что поддерживает недавний сбор средств Gensyn Protocol и видение команды, позволяющее безнадежно обучать нейронные сети в гипермасштабе и по низкой цене с помощью их новой системы проверки. Использование вероятностных проверок, которые завершаются в цепочке при нажатии на недоиспользуемые и недоиспользуемые источники вычислений, начиная от недоиспользуемых в настоящее время игровых графических процессоров и заканчивая сложными пулами майнинга ETH1, которые собираются отключиться от сети Ethereum по мере перехода этой сети на Proof of Stake, протокол Gensyn не требует административного надзора или правового обеспечения, а скорее облегчает распределение задач и платежи программно через смарт-контракты. Более того, децентрализованный характер протокола означает, что в конечном итоге им будет управлять большинство сообщества, и его нельзя будет «отключить» без согласия сообщества; это делает его устойчивым к цензуре, в отличие от его аналогов web2. В конечном счете, мы считаем, что Gensyn стремится стать базовым слоем для собственных вычислений машинного обучения web3, поскольку сторонние участники в конечном итоге создают богатый пользовательский интерфейс и специальные функции во многих нишах.
Часть 1: Введение в многолетний светский рост глубокого обучения
Каждое лицо, которое вы видите во время видеозвонка, и все звуки, которые вы слышите, манипулируются. Чтобы улучшить качество звонков, нейронные сети выборочно настроить разрешение в Zoom и подавлять фоновый шум в командах Майкрософт. Более поздние достижения даже позволяют просматривать видео с более низким разрешением. 'приснилось' в более высокое разрешение. Нейронные сети — это модели, используемые в области глубокого обучения искусственного интеллекта. Они слабо основаны на структуре человеческий мозг и иметь множество приложений, возможно, в конечном итоге создавая искусственный интеллект человеческого уровня. Более крупные модели обычно дают лучшие результаты, а аппаратное обеспечение, необходимое для современной разработки, удваивается. каждые три месяца. Этот взрыв в развитии сделал глубокое обучение фундаментальной частью современного человеческого опыта. В 2020 году нейронная сеть управлял радаром на самолете-шпионе США языковые модели теперь пишут лучшие мошеннические письма чем люди, и алгоритмы беспилотных автомобилей опережать людей во многих средах.
GPT-3 175B, самая большая модель GPT-3, предложенная OpenAI в Браун и соавт. (2020) использовал кластер из 1,000 графических процессоров NVIDIA Tesla V100 для обучения, что примерно эквивалентно 355 годам обучения на одном устройстве. ДАЛЛ-И от Рамеш и др. (2021), еще одна модель Transformer от OpenAI, имеет 12 миллиардов параметров и была обучена на более чем 400 миллионах изображений с подписями. OpenAI взял на себя расходы по обучению DALL-E, но спорно отказался открыть исходный код модели, а это означает, что, возможно, одна из самых важных современных мультимодальных моделей глубокого обучения остается недоступной для всех, кроме избранных. Огромные потребности в ресурсах для создания этих модели фундамента создают значительные барьеры для доступа, и без метода объединения ресурсов, сохраняя при этом ценность, вероятно, вызовет застой в развитии ИИ. Многие считают, что эти обобщенные модели являются ключом к раскрытию общего искусственного интеллекта (AGI), из-за чего нынешний метод обучения в изолированных, искусственных бункерах кажется абсурдным.
Существующие решения, обеспечивающие доступ к вычислительным ресурсам, либо олигополистичны и дороги, либо просто неосуществимым учитывая сложность вычислений, необходимых для крупномасштабного ИИ. Удовлетворение растущего спроса требует системы, которая экономически эффективно использует Найти доступные вычислительные ресурсы (в отличие от сегодняшней глобальной загрузки процессора примерно на 40%). Сейчас эту проблему усугубляет тот факт, что само вычислительное обеспечение затруднено из-за асимптотический прогресс в производительности микропроцессора — наряду с цепочками поставок и геополитический нехватка чипов.
Часть 2: Зачем нужна координация Gensyn?
Фундаментальной задачей при построении этой сети является проверка выполненной работы по машинному обучению. Это очень сложная проблема, которая находится на стыке теории сложности, теории игр, криптографии и оптимизации. Помимо человеческих знаний в области проектирования моделей, есть три фундаментальные проблемы, замедляющие развитие прикладного машинного обучения: 1) доступ к вычислительной мощности; 2) доступ к данным; и 3) доступ к знаниям (маркировка достоверности). Gensyn решает первую проблему, предоставляя доступ по запросу к глобально масштабируемым вычислениям по справедливой рыночной цене, в то время как Gensyn Foundation будет стремиться поощрять решения второй и третьей проблем посредством исследований, финансирования и сотрудничества с другими протоколами.
В частности, доступ к превосходным процессорам позволяет обучать все более крупные/сложные модели. За последнее десятилетие увеличение плотности транзисторов и повышение скорости доступа к памяти/распараллеливания значительно сократили время обучения больших моделей. Виртуальный доступ к этому оборудованию через облачных гигантов, таких как AWS и Alibaba, одновременно расширил его применение. Соответственно, государство сильно заинтересовано в приобретении средств для производства современных процессоров. Материковый Китай еще не имеет сквозных возможностей для производства современных полупроводников (а именно, кремниевых пластин), важнейшего компонента процессоров. Они должны импортировать их, в частности, из TSMC (Тайваньская компания по производству полупроводников). Поставщики чипов также пытаются заблокировать доступ других клиентов к производителям чипов. путем скупки предложения. На государственном уровне США агрессивно блокирующий любой шаг китайских компаний по приобретению этой технологии. Далее в технологическом стеке некоторые компании дошли до создания собственного оборудования для глубокого обучения, такого как кластеры Google TPU. Они превосходят стандартные графические процессоры при глубоком обучении и не продаются, а только сдаются в аренду.
Значительное увеличение масштабов доступных вычислений при одновременном снижении их удельной стоимости открывает дверь в совершенно новую парадигму глубокого обучения как для исследовательских, так и для промышленных сообществ. Улучшения масштаба и стоимости позволяют протоколу создавать набор уже проверенных, предварительно обученных базовых моделей, также известных как Фундаментальные модели- по аналогии с модельные зоопарки популярных фреймворков. Это позволяет исследователям и инженерам открыто исследовать и обучать лучшие модели на огромных открытых наборах данных, подобно Элеутер проект. Эти модели решат некоторые фундаментальные проблемы человечества без централизованного владения или цензуры. Криптография, особенно функциональное шифрование, позволит использовать протокол для защиты личных данных по запросу. Огромные базовые модели могут быть настроены любым пользователем, использующим проприетарный набор данных, сохраняя ценность/конфиденциальность этих данных, но при этом делясь коллективными знаниями при разработке моделей и исследованиях.
Часть 3: Gensyn обеспечивает централизацию данных Web3
Интернет мог быть рожден правительством США в 1960-х, но к 1990-м это была анархическая сеть творчества, индивидуализма и возможностей. Задолго до того, как Google начал накапливать TPU, такие проекты, как SETI@home, пытались обнаружить инопланетную жизнь с помощью краудсорсинга децентрализованных вычислительных мощностей. К 2000 году SETI@home имел скорость обработки 17 терафлопс, что более чем в два раза превышает производительность лучшего суперкомпьютера того времени — IBM ASCI White. Этот период времени обычно называют «web1», за мгновение до гегемонии крупных платформ, таких как Google или Amazon (web2), но децентрализованные вычисления не смогли масштабироваться для удовлетворения первоначальных потребностей Интернета из-за нескольких проблем в то время.
Однако текущая централизация веб-инфраструктуры на огромных платформах web2 создает свои собственные проблемы, такие как стоимость (валовая прибыль AWS оценивается 61%, представляющий сжатие маржи для большинства небольших исследователей и компаний, работающих с данными. В то же время централизованные вычислительные экземпляры также жертвуют контролем — AWS отключил инфраструктуру популярной правой платформы социальных сетей Parler с уведомление за один день после бунта в Капитолии 6 января 2021 года. Многие согласились с этим решением, но прецедент опасен, когда AWS хозяева 42% из 10,000 XNUMX лучших сайтов в Интернете. Однако обучение моделей глубокого обучения на децентрализованном оборудовании затруднено из-за проблемы проверки, которую помогает решить протокол Gensyn.
Построение рынка в виде протокола Web3 устраняет централизованные накладные расходы на масштабирование и снижает входные барьеры для новых участников поставок, позволяя сети потенциально охватить все вычислительные устройства в мире. Соединение всех устройств через единую децентрализованную сеть обеспечивает уровень масштабируемости, которого в настоящее время невозможно достичь с помощью любого существующего провайдера, предоставляя беспрецедентный доступ по требованию ко всем мировым вычислительным ресурсам. Для конечных пользователей это полностью устраняет дилемму между затратами и масштабом и обеспечивает прозрачные и недорогие обучающие вычисления машинного обучения для потенциально бесконечной масштабируемости (вплоть до мировых ограничений физического оборудования) и для определения цен за единицу в зависимости от динамики рынка. Это обходит обычные рвы, которыми пользуются крупные провайдеры, значительно снижает цены и способствует действительно глобальной конкуренции на уровне ресурсов и даже рассматривает случай, когда существующие поставщики облачных услуг также рассматривают протокол Gensyn как канал распространения, который дополняет более централизованные первичные поставщики. пакетные предложения.
Вывод:
Поскольку искусственный интеллект почти так же популярен, как криптовалюта и блокчейн, наш тезис об инвестировании в Gensyn, представленный здесь, должен пройти тесты на простоту понимания и подкрепленность фактами, а также на то, чтобы быть столь же амбициозным в отношении возможностей, предоставляемых протоколу. добавить ценность изначально целевой, но универсальной сети ресурсов, родной для web3. Мы считаем, что с протоколом Gensyn мы видим начало гипермасштабируемой и экономичной сети координации, которая прокладывает путь к еще более ценным идеям, которые закладывают основу для множества приложений в будущем.
О CoinFund
CoinFund - ведущая инвестиционная компания, специализирующаяся на различных блокчейнах, основанная в 2015 году в США. В совокупности мы обладаем обширным послужным списком и опытом в области криптовалюты, традиционного капитала, кредита, частного капитала и венчурного инвестирования. Стратегии CoinFund охватывают как ликвидные, так и венчурные рынки и извлекают выгоду из нашего междисциплинарного подхода, который синхронизирует технические криптонативные способности с традиционным финансовым опытом. Ориентируясь на принцип «прежде всего основатели», CoinFund тесно сотрудничает со своими портфельными компаниями, чтобы стимулировать инновации в пространстве цифровых активов.
Отказ от ответственности
Контент, представленный на этом сайте, предназначен только для информационных и дискуссионных целей, и на него нельзя полагаться в связи с конкретным инвестиционным решением или его следует рассматривать как предложение, рекомендацию или ходатайство в отношении каких-либо инвестиций. Автор не поддерживает какую-либо компанию, проект или токен, обсуждаемые в этой статье. Вся информация представлена здесь «как есть», без каких-либо гарантий, явных или подразумеваемых, и любые прогнозные заявления могут оказаться неверными. CoinFund Management LLC и ее аффилированные лица могут иметь длинные или короткие позиции в токенах или проектах, обсуждаемых в этой статье.
Протокол Gensyn надежно обучает нейронные сети в гипермасштабе с более низким порядком величины… Был первоначально опубликован в Блог CoinFund На Среднем, где люди продолжают разговор, выделяя и реагируя на эту историю.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Source: https://blog.coinfund.io/the-gensyn-protocol-trustlessly-trains-neural-networks-at-hyperscale-with-lower-order-of-magnitude-227fe968fabf?source=rss—-f5f136d48fc3—4
- "
- 000
- 10
- 2020
- 2021
- О нас
- доступ
- приобретать
- через
- Принятие
- филиалы
- AI
- алгоритмы
- иностранец
- Все
- Позволяющий
- Amazon
- Другой
- Приложения
- подхода
- Искусство
- гайд
- искусственный
- искусственный интеллект
- активы
- аудио
- доступен
- AWS
- фон
- барьеры
- становиться
- не являетесь
- польза
- Беркли
- ЛУЧШЕЕ
- большая технология
- миллиард
- Заблокировать
- строить
- Строительство
- бизнес
- покупка
- призывают
- автомобиль
- легковые автомобили
- Вызывать
- Цензура
- централизованная
- вызов
- Проверки
- Китай
- китайский
- чип
- облако
- облачные сервисы
- CNBC
- Сообщества
- сообщество
- Компании
- Компания
- конкурс
- полностью
- комплекс
- компонент
- Вычисление
- вычисление
- связи
- согласие
- считает
- содержание
- контрактов
- контроль
- Разговор
- Расходы
- создает
- Создающий
- кредит
- криптовалюта
- криптография
- Текущий
- Клиенты
- данным
- десятилетие
- децентрализованная
- децентрализованная сеть
- Спрос
- Проект
- Развитие
- устройство
- Устройства
- Интернет
- Цифровой актив
- распределение
- двойной
- удвоившись
- вниз
- драматично
- управлять
- динамика
- поощрять
- шифрование
- Инженеры
- собственный капитал
- существенный
- По оценкам,
- Эфириума
- эфирная сеть
- расходы
- опыт
- Впечатления
- Face
- ярмарка
- Фэшн
- финансы
- Фирма
- First
- соответствовать
- Фокус
- после
- дальновидный
- Год основания
- Основана
- функциональность
- финансирование
- будущее
- игра
- игровой
- Общие
- Отдаете
- Глобальный
- ГЛОБАЛЬНО
- Правительство
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- Рост
- Аппаратные средства
- помогает
- здесь
- высший
- очень
- исторический
- HTTPS
- огромный
- человек
- Людей
- IBM
- подразумеваемый
- важную
- что она
- улучшать
- Увеличение
- повышение
- промышленность
- промышленность
- информация
- Инфраструктура
- Инновации
- размышления
- Интеллекта
- интерес
- Интернет
- инвестирование
- инвестиций
- вопросы
- IT
- саму трезвость
- хранение
- Основные
- знания
- известный
- маркировка
- язык
- большой
- ведущий
- изучение
- Юр. Информация
- уровень
- Кредитное плечо
- рычаги
- жидкость
- ООО
- Длинное
- машина
- обучение с помощью машины
- Большинство
- ДЕЛАЕТ
- Создание
- управление
- производство
- рынок
- рынка
- Области применения:
- смысл
- Медиа
- средний
- Память
- Microsoft
- миллиона
- Горнодобывающая промышленность
- Горные бассейны
- ML
- модель
- Модели
- месяцев
- БОЛЕЕ
- самых
- двигаться
- а именно
- природа
- сеть
- сетей
- многочисленный
- предлагают
- открытый
- с открытым исходным кодом
- Откроется
- Возможность
- оптимизация
- заказ
- Другое
- принадлежащих
- собственность
- парадигма
- новыми участниками
- партнеры
- платежи
- Люди
- производительность
- возможно
- физический
- Платформа
- Платформы
- бассейн
- Пулы
- Популярное
- «портфель»
- мощностью
- цена
- частная
- Частный акционерный капитал
- Проблема
- проблемам
- процессор
- производит
- Произведенный
- Проект
- проектов
- доказательство
- ( изучите наши патенты),
- протокол
- протоколы
- обеспечивать
- приводит
- обеспечение
- целей
- быстро
- ранжирование
- запись
- снижение
- Аренда
- обязательный
- Требования
- исследованиям
- исследователи
- ресурс
- Полезные ресурсы
- Итоги
- Run
- sale
- Масштабируемость
- масштабируемые
- Шкала
- масштабирование
- Мошенничество
- полупроводник
- Услуги
- набор
- Короткое
- дефицит
- значительный
- аналогичный
- сайте
- Сайтов
- Размер
- Замедление
- умный
- Смарт-контракты
- Соцсети
- социальные сети
- домогательство
- Решения
- РЕШАТЬ
- сложный
- Space
- стек
- доля
- Область
- современное состояние
- отчетность
- Области
- стратегий
- сильный
- топ
- поставка
- поддержка
- система
- системы
- Тайвань
- технологии
- Технический
- Технологии
- Tesla
- тестов
- мир
- Через
- время
- Сегодняшних
- знак
- Лексемы
- топ
- трек
- традиционный
- традиционные финансы
- Обучение
- поезда
- прозрачный
- нам
- понимать
- Объединенный
- США
- us
- правительство США
- ценностное
- поставщики
- предприятие
- проверка
- Видео
- Вид
- Виртуальный
- видение
- Web
- Web3
- будь то
- без
- Работа
- Мир
- мире
- по всему миру
- год
- лет
- Уступать
- YouTube
- зум