Открытые нейронные сети: пересечение AI и web3

Ришин Шарма и Джейк Брухман.

Особая благодарность всем, кто оставил отзывы об этой статье, в том числе Нику Яковенко, Дэвиду Пакману, Яну Коппенсу, AC, Эвану Фэну, Ади Сайдману.

Источник: изображение, созданное искусственным интеллектом из Lexica.art, поисковой системы со стабильным распространением.

Технологические инновации никогда не отдыхают, и особенно это касается искусственного интеллекта. За последние несколько лет мы наблюдаем возрождение популярности моделей глубокого обучения в качестве предшественников ИИ. Также упоминается как нейронные сети, эти модели состоят из плотно связанных между собой слоев узлов, которые передают информацию друг через друга, примерно имитируя строение человеческого мозга. В начале 2010-х самые продвинутые модели имели миллионы параметров, модели с жестким контролем использовались для анализа и классификации конкретных настроений. Самые передовые современные модели, такие как DreamStudio, GPT-3, ДАЛЛ-Э 2качества Изображение приближаются к одному триллиону параметров и выполняют сложные и даже творческие задачи, которые могут соперничать с человеческой работой. Возьмем, к примеру, изображение заголовка или резюме этого сообщения в блоге. Оба были созданы искусственным интеллектом. Мы только начинаем видеть социальные и культурные последствия этих моделей, поскольку они формируют то, как мы изучаем новые вещи, взаимодействуем друг с другом и творчески выражаем себя.

Тем не менее, большая часть технических ноу-хау, ключевых наборов данных и вычислительных возможностей для обучения больших нейронных сетей сегодня является закрытым исходным кодом и контролируется такими крупными технологическими компаниями, как Google и Meta. В то время как реплики моделей с открытым исходным кодом, таких как GPT-NeoX, ДАЛЛЕ-мегакачества BLOOM возглавили организации, в том числе СтабильностьИИ, ЭлеутерАИкачества ОбниматьЛицо, web3 готов еще больше расширить возможности искусственного интеллекта с открытым исходным кодом.

«Уровень инфраструктуры web3 для ИИ может ввести элементы разработки с открытым исходным кодом, права собственности и управления сообществом, а также универсального доступа, которые создают новые модели и повышают эффективность разработки этих новых технологий.

Кроме того, многие критические варианты использования Web3 будут расширены за счет внедрения технологий искусственного интеллекта. Из генеративное искусство NFT к метавселенным ландшафтам ИИ найдет много вариантов использования в web3. ИИ с открытым исходным кодом соответствует открытому, децентрализованному и демократизированному идеалу web3 и представляет собой альтернативу ИИ, предоставляемому Big Tech, который вряд ли станет открытым в ближайшее время.

Модели фундамента — это нейронные сети, обученные на обширных наборах данных для выполнения задач, которые обычно требуют разумного человеческого поведения. Эти модели дали впечатляющие результаты.

Языковые модели, такие как OpenAI GPT-3, ЛаМДА от Googleкачества Nvidia Megatron-Turing NLG иметь возможность понимать и воспроизводить естественный язык, обобщать и синтезировать текст и даже написать компьютерный код.

ДАЛЛЕ-2 принадлежит OpenAI. модель диффузии текста в изображение которые могут создавать уникальные изображения из письменного текста. DeepMind, подразделение искусственного интеллекта Google, разработало конкурирующие модели, в том числе PaLM, языковую модель параметров 540B, и Imagen, собственную модель генерации изображений, которая превосходит DALLE-2 в тестах DrawBench и COCO FID. Imagen, в частности, дает более фотореалистичные результаты и имеет возможность писать по буквам.

Модели обучения с подкреплением, такие как Google AlphaGo победили чемпион мира по го среди людей открывая для себя новые стратегии и игровые приемы, которые не появлялись за всю трехтысячелетнюю историю игры.

Гонка по созданию сложных моделей фундамента уже началась, когда Big Tech находится в авангарде инноваций. Каким бы захватывающим ни было продвижение в этой области, есть ключевая тема, вызывающая беспокойство.

За последнее десятилетие, по мере того как модели ИИ становились все более изощренными, они также становились все более закрытыми для общественности.

Технологические гиганты вкладывают значительные средства в создание таких моделей и сохранение данных и кода в качестве проприетарных технологий, сохраняя при этом свой конкурентный ров благодаря преимуществам экономии за счет масштаба для обучения моделей и вычислений.

Для любой третьей стороны изготовление моделей фундамента является ресурсоемким процессом с тремя основными узкими местами: данные, и монетизация.

Вот где мы видим раннее вторжение тем web3 в решение некоторых из этих проблем.

Размеченные наборы данных имеют решающее значение для построения эффективных моделей. Системы ИИ учатся, обобщая примеры из наборов данных, и постоянно совершенствуются по мере обучения. Однако составление и маркировка качественных наборов данных требуют специальных знаний и обработки в дополнение к вычислительным ресурсам. В крупных технологических компаниях часто есть внутренние группы данных, специализирующиеся на работе с большими закрытыми наборами данных и IP-системы для обучения своих моделей, и у них мало стимулов открывать доступ к производству или распространению своих данных.

Уже существуют сообщества, которые делают обучение моделям открытым и доступным для глобального сообщества исследователей. Вот некоторые примеры:

1. Обыкновенный обход, общедоступный репозиторий интернет-данных за десять лет, может использоваться для общего обучения. (Хотя , согласно исследованиям, что более точные, урезанные наборы данных могут улучшить общие междисциплинарные знания и возможности последующего обобщения моделей.)
2. Laion — некоммерческая организация, целью которой является предоставление широкой публике крупномасштабных моделей машинного обучения и наборов данных. ЛАИОН5Б, набор данных из 5.85 миллиардов пар изображения-текста, отфильтрованных с помощью CLIP, который после выпуска стал крупнейшим в мире открытым набором данных изображения-текста.
3. ЭлеутерАИ — это децентрализованный коллектив, выпустивший один из крупнейших наборов текстовых данных с открытым исходным кодом под названием Куча. The Pile — это набор данных на английском языке объемом 825.18 ГиБ для языкового моделирования, в котором используются 22 различных источника данных.

В настоящее время эти сообщества организованы неформально и опираются на взносы широкой добровольческой базы. Чтобы усилить их усилия, вознаграждение за токены можно использовать в качестве механизма для создания наборов данных с открытым исходным кодом. Токены могут быть выпущены на основе вкладов, таких как маркировка большого набора данных текстового изображения, и сообщество DAO может подтверждать такие заявления. В конечном счете, крупные модели могут выпускать токены из общего пула, а последующие доходы от продуктов, созданных на основе указанных моделей, могут начисляться на стоимость токена. Таким образом, участники наборов данных могут участвовать в крупных моделях через свои токены, а исследователи смогут монетизировать строительные ресурсы в открытом доступе.

Составление хорошо сконструированных наборов данных с открытым исходным кодом имеет решающее значение для расширения доступности исследований для больших моделей и повышения производительности моделей. Наборы данных текстового изображения можно расширить, увеличив размер и фильтры для различных типов изображений для получения более точных результатов. Наборы данных не на английском языке потребуются для обучения моделей естественного языка, которые могут использовать неанглоязычные группы населения. Со временем мы можем достичь этих результатов намного быстрее и более открыто, используя подход web3.

Вычисления, необходимые для обучения крупномасштабных нейронных сетей, являются одним из самых узких мест в базовых моделях. За последнее десятилетие потребность в вычислительных ресурсах для обучения моделей ИИ резко возросла. удваивается каждые 3.4 месяца. За этот период модели ИИ прошли путь от распознавания изображений до использования алгоритмов обучения с подкреплением, победы над чемпионами в стратегических играх и использования трансформеров для обучения языковых моделей. Например, у OpenAI GPT-3 было 175 миллиардов параметров, и на его обучение ушло 3,640 петафлопс-дней. Это заняло бы две недели на самом быстром суперкомпьютере в мире и более тысячелетия на стандартном ноутбуке. Поскольку размеры моделей только продолжают расти, вычислительные ресурсы остаются узким местом в развитии отрасли.

Суперкомпьютерам с искусственным интеллектом требуется специальное оборудование, оптимизированное для выполнения математических операций, необходимых для обучения нейронных сетей, например графические процессоры (GPU) или специализированные интегральные схемы (ASIC). Сегодня большая часть оборудования, оптимизированного для этого типа вычислений, контролируется несколькими олигополистичными поставщиками облачных услуг, такими как Google Cloud, Amazon Web Services, Microsoft Azure и IBM Cloud.

Это следующее крупное пересечение, где мы видим, что децентрализованное распределение вычислений через общедоступные открытые сети набирает обороты. Децентрализованное управление может быть использовано для финансирования и распределения ресурсов для обучения проектам, управляемым сообществом. Кроме того, модель децентрализованного рынка может быть открыта для всех географических регионов, так что любой исследователь может получить доступ к вычислительным ресурсам. Представьте себе систему поощрений, которая финансирует обучение моделей путем выпуска токенов. Успешные краудфандинги получат приоритетные вычисления для своей модели и будут продвигать инновации там, где есть высокий спрос. Например, если у DAO есть значительный спрос на создание модели GPT на испанском или хинди для обслуживания более широких слоев населения, исследования могут быть сосредоточены на этой области.

Уже сейчас компаниям нравится ГенСин работают над запуском протоколов для стимулирования и координации альтернативного, экономичного и облачного доступа к оборудованию для вычислений глубокого обучения. Со временем общая децентрализованная глобальная вычислительная сеть, построенная на основе инфраструктуры Web3, станет более рентабельной для масштабирования и будет лучше служить нам, когда мы вместе изучаем границы искусственного интеллекта.

Наборы данных и вычисления помогут реализовать этот тезис: модели искусственного интеллекта с открытым исходным кодом. За последние несколько лет крупные модели становились все более частными, поскольку инвестиции в ресурсы, необходимые для их производства, подтолкнули проекты к тому, чтобы они стали закрытыми.

Возьмите OpenAI. OpenAI был основан в 2015 году. как некоммерческая исследовательская лаборатория с миссией создания общего искусственного интеллекта на благо всего человечества, что резко контрастирует с лидерами ИИ того времени, Google и Facebook. Со временем жесткая конкуренция и давление на финансирование подорвали идеалы прозрачности и открытого исходного кода, поскольку OpenAI перешел на коммерческая модель и подписали массивный Коммерческая сделка на $1 млрд с Microsoft. Кроме того, недавние споры вокруг их модели преобразования текста в изображение, DALLE-2, за его всеобщую цензуру. (Например, DALLE-2 запретил термины «оружие», «казнить», «нападение», «Украина» и изображения знаменитостей; такая грубая цензура предотвращает такие подсказки, как «Леброн Джеймс атакует корзину» или «программист выполняет строка кода».) Доступ к частной бета-версии для этих моделей имеет неявный географический уклон для западных пользователей, чтобы отрезать большие слои населения мира от взаимодействия и информирования этих моделей.

Не так следует распространять искусственный интеллект: его охраняют, охраняют и охраняют несколько крупных технологических компаний. Как и в случае с блокчейном, новые технологии должны применяться как можно более справедливо, чтобы их преимущества не концентрировались среди тех немногих, кто имеет к ним доступ. Совокупный прогресс в области искусственного интеллекта должен открыто использоваться в различных отраслях, регионах и сообществах, чтобы коллективно обнаруживать наиболее привлекательные варианты использования и достигать консенсуса в отношении добросовестного использования ИИ. Сохранение моделей фонда открытым исходным кодом может гарантировать, что цензура будет предотвращена, а предвзятость тщательно отслеживается на глазах у общественности.

Благодаря структуре токенов для обобщенных базовых моделей можно будет объединить больший пул участников, которые смогут монетизировать свою работу, выпуская код с открытым исходным кодом. Такие проекты, как OpenAI, созданные с учетом теории открытого исходного кода, должны были обратиться к отдельной финансируемой компании, чтобы конкурировать за таланты и ресурсы. Web3 позволяет проектам с открытым исходным кодом быть столь же прибыльными в финансовом отношении и еще больше конкурировать с теми, которые возглавляются частными инвестициями Big Tech. Кроме того, новаторы, создающие продукты на основе моделей с открытым исходным кодом, могут быть уверены в прозрачности лежащего в основе ИИ. Следующим эффектом этого будет быстрое внедрение и выход на рынок новых вариантов использования искусственного интеллекта. В пространстве web3 это включает приложений безопасности которые проводят прогнозную аналитику для уязвимостей смарт-контрактов и ковриков, генераторы изображений которые можно использовать для разработки NFT и создания ландшафтов метавселенной, цифровые личности с искусственным интеллектом которые могут существовать в сети для сохранения индивидуальной собственности, и многое другое.

Сегодня искусственный интеллект — одна из самых быстро развивающихся технологий, которая будет иметь огромное значение для нашего общества в целом. Сегодня в этой области доминируют большие технологии, поскольку финансовые вложения в таланты, данные и вычисления создают значительные препятствия для разработки с открытым исходным кодом. Интеграция web3 в инфраструктурный уровень искусственного интеллекта — это важный шаг, который необходимо сделать для того, чтобы системы искусственного интеллекта строились честным, открытым и доступным образом. Мы уже видим, как открытые модели занимают позицию быстрых общедоступных инноваций в таких открытых пространствах, как Twitter и HuggingFace, и криптография может ускорить эти усилия в будущем.

Вот что команда CoinFund ищет на стыке ИИ и криптографии:

1. Команды с открытым искусственным интеллектом в основе своей миссии
2. Сообщества, которые курируют общедоступные ресурсы, такие как данные и вычисления, чтобы помочь в создании моделей ИИ.
3. Продукты, в которых используется искусственный интеллект, чтобы обеспечить массовое внедрение творчества, безопасности и инноваций.

Если вы создаете проект на пересечении AI и web3, пообщайтесь с нами, связавшись с CoinFund на Twitter Или напишите электронное письмо по адресу risin@coinfund.io or Джейк@coinfund.io.