由 Rishin Sharma 和 Jake Brukhman 撰写。
特别感谢所有对这篇文章提供反馈的人，包括 Nick Yakovenko、David Pakman、Jan Coppens、AC、Evan Feng、Adi Sideman。
来源：来自稳定扩散搜索引擎 Lexica.art 的 AI 生成图像
技术创新永无止境，人工智能尤其如此。 在过去的几年里，我们看到深度学习模型的流行重新成为人工智能的先驱。 也被称为 神经网络，这些模型由密集互连的节点层组成，这些节点相互传递信息，大致模仿了人类大脑的构造。 在 2010 年代初期，最先进的模型拥有数百万个参数，用于特定情绪分析和分类的高度监督模型。 当今最先进的型号，例如 梦想工作室, GPT-3, 达尔-E 2及 图像 正在接近一万亿个参数，并且正在完成与人类工作相媲美的复杂甚至创造性的任务。 以这篇博文的标题图片或摘要为例。 两者都是由人工智能产生的。 我们才刚刚开始看到这些模型的社会和文化影响，因为它们塑造了我们学习新事物、相互互动和创造性地表达自己的方式。
然而，如今训练大型神经网络的许多技术诀窍、关键数据集和计算能力都是封闭源代码，并由谷歌和 Meta 等“大科技”公司控制。 而复制开源模型，例如 GPT-NeoX, DALLE-兆及 布卢姆 已由组织带头，包括 稳定性AI, 艾柳特人工智能及 拥抱脸，web3 准备进一步增强开源 AI。
“人工智能的 web3 基础设施层可以引入开源开发、社区所有权和治理以及通用访问的元素，从而在开发这些新技术时创造新的模型和效率。=
此外，采用人工智能技术将增强 web3 的许多关键用例。 从 生成艺术 NFT 对于虚拟环境，AI 将在 web3 中找到许多用例。 开源 AI 符合 web3 的开放、去中心化和民主化的精神，代表了 Big Tech 提供的 AI 的替代方案，后者不太可能很快开放。
基础模型 是在广泛的数据集上训练的神经网络，以执行通常需要智能人类行为的任务。 这些模型创造了一些令人印象深刻的结果。
语言模型，例如 OpenAI 的 GPT-3, 谷歌的 LaMDA及 Nvidia 的 Megatron-Turing NLG 具有理解和产生自然语言、总结和合成文本的能力，甚至 编写计算机代码.
DALLE-2 是 OpenAI 的 文本到图像的扩散模型 可以从书面文本中产生独特的图像。 谷歌的人工智能部门 DeepMind 已经产生了竞争模型，包括 PaLM，一个 540B 参数语言模型，和 Imagen，它自己的图像生成模型，在 DrawBench 和 COCO FID 基准上优于 DALLE-2。 Imagen 尤其能产生更逼真的效果并具有拼写能力。
强化学习模型，例如 Google 的 AlphaGo 打败了 人类围棋世界冠军 同时发现游戏三千年历史中从未出现过的新颖策略和游戏技巧。
建立复杂基础模型的竞赛已经开始，Big Tech 处于创新的最前沿。 尽管该领域的进步令人兴奋，但有一个关键主题值得关注。
在过去的十年中，随着人工智能模型变得越来越复杂，它们也越来越不向公众开放。
科技巨头正在大力投资于生产此类模型并将数据和代码保留为专有技术，同时通过其模型训练和计算的规模经济优势来保持其竞争护城河。
对于任何第三方来说，制作基础模型都是一个资源密集型过程，存在三个主要瓶颈： 数据、计算、 和 货币化.
在这里，我们看到了 web3 主题在解决其中一些问题方面的早期进展。
标记数据集对于构建有效模型至关重要。 AI 系统通过从数据集中的示例进行概括来学习，并随着时间的推移不断改进。 然而，除了计算资源之外，高质量的数据集编译和标记还需要专门的知识和处理。 大型科技公司通常会有内部数据团队专门处理大型专有数据集和 知识产权系统 训练他们的模型，并且几乎没有动力开放访问他们的数据的生产或分发。
已经有一些社区正在向全球研究人员社区开放和访问模型训练。 这里有些例子：
- 常见的抓取，十年互联网数据的公共存储库，可用于一般培训。 （尽管 研究表明， 更精确、更精简的数据集可以提高模型的一般跨领域知识和下游泛化能力。）
- 莱翁 是一个非营利组织，旨在向公众提供大规模机器学习模型和数据集并发布 莱昂5B，一个 5.85 亿 CLIP 过滤的图像-文本对数据集，一经发布就成为世界上最大的可公开访问的图像-文本数据集。
- 艾柳特人工智能 是一个分散的集体，发布了最大的开源文本数据集之一，称为 堆. The Pile 是一个 825.18 GiB 的英语语言数据集，用于使用 22 个不同数据源的语言建模。
目前，这些社区是非正式组织的，并依赖于广泛的志愿者基础的贡献。 为了加强他们的努力，代币奖励可以用作创建开源数据集的机制。 可以根据贡献发出令牌，例如标记大型文本图像数据集，并且 DAO 社区可以验证此类声明。 最终，大型模型可以从一个公共池中发行代币，并且基于所述模型构建的产品的下游收入可以累积到代币价值中。 通过这种方式，数据集贡献者可以通过他们的代币持有大型模型的股份，研究人员将能够公开利用建筑资源获利。
编译构建良好的开源数据集对于扩大大型模型的研究可访问性和提高模型性能至关重要。 可以通过增加不同类型图像的大小和过滤器来扩展文本图像数据集，以获得更精细的结果。 将需要非英语数据集来训练非英语人群可以使用的自然语言模型。 随着时间的推移，我们可以使用 web3 方法更快、更公开地实现这些结果。
训练大规模神经网络所需的计算是基础模型中最大的瓶颈之一。 在过去十年中，训练 AI 模型对计算的需求 每 3.4 个月翻一番. 在此期间，人工智能模型已经从图像识别到使用强化学习算法，再到在战略游戏中击败人类冠军，以及利用变压器训练语言模型。 例如，OpenAI 的 GPT-3 有 175 亿个参数，训练时间为 3,640 petaFLOPS-day。 在世界上最快的超级计算机上，这需要两周时间，而标准笔记本电脑需要一千年以上的时间来计算。 随着模型尺寸的不断增长，计算仍然是该领域发展的瓶颈。
AI 超级计算机需要经过优化的特定硬件，以执行训练神经网络所需的数学运算，例如图形处理单元 (GPU) 或专用集成电路 (ASIC)。 如今，针对此类计算优化的大多数硬件都由少数寡头云服务提供商控制，例如 Google Cloud、Amazon Web Services、Microsoft Azure 和 IBM Cloud。
这是下一个主要交叉点，我们看到通过公共开放网络进行分散式计算分配获得牵引力。 分散治理可用于资助和分配资源以培训社区驱动的项目。 此外，分散的市场模型可以跨地域公开访问，这样任何研究人员都可以访问计算资源。 想象一个通过发行代币来众筹模型训练的赏金系统。 成功的众筹将为其模型获得优先计算，并在需求量大的地方推动创新。 例如，如果 DAO 强烈要求生成西班牙语或印地语 GPT 模型以服务于更大范围的人群，则可以将研究重点放在该领域。
公司已经喜欢 基因同步 正在努力启动协议，以激励和协调用于深度学习计算的替代性、成本效益和基于云的硬件访问。 随着时间的推移，随着我们共同探索人工智能的前沿，使用 web3 基础设施构建的共享、分散的全球计算网络将变得更具成本效益，可以扩展并更好地为我们服务。
数据集和计算将使这篇论文成为可能：开源人工智能模型。 在过去的几年里，大型模型变得越来越私密，因为生产它们所需的资源投资已经推动项目变得封闭源代码。
以 OpenAI 为例。 OpenAI 成立于 2015 年 作为一个非营利性研究实验室，其使命是为全人类的利益生产通用人工智能，这与当时的人工智能领导者谷歌和 Facebook 形成了鲜明的对比。 随着时间的推移，激烈的竞争和资金压力已经侵蚀了透明度和开源代码的理想，因为 OpenAI 转向了 营利模式 并签署了一份巨额 与微软达成 1 亿美元的商业交易. 此外，最近的争议围绕着他们的文本到图像模型 DALLE-2， 因其普遍的审查制度. （例如，DALLE-2 禁止使用“枪”、“执行”、“攻击”、“乌克兰”和名人图像等术语；这种粗暴的审查制度阻止了诸如“勒布朗詹姆斯攻击篮筐”或“程序员执行代码行'。）访问这些模型的私人测试版对西方用户具有隐含的地理偏见，以切断全球大部分人口与这些模型的交互和通知。
这不是人工智能应该传播的方式：由几家大型科技公司保护、监管和保护。 与区块链的情况一样，新技术应该尽可能公平地应用，这样它的好处就不会集中在少数可以使用的人身上。 应在不同行业、地区和社区中公开利用人工智能的复合进展，共同发现最具吸引力的用例，并就人工智能的公平使用达成共识。 保持基金会模型开源可以确保防止审查并在公众视野下仔细监控偏见。
借助通用基础模型的代币结构，将有可能聚集更大的贡献者池，这些贡献者可以在发布代码开源的同时将其工作货币化。 像 OpenAI 这样考虑到开源论文而构建的项目不得不转向一家独立的资助公司来争夺人才和资源。 Web3 允许开源项目在财务上同样有利可图，并进一步与由 Big Tech 私人投资领导的项目竞争。 此外，在开源模型之上构建产品的创新者可以自信地构建底层 AI 的透明度。 其下游效应将是新型人工智能用例的快速采用和上市。 在 web3 空间中，这包括 安全应用 对智能合约漏洞和拉扯进行预测分析， 图像生成器 可用于铸造 NFT 并创建元界景观， 数字人工智能人物 可以存在于链上以保留个人所有权等等。
人工智能是当今发展最快的技术之一，将对我们整个社会产生巨大影响。 如今，该领域由大型科技公司主导，因为对人才、数据和计算的金融投资为开源开发创造了重要的护城河。 将 web3 集成到人工智能的基础设施层是确保人工智能系统以公平、开放和可访问的方式构建的关键步骤。 我们已经看到开放模型在 Twitter 和 HuggingFace 等开放空间中占据快速、公共创新的位置，而加密可以推动这些努力向前发展。
以下是 CoinFund 团队在 AI 和加密的交叉点上寻找的东西：
- 以开放式人工智能为核心的团队
- 管理公共资源（如数据和计算）以帮助构建 AI 模型的社区
- 利用人工智能将创造力、安全性和创新带入主流应用的产品
如果你在 AI 和 web3 的交叉点上构建项目，请联系 CoinFund 与我们聊天 Twitter 或发送电子邮件 rishin@coinfund.io or 杰克@coinfund.io.
