图片由编辑
自去年年底以来,我一直在阅读、写作和演讲有关开源软件和机器学习的交叉点,试图了解未来可能会带来什么。
当我开始时,我预计我会主要谈论机器学习社区如何使用开源软件。 但我探索得越多,就越意识到这两个实践领域之间有很多相似之处。 在本文中,我将讨论其中的一些相似之处,以及机器学习可以从开源软件中学习什么,不能从开源软件中学习什么。
简单而明显的相似之处在于,现代机器学习和现代软件几乎完全是用开源软件构建的。 对于软件来说,就是编译器和代码编辑器; 对于机器学习,它是像 PyTorch 和 TensorFlow 这样的训练和推理框架。 这些领域由开源软件主导,而且似乎没有任何东西可以改变这一点。
有一个明显的例外:所有这些框架都依赖于非常专有的 Nvidia 硬件和软件堆栈。 这实际上比乍一看更加并行。 长期以来,开源软件主要运行在由专有硬件供应商销售的专有 Unix 操作系统上。 直到 Linux 出现之后,我们才开始理所当然地认为堆栈的开放“底部”是可能的,并且现在很多开放开发都是在 MacOS 和 Windows 上完成的。 目前尚不清楚这将如何在机器学习中发挥作用。 亚马逊(AWS)、谷歌(云和安卓)和苹果都在投资竞争芯片和堆栈,其中一个或多个可能会遵循 Linus(和 Intel)释放了 整个 堆.
开源软件的构建方式和机器学习的构建方式之间更重要的相似之处是各自构建的数据的复杂性和公共可用性。
如本文所述 预印本 纸 “数据来源项目” 我与人合着的《现代机器学习》是建立在数千个数据源之上的,就像现代开源软件建立在数十万个库之上一样。 就像每个开放图书馆都会带来法律、安全和维护方面的挑战一样,每个公共数据集也会带来完全相同的困难。
在我的组织中,我们将这一挑战的开源软件版本称为“意外供应链”。 软件行业开始构建东西,因为开源库令人难以置信的构建块意味着我们可以。 这意味着该行业开始将开源软件视为供应链——这令许多“供应商”感到惊讶。
为了缓解这些挑战,开源软件开发了许多复杂的(尽管不完美)技术,例如用于识别正在使用的内容的扫描仪,以及用于在部署后跟踪事物的元数据。 我们还开始投资于人类,试图解决工业需求和志愿者动机之间的不匹配问题。
不幸的是,机器学习社区似乎准备陷入同样的“意外”供应链错误——做很多事情,因为它可以,而没有停下来思考一旦整个经济都基于这些数据集的长期影响。
最后一个重要的相似之处是,我强烈怀疑机器学习将扩展到填补许多许多领域,就像开源软件一样。 目前,(当之无愧的)炒作是关于大型生成模型的,但也有许多小型模型,以及对大型模型的调整。 事实上,托管网站 HuggingFace(机器学习的主要托管平台)报告称,其网站上的模型数量正在呈指数级增长。
这些模型可能会很丰富并且可以改进,就像开源软件的小片段一样。 这将使它们变得异常灵活和强大。 例如,我正在使用一个基于机器学习的小型工具在我的街道上进行廉价、隐私敏感的流量测量,这是几年前除非在昂贵的设备上否则不可能实现的用例。
但这种扩散意味着它们需要被跟踪——模型可能变得不太像大型机,而更像开源软件或 SaaS,由于低成本和易于部署,它们随处可见。
那么,如果存在这些重要的相似之处(特别是复杂的供应链和激增的分销),机器学习可以从开源软件中学到什么?
我们可以得出的第一个类似的教训是,要理解机器学习的许多挑战,机器学习将需要元数据和工具。 开源软件通过版权和许可合规性偶然进入元数据工作,但随着软件意外供应链的成熟,元数据已被证明在各个方面都非常有用。
在机器学习中,元数据跟踪是一项正在进行的工作。 举几个例子:
- A 2019年重点论文被业界广泛引用,敦促模型开发人员用“模型卡”记录他们的工作。 不幸的是,最近的研究表明他们 野外实施仍然薄弱.
- SPDX 和 CycloneDX 软件物料清单 (SBOM) 规范都致力于人工智能物料清单 (AI BOM),以比模型卡更加结构化的方式帮助跟踪机器学习数据和模型(符合人们预期的复杂性,如果这真正做到并行开源软件)。
- HuggingFace 已创建 各种规格和工具 允许模型和数据集作者记录其来源。
- 上面引用的麻省理工学院数据来源论文试图了解数据许可的“基本事实”,以帮助用现实世界的数据充实规范。
- 有趣的是,许多从事机器学习培训工作的公司似乎与数据跟踪有一些随意的关系,以“越多越好”为借口,将数据铲入料斗,但不一定能很好地跟踪它。
如果我们从开放中学到了什么,那就是正确获取元数据(首先是规格,然后是实际数据)将是一个耗时数年的项目,并且可能需要 政府干预。 机器学习应该尽早应对元数据的暴跌。
安全性是开源软件元数据需求的另一个主要驱动因素——如果您不知道自己在运行什么,就无法知道自己是否容易受到看似无穷无尽的攻击。
机器学习不会受到大多数类型的传统软件攻击,但这并不意味着它们是无懈可击的。 (我最喜欢的例子是可以 毒物图像训练集 因为它们经常取自死域。)这一领域的研究已经足够热门,以至于我们已经超越了“概念验证”并进入“有足够的攻击来 名单 和 分类设立的区域办事处外,我们在美国也开设了办事处,以便我们为当地客户提供更多的支持。“
不幸的是,开源软件无法为机器学习提供任何安全灵丹妙药——如果我们有的话,我们就会使用它们。 但开源软件如何传播到如此多的利基市场的历史表明,机器学习必须认真对待这一挑战,从跟踪使用和部署元数据开始,正是因为它可能会以超出目前用途的多种方式应用部署。
推动开源元数据(许可,然后是安全)的动机指向了下一个重要的相似之处:随着一个部门重要性的增长,必须衡量和跟踪的事物的范围将会扩大,因为监管和责任将会扩大。
在开源软件中,多年来主要的政府“监管”是版权法,因此元数据的发展是为了支持这一点。 但开源软件现在面临着各种安全和产品责任规则,我们必须成熟我们的供应链以满足这些新要求。
随着人工智能变得越来越重要,它也会以越来越多的方式受到同样的监管。 监管来源将极其多样化,包括内容(投入和产出)、歧视和产品责任。 这有时需要所谓的“确保端到端”——了解模型是如何构建的,以及这些选择(包括数据源)如何影响模型的结果。
这个核心要求——我们有什么? 它是如何形成的?——现在已为企业开源软件开发人员所熟悉。 然而,对于机器学习开发人员来说,这可能是一个根本性的变化,需要接受。
机器学习可以从开源软件(实际上是之前的许多软件浪潮,至少可以追溯到大型机)中汲取的另一个平行教训是,它的使用寿命将非常非常长。 一旦一项技术“足够好”,它就会被部署,因此必须维护非常非常长的时间。 这意味着我们必须尽早考虑这个软件的维护,思考这个软件可能存活几十年意味着什么。 “几十年”并不夸张; 我遇到的许多客户都在使用足够老的投票软件。 许多开源软件公司和一些项目现在都有所谓的“长期支持”版本,专门用于此类用例。
相比之下,OpenAI 保留其 Codex 工具的时间不到两年——引起很多愤怒,尤其是在学术界。 考虑到机器学习的快速变化,并且大多数采用者可能对使用最前沿的技术感兴趣,这可能不是没有道理的,但是这一天将会到来,比业界想象的要早,需要为此做好计划某种“长期”——包括它如何与责任和安全相互作用。
最后,很明显,就像开源软件一样,将会有大量资金流入机器学习,但其中大部分资金将集中在一位作者所说的领域 “处理器丰富”的公司。 如果与开源软件的相似之处得到体现,这些公司将与模型的中位创建者(或用户)有非常不同的关注点和支出优先级。
我们公司 Tidelift 一段时间以来一直在思考开源软件的激励问题,而像世界上最大的软件购买者——美国政府——这样的实体正在 也在研究问题.
机器学习公司,尤其是那些寻求创建创作者社区的公司,应该认真思考这一挑战。 如果他们依赖于数千个数据集,那么他们将如何确保这些数据集能够在几十年内获得维护、法律合规和安全方面的资金? 如果大公司最终在公司内部部署了数十或数百个模型,那么他们将如何确保那些拥有最佳专业知识的人(创建模型的人)仍然能够在发现新问题时继续解决问题?
与安全一样,这一挑战也没有简单的答案。 但机器学习越早认真对待这个问题——不是作为慈善行为,而是作为长期增长的关键组成部分——整个行业和整个世界就会变得更好。
机器学习深深植根于学术界的实验主义文化和硅谷的快速迭代文化,这对其起到了很好的作用,导致了惊人的创新爆炸, 不到十年前似乎很神奇。 开源软件在过去十年中的历程也许不那么光鲜亮丽,但在那段时间里,它已成为所有企业软件的基础,并在此过程中吸取了很多教训。 希望机器学习不会重新发明这些轮子。
路易斯·维拉 是 Tidelift 的联合创始人兼总法律顾问。 此前,他是一名顶级开源律师,为从财富 50 强公司到领先初创公司的客户提供产品开发和开源许可方面的咨询服务。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://www.kdnuggets.com/ai-and-open-source-software-separated-at-birth?utm_source=rss&utm_medium=rss&utm_campaign=ai-and-open-source-software-separated-at-birth
- :具有
- :是
- :不是
- :在哪里
- $UP
- 2019
- 50
- a
- 关于
- 以上
- 学者
- 偶然
- 法案
- 实际
- 通
- 地址
- 采纳者
- 指导
- 后
- 前
- AI
- 所有类型
- 让
- 几乎
- 沿
- 已经
- 还
- 惊人
- Amazon
- an
- 和
- 安卓
- 愤怒
- 另一个
- 答案
- 任何
- 什么
- 明显的
- 出现
- 出现
- Apple
- 应用的
- 保健
- 国家 / 地区
- 地区
- 围绕
- 刊文
- AS
- At
- 攻击
- 作者
- 作者
- 可用性
- 可使用
- AWS
- 背部
- 基于
- BE
- 因为
- 成为
- 成为
- 很
- before
- 开始
- 作为
- 最佳
- 更好
- 之间
- 超越
- 票据
- 分娩
- 吹氣梢
- 都
- 带来
- 带来
- 建筑物
- 建
- 但是
- by
- 被称为
- 来了
- CAN
- 牌
- 案件
- 例
- 随便
- 链
- 链
- 挑战
- 挑战
- 更改
- 慈善机构
- 廉价
- 碎屑
- 选择
- 引
- 清除
- 客户
- 云端技术
- 联合创始人
- 码
- 如何
- 地区
- 社体的一部分
- 公司
- 公司
- 竞争
- 复杂
- 复杂
- 符合
- 元件
- 关注
- 内容
- 对比
- 版权
- 核心
- 价格
- 可以
- 法律顾问
- 课程
- 创建信息图
- 创建
- 创造者
- 创作者
- 危急
- 文化塑造
- 目前
- 合作伙伴
- 切割
- data
- 数据集
- 数据集
- 成人约会
- 天
- 一年中的
- 死
- 十
- 几十年
- 深
- 依赖的
- 部署
- 部署
- 详细
- 发达
- 开发
- 研发支持
- 设备
- DID
- 不同
- 困难
- 发现
- XNUMX歧視
- 讨论
- 分配
- 不同
- do
- 文件
- 不
- 不会
- 做
- 域名
- 完成
- 别
- 几十个
- 画
- 司机
- ,我们将参加
- 每
- 早
- 缓解
- 易
- 经济
- 边缘
- 编辑
- 拥抱
- 遭遇
- 结束
- 无穷
- 更多
- 确保
- 企业
- 整个
- 完全
- 实体
- 特别
- 醚(ETH)
- 甚至
- 不断增长
- 究竟
- 例子
- 例子
- 除
- 例外
- 扩大
- 期望
- 预期
- 昂贵
- 探讨
- 爆炸
- 成倍
- 非常
- 面孔
- 熟悉
- 高效率
- 喜爱
- 少数
- 填
- (名字)
- 柔软
- 流动
- 遵循
- 针对
- 运气
- 框架
- 止
- 受资助
- 未来
- 其他咨询
- 生成的
- 得到
- 越来越
- GitHub上
- 特定
- 去
- 走了
- 谷歌
- 政府
- 授予
- 成长
- 成长
- 民政事务总署
- 硬
- 硬件
- 有
- he
- 帮助
- 相关信息
- 历史
- 希望
- 托管
- 热卖
- 创新中心
- 但是
- HTTPS
- 拥抱脸
- 人类
- 数百
- 炒作
- i
- 生病
- 确定
- IEEE
- if
- 图片
- 非常
- 影响力故事
- 启示
- 重要性
- 重要
- 改进
- in
- 激励
- 包含
- 难以置信
- 令人难以置信
- 产业
- 行业中的应用:
- 創新
- 输入
- 英特尔
- 拟
- 交互
- 有兴趣
- 路口
- 成
- 投资
- 投资
- IT
- 迭代
- 它的
- 只是
- 掘金队
- 不停
- 键
- 知道
- 大
- 大
- 最大
- (姓氏)
- 去年
- 晚了
- 后来
- 法律
- 律师
- 领导
- 学习用品
- 知道
- 学习
- 最少
- 法律咨询
- 减
- 教训
- 教训
- 责任
- 库
- 自学资料库
- 许可证
- 生活
- 喜欢
- 容易
- Linux的
- 长
- 长时间
- 长期
- 看
- 占地
- 很多
- 低
- 机
- 机器学习
- MacOS的
- 魔法
- 保养
- 主要
- 使
- 方式
- 许多
- 物料
- 成熟
- 可能..
- 意味着
- 手段
- 意思
- 测量
- 数据监测
- 满足
- 元数据
- 可能
- 麻省理工学院简介
- 减轻
- 模型
- 模型
- 现代
- 时刻
- 钱
- 更多
- 最先进的
- 大多
- 动机
- 许多
- 多数
- 必须
- my
- 一定
- 需求
- 需要
- 全新
- 下页
- 没有
- 显着
- 没什么
- 现在
- 数
- Nvidia公司
- 明显
- of
- 折扣
- 提供
- 经常
- 老
- on
- 一旦
- 一
- 仅由
- 打开
- 开放源码
- OpenAI
- 操作
- 操作系统
- or
- 组织
- 我们的
- 输出
- 结果
- 输出
- 超过
- 步伐
- 纸类
- 并行
- 相似之处
- 尤其
- 过去
- 径
- 也许
- 件
- 地方
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 暴跌
- 点
- 池
- 流行的
- 可能
- 强大
- 在练习上
- 先前
- 小学
- 大概
- 市场问题
- 问题
- 产品
- 产品开发
- 进展
- 项目
- 项目
- 所有权
- 成熟
- 出处
- 国家
- 购买者
- pytorch
- 激进
- 快
- 宁
- 阅读
- 准备
- 真实的世界
- 实现
- 最近
- 监管
- 税法法规
- 重塑
- 关系
- 业务报告
- 要求
- 岗位要求
- 研究
- 研究表明
- 右
- 根
- 运行
- s
- SaaS的
- 同
- 斯博姆
- 范围
- 扇形
- 保安
- 寻求
- 似乎
- 认真地
- 集
- 套数
- 应该
- 硅
- 相似之处
- 同样
- 只是
- 自
- 网站
- 小
- So
- 软件
- 软件开发者
- 出售
- 一些
- 有时
- 有些
- 极致
- 来源
- 来源
- 剩余名额
- 发言
- 专家
- 规格
- 眼镜
- 花费
- 传播
- 堆
- 堆栈
- 开始
- 开始
- 初创企业
- 仍
- 停车
- 流
- 街头
- 非常
- 结构化
- 主题
- 提示
- 供应
- 供应链
- 供应链
- SUPPORT
- 惊
- 生存
- 易感
- 产品
- 采取
- 需要
- 说
- 技术
- 专业技术
- tensorflow
- 术语
- 比
- 这
- 未来
- 其
- 他们
- 然后
- 那里。
- 因此
- 博曼
- 他们
- 事
- 认为
- 思维
- 想
- Free Introduction
- 那些
- 虽然?
- 数千
- 通过
- 次
- 至
- 工具
- 最佳
- 跟踪时
- 跟踪
- 传统
- 交通
- 产品培训
- 治疗
- 真正
- 尝试
- 试图
- &
- 二
- 类型
- 不明
- 支撑
- 理解
- 不幸
- UNIX
- us
- 用法
- 使用
- 用例
- 用过的
- 用户
- 运用
- 各种
- 厂商
- 版本
- 非常
- 志愿者
- 投票
- 是
- 波浪
- 方法..
- 方法
- we
- 井
- 什么是
- 什么是
- 这
- WHO
- 广泛
- Wild!!!
- 将
- 窗户
- 也完全不需要
- 工作
- 加工
- 世界
- 世界
- 将
- 写作
- 年
- 年
- 您
- 和风网