生成的合成数据 库布里奇
要训练机器学习模型,您需要数据。 数据科学任务通常不是 Kaggle 竞赛,在 Kaggle 竞赛中,你有一个预先标记好的大型精选数据集。 有时您必须收集、组织和清理自己的数据。 这种在现实世界中收集和标记数据的过程可能非常耗时、繁琐、昂贵、不准确,有时甚至是危险的。 此外,在此过程结束时,您可能会得到您在现实世界中遇到的数据,在质量、多样性(例如,类不平衡)和数量方面不一定是您想要的数据。 以下是您在处理真实数据时可能遇到的常见问题:
- 真实的数据收集和标记是不可扩展的
- 手动标记真实数据有时是不可能的
- 真实数据存在隐私和安全问题
- 真实数据不可编程
- 专门在真实数据上训练的模型性能不够(例如,开发速度慢)
幸运的是,这些问题可以通过合成数据来解决。 你可能想知道, 什么是合成数据? 合成数据可以定义为人工生成的数据,通常使用模拟现实世界过程的算法创建,从其他道路使用者的行为一直到光与表面相互作用时的行为。 这篇文章讨论了现实世界数据的局限性,以及合成数据如何帮助克服这些问题并提高模型性能。
对于小型数据集,通常可以收集并手动标记数据; 然而,许多复杂的机器学习任务需要大量数据集进行训练。 例如,为自动驾驶汽车应用训练的模型需要从连接到汽车或无人机的传感器收集大量数据。 这个数据收集过程很慢,可能需要几个月甚至几年的时间。 一旦收集到原始数据,就必须由人工进行人工标注,这既昂贵又耗时。 此外,不能保证返回的标记数据作为训练数据是有益的,因为它可能不包含告知模型当前知识差距的示例。
[嵌入内容][嵌入内容]
标记这些数据通常需要人工在传感器数据上绘制标签。 这是非常昂贵的,因为高薪 ML 团队通常花费大量时间来确保标签正确并将错误发回给标签者。 合成数据的一个主要优势在于,您可以根据需要生成尽可能多的完美标记数据。 您所需要的只是一种生成高质量合成数据的方法。
生成合成数据的开源软件: 库布里奇 (具有分割蒙版、深度图和光流的多目标视频)和 SDV (表格、关系和时间序列数据)。
一些(许多)销售产品或构建可以生成合成数据的平台的公司包括 格蕾特艾 (确保真实数据隐私的合成数据集), NVIDIA公司 (全方位),和 并行域 (自动驾驶车辆)。 更多, 查看2022年合成数据公司名单.
图片来源: 并行域
有些数据是人类无法完全解释和标记的。 以下是合成数据是唯一选择的一些用例:
- 准确估计深度和 光流 从单个图像
- 利用人眼不可见的雷达数据的自动驾驶应用程序
- 生成可用于测试人脸识别系统的深度造假
图片由 迈克尔·加拉尼克(Michael Galarnyk)
合成数据对于无法轻松获取真实数据的领域中的应用程序非常有用。 这包括某些类型的车祸数据和大多数类型的具有隐私限制的健康数据(例如, 电子健康记录). 近年来,医疗保健研究人员一直对使用 ECG 和 PPG 信号预测房颤(心律不齐)感兴趣。 开发心律失常检测器不仅具有挑战性,因为这些信号的注释既乏味又昂贵,而且还因为隐私限制。 这是为什么有的原因之一 模拟这些信号的研究.
需要强调的是,收集真实数据不仅需要时间和精力,而且实际上可能很危险。 自动驾驶汽车等机器人应用的核心问题之一是它们是机器学习的物理应用。 您不能在现实世界中部署不安全的模型并由于缺乏相关数据而崩溃。 使用合成数据扩充数据集可以帮助模型避免这些问题。
以下是一些使用合成数据来提高应用程序安全性的公司: 丰田, Waymo及 游艇观光.
图片来源: 并行域
在加利福尼亚郊区风格的环境中,一个骑着自行车的儿童从校车后面出现并骑自行车过马路的合成图像。
自动驾驶汽车应用程序通常处理相对“不常见”(相对于正常驾驶条件)的事件,例如夜间的行人或骑自行车的人在马路中间。 模型通常需要数十万甚至数百万个示例来学习一个场景。 一个主要问题是收集的现实世界数据在质量、多样性(例如,类别不平衡、天气条件、位置)和数量方面可能不是您正在寻找的数据。 另一个问题是,对于自动驾驶汽车和机器人,您并不总是知道自己需要什么数据,这与具有固定数据集和固定基准的传统机器学习任务不同。 虽然一些系统地或随机地改变图像的数据增强技术是有帮助的, 这些技术可以 介绍自己的问题.
这就是合成数据的用武之地。合成数据生成 API 允许您设计数据集。 这些 API 可以为您节省很多钱,因为在现实世界中构建机器人和收集数据非常昂贵。 尝试使用合成数据集生成来生成数据并找出工程原理会更好更快。
以下是强调可编程合成数据如何帮助模型学习的示例: 防止欺诈交易(美国运通), 更好的骑车人检测(平行域)及 手术分析与回顾(Hutom.io).
模型开发周期的阶段 | 图片来自 朱尔斯·丹吉
在工业上,有 许多因素会影响机器学习项目在开发和生产中的可行性/性能 (例如,数据采集、注释、模型训练、缩放、部署、监控、模型再训练和开发速度)。 最近, 18 位机器学习工程师参加了访谈研究 其目标是了解跨组织和应用程序(例如,自动驾驶汽车、计算机硬件、零售、广告、推荐系统等)的常见 MLOps 实践和挑战。 该研究的结论之一是开发速度的重要性,它可以粗略地定义为快速原型化和迭代想法的能力。
影响开发速度的一个因素是需要有数据来进行初始模型训练和评估 以及频繁的模型再训练 由于数据漂移、概念漂移,甚至是训练-服务偏差,模型性能会随着时间的推移而衰减。
图片来源: 显然是人工智能
该研究还报告说,这种需求导致一些组织成立了一个团队来经常标记实时数据。 这是昂贵、耗时的,并且限制了组织频繁重新训练模型的能力。
图片来源: 格蕾特艾
请注意,此图并未涵盖合成数据如何也可用于诸如 推荐系统中的 MLOps 测试.
合成数据有可能在机器学习生命周期(如上图)中与真实世界的数据一起使用,以帮助组织更长时间地保持其模型的性能。
合成数据生成在机器学习工作流程中变得越来越普遍。 实际上, Gartner公司 预测到 2030 年,合成数据将比现实世界的数据更多地用于训练机器学习模型。 如果您对这篇文章有任何疑问或想法,请随时在下面的评论中或通过 Twitter.
迈克尔·加拉尼克(Michael Galarnyk) 是一名数据科学专家,在 Anyscale 从事开发人员关系工作。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://www.kdnuggets.com/2023/02/5-reasons-need-synthetic-data.html?utm_source=rss&utm_medium=rss&utm_campaign=5-reasons-why-you-need-synthetic-data
- 2022
- a
- 对,能力--
- 关于
- 以上
- 事故
- 获得
- 横过
- 通
- 广告
- 影响
- 影响
- 算法
- 所有类型
- 时刻
- 美国人
- American Express
- 量
- 分析
- 和
- 另一个
- APIs
- 应用领域
- 应用领域
- 自主性
- 自主车辆
- 自主车辆
- 背部
- 因为
- 成为
- 背后
- 作为
- 如下。
- 基准
- 有利
- 更好
- 空白
- 建立
- 总线
- 汽车
- 汽车
- 例
- 挑战
- 挑战
- 孩子
- 程
- 收集
- 收藏
- 采集
- 注释
- 相当常见
- 公司
- 竞争
- 复杂
- 一台
- 概念
- 条件
- 内容
- 核心
- 外壳
- 崩溃
- 创建
- 策划
- 电流
- 周期
- 危险的
- data
- 数据科学
- 数据集
- 数据集
- 处理
- 深
- 深度假货
- 定义
- 部署
- 部署
- 深度
- 检测
- 开发商
- 发展
- 研发支持
- 多元化
- 不会
- 域
- 域名
- 别
- 向下
- 画
- 驾驶
- 无人机电调
- 容易
- 嵌入式
- 新兴经济体的新市场。
- 强调
- 遭遇
- 能源
- 工程师
- 工程师
- 工程师
- 更多
- 确保
- 环境
- 等
- 评估
- 甚至
- 事件
- 例子
- 例子
- 只
- 昂贵
- 特快
- 面部彩妆
- 人脸识别
- 因素
- 快
- 数字
- 固定
- 流
- 以下
- 欺诈
- Free
- 频繁
- 频繁
- 止
- 充分
- 此外
- Gartner公司
- 生成
- 产生
- 代
- 得到
- GIF
- 目标
- GOES
- 保证
- 硬件
- 健康管理
- 医疗保健
- 胸襟
- 帮助
- 帮助
- 高
- 近期亮点
- 高度
- 创新中心
- 但是
- HTML
- HTTPS
- 巨大
- 人
- 人类
- 数百
- 思路
- 图片
- 图片
- 失调
- 重要性
- 重要
- 不可能
- 改善
- in
- 不准确
- 包括
- 包括
- 行业中的应用:
- 初始
- 交互
- 有兴趣
- 专属采访
- 问题
- IT
- 掘金队
- 保持
- 知道
- 知识
- 标签
- 标签
- 标签
- 缺乏
- 大
- 学习用品
- 学习
- 学习工程师
- 导致
- 生活
- 光
- 限制
- 范围
- 清单
- 生活
- 实时数据
- 圖書分館的位置
- 不再
- 寻找
- 占地
- 机
- 机器学习
- 主要
- 制作
- 手动
- 许多
- 地图
- 面膜
- 大规模
- 中等
- 中间
- 可能
- 百万
- 错误
- ML
- 多播
- 模型
- 模型
- 钱
- 监控
- 个月
- 更多
- 最先进的
- 一定
- 需求
- 夜
- 正常
- Nvidia公司
- 万能
- 一
- 附加选项
- 组织
- 组织
- 其他名称
- 克服
- 己
- 支付
- 并行
- 部分
- 性能
- 的
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 可能
- 帖子
- 潜力
- 做法
- 预测
- 预测
- 原则
- 隐私
- 市场问题
- 问题
- 过程
- 过程
- 核心产品
- 所以专业
- 项目
- 原型
- 质量
- 数量
- 有疑问吗?
- 雷达
- 急速
- 原
- 原始数据
- 达到
- 真实
- 真实的世界
- 原因
- 原因
- 最近
- 最近
- 承认
- 关系
- 相对
- 相应
- 报道
- 要求
- 研究
- 研究人员
- 限制
- 零售
- 再培训
- 检讨
- 骑术
- 路
- 机器人
- περίπου
- 实现安全
- 保存
- 可扩展性
- 缩放
- 脚本
- 学校
- 科学
- 分割
- 自驾车
- 出售
- 发送
- 传感器
- 系列
- 集
- 套数
- 信号
- 自
- 单
- 歪斜
- 放慢
- 小
- 软件
- 一些
- 来源
- 花
- 街头
- 实力
- 学习
- 合成的
- 综合数据
- 产品
- 采取
- 任务
- 团队
- 队
- 技术
- 条款
- test
- 测试
- 其
- 事
- 数千
- 次
- 时间序列
- 耗时的
- 至
- 最佳
- 传统
- 培训
- 熟练
- 产品培训
- 交易
- 类型
- 一般
- 理解
- 使用
- 用户
- 平时
- 利用
- 汽车
- 车辆
- 速度
- 视频
- 可见
- 天气
- 什么是
- 这
- 将
- 想知道
- 工作流程
- 加工
- 合作
- 世界
- 将
- 年
- 您一站式解决方案
- YouTube的
- 和风网