边缘的基础模型 – IBM 博客

基础模型 (FM) 标志着一个新时代的开始 机器学习（ML） 和 人工智能（AI），这导致人工智能的更快发展，可以适应广泛的下游任务并针对一系列应用程序进行微调。 

随着在工作中处理数据的重要性日益增加，在企业边缘提供人工智能模型可以实现近乎实时的预测，同时遵守数据主权和隐私要求。 通过结合 IBM沃森克斯 借助边缘计算为 FM 提供数据和 AI 平台功能，企业可以在运营边缘运行 AI 工作负载以进行 FM 微调和推理。 这使企业能够在边缘扩展人工智能部署，减少部署时间和成本，并加快响应时间。

请务必查看本系列关于边缘计算的博客文章中的所有部分：

什么是基础模型？

基础模型 (FM) 在大量未标记数据上进行大规模训练，正在推动最先进的人工智能 (AI) 应用。 它们可以适应各种下游任务，并针对一系列应用进行微调。 现代人工智能模型在单一领域执行特定任务，正在让位于 FM，因为它们学习更广泛，并且跨领域和跨问题工作。 顾名思义，FM 可以成为 AI 模型许多应用的基础。

FM 解决了阻碍企业扩大人工智能采用的两个关键挑战。 首先，企业产生大量未标记数据，其中只有一小部分被标记用于AI模型训练。 其次，这种标记和注释任务极其耗费人力，通常需要主题专家 (SME) 花费数百小时的时间。 这使得跨用例扩展的成本过高，因为它需要大量的中小企业和数据专家。 通过摄取大量未标记数据并使用自监督技术进行模型训练，FM 消除了这些瓶颈，并为整个企业广泛采用人工智能开辟了道路。 每个企业中都存在大量数据，等待释放以推动洞察。

什么是大语言模型？

大型语言模型 (LLM) 是一类基础模型 (FM)，由以下层组成： 神经网络 已经接受过这些大量未标记数据的培训。 他们使用自我监督学习算法来执行各种 自然语言处理（NLP） 任务的方式类似于人类使用语言的方式（见图 1）。

扩大并加速人工智能的影响

构建和部署基础模型 (FM) 有几个步骤。 其中包括数据摄取、数据选择、数据预处理、FM 预训练、针对一项或多项下游任务的模型调整、推理服务以及数据和 AI 模型治理和生命周期管理——所有这些都可以描述为 FMOP.

为了帮助实现这一切，IBM 正在为企业提供必要的工具和功能，以通过以下方式利用这些 FM 的强大功能： IBM沃森克斯，一个企业级人工智能和数据平台，旨在扩大人工智能对整个企业的影响。 IBM watsonx 由以下部分组成：

1. IBM watsonx.ai 带来新的 生成式人工智能 将由 FM 和传统机器学习 (ML) 提供支持的功能集成到跨越 AI 生命周期的强大工作室中。
2. IBM watsonx.data 是一个基于开放 Lakehouse 架构构建的专用数据存储，可随时随地扩展所有数据的 AI 工作负载。
3. IBM watsonx.governance 是一个端到端自动化人工智能生命周期治理工具包，旨在实现负责任、透明和可解释的人工智能工作流程。

另一个关键因素是企业边缘计算的重要性日益增加，例如工业地点、制造车间、零售商店、电信边缘站点等。更具体地说，企业边缘的人工智能可以处理正在执行工作的数据。近实时分析。 企业边缘是生成大量企业数据的地方，也是人工智能可以提供有价值、及时且可操作的业务见解的地方。

在边缘提供人工智能模型服务可以实现近乎实时的预测，同时遵守数据主权和隐私要求。 这显着减少了通常与检测数据的采集、传输、转换和处理相关的延迟。 在边缘工作使我们能够保护敏感的企业数据并通过更快的响应时间降低数据传输成本。

然而，在数据（异构性、数量和监管）和有限资源（计算、网络连接、存储甚至 IT 技能）相关挑战中，扩展边缘人工智能部署并不是一件容易的事。 这些可以大致分为两类：

• 部署时间/成本： 每个部署都包含多层硬件和软件，需要在部署之前安装、配置和测试。 如今，专业服务人员可能需要长达一两周的时间才能完成安装 在每个位置 严重限制了企业在整个组织内扩展部署的速度和成本效益。                                  
• 第二天管理： 部署的大量边缘和每个部署的地理位置通常会导致在每个位置提供本地 IT 支持来监控、维护和更新这些部署的成本过高。

边缘人工智能部署

IBM 开发了一种边缘架构，通过将集成硬件/软件 (HW/SW) 设备模型引入边缘 AI 部署来应对这些挑战。 它由几个有助于人工智能部署可扩展性的关键范例组成：

• 完整软件堆栈的基于策略的零接触配置。
• 持续监控边缘系统健康状况
• 能够管理软件/安全/配置更新并将其推送到众多边缘位置 - 所有这些都来自基于云的中央位置进行第二天管理。

分布式中心辐射架构可用于扩展边缘的企业人工智能部署，其中中央云或企业数据中心充当中心，边缘盒式设备充当边缘位置的辐射. 这种中心辐射模型跨混合云和边缘环境扩展，最好地说明了优化利用 FM 操作所需资源所需的平衡（见图 2）。

在大量未标记数据集上使用自监督技术对这些基础大型语言模型 (LLM) 和其他类型的基础模型进行预训练通常需要大量计算 (GPU) 资源，并且最好在中心执行。 几乎无限的计算资源和通常存储在云中的大量数据允许对大参数模型进行预训练，并不断提高这些基础模型的准确性。

另一方面，针对下游任务调整这些基础 FM（仅需要几十或数百个标记数据样本和推理服务）只需企业边缘的几个 GPU 即可完成。 这允许敏感的标记数据（或企业皇冠上的宝石数据）安全地保留在企业运营环境中，同时还降低了数据传输成本。

使用全栈方法将应用程序部署到边缘，数据科学家可以对模型进行微调、测试和部署。 这可以在单一环境中完成，同时缩短为最终用户提供新人工智能模型的开发生命周期。 红帽 OpenShift Data Science (RHODS) 和最近发布的红帽 OpenShift AI 等平台提供了快速开发和部署生产就绪型 AI 模型的工具。 分布式云 和边缘环境。

最后，在企业边缘为经过微调的人工智能模型提供服务，可显着减少通常与数据获取、传输、转换和处理相关的延迟。 将云中的预训练与边缘上的微调和推理分离，可以减少与任何推理任务相关的所需时间和数据移动成本，从而降低总体运营成本（见图 3）。

为了端到端地演示这一价值主张，对民用基础设施的基于视觉转换器的基础模型（使用公共和自定义行业特定数据集进行预训练）进行了微调并部署用于在三节点边缘上进行推理（发言）集群。 该软件堆栈包括红帽 OpenShift 容器平台和红帽 OpenShift 数据科学。 该边缘集群还连接到在云中运行的 Red Hat Advanced Cluster Management for Kubernetes (RHACM) 中心的实例。

零接触配置

基于策略的零接触配置是通过 Red Hat Advanced Cluster Management for Kubernetes (RHACM) 通过策略和放置标签完成的，这些标签将特定的边缘集群绑定到一组软件组件和配置。 这些软件组件扩展到整个堆栈并涵盖计算、存储、网络和 AI 工作负载，是使用各种 OpenShift 运算符安装的，提供必要的应用程序服务和 S3 Bucket（存储）。

民用基础设施的预训练基础模型 (FM) 通过红帽 OpenShift 数据科学 (RHODS) 中的 Jupyter Notebook 进行微调，使用标记数据对混凝土桥梁上发现的六种缺陷进行分类。 还使用 Triton 服务器演示了这种微调 FM 的推理服务。 此外，通过 Prometheus 将硬件和软件组件的可观测性指标聚合到云中的中央 RHACM 仪表板，可以监控该边缘系统的运行状况。 民用基础设施企业可以在其边缘位置部署这些 FM，并使用无人机图像近乎实时地检测缺陷，从而加快洞察速度并降低将大量高清数据移入和移出云的成本。

总结

结合 IBM沃森克斯 具有盒装边缘设备的基础模型 (FM) 的数据和 AI 平台功能允许企业运行 AI 工作负载，以在操作边缘进行 FM 微调和推理。 该设备可以立即处理复杂的用例，并构建了集中管理、自动化和自助服务的中心辐射框架。 边缘 FM 部署可以从几周缩短到几个小时，并具有可重复的成功、更高的弹性和安全性。

了解有关基础模型的更多信息

请务必查看本系列关于边缘计算的博客文章中的所有部分：