检索增强生成和 RAG 工作流程

介绍

检索增强生成 (RAG) 是一种机制，可通过从有用数据存储中提取信息来帮助 GPT 等大型语言模型 (LLM) 变得更加有用和知识渊博，就像从图书馆取书一样。 以下是 RAG 如何通过简单的 AI 工作流程创造奇迹：

• 知识库（输入）：将其视为一个充满有用内容的大型图书馆 - 常见问题解答、手册、文档等。当出现问题时，系统会在此处寻找答案。
• 触发/查询（输入）: 这是起点。 通常，这是用户提出的问题或请求，告诉系统“嘿，我需要你做点什么！”
• 任务/操作（输出）：系统一旦触发，就会立即采取行动。 如果这是一个问题，它就会找出答案。 如果请求做某事，它就会完成那件事。

现在，让我们将 RAG 机制分解为简单的步骤：

1. 恢复：首先，当出现问题或请求时，RAG 会搜索知识库以查找相关信息。
2. 提高：接下来，它将获取此信息并将其与原始问题或请求混合。 这就像向基本请求添加更多细节以确保系统完全理解它。
3. 代：最后，有了所有这些丰富的信息，它会将其输入到一个大型语言模型中，然后该模型会做出明智的响应或执行所需的操作。

因此，简而言之，RAG 就像一个智能助手，它首先查找有用的信息，将其与手头的问题混合，然后给出全面的答案或根据需要执行任务。 这样，有了 RAG，您的 AI 系统就不再只是在黑暗中拍摄；而是在黑暗中拍摄。 它有坚实的信息基础可供使用，使其更加可靠和有用。

他们解决什么问题？

弥合知识差距

由法学硕士提供支持的生成式人工智能能够根据所训练的大量数据熟练地生成文本响应。 虽然这种训练可以创建可读且详细的文本，但训练数据的静态性质是一个关键限制。 随着时间的推移，模​​型中的信息会变得过时，并且在企业聊天机器人等动态场景中，缺乏实时或特定于组织的数据可能会导致不正确或误导性的响应。 这种情况是有害的，因为它破坏了用户对技术的信任，带来了重大挑战，特别是在以客户为中心或关键任务的应用程序中。

RAG 解决方案

RAG 通过将法学硕士的生成能力与实时、有针对性的信息检索相融合，而不改变底层模型来解决这一问题。 这种融合使人工智能系统能够提供不仅适合上下文而且基于最新数据的响应。 例如，在体育联盟场景中，虽然法学硕士可以提供有关运动或球队的通用信息，但 RAG 使人工智能能够通过访问数据库、新闻源或数据等外部数据源来提供有关最近比赛或球员受伤情况的实时更新。甚至联盟自己的数据存储库。

数据保持最新

RAG 的本质在于它能够利用新鲜的、特定领域的数据来增强 LLM。 RAG 中知识库的持续更新是确保生成式 AI 保持最新状态的一种经济有效的方法。 此外，它提供了广义法学硕士所缺乏的一层背景，从而提高了回答的质量。 识别、更正或删除 RAG 知识库中不正确信息的能力进一步增加了其吸引力，确保了自我更正机制以实现更准确的信息检索。

RAG 工作流程示例

在不断发展的人工智能领域，检索增强生成 (RAG) 通过显着增强大型语言模型 (LLM) 的功能，正在对各个业务部门产生重大影响。 让我们看几个示例，了解 RAG 工作流程如何自动执行任务 –

1. 内部团队知识检索和共享：
   1. 场景： 拥有多元化项目组合的跨国公司经常面临在团队之间有效共享知识和见解的挑战。 为了缓解这一问题，该公司实施了 RAG 增强平台来简化内部知识检索和共享。
   2. 工作流程：
      1. 恢复:
         1. 查询示例：项目经理询问：“过去三年我们是否开展过任何与可再生能源相关的项目？”
         2. RAG 机制立即搜索内部数据库、过去的项目报告和任何其他相关存储库，以检索有关公司在指定时期内参与可再生能源项目的信息。
      2. 提高:
         1. 检索到的数据包括项目名称、关键人员、最终可交付成果以及每个项目的成果。
         2. 它还可能获取在这些项目过程中内部共享的任何相关通信、演示文稿或文档的链接。
      3. 代:
         1. 示例答案： 系统生成综合响应：
            “是的，在过去的三年里，我们从事了三个主要的可再生能源项目。 “太阳能创新”项目由可持续发展团队的 Sarah Johnson 领导，于 2021 年 2022 月结束，开发了太阳能充电站原型。 由 Mark D'Souza 领导的“风能效率”项目旨在提高风力涡轮机效率，于 2022 年 XNUMX 月完成。最后，“可再生能源政策倡导”是一项跨部门举措，于 XNUMX 年 XNUMX 月结束，制定了一项政策提案促进当地社区采用可再生能源。 相关文件、报告和演示文稿可以通过提供的链接访问。”
2. 自动化营销活动:
   • EventXtra XNUMX大解决方案：一家数字营销机构实施 RAG，根据实时市场趋势和消费者行为自动创建和部署营销活动。
   • 工作流程:
     • 恢复：每当新的潜在客户进入系统时，RAG 机制都会获取该潜在客户及其组织的相关详细信息，并触发工作流程的启动。
     • 提高：它将这些数据与客户的营销目标、品牌指南和目标人口统计相结合。
     • 任务执行：系统在各种数字渠道上自主设计和部署定制的营销活动，以利用已识别的趋势，实时跟踪活动的绩效以进行可能的调整。
3. 法律研究和案例准备:
   • EventXtra XNUMX大解决方案：一家律师事务所整合 RAG 来加快法律研究和案件准备。
   • 工作流程:
     • 恢复：在输入有关新案件的信息时，它会调出相关的法律先例、法规和最近的判决。
     • 提高：它将这些数据与案例详细信息相关联。
     • 代：系统起草初步案件摘要，大大减少律师前期研究的时间。
4. 客户服务提升:
   • EventXtra XNUMX大解决方案：一家电信公司实施了 RAG 增强型聊天机器人来处理客户有关计划详细信息、计费和常见问题故障排除的查询。
   • 工作流程:
     • 恢复：收到有关特定计划的数据限额的查询后，系统会从其数据库引用最新的计划和优惠。
     • 提高：它将检索到的信息与客户当前的计划详细信息（来自客户配置文件）和原始查询相结合。
     • 代：系统生成定制的响应，解释客户当前计划与查询计划之间的数据限额差异。
5. 库存管理和重新订购：
   1. 场景： 一家电子商务公司采用 RAG 增强系统来管理库存，并在库存水平低于预定阈值时自动重新订购产品。
   2. 工作流程：
      1. 恢复： 当产品库存达到较低水平时，系统会从数据库中检查销售历史记录、季节性需求波动和当前市场趋势。
      2. 增强： 将检索到的数据与产品的再订购频率、交货时间和供应商详细信息相结合，确定再订购的最佳数量。
      3. 任务执行： 然后系统与公司的采购软件对接，自动向供应商下采购订单，确保电商平台永远不会缺货。
6. 员工入职和 IT 设置：
   1. 场景： 一家跨国公司使用 RAG 支持的系统来简化新员工的入职流程，确保在员工入职第一天之前就设置好所有 IT 要求。
   2. 工作流程：
      1. 恢复： 收到新员工的详细信息后，系统会查阅人力资源数据库以确定该员工的角色、部门和地点。
      2. 增强： 它将这些信息与公司的 IT 策略相关联，确定新员工所需的软件、硬件和访问权限。
      3. 任务执行： 然后，系统与 IT 部门的票务系统进行通信，自动生成票证以设置新工作站、安装必要的软件并授予适当的系统访问权限。 这确保了当新员工开始工作时，他们的工作站已准备好，他们可以立即投入到自己的职责中。

这些示例强调了采用 RAG 工作流程在解决跨众多领域的复杂、实时业务挑战时的多功能性和实际好处。

---

使用 Nanonets AI Assistant 连接您的数据和应用程序，以与数据聊天、部署自定义聊天机器人和代理以及创建 RAG 工作流程。

安排演示

---

如何构建您自己的 RAG 工作流程？

RAG工作流程构建过程

构建检索增强生成 (RAG) 工作流程的过程可以分为几个关键步骤。 这些步骤可以分为三个主要过程： 摄取, 恢复及 代，以及一些额外的准备：

1. 做法：

• 知识库准备： 通过从各种来源（应用程序、文档、数据库）获取数据来准备数据存储库或知识库。 该数据应该被格式化以允许有效的可搜索性，这基本上意味着该数据应该被格式化为统一的“文档”对象表示。

2. 摄入过程：

• 矢量数据库设置： 以向量数据库为知识库，采用各种索引算法组织高维向量，实现快速、稳健的查询能力。
  • 数据提取： 从这些文档中提取数据。
  • 数据分块： 将文档分解为数据部分的块。
  • 数据嵌入： 使用 OpenAI 提供的嵌入模型将这些块转换为嵌入。
• 开发一种机制来摄取用户查询。 这可以是用户界面或基于 API 的工作流程。

3. 检索过程：

• 查询嵌入： 获取用户查询的数据嵌入。
• 块检索： 执行混合搜索，根据查询嵌入在矢量数据库中查找最相关的存储块。
• 内容拉取： 将最相关的内容从您的知识库提取到提示中作为上下文。

4. 生成过程：

• 提示生成： 将检索到的信息与原始查询相结合以形成提示。 现在，您可以执行 –
  • 响应生成： 将组合的提示文本发送到 LLM（大型语言模型）以生成消息灵通的响应。
  • 任务执行： 将组合的提示文本发送到您的 LLM 数据代理，该代理将根据您的查询推断出要执行的正确任务并执行它。 例如，您可以创建一个 Gmail 数据代理，然后提示它“向最近的 Hubspot 潜在客户发送促销电子邮件”，数据代理将 –
    • 从 Hubspot 获取最新线索。
    • 使用您的知识库获取有关潜在客户的相关信息。 您的知识库可以从多个数据源获取数据 - LinkedIn、Lead Enrichment API 等。
    • 为每个潜在客户策划个性化的促销电子邮件。
    • 使用您的电子邮件提供商/电子邮件活动经理发送这些电子邮件。

5. 配置与优化：

• 定制： 自定义工作流程以满足特定要求，其中可能包括调整摄取流程，例如预处理、分块和选择嵌入模型。
• 优化： 实施优化策略以提高检索质量并减少要处理的令牌数量，这可能会导致大规模的性能和成本优化。

自己实现一个

实现检索增强生成 (RAG) 工作流程是一项复杂的任务，涉及众多步骤以及对底层算法和系统的充分理解。 以下是针对那些希望实施 RAG 工作流程的人员所面临的突出挑战以及克服这些挑战的步骤：

构建自己的 RAG 工作流程面临的挑战：

1. 新颖性和缺乏既定实践： RAG 是一项相对较新的技术，于 2020 年首次提出，开发人员仍在寻找在生成人工智能中实现其信息检索机制的最佳实践。
2. 费用： 实施 RAG 比单独使用大型语言模型 (LLM) 更昂贵。 然而，它比频繁重新培训法学硕士的成本要低。
3. 数据结构： 确定如何对知识库和矢量数据库中的结构化和非结构化数据进行最佳建模是一个关键挑战。
4. 增量数据馈送： 开发将数据增量输入 RAG 系统的流程至关重要。
5. 处理不准确的情况： 有必要制定流程来处理不准确的报告并纠正或删除 RAG 系统中的这些信息源。

---

使用 Nanonets AI Assistant 连接您的数据和应用程序，以与数据聊天、部署自定义聊天机器人和代理以及创建 RAG 工作流程。

安排演示

---

如何开始创建您自己的 RAG 工作流程：

实施 RAG 工作流程需要结合技术知识、正确的工具以及持续学习和优化，以确保其实现您的目标的有效性和效率。 对于那些希望自己实施 RAG 工作流程的人，我们整理了一系列全面的实践指南，详细引导您完成实施过程 –

每个教程都配有独特的方法或平台来实现指定主题的所需实现。

如果您希望深入构建自己的 RAG 工作流程，我们建议您查看上面列出的所有文章，以获得开始您的旅程所需的整体了解。

使用 ML 平台实施 RAG 工作流程

虽然从头开始构建检索增强生成 (RAG) 工作流程的吸引力提供了一定的成就感和定制感，但不可否认，这是一项复杂的工作。 认识到其中的复杂性和挑战，一些企业已经挺身而出，提供专门的平台和服务来简化这一过程。 利用这些平台不仅可以节省宝贵的时间和资源，还可以确保实施基于行业最佳实践并针对性能进行优化。

对于可能没有足够的带宽或专业知识从头开始构建 RAG 系统的组织或个人，这些机器学习平台提供了一个可行的解决方案。 通过选择这些平台，人们可以：

• 绕过技术复杂性：避免数据结构化、嵌入和检索过程的复杂步骤。 这些平台通常附带为 RAG 工作流程量身定制的预构建解决方案和框架。
• 利用专业知识：受益于对 RAG 系统有深入了解并已经解决了与其实施相关的许多挑战的专业人员的专业知识。
• 可扩展性：这些平台在设计时通常考虑到可扩展性，确保随着数据的增长或需求的变化，系统无需进行彻底检修即可适应。
• 成本效益：虽然使用平台会产生相关成本，但从长远来看，它可能更具成本效益，特别是在考虑故障排除、优化和潜在重新实施的成本时。

让我们看一下提供 RAG 工作流程创建功能的平台。

纳米网

Nanonets 提供由您公司的数据支持的安全 AI 助手、聊天机器人和 RAG 工作流程。 它可以实现各个数据源之间的实时数据同步，方便团队进行全面的信息检索。 该平台允许创建聊天机器人，并通过由大型语言模型 (LLM) 提供支持的自然语言部署复杂的工作流程。 它还提供数据连接器来读取和写入应用程序中的数据，并能够利用 LLM 代理直接对外部应用程序执行操作。

Nanonets AI 助手产品页面

AWS 生成式人工智能

AWS 在其 Generative AI 保护下提供各种服务和工具，以满足不同的业务需求。 它允许通过 Amazon Bedrock 访问来自不同提供商的各种行业领先的基础模型。 用户可以使用自己的数据定制这些基础模型，以构建更加个性化和差异化的体验。 AWS强调安全性和隐私性，在定制基础模型时确保数据保护。 它还强调了用于扩展生成式 AI 的经济高效的基础设施，并提供 AWS Trainium、AWS Inferentia 和 NVIDIA GPU 等选项，以实现最佳性价比。 此外，AWS 还有助于在 Amazon SageMaker 上构建、训练和部署基础模型，将基础模型的功能扩展到用户的特定用例。

AWS 生成式 AI 产品页面

Google Cloud 上的生成式 AI

Google Cloud 的生成式 AI 提供了一套强大的工具，用于开发 AI 模型、增强搜索和实现 AI 驱动的对话。 它在情感分析、语言处理、语音技术和自动化文档管理方面表现出色。 此外，它还可以创建RAG工作流程和LLM代理，以多语言的方式满足不同的业务需求，使其成为满足各种企业需求的综合解决方案。

谷歌云生成人工智能

甲骨文生成式人工智能

Oracle 生成式人工智能 (OCI Generative AI) 专为企业量身定制，提供卓越的模型以及出色的数据管理、人工智能基础设施和业务应用程序。 它允许使用用户自己的数据来完善模型，而无需与大型语言模型提供商或其他客户共享数据，从而确保安全和隐私。 该平台支持在专用人工智能集群上部署模型，以实现可预测的性能和定价。 OCI Generative AI 提供文本摘要、副本生成、聊天机器人创建、文体转换、文本分类和数据搜索等各种用例，满足一系列企业需求。 它处理用户的输入，其中可以包括自然语言、输入/输出示例和指令，以根据用户请求生成、总结、转换、提取信息或对文本进行分类，并以指定格式发回响应。

甲骨文生成式人工智能

Cloudera的

在生成人工智能领域，Cloudera 成为企业值得信赖的盟友。 他们的开放数据湖屋可以在公共云和私有云上访问，这是一个基石。 他们提供一系列数据服务，帮助从边缘到人工智能的整个数据生命周期旅程。 它们的功能扩展到开放湖屋中的实时数据流、数据存储和分析，以及通过 Cloudera 数据平台部署和监控机器学习模型。 值得注意的是，Cloudera 能够构建检索增强生成工作流程，融合检索和生成功能的强大组合，以增强人工智能应用程序。

Cloudera 博客页面

Glean

Glean 采用人工智能来增强工作场所搜索和知识发现。 它利用矢量搜索和基于深度学习的大型语言模型来对查询进行语义理解，不断提高搜索相关性。 它还提供生成式人工智能助手，用于回答查询并总结文档、票据等信息。 该平台提供个性化搜索结果，并根据用户活动和趋势建议信息，此外还有助于轻松设置和与各种应用程序的 100 多个连接器集成。

收集主页

陆地机器人

Landbot 提供了一套用于创建对话体验的工具。 它有助于通过网站或 WhatsApp 上的聊天机器人产生潜在客户、客户参与和支持。 用户可以使用无代码构建器设计、部署和扩展聊天机器人，并将其与 Slack 和 Messenger 等流行平台集成。 它还为不同的用例提供各种模板，例如潜在客户开发、客户支持和产品推广

Landbot.io 主页

聊天库

Chatbase 提供了一个定制 ChatGPT 的平台，以符合品牌的个性和网站外观。 它允许收集潜在客户、日常对话摘要以及与 Zapier、Slack 和 Messenger 等其他工具的集成。 该平台旨在为企业提供个性化的聊天机器人体验。

聊天库产品页面

规模AI

Scale AI 通过提供微调和 RLHF 来使基础模型适应特定的业务需求，解决了 AI 应用程序开发中的数据瓶颈。 它与领先的人工智能模型集成或合作，使企业能够整合其数据以实现战略差异化。 再加上创建 RAG 工作流程和 LLM 代理的能力，Scale AI 提供了一个全栈生成式 AI 平台，可加速 AI 应用程序开发。

Scale AI 主页

Shakudo – 法学硕士解决方案

Shakudo 提供了一个统一的解决方案，用于部署大型语言模型 (LLM)、管理矢量数据库和建立强大的数据管道。 它通过实时监控和自动编排简化了从本地演示到生产级 LLM 服务的过渡。 该平台支持灵活的生成式AI操作、高通量向量数据库，并提供各种专门的LLMOps工具，增强了现有技术堆栈的功能丰富性。

Shakundo RAG 工作流程产品页面

---

提到的每个平台/业务都有自己的一套独特的特性和功能，可以进一步探索以了解如何利用它们来连接企业数据和实施 RAG 工作流程。

使用 Nanonets AI Assistant 连接您的数据和应用程序，以与数据聊天、部署自定义聊天机器人和代理以及创建 RAG 工作流程。

安排演示

---

使用 Nanonet 的 RAG 工作流程

在增强语言模型以提供更精确和更有洞察力的响应领域，检索增强生成（RAG）是一种关键机制。 这个复杂的过程提高了人工智能系统的可靠性和实用性，确保它们不仅仅在信息真空中运行。

其核心是 Nanonets AI Assistant 作为一个安全的多功能 AI 伴侣，旨在弥合您的组织知识和大型语言模型 (LLM) 之间的差距，所有这些都在用户友好的界面中进行。

以下是 Nanonets 的 RAG 功能提供的无缝集成和工作流程增强的一瞥：

数据连接：

Nanonets 促进与 100 多个流行工作空间应用程序的无缝连接，包括 Slack、Notion、Google Suite、Salesforce 和 Zendesk 等。 它擅长处理各种数据类型，无论是 PDF、TXT、图像、音频和视频文件等非结构化数据，还是 CSV、电子表格、MongoDB 和 SQL 数据库等结构化数据。 这种广谱数据连接确保了 RAG 机制可以利用的强大知识库。

触发和行动代理：

使用 Nanonet，设置触发/动作代理变得轻而易举。 这些代理对工作区应用程序中的事件保持警惕，并根据需要启动操作。 例如，建立一个工作流程来监控新电子邮件 support@your_company.com，利用您的文档和过去的电子邮件对话作为知识库，起草富有洞察力的电子邮件回复，并将其发送出去，所有这些都经过无缝编排。

简化的数据摄取和索引：

优化的数据摄取和索引是该包的一部分，确保由 Nanonets AI Assistant 在后台处理的数据处理顺利。 这种优化对于与数据源的实时同步至关重要，确保 RAG 机制能够使用最新的信息。

首先，您可以与我们的一位 AI 专家通话，我们可以根据您的使用案例为您提供 Nanonets AI Assistant 的个性化演示和试用。

设置完成后，您可以使用 Nanonets AI Assistant 来 –

创建 RAG 聊天工作流程

为您的团队提供来自所有数据源的全面、实时信息。

创建 RAG 代理工作流程

使用自然语言创建和运行由法学硕士提供支持的复杂工作流程，与您的所有应用程序和数据进行交互。

部署基于 RAG 的聊天机器人

构建并部署随时可用的自定义 AI 聊天机器人，在几分钟内即可了解您。

提高团队效率

借助 Nanonets AI，您不仅可以集成数据，还可以集成数据。 您正在增强团队的能力。 通过自动化日常任务并提供富有洞察力的响应，您的团队可以将他们的注意力重新分配到战略计划上。

Nanonets 的 RAG 驱动的 AI 助手不仅仅是一个工具；它还是一个工具。 它是简化运营、增强数据可访问性并推动您的组织迈向明智决策和自动化未来的催化剂。

---

使用 Nanonets AI Assistant 连接您的数据和应用程序，以与数据聊天、部署自定义聊天机器人和代理以及创建 RAG 工作流程。

安排演示

---

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://nanonets.com/blog/retrieval-augmented-generation/