一些强大的提示工程技术可以提升我们的 LLM 模型 - KDnuggets

一些强大的提示工程技术来提升我们的 LLM 模型 – KDnuggets

源节点: 2940921

一些强大的即时工程技术可以提升我们的 LLM 模型
使用 DALL-E3 创建的图像
 

人工智能已经成为科技界的一场彻底革命。 

它模仿人类智能并执行曾经被认为仅属于人类领域的任务的能力仍然让我们大多数人感到惊讶。 

然而,无论这些最新的人工智能飞跃有多好,总是有改进的空间。

这正是快速工程发挥作用的地方!

进入这个可以显着提升AI模型生产力的领域。

让我们一起来发现这一切吧!

即时工程是人工智能中一个快速发展的领域,专注于提高语言模型的效率和有效性。 这一切都是为了制作完美的提示来指导人工智能模型产生我们想要的输出。

将其视为学习如何向某人提供更好的指示,以确保他们正确理解并执行任务。 

为什么及时工程很重要

  • 提高生产力: 通过使用高质量的提示,人工智能模型可以生成更准确、更相关的响应。 这意味着花在纠正上的时间更少,而有更多的时间利用人工智能的功能。
  • 成本效益: 训练人工智能模型是资源密集型的。 即时工程可以通过更好的提示来优化模型性能,从而减少重新训练的需要。
  • 多功能性: 精心设计的提示可以使人工智能模型更加通用,使它们能够应对更广泛的任务和挑战。

在深入研究最先进的技术之前,让我们回顾一下两种最有用(也是基本)的即时工程技术。

“让我们一步一步思考”的顺序思考

如今,众所周知,LLM模型的准确性在添加单词序列“让我们一步一步思考”后显着提高。

为什么……你可能会问?

嗯,这是因为我们强制模型将任何任务分解为多个步骤,从而确保模型有足够的时间来处理每个步骤。

例如,我可以使用以下提示来挑战 GPT3.5:
 

如果约翰有 5 个梨,然后吃了 2 个,又买了 5 个,然后给了他的朋友 3 个,那么他有多少个梨?

 

模型马上就会给我答案。 然而,如果我添加最后的“让我们一步一步思考”,我就会迫使模型生成一个包含多个步骤的思考过程。 

少量提示

零样本提示是指要求模型在不提供任何上下文或先前知识的情况下执行任务,而少样本提示技术意味着我们向 LLM 提供我们所需输出的一些示例以及一些具体问题。 

例如,如果我们想提出一个使用诗意语气定义任何术语的模型,可能很难解释。 正确的?

但是,我们可以使用以下几次提示来引导模型朝我们想要的方向发展。

您的任务是以与以下风格一致的风格回答。

: 教我恢复力。

:韧性就像一棵树,被风吹弯,但永不折断。

这是从逆境中恢复并继续前进的能力。

: 在这里输入您的信息。

如果你还没有尝试过,可以去挑战GPT。 

然而,由于我很确定你们大多数人已经了解这些基本技术,因此我将尝试用一些高级技术来挑战你们。

1. 思想链(CoT)提示

介绍 2022年的Google,该方法涉及指示模型在提供最终响应之前经历几个推理阶段。 

听起来很熟悉吧? 如果是这样,你是完全正确的。 

这就像将顺序思维和少量提示结合起来。 

怎么样做?

本质上,CoT 提示指导法学硕士按顺序处理信息。 这意味着我们举例说明如何通过多步骤推理解决第一个问题,然后将我们的实际任务发送给模型,期望它在响应我们希望它解决的实际查询时模拟类似的思维链。

 

一些强大的即时工程技术可以提升我们的 LLM 模型
图像取自
 

因此,按照第一个示例,我们可以提供第一个问题的提示以及如何解决它的顺序解释。 然后,我们可以发送输入,看看奇迹是如何发生的!

如果约翰有 5 个梨,然后吃了 2 个,又买了 5 个,然后给了他的朋友 3 个,那么他有多少个梨? 让我们一步步思考。

让我们一步一步来。 约翰从 5 个梨开始。 他吃了 2 个梨,所以他还剩下 5–2 = 3 个梨。 然后,他又买了5个梨。 所以,他现在有 3 + 5 = 8 个梨。 最后,他给了他的朋友3个梨。 因此,他还剩下 8–3 = 5 个梨。 所以,经过所有这些步骤,约翰有 5 个梨。

您在这里输入。

 

然而,你们大多数人一定在想……每当我想在 ChatGPT 上提问时,我是否都必须想出一个顺序的方法来解决任何问题?

嗯……你不是第一个! 这导致我们……

2. 自动思维链(Auto-CoT)

2022年, 和同事介绍了一种方法来避免这个手动过程。 避免任何手动任务有两个主要原因: 

  • 这可能很无聊。 
  • It can yield bad results – for instance, when our mental process is wrong.

They suggested using LLMs combined with the “Let’s think step by step” prompt to sequentially produce reasoning chains for each demonstration. 

这意味着询问 ChatGPT 如何按顺序解决任何问题,然后使用这个完全相同的示例来训练它如何解决任何其他问题。 

3. 自我一致性

自我一致性是另一种有趣的提示技巧,旨在改善提示更复杂推理问题的思维链。

那么……主要区别是什么?

自我一致性的主要思想是意识到我们可以用错误的例子来训练模型。 想象一下我用错误的思维过程解决了前面的问题: 

如果约翰有 5 个梨,然后吃了 2 个,又买了 5 个,然后给了他的朋友 3 个,那么他有多少个梨? 让我们一步步思考。

Start with 5 pears. John eats 2 pears. Then, he gives 3 pears to his friend. These actions can be combined: 2 (eaten) + 3 (given) = 5 pears in total affected. Now, subtract the total pears affected from the initial 5 pears: 5 (initial) – 5 (affected) = 0 pears left.
然后,我发送给模型的任何其他任务都将是错误的。

 

这就是为什么自我一致性涉及从各种推理路径中进行采样,每个推理路径都包含一个思想链,然后让法学硕士选择最佳且最一致的路径来解决问题。 

 

一些强大的即时工程技术可以提升我们的 LLM 模型
图像取自
 

在这种情况下,再次按照第一个示例,我们可以向模型展示解决问题的不同方法。 

如果约翰有 5 个梨,然后吃了 2 个,又买了 5 个,然后给了他的朋友 3 个,那么他有多少个梨?

从 5 个梨开始。 约翰吃了 2 个梨,剩下 5–2 = 3 个梨。 他又买了 5 个梨,总数达到 3 + 5 = 8 个梨。 最后,他给了他的朋友 3 个梨,所以他还剩下 8-3 = 5 个梨。

如果约翰有 5 个梨,然后吃了 2 个,又买了 5 个,然后给了他的朋友 3 个,那么他有多少个梨?

Start with 5 pears. He then buys 5 more pears. John eats 2 pears now.  These actions can be combined: 2 (eaten) + 5 (bought) = 7 pears in total. Subtract the pear that Jon has eaten from the total amount of pears 7 (total amount) – 2 (eaten) = 5 pears left.

您在这里输入。

 

最后一项技术来了。

4.常识提示

提示工程的常见做法是在将最终 API 调用发送到 GPT-3 或 GPT-4 之前使用附加知识来增强查询。

根据 刘家成公司,我们总是可以为任何请求添加一些知识,以便法学硕士更好地了解该问题。 

 

一些强大的即时工程技术可以提升我们的 LLM 模型
图像取自
 

例如,当询问 ChatGPT 高尔夫运动的一部分是否试图比其他运动获得更高的总分时,它会验证我们的观点。 但是,高尔夫的主要目标却恰恰相反。 这就是为什么我们可以添加一些先前的知识告诉它“得分较低的玩家获胜”。

 

一些强大的即时工程技术可以提升我们的 LLM 模型
 

那么……如果我们准确地告诉模型答案,那么有趣的部分是什么?

在这种情况下,该技术用于改进 LLM 与我们互动的方式。 

So rather than pulling supplementary context from an outside database, the paper’s authors recommend having the LLM produce its own knowledge. This self-generated knowledge is then integrated into the prompt to bolster commonsense reasoning and give better outputs. 

这就是如何在不增加训练数据集的情况下改进法学硕士!

快速工程已成为增强法学硕士能力的关键技术。 通过迭代和改进提示,我们可以以更直接的方式与人工智能模型进行通信,从而获得更准确且与上下文相关的输出,从而节省时间和资源。 

对于技术爱好者、数据科学家和内容创作者来说,理解和掌握即时工程可以成为充分利用人工智能潜力的宝贵财富。

通过将精心设计的输入提示与这些更先进的技术相结合,拥有提示工程技能无疑将在未来几年为您带来优势。
 

约瑟夫·费雷尔 是来自巴塞罗那的分析工程师。 他毕业于物理工程专业,目前从事应用于人类移动的数据科学领域。 他是一名专注于数据科学和技术的兼职内容创作者。 你可以联系他 LinkedIn, Twitter or .

时间戳记:

更多来自 掘金队