思想传播：使用大型语言模型进行复杂推理的类比方法 - KDnuggets

由柏拉图重新发布

关注： 0

思想传播：使用大型语言模型进行复杂推理的类比方法

关键精华

思想传播（TP）是一种增强大型语言模型（LLM）复杂推理能力的新颖方法。
TP 利用类似的问题及其解决方案来改进推理，而不是让法学硕士从头开始推理。
跨各种任务的实验表明，TP 的性能大大优于基线方法，改进范围为 12% 到 15%。

TP 首先促使法学硕士提出并解决一系列与输入问题相关的类似问题。然后，TP重用类似问题的结果来直接产生新的解决方案，或者导出知识密集型的执行计划来修改从头开始获得的初始解决方案。

大型语言模型 (LLM) 的多功能性和计算能力是不可否认的，但它们也不是没有限制的。法学硕士面临的最重要和最一致的挑战之一是他们解决问题的一般方法，包括对遇到的每个新任务从第一原理进行推理。这是有问题的，因为它允许高度的适应性，但也增加了出错的可能性，特别是在需要多步骤推理的任务中。

在需要多个逻辑和推理步骤的复杂任务中，“从头开始推理”的挑战尤其明显。例如，如果法学硕士被要求在互连点网络中找到最短路径，它通常不会利用先验知识或类似问题来找到解决方案。相反，它会尝试孤立地解决问题，这可能会导致次优结果甚至彻底错误。进入思想传播（TP），一种旨在增强法学硕士推理能力的方法。 TP 旨在通过允许法学硕士从类似问题及其相应解决方案中汲取知识，从而克服法学硕士的固有局限性。这种创新方法不仅提高了法学硕士生成的解决方案的准确性，而且显着增强了其处理多步骤、复杂推理任务的能力。通过利用类比的力量，TP提供了一个框架，可以增强法学硕士固有的推理能力，使我们离实现真正的智能人工智能系统又近了一步。

思想传播涉及两个主要步骤：

首先，提示LLM提出并解决一组与输入问题相关的类似问题
接下来，这些类似问题的解决方案用于直接产生新的解决方案或修改初始解决方案

识别类似问题的过程使法学硕士能够重用解决问题的策略和解决方案，从而提高其推理能力。 TP 与现有的提示方法兼容，提供了一种通用的解决方案，可以合并到各种任务中，而无需进行大量的特定于任务的工程。

图1：思想传播过程（图片来自论文）

而且，TP的适应性也不容小觑。它与现有提示方法的兼容性使其成为一种高度通用的工具。这意味着 TP 不限于任何特定类型的问题解决领域。这为特定任务的微调和优化开辟了令人兴奋的途径，从而提高了法学硕士在广泛应用中的实用性和效率。

思想传播的实施可以集成到现有法学硕士的工作流程中。例如，在最短路径推理任务中，TP 可以首先解决一组更简单、类似的问题，以理解各种可能的路径。然后，它将利用这些见解来解决复杂的问题，从而增加找到最佳解决方案的可能性。

例子1

任务：最短路径推理
类似的问题：A点和B点之间的最短路径，B点和C点之间的最短路径
最终解决方案：考虑类似问题的解决方案从 A 点到 C 点的最佳路径

例子2

任务：创意写作
类似的问题：写一个关于友谊的小故事，写一个关于信任的小故事
最终解决方案：写一个融合友谊和信任主题的复杂短篇故事

该过程涉及首先解决这些类似的问题，然后利用获得的见解来解决手头的复杂任务。该方法已在多个任务中证明了其有效性，展示了性能指标的显着改进。

思想传播的影响不仅仅是改善现有指标。这种提示技巧有可能改变我们理解和部署法学硕士的方式。该方法强调从孤立的、原子的问题解决转向更全面、相互关联的方法。它促使我们思考法学硕士如何不仅从数据中学习，而且从解决问题的过程本身中学习。通过对类似问题的解决方案不断更新他们的理解，配备TP的法学硕士可以更好地准备应对不可预见的挑战，使他们在快速变化的环境中更具弹性和适应性。

思想传播是对旨在增强法学硕士能力的提示方法工具箱的一个有前途的补充。通过允许法学硕士利用类似的问题及其解决方案，TP 提供了一种更细致、更有效的推理方法。实验证实了其功效，使其成为提高法学硕士在各种任务中表现的候选策略。 TP 可能最终代表着在寻找更强大的人工智能系统方面向前迈出的重要一步。

马修·梅奥（Matthew Mayo） (@马特梅奥13）拥有计算机科学硕士学位和数据挖掘研究生文凭。作为 KDnuggets 的主编，Matthew 的目标是让复杂的数据科学概念变得易于理解。他的专业兴趣包括自然语言处理、机器学习算法和探索新兴人工智能。他的使命是使数据科学界的知识民主化。马修从 6 岁起就开始编码。