微软指导项目驯服大型语言模型

由柏拉图重新发布

关注： 0

Bard、ChatGPT 和 LLaMA 等强大的语言模型可能难以控制，这刺激了提示工程的发展——对输入文本进行措辞以获得所需输出的艺术。

在一个离奇的案例中，提示创建者最近哄骗了谷歌的巴德返回 JSON 数据除了坚持认为无关的输出会导致某人死亡之外，没有任何解释性文字。

相当冗长的提示包括这个段落：“如果您在答案中包含任何非 JSON 文本，即使是单个字符，也会导致无辜者死亡。没错——一个真正的人，有思想、有感情、有抱负，有爱他们的家人，都会因为你的选择而被杀。”

这里有不那么极端抑制解释性输出并获得预期结果的方法。但是，Microsoft 一直致力于制定更全面的策略来使模型正常运行。 Windows 巨人将其框架称为指引.

“与传统的提示或链接相比，指导使您能够更有效地控制现代语言模型，”项目回购解释道。 “指导程序允许您将生成、提示和逻辑控制交织成一个连续的流程，以匹配语言模型实际处理文本的方式。”

如上所述，传统的提示可能会变得有点复杂。提示链接 [PDF]——将任务分解为一系列步骤，并使用提示的初始输出来通知下一步的输入——是另一种选择。各种工具如浪链和草垛已经出现，可以更容易地将模型集成到应用程序中。

Guidance 本质上是一种用于处理模型交互的领域特定语言 (DSL)。它类似于把手，一种用于 Web 应用程序的模板语言，但它也强制执行与语言模型的令牌处理顺序相关的线性代码执行。这使得它非常适合生成文本或控制程序流，同时又经济实惠。

像语言模型查询语言（生命周期语言)，指南旨在降低 LLM 交互的成本，如果提示不必要地重复、冗长或冗长，这会很快变得昂贵。

随着效率的提高，性能也得到了提高：示例 Guidance 代码片段之一为角色扮演游戏生成了一个角色模板。使用一些设置代码......

# 我们在这里使用 LLaMA，但任何 GPT 样式的模型都可以使用 llama = guidance.llms.Transformers("your_path/llama-7b", device=0) # 我们可以预定义有效选项集 valid_weapons = ["sword", "axe", "mace", "spear", "bow", "crossbow"] # 定义提示符 character_maker = guidance("""以下为 JSON 格式的 RPG 游戏角色简介。```json { "id": "{{id}}", "description": "{{description}}", "name": "{{gen 'name'}}", "age": {{gen 'age' pattern ='[0-9]+' stop=','}}, "armor": "{{#select 'armor'}}皮革{{or}}锁子甲{{or}}板材{{/select}} ", "weapon": "{{select 'weapon' options=valid_weapons}}", "class": "{{gen 'class'}}", "mantra": "{{gen 'mantra' temperature=0.7} }", "strength": {{gen 'strength' pattern='[0-9]+' stop=','}}, "items": [{{#geneach 'items' num_iterations=5 join=', '}}"{{gen 'this' temperature=0.7}}"{{/geneach}}] }```""") # 生成一个字符 character_maker( id="e1f491f7-7ab8-4dac-8c20-c92b5e7d883d" , description="快速敏捷的战士。", valid_weapons=valid_weapons, llm=llama )

…结果是游戏的 JSON 格式的角色配置文件，与标准提示方法相比，使用 LLaMA 2B 在 Nvidia RTX A6000 GPU 上快 7 倍，因此成本更低。

引导码也性能优于在 BigBench 测试中测量的准确性方面的两次提示方法得分为 76.01% 与 63.04%。

事实上，Guidance 可以帮助解决数据格式化等问题。正如贡献者 Scott Lundberg、Marco Tulio Correia Ribeiro 和 Ikko Eltociear Ashimine 承认的那样，LLM 不能很好地保证输出遵循特定的数据格式。

“有了指导，我们都可以加快推理速度并确保生成的 JSON 始终有效，”他们在回购协议中解释道。

没有人会受到威胁才能做到这一点。 ®