ChatGPT 很棒——你只是用错了

由柏拉图重新发布

关注： 0

不需要太多 ChatGPT 犯一个事实错误。我儿子正在做一份关于美国总统的报告，所以我想我可以通过查阅一些传记来帮助他。我试着要一份关于亚伯拉罕·林肯的书籍清单，它做得很好：

文字截屏 — 关于林肯的合理书籍清单。图片来源：乔纳森·梅的屏幕截图, CC BY-ND

4号不对。加里·威尔斯 (Garry Wills) 写下了著名的《林肯在葛底斯堡》(Lincoln at Gettysburg)，当然，林肯本人也撰写了《解放黑奴宣言》(Emancipation Proclamation)，但这并不是一个糟糕的开始。然后我更努力地尝试了一些事情，而不是询问更晦涩难懂的威廉亨利哈里森，它勇敢地提供了一个列表，几乎所有的都是错误的。

数字 4 和 5 是正确的；其余的不存在或不是由这些人创作的。我重复了完全相同的练习，结果略有不同：

这次数字 2 和 3 是正确的，其他三个不是真正的书或不是那些作者写的。第 4 号，“威廉·亨利·哈里森：他的生平与时代”是一真书, 但它是詹姆斯·A·格林 (James A. Green) 创作的，而不是罗伯特·雷米尼 (Robert Remini) 知名历史学家杰克逊时代的。

我指出了错误，ChatGPT 急切地自我纠正，然后自信地告诉我这本书实际上是盖尔柯林斯写的（她写了一本不同的哈里森传记），然后继续说更多关于这本书和她的事。我终于揭露了真相，机器很高兴在我的纠正下运行。然后我荒谬地撒谎，说在他们上任的头一百天里，总统必须写一本前任总统的传记，而 ChatGPT 就此事叫我出去了。然后我巧妙地撒谎，错误地将哈里森传记的作者身份归于历史学家和作家保罗·C·内格尔，这让我撒了谎。

当我问 ChatGPT 是否确定我没有说谎时，它声称它只是一个“AI 语言模型”，没有验证准确性的能力。然而，它修改了这一说法，说：“我只能根据我提供的训练数据提供信息，而且看来‘威廉·亨利·哈里森：他的生活和时代’一书是由保罗·C·内格尔 (Paul C. Nagel) 撰写并出版的1977 年。

这不是真的。

文字，而非事实

从这种互动来看，ChatGPT 似乎获得了一个事实库，包括关于作者和书籍的不正确声明。毕竟，ChatGPT 的制造商 OpenAI 声称它在“人类编写的来自互联网的大量数据设立的区域办事处外，我们在美国也开设了办事处，以便我们为当地客户提供更多的支持。“

然而，几乎可以肯定的是，它没有给出一堆关于其中一个最平庸的总统. 不过，在某种程度上，这种虚假信息确实是基于其训练数据。

RedFern 电脑科学家，我经常收到投诉，这些投诉揭示了对大型语言模型（如 ChatGPT 及其老兄弟 GPT3 和 GPT2）的常见误解：它们是某种“超级谷歌”或参考图书馆员的数字版本，从一些人那里寻找问题的答案无限大的事实图书馆，或将故事和人物拼凑在一起。他们不会做任何这些——至少，他们没有被明确设计为这样做。

听起来不错

像 ChatGPT 这样的语言模型，更正式地称为“生成式预训练转换器”（这就是 G、P 和 T 所代表的意思），接受当前对话，形成其所有单词的概率给定对话的词汇，然后选择其中一个作为可能的下一个词。然后它一次又一次地这样做，直到它停止。

所以它本身没有事实。它只知道接下来应该出现什么词。换句话说，ChatGPT 不会尝试写出真实的句子。但它确实试图写出似是而非的句子。

在与同事私下谈论 ChatGPT 时，他们经常指出它产生了多少事实上不真实的陈述并驳回了它。对我来说，ChatGPT 是一个有缺陷的数据检索系统的想法是离题的。毕竟，在过去的两年半时间里，人们一直在使用谷歌。已经有一个非常好的事实调查服务。

事实上，我能够验证所有这些总统书籍标题是否准确的唯一方法是通过谷歌搜索然后验证结果. 如果我在谈话中了解这些事实，我的生活也不会好多少，而不是像我用了将近半辈子的方式了解它们一样，通过检索文件然后进行批判性分析以查看我是否可以信任其中的内容。

即兴合作伙伴

另一方面，如果我可以和一个机器人交谈，它会给我对我所说的话的合理回应，那在某些情况下会很有用事实准确性并不是那么重要. 几年前，我和一个学生试图创建一个“即兴机器人”，它会用“是的，并且”来回应你说的任何话，以保持对话的进行。我们展示了，在纸，我们的 BOT 当时比其他机器人更擅长“是，然后-ing”，但在 AI 中，两年是古老的历史。

我尝试了与 ChatGPT 的对话——一个科幻太空探索者场景——这与你在典型的即兴课程中发现的没什么不同。 ChatGPT 在“是，然后-ing”方面比我们做的要好得多，但它并没有真正提高戏剧性。我觉得自己好像在做所有繁重的工作。

经过一些调整后，我让它变得更加投入，在一天结束时，我觉得这对我来说是一个很好的锻炼，自从我 20 多年前大学毕业以来，我就没有做过太多即兴表演.

当然，我不希望 ChatGPT 出现在“反正它是谁的线？” 这不是一个伟大的“星际迷航”情节（尽管它仍然比“荣誉守则”），但有多少次你坐下来从头开始写东西，却发现自己被面前的空白页吓坏了？从糟糕的初稿开始可以突破作家的障碍并让创意源源不断，而 ChatGPT 和类似的大型语言模型似乎是帮助这些练习的正确工具。

对于一台旨在根据您输入的单词生成听起来尽可能好听的单词串的机器——而不是为您提供信息——这似乎是该工具的正确用途。

本文重新发表谈话根据知识共享许可。阅读原创文章.

图片来源：贾斯汀哈 / Unsplash