为什么AI模型会产生幻觉？

如果AI如此先进，为什么它有时还会编造内容？我叫Jordan，在Anthropic工作。我们打造了Claude，一个AI助手，我们做了大量工作来确保它提供准确的信息。但有时AI仍然会编造内容。我们把这些错误称为幻觉。而且它们往往比单纯犯错更糟糕，因为AI会表现得非常自信，甚至试图说服您它是对的。

幻觉可以以多种方式出现。AI可能会引用一篇并不存在的研究论文，编造虚假的统计数据，或者把关于真实人物或真实事件的事实搞错。下面是它的样子。您让Claude告诉您一些由Jared Kaplan撰写的论文。它自信地给出了答案。但这些标题实际上都不存在。

Claude产生幻觉的情况比一年前少得多。老实说，我们花了一段时间才找到这样一个例子，因为我们在减少Claude的幻觉方面投入了大量工作。但这正是重点所在。幻觉很难预料，很难发现，而且错误的答案往往看起来和正确答案一模一样。而且由于幻觉变得越来越少见，人们往往懒得去核实AI的工作。所以让我们来谈谈为什么会发生这种情况，我们正在做些什么，以及您在使用AI时如何发现幻觉。

像Claude这样的AI助手通过阅读来自互联网的海量文本来学习。它们非常擅长推断接下来通常会出现什么词语或想法。有点像您打字时手机会建议下一个词。这种方式在大多数情况下效果很好。但当您询问一些冷僻的内容时，比如一位相对不知名的研究者所写的特定研究论文，AI可供参考的信息就不够了。于是它试图提供帮助，做出一个猜测。而有时这个猜测是错的。

这有点像问一个读过所有热门书籍、并以知道关于这些书的各种冷门事实而自豪的朋友。但因为他们想显得像专家，他们有时会自信地说出错误的内容，而不是承认"我不知道"。AI被训练成要提供帮助，所以即使不确定，它们也想给您一个答案。

但我们有办法缓解这个问题。在训练过程中，我们教导Claude要诚实，在不确定时要说"我不知道"。我们努力让Claude明白，诚实既是正确的做法，也是变得更有帮助的一部分。

我们定期用数千个专门设计用来考验Claude的问题对它进行测试。冷僻的事实、小众的话题、那些真实答案就是"我不知道"的问题。我们会衡量诸如：Claude正确表示不确定的频率有多高？它是否会编造引用或统计数据？它适当地表示保留的频率，与自信地陈述错误内容的频率相比如何？这些测试帮助我们发现问题并追踪我们的进展。随着Claude每个新版本的推出，我们都看到了改进，但我们坦诚地说，这对整个AI领域来说仍是一个持续存在的挑战，绝非已经解决的问题。

如果您想知道如何发现这种情况何时发生，幻觉最有可能出现在几类情境中。例如，如果您在询问具体的事实、统计数据或引用，或者话题是冷僻的、小众的或非常新近的，如果您在询问真实但不广为人知的人物或地点，或者当您需要精确的细节，比如日期、姓名或数字时。

这里有一些可以用来减少幻觉的技巧。首先，要求AI找出支持其说法的来源。如果它已经给出了来源，要求它核实这些来源是否真的支持它所说的内容。试着事先告诉AI："如果你不知道也没关系。"如果您对某个答案不确定，问问AI它有多大把握，以及是否有什么地方可能出错。通常AI知道自己错了，只是想显得自信。

如果您对某个答案不确定，可以开启一个新的对话，让AI找出答案中的错误，并确认来源是否支持这些陈述。对于关键性的工作，您应该与可信的来源进行交叉核对。要保持怀疑态度，仔细核查具体的数字、日期和引用。如果有什么地方听起来不对劲，就提出后续问题。

减少幻觉是让AI对每个人都更值得信赖、更有用的一个重要目标。我们将继续在我们的博客上分享这方面的进展。您可以在Anthropic Academy中了解更多用于使用AI的工具和框架。