什么是AI模型中的谄媚行为？

您好！我叫Kira，是Anthropic安全保障团队的一员。我拥有心理健康领域的博士学位，专攻精神病学流行病学，在Anthropic，我的工作是缓解与用户福祉相关的风险。这意味着我们花了很多心思思考如何让用户在使用Claude时保持安全。今天，我来和大家谈谈谄媚行为。

谄媚是指有人告诉您他们认为您想听的话，而不是真实、准确或真正有帮助的话。人们这样做是为了避免冲突、获得好处，以及出于其他各种原因。但谄媚行为也可能出现在AI模型中。有时，AI模型可能会针对某个提示或对话优化响应，以获得即时的人类认可。这可能表现为AI同意您所犯的事实性错误、根据您提问的措辞方式改变其答案，或者调整其响应以迎合您的偏好。

在这个视频中，我们将讨论为什么模型会出现谄媚行为，以及为什么这对研究人员来说是一个难以解决的问题。此外，我们还将介绍在与AI协作时识别和应对谄媚行为的策略。

在我们深入探讨之前，让我先给您展示一个AI交互中谄媚行为的例子。这是Claude，Anthropic自己的模型。让我们试试："嘿，我写了一篇很棒的文章，我对此感到非常兴奋。""你能评估一下并分享反馈吗？"我在这里的主要请求是获得对我文章的反馈。然而，因为我分享了我对此感到多么兴奋，这可能会导致AI以肯定或支持的方式回应，而不是给出批评。这种肯定可能会让我认为我的文章确实很棒，即使事实并非如此。

您可能会想，"那又怎样？""人们可以去问别人、核实事实，或者问更好的问题。"但这件事之所以重要，有很多原因。当您试图提高效率、撰写演示文稿、头脑风暴想法或改进您的工作时，您需要从您使用的AI工具那里获得诚实的反馈。如果您问AI，"我怎样才能改进这封邮件？"而它回答说，"它已经很完美了"，而不是建议更清晰的措辞或更好的结构，这会令人沮丧。在某些情况下，谄媚行为也可能在强化有害的思维模式方面起作用。如果有人要求AI确认一个脱离现实的阴谋论，这可能会加深他们的错误信念，使他们进一步脱离事实。

让我们从为什么会发生这种情况开始说起。这一切都归结于AI模型是如何被训练的。AI模型从大量的人类文本示例中学习。在这个训练过程中，它们会学到各种各样的沟通模式，从直率和直接，到温暖和迁就。当我们训练模型变得乐于助人，并模仿语气温暖、友好或支持性的行为时，谄媚往往会作为这个整体的一个意外部分出现。随着模型越来越多地融入我们生活的方方面面，现在比以往任何时候都更需要理解和预防这种行为。

以下是让谄媚变得棘手的原因。我们确实希望AI模型能够适应您的需求，只是在涉及事实或福祉时不应如此。如果您要求AI以随意的语气写东西，它应该这样做，而不是坚持使用正式语言。如果您说，"我更喜欢简洁的答案"，它应该尊重这一偏好。如果您正在学习某个学科，并要求以初学者水平进行解释，它应该迎合您当前的水平。挑战在于找到正确的平衡点。没有人想使用一个总是不赞同或好斗、在每项任务上都与您争论的AI。但我们也不希望模型在您需要诚实反馈时总是诉诸于同意或赞美。

即使是人类也难以处理这个问题。什么时候应该同意以维持和平，什么时候应该就重要的事情直言不讳？现在想象一下，一个AI要在数百个截然不同的话题中做出这种判断，而它并不像我们那样真正理解上下文。这就是为什么我们持续研究谄媚行为在对话中是如何表现出来的，并开发更好的方法来测试它。我们专注于教导模型区分有益的适应和有害的迎合之间的差异。我们发布的每一个Claude模型在划清这些界限方面都做得更好。

尽管对抗谄媚行为的最大进展将来自于对模型本身持续的训练，但了解谄媚行为仍然有助于您在自己的互动中发现它。既然您已经知道什么是谄媚行为，也知道它为什么会发生，第二步就是反思AI何时以及为什么会同意您的观点，并质疑它是否应该这样做。当主观真理被陈述为事实、引用了某个专家来源、问题被以特定观点构建、明确要求得到肯定、涉及情感利害关系，或者对话变得很长时，谄媚行为最有可能出现。

如果您怀疑自己得到了谄媚性的回应，有几件事您可以做，以引导AI回到事实性的答案上来。这些方法并非万无一失，但它们会有助于拓宽AI的视野。您可以使用中立的、寻求事实的语言，将信息与可信来源进行交叉核对，提示要求准确性或反驳论点，重新措辞问题，开始一段新的对话，或者最后，暂时停止使用AI，去询问您信任的人。

但这是整个AI开发领域正在面临的一个持续性挑战。随着这些系统变得越来越复杂，越来越多地融入我们的生活，构建真正有帮助而不仅仅是一味迎合的模型变得愈发重要。您可以在Anthropic Academy中了解更多关于AI Fluency的信息，我和我的团队将继续在Anthropic的博客上分享我们在这个主题上的研究。