诊断AI故障
加载中
当属性碰撞时 · 3 min
摘要文字记录
这四个属性并非孤立运作。大多数真实的故障都是其中两个属性相互交织的结果。一旦您能说出是哪两个，您就知道该采用哪种修复方法。
两个属性相遇：诊断问题所在
加载中
关键要点
- 现实世界中的故障通常是两个属性相互作用，而不是一个。
- 需要识别的诊断组合：
- 下一令牌预测 + 知识（幻觉细节）
- 工作记忆 + 可操控性（长对话漂移）
- 说出起作用的属性能直接为您指明修复方法：核实细节、重新提供上下文、转交给代码执行，或邀请对方提出异议。
- 这种诊断方式正是辨别力的运用。 当您知道自己面对的是哪种错误时，您就能更好地进行评估。
练习
故障诊断
为什么？大多数现实世界中的AI故障并非单一属性在作祟，而是两个属性同时相遇所致。说出是哪两个，会彻底改变修复方法。
回顾您使用AI的经历（包括您在本课程中观察到的情况）。找出两三次AI输出真正让您失望或感到惊讶的经历。针对每一次，用一两句话描述：您问了什么、得到了什么、哪里令人失望或惊讶。
- 与AI一起回顾每个事件。 描述发生的情况并提问："基于这四个属性（下一令牌预测、知识、工作记忆、可操控性），这里可能涉及哪些属性，为什么？"
- 根据您现在所了解的知识，评估它的诊断。 您同意吗？如果不同意，请提出异议。（记住第3课中提到的讨好型特征：AI可能过于轻易地认同您的框定方式。如果您认为它错了，请直接说出来。）
- 针对每个诊断，提问："基于这个诊断，最有针对性的修复方法是什么？"如果可以，请立即在类似任务上测试该调整方法。
现在查看您在第1课中建立的任务列表，以及其中积累的所有注释（第2课的属性标签、第4课的核实分数、第5课的知识标记、第6课的上下文需求、第7课的目标陈述）。针对那些给您带来最多困扰的任务，说出是哪两个属性发生了碰撞。在每个任务旁边写下诊断结果。
课程反思
- 说出属性组合是否改变了您会采用的修复方法？在学习本课程之前，您是否会尝试不同（效果较差）的修复方法？
- 您认为在日常工作中最常遇到哪种属性组合？
接下来是什么
在最后一课中，我们将整合您所建立的内容，将其与4D框架作为一个完整体系重新连接起来，并为您指明进一步深入学习的方向。