可操控性如何影响生成式AI的输出
加载中
可操控性 · 5 分钟
摘要文字记录
模型遵循您的指令的方式与它做其他所有事情的方式相同：通过延续一种模式。这使它具有出色的可操控性。这也意味着您的意图与实际落地效果之间总是存在差距，而大多数有趣的失败都存在于这个差距之中。
您实际上掌控了多少？
加载中
关键要点
- 可操控性指的是模型通过下一个词元预测（Next Token Prediction）来遵循指令。
- 能力区：简短、具体、可验证的指令。格式规范、长度限制、明确的角色。
- 局限区：长推理链、抽象或模糊的指令，以及任何需要原生数值或逻辑精度的事项。
- 典型失败模式：推理漂移（小错误不断累积）和拘泥字面而非精神（指令被遵守了，但意图没有被实现）。
- 系统提示、代码执行、可见推理和结构化输出模式的存在，是为了防止您的意图被稀释。
- 当指令被字面遵守却毫无用处时，请重新陈述目标。用更强的语气重复指令并不能弥合这个差距。
- 4D关联：可操控性既是使描述（Description）强大的原因，也是限制它的原因。理解言语与意图之间的差距，会改变您编写提示的方式，以及您在何处插入检查点。
练习
目标重写
为什么？您所说的与您所想的之间的差距，正是大多数可操控性失败所在之处。本练习教您从意图出发进行提示，而不仅仅是从指令出发。
从您第1课的清单中选择一个涉及多个步骤或特定输出格式的任务。用一句话写下目标：您实际想要达成的是什么，而不仅仅是输出应该是什么样子。（"说服我的团队这个时间表是现实的"是一个目标。"三个要点"是一种格式。）
现在运行三项探测：
- 探测1：严格控制。给出一个与您的任务相关的简短、具体、可验证的指令："以三列表格的形式回复"、"恰好五个要点"、"全程使用第二人称"。检查它是否被精确地遵守。这就是能力区：指令足够简单，可以被完美地模式匹配。
- 探测2：推理漂移。要求完成一个需要4-5个相互依赖步骤的任务版本。逐步审查输出。早期的一个小错误是否一直延续到了最后？现在再试一次，但要求AI在继续之前先停下来，向您展示第2步的结果。比较一下插入检查点与让它一直运行下去所得到的结果。
- 探测3：字面与精神。给出一个可以被字面满足却毫无用处的指令。对一份真正问题在于结构的草稿说"把这个缩短一点"。对一封真正问题在于把请求埋没了的邮件说"让这个更专业一点"。看看您会得到什么结果。然后重新提示，在指令旁明确陈述目标："把这个缩短一点。我的目标是让高管的注意力一直保持到第二页的关键发现处。"比较一下结果。
回到您的任务清单。对于任何多步骤任务，标注您会在哪里插入检查点。对于任何您一直只用格式来提示的任务，草拟一份您下次会添加的目标陈述。
课程反思
- 您有多频繁地只陈述格式而不陈述目标？当您同时包含两者时，会有什么变化？
- 从本周开始，有哪一项经常性任务您会在过程中添加一个检查点？
接下来是什么
您现在已经分别了解了全部四个属性。在下一课中，我们将探讨它们如何相互作用，因为大多数现实世界中的失败都是两个属性相遇的结果。