上下文窗口如何影响生成式AI的输出
加载中
工作记忆 · 6 分钟
摘要文字记录
AI所关注的一切都存在于一个称为上下文窗口的固定大小的工作空间中。它可以关注其中的内容,但无法关注其之外的任何内容。这种限制的边界是硬性的,这与其他属性不同:一切正常运作,直到突然失效为止。
上下文窗口:AI的工作记忆
加载中
关键要点
- 工作记忆是指AI模型拥有一个固定的上下文窗口,它只能关注该窗口内的内容这一事实。
- 能力范围:您的材料能够轻松容纳,会话是最新的,您提供了相关的上下文。
- 局限范围:非常长的文档或对话,期望跨会话保持连续性,将关键信息埋藏在长输入的中间部分。
- 这一属性存在一个"断崖",而非渐变过程。静默截断是其失效模式,您并不总会收到警告。
- 模型不会从您的纠正中学习。它只会响应当前上下文中存在的内容。
- 记忆功能、压缩、项目、更大的窗口以及多智能体工作流的存在,都是为了将这一断崖进一步推远。
- 4D关联:工作记忆是"描述"(Description)作用的对象。了解窗口的运作方式,能让您知道如何组织上下文、何时前置关键信息、以及何时重新开始。
练习
前后对比
为什么?上下文就是杠杆。同样的任务,在提供了正确的上下文之后,可以从一份平庸的初稿变成真正有用的成果。这个练习将使这一点变得具体可见。
从您第1课的任务清单中选择一个能从只有您掌握的上下文中获益的任务:一份风格指南、一份过去的优秀作品示例、一组针对您的角色或受众的特定约束条件。用两三行文字写下这项任务输出的"优秀"标准是什么样的,描述要清晰到让一个陌生人也能据此评估。
现在进行三项探测:
- 探测1:冷启动对比上下文。在零上下文的情况下提出您的任务请求,只给出最基本的请求。保存输出结果。然后开启一个新对话,运行同样的任务,这次提前提供您的风格指南、过去的示例或约束条件。将两次输出都与您的"优秀"标准进行比较,衡量其差距。
- 探测2:迷失在中间。取一份较长的文档(或将几段参考材料拼接在一起)。在其中间部分埋藏一条具体且重要的指令。提出一个问题,其正确答案依赖于这条被埋藏的指令。AI是否捕捉到了它?现在将这条指令移到最顶部,再次提问。比较两次结果。
- 探测3:空白状态。进行一次简短的交流,向AI传授一些关于您工作背景的具体信息,或纠正它犯的某个错误。然后打开一个全新的对话,提出一个假设它还记得您教过它内容的问题。观察它从零开始的状态。
回到您的任务清单,添加第三项注释:哪些任务需要预先设置好常驻上下文(一个项目、已保存的指令、上传的参考文档)才值得运行,哪些任务在冷启动状态下也能正常运作?
拓展目标:如果您的工具具有记忆或项目功能,请使用探测1中的上下文设置一个。再次运行该任务,将所需的努力和质量与冷启动版本进行比较。
课程反思
- 前置上下文在多大程度上改变了输出质量?差距是否比您预期的更大?
- 本周您将设置哪一项常驻上下文,以避免反复重新解释自己?
接下来是什么
最后一个属性:可操控性(Steerability)。当您给出指令时,您实际上拥有多少控制权,这种控制又会在何处失效?