加载中

AI 能力与局限性

构建一个准确的心智模型,了解大型语言模型能做什么、不能做什么:下一令牌预测、知识、工作记忆、可操控性和 上下文限制。

3.5 小时1 个测验
您将学到的内容完成本课程后,您将能够
  • 区分生成式 AI 与分类和预测类 AI,并将其四个核心属性构建为从能力到局限性的 连续谱系
  • 解释两阶段训练过程(预训练和微调),并识别其留下的行为特征:谄媚、冗长、 过度谨慎以及置信度校准不准确
  • 解释下一令牌预测作为核心生成机制的原理,并识别虚构内容集中出现的位置
  • 描述知识截止日期和训练覆盖不均如何塑造模型所知道的内容,并识别何时应使用 网络搜索、检索或工具使用来解决问题
  • 解释上下文窗口作为一个硬性限制,并应用诸如前置加载、分块和重新提供关键 信息等上下文放置策略
  • 预测指令遵循在何处严格、何处宽松,并识别推理漂移和拘泥字面而非精神实质 作为可操控性失败的表现
  • 通过指出哪些属性发生冲突来诊断现实世界中的 AI 故障,并选择有针对性的 修复方法
  • 将这四个属性与 4D 框架联系起来,并通过在每个连续谱系上定位任务来练习 校准信任

大多数人第一次接触生成式 AI 系统时,感受往往是惊喜与困惑交织。它能在几秒钟内对一份密集的报告生成精炼的摘要,随后又自信满满地编造出一个根本不存在的引用。它能完美地遵循一条详细的指令,却在下一条消息中忽略了一条简单的指令。如果没有一个关于其底层运作方式的心智模型,这些时刻就会显得随机——您很难判断是否应该信任下一次的输出,也不知道该如何修正上一次的输出。

本课程为学习者提供这一心智模型。它是AI Fluency: Framework & Foundations课程的配套课程:如果说那门课程教授的是人类的核心能力(委派、描述、辨别、审慎),那么本课程教授的则是这些能力所应对的机器属性。这两门课程设计为可以按任意顺序学习,二者结合起来构成了有效人机协作的完整图景。

我们围绕四个决定 AI 系统能为您做什么、不能做什么的属性来组织本课程:下一令牌预测(AI 答案的来源)、知识(模型实际知道什么,以及为什么它会自信地犯错)、工作记忆(它当下正在关注什么,以及哪些内容会被挤出窗口之外),以及可操控性(您的指令究竟能给您多大的控制权)。每个属性都处于从能力到局限性的谱系之上,每一节都将简短的讲解与动手练习相结合,让您能够亲身感受边界所在,而不仅仅是阅读相关内容。

最后一节探讨了当这些属性相互碰撞时会发生什么——因为在实际使用中,它们总是会碰撞。一份长文档会对工作记忆造成压力,同时也会涉及模型所不具备的知识;一条模糊的指令会在下一令牌预测试图寻找听起来最合理的内容的同时,考验可操控性。我们以一套实用的诊断方法作为结尾:如何审视一个意外的输出、识别它属于哪种意外、大致定位您的任务在能力到局限性谱系上所处的位置,并给出有针对性的修复方法,而不是泛泛地重试。

无。本课程不要求任何技术背景,也不要求具备使用 AI 工具的先前经验。如果您已经完成了 AI Fluency: Framework & Foundations 课程,您会发现每个属性与 4D 框架之间的联系——但这并非必需。

适合人群

任何在工作或学习中使用或即将开始使用生成式 AI,并希望了解其行为背后原因的人。教育工作者、学生、知识工作者和团队负责人都会发现这一核心模型同样有用,因为它所描述的属性不会因使用场景而改变。

Inside the course

入门

3 lessons

"AI" 这个词涵盖的范围很广。本节将其范围缩小到您实际会使用的系统类型—— 大型语言模型——并解释两个训练阶段(预训练和微调)如何将一个原始的文本 预测器转变为您所交互的有用助手。在此过程中,您将了解贯穿本课程其余 部分的四属性框架。

下一令牌预测

2 lessons

AI 给出的每一个答案都是通过预测接下来应该出现什么内容,一个令牌一个 令牌地构建出来的。本节展示了这在实践中意味着什么:为什么模型在总结 或重新格式化等常见路径上表现出色,为什么它会产生听起来真实但实际上 并非如此的内容,以及如何识别某项任务何时已经超出了仅靠预测所能应对 的范围。

知识

2 lessons

模型所知道的内容来自其训练数据——频繁出现、近期出现且一致出现的内容。 本节解析了这意味着什么:模型在主流话题和常用语言上表现强劲,而在任何 罕见、近期、小众或有争议的内容上则较弱。您将练习判断一个问题在这个 谱系上的位置,从而知道何时可以信任答案,何时需要自带信息来源。

工作记忆

2 lessons

上下文窗口就是模型的工作记忆:它当下能够关注的一切内容,仅此而已。 本节涵盖了哪些内容能够容纳其中、哪些内容会悄然被挤出窗口之外、为什么 在一篇长文档中注意力并非均匀分布,以及为什么一个全新的会话不会记得 上一个会话的内容。您将学会在开始之前就评估任务相对于窗口的大小,而 不是在对话进行到一半时才发现限制。

可操控性

2 lessons

您的指令就是您操控模型的方式——但并非所有指令都能同样有效地落地。 简短、具体、可验证的要求(例如"以表格形式回复"、"不超过100字")能够 可靠地发挥作用;而长推理链、抽象请求以及对原生精确度的要求,则是 操控开始失效的地方。本节帮助您分辨两者的区别,并将一条不稳固的指令 改写为模型真正能够遵循的指令。

融会贯通与后续步骤

3 lessons

现实任务很少只考验单一属性。一份冗长的合同审查会使工作记忆承受压力, 同时又超出了模型的知识范围;一份模糊的创意简报会在下一令牌预测试图 填入看似合理内容的同时,考验可操控性。本节向您展示这四个属性是如何 相互碰撞的,并为您提供一套针对任何意外输出的诊断方法:指出涉及的是 哪个属性、将任务定位在其谱系上,并应用有针对性的修复方法,而不是 简单地重试。