加载中

获得更好的结果

第 3 课10 分钟
本节课内容学完后,您将能够
  • 识别刚开始使用 AI 时常见的挑战,并使用故障排除技巧来克服这些挑战
  • 定义 AI Fluency(AI 流畅度),并了解在哪里可以进一步学习如何流畅地使用 AI
  • 解释您可能如何设置评估(evals),以更好地了解 Claude 在您独特的工作流程中可能的表现

常见挑战及解决方法

当您开始使用 Claude 时,您可能会遇到响应不太符合预期的情况。这很正常——这正是改进您方法的机会。以下是一些最常见的挑战及其解决方法。

挑战发生了什么尝试这样做
Claude 的响应过于笼统您的提示没有包含足够关于您具体情况的上下文添加关于您的受众、角色或限制条件的细节。与其说"写一封关于项目延迟的邮件",不如尝试"给我们的企业客户写一封邮件,解释软件集成将延迟两周。他们到目前为止一直很有耐心,但这是第二次延迟了。语气要专业但带有歉意。"
响应太长(或太短)Claude 在猜测合适的长度明确说明:"给我一个两段的摘要"或"控制在100字以内"或"我需要一份全面的分析——长度不是问题。"
Claude 没有遵循我的格式Claude 理解了您想要什么,但不理解您想要如何呈现展示,而不仅仅是描述。提供格式示例,或明确描述结构:"每个部分使用带有粗体标题的项目符号。"
我得到了听起来很自信但结果是错误的信息Claude 偶尔会生成看似合理但不正确的信息,尤其是在具体事实或小众话题方面对于高风险的工作,请独立核实关键事实。要求 Claude 引用来源或说明置信度。启用网络搜索以使响应基于最新信息。
语气不对Claude 默认采用有帮助且专业的语气,这可能不符合您的需求用简单的语言描述语气:"让这个更口语化一些"或"这应该听起来权威且正式。"提供您想要的写作风格示例。

迭代思维

使用 Claude 时最重要的转变之一,是认识到您的第一个提示很少能产生完美的结果——这没关系。把您最初的提示看作是对话的开始,而不是一次性的请求。

高效的 Claude 用户会:

  • 将初稿视为起点。 审查 Claude 生成的内容,找出哪些有效、哪些无效,然后进行改进。
  • 给出具体的反馈。 "让它更短一些"是可以的,但"删掉前两段,让结论更具行动导向"会更好。
  • 知道何时重新开始。 如果对话偏离了方向,有时打开一个新对话并使用更清晰的提示,比试图重新引导更快。

什么是 AI Fluency?

AI Fluency(AI 流畅度)是指有效地与 AI 工具协作的能力——不仅仅是知道该点击哪些按钮,而是培养在不同情境下善用 AI 的判断力。

AI Fluency 的 4D 框架由 Rick Dakan 教授(Ringling College of Art and Design)与 Joseph Feller 教授(University College Cork)通过研究合作共同开发,确定了四项核心能力,这些能力结合在一起可以帮助您充分利用与 AI 的互动:

  • 委派(Delegation): 决定哪些工作应该由人类完成,哪些工作应该由 AI 完成,以及如何在两者之间分配任务。包括理解您的目标、AI 的能力,并就协作做出战略性选择。
  • 描述(Description): 与 AI 系统进行有效沟通。包括清晰地定义输出、引导 AI 的处理过程,以及明确指定期望的 AI 行为和交互方式。
  • 辨别(Discernment): 深思熟虑且批判性地评估 AI 的输出、处理过程、行为和交互。包括评估质量、准确性、适当性,并确定需要改进的方面。
  • 尽责(Diligence): 负责任且合乎道德地使用 AI。包括对 AI 系统和交互做出深思熟虑的选择,保持透明度,并对 AI 辅助完成的工作承担责任。

在本课程中,您已经一直在练习这些技能。第2课中的提示框架(设定场景、定义任务、明确规则)根植于"描述"。上面的故障排除技巧则运用了"辨别"和"尽责"。

要了解更多信息,请查看我们的免费AI Fluency 课程,该课程深入探讨了所有四项能力,并提供实践练习和实际应用案例。

为您的工作流程评估 Claude

当您开始将 Claude 整合到更多工作中时,您可能会想:我怎么知道 Claude 是否真的擅长这项特定任务?

这正是"辨别"变得至关重要的地方。Evals(评估的简称)是一种培养直觉的方法,用于评估 Claude 在对您重要的任务上的输出。它们是系统化的方法,用于测试 Claude 在对您重要的特定类型任务上的表现。

为什么评估很重要

您的工作是独特的。Claude 可能擅长起草营销文案,但在您特定领域的技术文档方面可能需要更多指导。运行简单的评估可以帮助您:

  • 了解 Claude 在您的工作流程中最能增加价值的地方
  • 识别出您需要提供更多上下文或示例的任务
  • 对 Claude 在重复性任务中的输出建立信心

一种简单的评估方法

您不需要复杂的基础设施来评估 Claude。以下是一种实用的方法:

  1. 收集示例。 收集5-10个您经常执行的任务示例——您写过的邮件、创建过的报告、做过的分析。
  2. 创建测试提示。 编写能够生成类似输出的提示。包含您在做这项工作时自然会有的上下文。
  3. 比较输出。 运行您的提示,并将 Claude 的响应与您的示例进行比较。问问自己:
    • Claude 是否抓住了关键信息?
    • 语气和风格是否合适?
    • 缺少什么,或者有什么可以改进的地方?
  4. 改进您的方法。 根据您的发现,调整您的提示,添加示例向 Claude 展示什么是好的结果,或者确定哪些地方需要人工审查。

示例:使用 Claude 进行数据分析

加载中

获得更好的结果

在上一课中,我们讨论了数据隐私和安全——您绝对需要保护什么以及如何保护。那么现在,让我们来谈谈这个可能一开始就阻止您将AI用于数据分析的问题:我如何才能信任这些结果?

今天的课程是关于委托审慎循环(delegation diligence loop),具体来说,就是通过系统性地将AI与您已经了解的数据进行对照测试,来建立对AI在您特定工作中分析能力的信心。通过这样做,您可以更好地理解AI将如何支持您的具体情况。

这个过程从委托开始。它的运作方式如下。首先,确定一项您经常进行、并希望委托给AI的具体分析任务。找到您已经完成分析的过往数据,然后与AI合作重现您所做的工作,评估哪些有效、哪些无效。完善您的方法并再次测试。如果AI能够匹配您已知的结果,那么您就知道如何使用它,并可以在未来类似的任务中信任它。如果不能,您就了解到这项任务是不应该委托的。

那么让我向您展示这在实践中是什么样子,然后我们再谈谈如果您一开始对数据不那么精通该怎么办。

认识一下Rio,Valley Veterans Services的项目主管。每个季度,他都会分析项目出勤情况与就业结果,计算参与率,追踪月度变化,并确定出勤情况是否与就业安置成功相关。这项分析一直要花费他数小时的时间。

在考虑委托时,Rio知道他想继续使用这项分析的结果来改进他的项目。他想自己解读结果,但他希望摆脱通常在实际分析中遇到的数据清理和公式混乱的麻烦。因此,为了测试AI在这种情况下是否合适,他将使用上一季度的数据来评估它。他清楚地知道在没有AI的情况下分析这些数据后得出了什么结果,并且他手头有开始分析之前的原始杂乱数据。这就是他的测试案例。

Rio上传数据并开始与AI合作,使用描述和判断力来进行他的分析。只是每次AI做出回应时,Rio都会将结果与他所知道的事实进行核对,并记下AI推理中可能存在的差距。有时额外的描述有助于AI得出他想要的结果。在这些情况下,Rio知道他必须在未来的数据分析任务中包含这类信息。而在其他时候,Rio可能会发现真正的能力差距。这就是委托审慎循环的实际运作。Rio对模型能力的审慎评估可以改变他未来选择委托给AI的内容。

他的第一次尝试可能是这样的:"我正在分享我们上个季度就业培训项目的出勤数据和就业结果数据。请分析这三个月的参与模式,并绘制出勤水平与就业成功之间的相关性图表。我特别想了解持续出勤是否能预测更好的就业安置结果。"

AI给出了一份摘要回应。但Rio并没有假设这就是事实,而是将其与自己的记录进行核对,并记下哪些是好的、哪些不是。AI正确识别出了项目出勤与就业安置之间的相关性,但它遗漏了一个关于住房援助与就业安置相结合项目的关键洞察。于是Rio完善了他的描述,要求AI再试一次,但要特别注意项目类型。这一次AI发现了自己的错误。于是Rio记下,在未来的季度中,他需要特别要求AI在进行分析时考虑项目类型。

然后他做了一件更难的事情:"您能否也根据参与者的入学时间来分析一下?"AI做出了回应,Rio观察到,尽管不知道入学数据,AI也能帮助提取它。他记下笔记,以便稍后交叉核对这些结果。

通过这个过程,Rio系统性地验证了AI在他的季度报告中能做什么、不能做什么。他了解到,在正确的描述下,AI可以准确地重现他过去手动进行的分析。但他也发现了明确的局限性和需要跟进的领域。AI需要数据中的入学日期才能进行队列分析;否则它会尝试推断这些日期,而这是他不希望的。最重要的是,Rio现在有了一个经过测试的方法,可以自信地用于本季度的数据,并清楚地记录了他需要包含哪些信息,以及他自己仍需要添加哪些背景信息。

当Rio将这种经过验证的方法用于新数据时,他的审慎态度仍在继续。他会根据自己对项目的了解来检查数字是否合理。他会对最终报告负责,并且如果被问及,他会坦诚说明AI所起的作用。但现在他是基于经过验证的信心在工作,而不是靠猜测。

那么这就是这个框架。确定一项您想要委托的具体分析任务。明确您需要什么。然后找到您已经完成该分析的过往数据。您需要正确的答案,才能评估AI是否能够得出这些答案。与AI合作重现您过去的分析,并系统性地评估结果。AI产出了什么?它是如何处理这项任务的?它是如何传达发现的?找出差距,完善您的委托方式,然后再次测试。如果您能够验证AI能产出正确的结果,那么您就建立了一种可以自信地用于新数据的方法。但如果经过几次完善后仍无法做到,那么您就了解到这不是一项应该委托的任务。

那么这一切都很好,但如果您一开始对数据不太熟悉,无法自己发现这些流程上的差距怎么办?AI也可以成为一个有用的工具,帮助您集思广益并实施您自己可能没有想到的解决方案。因为AI模型在编程方面特别擅长,它们可以帮助完成诸如编写Excel公式、重新格式化杂乱数据等工作。在这些情况下,您可以直接向AI提出您的问题或想法,并专门请求帮助理解解决方案可能是什么样子,就像您与团队中的数据分析师合作一样。在与AI合作时,只需不断要求澄清和解释,以便您能够跟上这个过程并理解最终的输出。

请记住,验证能建立信心,但并不能消除责任。您仍然要对检查这些结果是否合理负责,并对AI在您分析过程中所起的作用保持透明。

这种测试方法适用于您正在考虑的任何分析任务:捐赠者分析、预算预测、调查综合、成果追踪。先测试,验证哪些有效,然后更有信心地应用,或者了解到哪些根本不应该委托。

在下一课中,我们将探讨工作流程增强,以及当AI代表您处理日常任务时,如何应用这些相同的原则。

上面的视频取自我们的非营利组织 AI Fluency 课程,但该示例对任何使用 AI 处理数据的人都适用。要评估 Claude 如何处理您的数据:

  • 找一个您手动分析过的数据集
  • 创建提示,要求 Claude 代您进行分析
  • 将 Claude 的结果与您的原始结果进行比较
  • 记录规律并相应地改进您的提示:也许 Claude 得出了正确的数字,但遗漏了整体规律

这种轻量级的评估有助于您培养直觉,了解如何在对您重要的任务上与 Claude 协作——以及应该将审查和改进的精力集中在哪里。

课程反思

在继续之前,请思考:

  • 您已经遇到过哪些常见挑战?下次您可能会尝试哪些技巧?
  • 在您的工作中,哪些地方简单的评估可以帮助您了解 Claude 是否适合某项重复性任务?
  • 4D 框架可能如何帮助您思考与 Claude 的协作?

接下来是什么

在下一课中,您将探索 Claude 桌面应用程序,以及在其中与 Claude 协作的三种方式——逐轮对话(Chat)、交接工作(Cowork)和构建软件(Claude Code)。