對許多人來說，學習使用 AI 始於學習工具本身。人們通常從這樣的問題開始：我該如何向 Claude 描述我的需求？我該如何安全地將 Claude 完成工作所需的檔案和資料交給它？ 但隨著 Claude 被用於更大、更複雜的任務，一個更困難的問題浮現出來：我如何知道 Claude 是對的？
判斷力，即 AI 輸出結果的準確性和相關性，是 AI 流暢度中最關鍵的面向之一。然而，它更難直接研究，因為它可能發生在 AI 工具的範圍之外。
因此，在 Anthropic Interviewer（在新分頁中開啟） 的協助下，我們詢問了 129 位 Claude Academy 參與者：當您與 Claude 合作時，判斷力是什麼樣子？ 人們分享了他們最近與 Claude 合作的工作故事，包括他們如何審核 Claude 的品質和準確性。1
我們學到了很多，但浮現出三大主題。首先，「檢查 Claude 的工作成果」最常意味著與對話之外的某些事物進行核對——來源、文件、測試、其他人，或另一個 AI。其次，判斷力的最大障礙不是時間壓力，而是缺乏領域專業知識。第三，當 Claude 的錯誤太晚被發現時，往往會促使人們採用新的、有創意的判斷行為。
這些故事幫助我們了解高效使用者所培養的習慣，讓我們能夠建立自己的判斷工具箱。本研究中大多數受訪者每天使用 Claude 已達六個月或更長時間。2 這遠高於一般人群，這對於整理良好實踐很有用，但對其他方面則是一種限制。我們不對此樣本之外的情況做出普遍性主張。
關鍵洞察
在所有訪談中，我們發現了三個值得注意的模式：
- 檢查 Claude 的輸出結果通常涉及與外部來源進行驗證
- 專業知識是判斷力的最大障礙
- 未被發現的錯誤可能會激發採用有創意的新判斷行為
將 Claude 的工作成果與外部真實來源進行核對，是最常被提及的判斷實踐
我們原本預期「檢查 Claude 的工作成果」大多會被描述為通讀以尋找明顯錯誤。然而，我們訪談的參與者中有 51% 描述了將 Claude 的輸出與外部事物進行驗證：來源文件、官方文件、他們自己的資料、另一個人，甚至另一個 AI。10% 的檢查者更進一步，將多項獨立檢查結合在一起。沒有任何外部驗證的通讀是少數做法，尤其是在任務具有技術性的情況下。
「外部真實來源」的含義取決於工作內容。當任務涉及程式碼時，通常會涉及測試。研究和分析任務則依賴於與來源的交叉核對和第二意見。有 10 個案例描述了使用第二個 AI 來檢查第一個 AI 在細緻知識工作任務上的成果。寫作任務則依賴領域知識以及同儕對契合度的仔細審閱。不同的工作需要不同的方法。
專業知識是判斷力的最大障礙
AI 使人們能夠擴展自己的能力，這意味著他們經常在自己直接專業領域之外的範圍工作。這正是這些參與者發現判斷力具有挑戰性的地方：當您不確定什麼是好的標準時，很難判斷一個答案。
有六十二位參與者指出了判斷力的障礙。缺乏主題專業知識位居榜首。一些非技術性的參與者描述了 Claude 引導他們完成涉及軟體開發的解決方案，而他們無法分辨好的程式碼或架構決策與壞的之間的差異。有一位學習者甚至轉向線上園藝影片，以建立足夠的領域知識來評估 Claude 的建議。
我們原本預期時間壓力會位居榜首。但對這個群體而言，瓶頸在於是否擁有足夠的主題專業知識來評估輸出結果的品質。
讓錯誤溜過去改變了人們的工作方式
在所有訪談中，有 18 個有意義的案例描述了錯過 Claude 所犯的錯誤。分享此類故事的人中，有一半也告訴我們，這改變了他們今天的工作方式。看到這個錯誤教會了他們如何尋找未來的錯誤。
這些參與者採用的一些新做法包括：
- 要求 Claude 在提供建議或分析之前，先引用其來源文字
- 在多步驟任務的每個步驟建立核准關卡，而不是只在最後審查
- 同時使用多個 AI 代理：一個產出工作成果，其他的則檢查其不同部分
對這些參與者來說，他們並沒有「更努力地檢查工作成果」，也沒有在一夜之間成為新領域的專家。相反，他們重新建構了自己的工作流程，並精煉了他們的判斷工具箱。
建立您的判斷工具箱
本研究中最有自信的判斷者有一個共同點：良好的工具箱。當您開始將 AI 用於更困難、更複雜的任務時，我們強烈建議您確定一套可用於驗證 Claude 工作成果的實踐和工作流程。以下是五個可供您入門的工具。
- 為您最常建立的工作成果建立測試。 如果您不是軟體開發人員，您可能沒有為每項工作建立「測試」。但這個概念可以轉移到任何領域。如果您是內容撰寫者，請為語氣、風格和格式建立評分標準。如果您是律師，請定義可用於檢查生成的合約語言的政策和規則。試試這個提示，與 Claude 反覆討論，建立您自己的驗證「測試」，作為可與同事分享的可重複使用技能：
我想為我製作的某一類工作成果建立一個可重複使用的檢查，這樣我就能在問題發布之前發現它。把它想成我自己的 QA 檢查清單。
在您寫任何東西之前，請在一輪中問我四到五個簡短的問題：這項工作成果是什麼、誰會閱讀它；一個優秀版本會做到什麼而普通版本做不到；這些通常會出什麼問題，包括我收到的回饋或我太晚發現的錯誤；以及我最不希望出錯的地方是什麼。如果我給您一個好的範例，請在起草之前先閱讀它。
然後把我的答案轉化為一個包含五到八個問題的檢查清單，我可以用它來檢查未來的任何草稿，無論是我寫的、您寫的，還是我們一起寫的。把最重要的問題放在最前面。讓每個問題都針對我的工作內容，而不是一般的寫作建議，並確保這個檢查能幫助我發現錯誤的事實或數字、我無法在受到質疑時為其辯護的推理或主張、讀者需要但頁面上沒有的背景資訊，以及不適合這個受眾的語氣。不要加入我沒有提供的數字、門檻或規則。
請以技能的形式提供這個檢查，而不是聊天中的文字。這個技能應該能接受貼上的文字、檔案或文件連結作為草稿，依序執行每個問題，並引用草稿中決定每個問題答案的確切文字。
這個技能的輸出應該是一個以 artifact 形式發布的視覺化計分卡，而不是文字報告：頂部有一個判定結果，指出最重要的單一修正項目；一個一行的摘要列，一目了然地顯示每個問題的狀態（通過、未通過、已標記）；然後每個問題一行，顯示狀態、引用的文字，以及一個具體的修正建議。執行後的聊天回覆應該是兩行：判定結果和計數。先讓我審查這個技能，然後在我的範例上執行一次，讓我看看計分卡。
- 在您離開聊天之前，讓 Claude 幫助您識別判斷的機會。 Anthropic 已發布一項判斷技能，可偵測複雜任務並提示 Claude 提供進一步驗證的提醒。在與幾家企業測試此技能後，方向性證據顯示，在工作流程中插入暫停點可以提升判斷力。以下是一個範例，說明在使用者要求提供一份關於費城市工作者的報告後，該技能在聊天中放入的內容：
（判斷提醒技能在完成一份關於費城市工作者的報告後觸發的範例）
您可以在此要求 Claude 安裝判斷提醒技能：
- 在 Claude Code 中使用對抗性審查。 Claude Code 提供了內建的對抗性審查（在新分頁中開啟）步驟。這意味著 Claude 能夠啟動一個全新的子代理，從新的角度審查您的程式碼或工作成果。使用一個未參與建構輸出結果的代理，意味著它更有可能發現錯誤或危險的假設。
使用子代理根據 PLAN.md 審查速率限制器的差異。檢查每項需求是否都已實作、 列出的邊緣案例是否都有測試，以及任務範圍之外是否有任何變更。 回報缺口，而非風格偏好。
- 建立一個專家小組。 判斷力最常被提及的障礙是缺乏相關主題的專業知識。找出您可以請求進行二次檢查的人，能擴展您的選擇。了解在您專業領域之外的領域中，您會找誰進行二次審閱，並在發布之前主動聯繫他們。然後，當然，也要回報這份人情。當同事帶著您專業領域內的東西來找您時，您的五分鐘正是讓他們的判斷成為可能的關鍵。
試試這個提示，根據您最近的電子郵件往來，與 Claude 反覆討論誰可能幫助您判斷您的輸出結果：
我想建立一個「打電話給朋友」的檢查機制。在我依賴某項工作成果之前，您將幫助我在自己的人脈網絡中找到合適的人來判斷它。請一步一步引導我完成這個過程，並在每一步等待我的回答後再繼續。
第一步：檢查我的電子郵件是否已連接。如果沒有，請給我逐步說明來連接它，然後等到我告訴您已完成為止。不要猜測名字。
第二步：向我詢問這項工作成果。我可以上傳它、貼上文字，或貼上連結。如果我說它來自之前與您的對話，請在我過去的聊天記錄中搜尋它；如果找不到，請告訴我如何在設定中開啟「搜尋並參考聊天記錄」，或要求我貼上它。
第三步：用一句話告訴我這是關於什麼的，以及判斷它是否優秀需要什麼樣的專業知識。
第四步：在我的電子郵件中搜尋具有該專業知識的人：曾就此主題與我反覆討論的人、被副本抄送此事的人、曾回答過我關於此事問題的人，或擁有此事所涉及決策權的人。
第五步：建議 2 到 4 個人。對每個人，根據您在我的電子郵件中找到的內容給出一句話的理由，以及一則我可以發送請他們查看的簡短訊息。
優先選擇了解這個主題並會提出異議的人，而不是我經常發郵件聯繫的人。不要替我聯繫任何人，也不要在建議的訊息中引用我的郵件內容；我會自己聯繫他們。
- 向 Claude 要求來源依據。 將 Claude 的工作成果與外部來源進行核對是一種常用的做法。您可以讓 Claude 透過為回應中的每項主張引用來源，來讓這項工作對您來說更容易。有了這些來源，您就可以快速檢查哪些內容站得住腳，哪些可能需要您進一步研究。
在您與 Claude 生成輸出結果後，在對話中試試這個提示：
對於您答案中的每項事實性主張，請告訴我它的來源。引用來源中的確切段落，並附上連結或頁碼。如果某項主張來自您的一般知識，請標記為「無來源」，這樣我就知道首先要檢查什麼。
限制
這些洞察附帶一些重要的注意事項：
- 樣本限制： Academy 的註冊者是自我選擇、有動機的參與者，他們主動選擇提升與 AI 合作的能力；他們的做法可能高於一般人群的基準水準。樣本（129 次訪談，94 次完整完成）偏向經驗豐富且技術性較強的使用者，因此較新使用者的判斷挑戰在此研究中代表性不足。這些案例應被理解為此人群中實踐的目錄，而非普遍性基準，我們不對 AI 使用者整體做出普遍性主張。
- 自我報告： 所有資料均為自我報告。我們優先考慮「帶我走一遍」式的真實工作案例，並將結構化評分視為描述性背景資訊。對「某次有東西溜過去」的回憶容易受到可得性偏誤的影響：戲劇性的失敗可能相對於更容易被遺忘的失敗而被過度呈現。
- 編碼限制： 主題編碼由 LLM 輔助完成。我們透過以下方式緩解此問題：保留每個主題背後確切的逐字稿清單以供審計、對結構化模組進行確定性（基於規則）的交叉驗證、對每個主題至少 10% 的內容進行人工審查，以及在評分標準修訂後對每個受影響的維度進行完整的重新編碼。
展望未來
本研究從有動機的高效使用者那裡捕捉了關於他們如何檢查 Claude 工作成果的故事和主題。我們的目的是擴展我們對判斷力如何發展，以及哪些策略在實踐中效果良好的理解。
在未來的工作中，我們計劃透過干預研究來擴展這項研究，衡量判斷技能對組織的影響，並將「為您的領域建立測試」的想法發展成一個共享的、針對特定角色的檢查庫，供所有人採用和貢獻。
我們預期隨著模型產出日益精緻的輸出結果，判斷力也會隨之演變。透過這項研究以及未來的研究，我們旨在讓這種演變變得可見，並為所有人提供教育工具。
Bibtex
如果您想引用這篇文章，可以使用以下 Bibtex 金鑰：
@online{swanson2026aidiscernment,
author = {Kristen Swanson and Maggie Vo and Zoe Ludwig and Jeff Olson and Matt Gallivan and Erik Olesund and Rick Dakan and Joe Feller},
title = {Anthropic Education Report: How people check Claude's work},
date = {2026-09-10},
year = {2026},
url = {https://academy.claude.com/tutorials/discernment-toolkit},
}致謝
Kristen Swanson 設計了這項研究、主導了分析，並在 Matt Gallivan、Jeff Olson 和 Erik Olesund 的回饋下撰寫了這份報告。Maggie Vo 和 Zoe Ludwig 對框架對齊、訊息傳達和審查做出了貢獻。AI 流暢度的 4D 框架由 Rick Dakan 和 Joe Feller 與 Anthropic 合作開發。Mo Julapalli 和 Ankit Siva 提供了技術支援。Ryan Donegan 和 Molly Vorwerck 提供了溝通審查和指導。
註腳
- 在研究人們如何描述他們的 AI 使用情況時，保護參與者隱私至關重要。訪談由 Anthropic Interviewer（在新分頁中開啟） 進行，這是一個由 Claude 驅動的質性訪談工具，遵循其標準同意流程；回應未與使用者的 Claude Academy 帳戶、課程進度或 Claude.ai 對話資料連結。本分析中不包含任何個人身分識別資訊。在招募期間，每位在 Claude Academy 註冊 AI 流暢度課程的人，都在其註冊電子郵件中收到一則提供選擇性研究對話的通知。參與是無償的，且與課程註冊無關。在開始訪談的 129 位參與者中，有 94 位完整完成了訪談，包括調查模組。開放式案例是從全部 129 份逐字稿中分析的，因為部分完成的訪談經常包含有意義的工作故事，而調查數據則基於達到調查部分的子集（依項目不同，n=95–98）。主題編碼的運作方式如下：一個 LLM 根據研究問題對整個語料庫進行編碼，並保留每個主題背後確切的逐字稿清單以供審計。調查模組則以確定性方式解析。然後，一位人工評估者審查了每個主題至少 10% 的內容，以識別編碼不一致之處。編碼評分標準根據該審查進行了修訂，並針對修訂後的評分標準對每個受影響的維度進行了完整的重新編碼。所有新編碼的資料集再次由人工審查和分析。本文完全由人類撰寫，並在 AI 的協助下進行修訂。
- 來自調查模組（n=95）：95 位受訪者中有 63 位報告每日使用，95 位受訪者中有 62 位報告擁有六個月或更長的 AI 工具使用經驗。受訪者的自評信心在「知道何時需要驗證」方面最高（5 分量表中平均 3.9 分），在「判斷完整性」方面最低（3.5 分），「判斷正確性」則介於兩者之間（3.7 分）。這與關於判斷力障礙的發現一致：參與者普遍知道需要進行驗證，困難的部分在於在自己專業領域之外進行驗證。