載入中

獲得更好的結果

第 3 課10 分鐘
本課內容完成後,您將能夠
  • 識別剛開始使用 AI 時常見的挑戰,並運用疑難排解技巧來克服這些挑戰
  • 定義 AI 流暢度,並了解可以到哪裡進一步學習如何流暢地運用 AI
  • 說明您可以如何設置評估(evals),以更好地了解 Claude 在您獨特工作流程中的表現

常見挑戰及解決方法

當您開始與 Claude 合作時,您很可能會遇到回應不完全符合您預期的情況。這是正常的——而這正是改善您方法的機會。以下是一些最常見的挑戰以及如何應對它們。

挑戰發生了什麼試試這個
Claude 的回應過於籠統您的提示沒有包含足夠關於您特定情況的背景資訊新增關於您的受眾、角色或限制的細節。不要只寫「寫一封關於專案延遲的電子郵件」,試著寫「寫一封電子郵件給我們的企業客戶,說明軟體整合將延遲兩週。他們目前為止都很有耐心,但這已經是第二次延遲了。請保持專業但帶有歉意的語氣。」
回應太長(或太短)Claude 在猜測合適的長度明確說明:「給我一個兩段的摘要」或「請控制在 100 字以內」或「我需要一份全面的分析——長度不是問題」。
Claude 沒有遵循我的格式Claude 理解您想要的內容,但不理解您想要的呈現方式展示,而不只是描述。提供格式範例,或明確描述結構:「每個部分使用項目符號並加上粗體標題」。
我得到了聽起來很有自信但結果卻是錯誤的資訊Claude 偶爾會產生看似合理但不正確的資訊,尤其是在特定事實或小眾主題方面對於高風險的工作,請獨立驗證關鍵事實。要求 Claude 引用來源或標示信心程度。啟用網路搜尋以讓回應基於最新資訊。
語氣不對Claude 預設採用有幫助且專業的語氣,這可能不符合您的需求用簡單的語言描述語氣:「讓這段文字更口語化」或「這應該聽起來權威且正式」。提供您想要風格的寫作範例。

反覆迭代的心態

與 Claude 合作時,最重要的心態轉變之一,就是認知到您的第一個提示很少能產生完美的結果——而這沒關係。請將您最初的提示視為對話的開始,而不是一次性的請求。

有效使用 Claude 的使用者會:

  • 將初稿視為起點。 檢視 Claude 產生的內容,找出哪些有效、哪些無效,然後進行調整。
  • 提供具體的回饋。 「讓它更短」是可以的,但「刪掉前兩段,並讓結論更具行動導向」會更好。
  • 知道何時該重新開始。 如果對話已經偏離主題,有時開啟一個新對話並使用更清晰的提示,會比試圖重新導向更快。

什麼是 AI 流暢度?

AI 流暢度是指能夠有效與 AI 工具協作的能力——不僅僅是知道該點擊哪些按鈕,而是培養在不同情境下善用 AI 的判斷力。

AI 流暢度的 4D 框架是由 Rick Dakan 教授(Ringling College of Art and Design)與 Joseph Feller 教授(University College Cork)透過研究合作所開發,確立了四項核心能力,結合起來能幫助您充分發揮與 AI 互動的效益:

  • 委派(Delegation): 決定哪些工作應由人類完成、哪些應由 AI 完成,以及如何在兩者之間分配任務。包括了解您的目標、AI 的能力,並對協作做出策略性的選擇。
  • 描述(Description): 有效地與 AI 系統溝通。包括清楚定義輸出結果、引導 AI 的處理過程,以及指定期望的 AI 行為與互動方式。
  • 辨別(Discernment): 審慎且批判性地評估 AI 的輸出、處理過程、行為與互動。包括評估品質、準確性、適當性,並找出可改進的地方。
  • 盡責(Diligence): 負責任且合乎道德地使用 AI。包括對 AI 系統與互動做出審慎的選擇、保持透明度,並對 AI 協助完成的工作負責。

您在整個課程中已經一直在練習這些技能。第 2 課的提示框架(設定場景、定義任務、指定規則)根源於「描述」。上述的疑難排解技巧則運用了「辨別」與「盡責」。

若想了解更多,請查看我們的免費AI 流暢度課程,深入探討這四項核心能力,並提供實務練習與真實世界的應用案例。

針對您的工作流程評估 Claude

當您開始將 Claude 整合到更多工作中時,您可能會想:我要如何知道 Claude 是否真的擅長這項特定任務?

這正是「辨別」變得至關重要的地方。評估(evals,evaluations 的簡稱)是一種培養直覺的方法,用於評估 Claude 在您重視的任務上的輸出表現。這是一種系統化的方式,用來測試 Claude 在您重視的特定類型任務上的表現如何。

為什麼評估很重要

您的工作是獨一無二的。Claude 可能擅長撰寫行銷文案,但在您特定領域的技術文件方面可能需要更多指引。執行簡單的評估能幫助您:

  • 了解 Claude 在您的工作流程中能帶來最大價值的地方
  • 找出您需要提供更多背景資訊或範例的任務
  • 對 Claude 在重複性任務上的輸出建立信心

簡單的評估方法

您不需要複雜的基礎架構來評估 Claude。以下是一個實用的方法:

  1. 收集範例。 收集 5 到 10 個您經常執行的任務範例——您寫過的電子郵件、您建立的報告、您做過的分析。
  2. 建立測試提示。 撰寫能產生類似輸出的提示。包含您在執行這項工作時自然會有的背景資訊。
  3. 比較輸出結果。 執行您的提示,並將 Claude 的回應與您的範例進行比較。問問自己:
    • Claude 是否掌握了關鍵資訊?
    • 語氣和風格是否合適?
    • 有什麼遺漏或可以改進的地方?
  4. 調整您的方法。 根據您所學到的,調整您的提示、新增範例向 Claude 展示什麼是好的結果,或找出哪些地方需要人工審查。

範例:使用 Claude 進行資料分析

載入中

獲得更好的結果

在上一課中,我們討論了數據隱私與安全——您絕對需要保護什麼以及如何保護。那麼現在,讓我們來談談這個可能一開始就阻止您將 AI 用於數據分析的問題:我該如何信任這些結果?

今天的課程是關於委派審慎循環(delegation diligence loop),具體來說,就是透過系統性地用您已經了解的數據來測試 AI,從而建立對 AI 在您特定工作中分析能力的信心。透過這樣做,您可以更好地理解 AI 將如何支援您的特定情況。

這個過程從委派開始。運作方式如下。首先,找出一項您經常執行、想要委派給 AI 的特定分析任務。找出您已經完成分析的過往數據,然後與 AI 合作重現您所做的事情,評估哪些有效、哪些無效。調整您的方法並再次測試。如果 AI 能夠匹配您已知的結果,您就知道如何使用它,並能在未來類似的任務中信任它。如果不行,您就學到了這項任務不應該委派出去。

那麼讓我向您展示這在實務中是什麼樣子,然後我們再來談談如果您一開始對數據不是那麼熟悉該怎麼辦。

認識一下 Rio,Valley Veterans Services 的專案主任。每一季,他都會分析專案出席率與就業成果,計算參與率、追蹤每月變化,並判斷出席率是否與就業安置成功相關。這項分析一直要花他好幾個小時。

在考慮委派時,Rio 知道他想繼續使用這項分析的結果來改善他的專案。他想親自解讀結果,但他希望能省去平常在實際分析時常陷入的數據清理和公式混亂。因此,為了測試 AI 在這種情境下是否合適,他打算用上一季的數據來評估它。他清楚知道在沒有 AI 的情況下分析這些數據後得出的結果,而且他手上還有開始分析前的原始雜亂數據。這就是他的測試案例。

Rio 上傳數據並開始與 AI 合作,運用描述與判斷力來進行他的分析。只是每次 AI 回應時,Rio 都會將結果與他所知的事實進行核對,並記下 AI 推理中可能存在的落差。有時候,額外的描述有助於 AI 得出他想要的結果。在這些情況下,Rio 知道他必須在未來的數據分析任務中納入這類資訊。其他時候,Rio 可能會發現真正的能力落差。這就是委派審慎循環的實際運作。Rio 評估模型能力的審慎態度,可以改變他未來選擇委派給 AI 的內容。

他的第一次嘗試可能是這樣的:「我正在分享我們上一季就業培訓計畫的出席數據和就業成果數據。請分析這三個月的參與模式,並繪製出席水準與就業成功之間的相關性圖表。我特別想了解持續出席是否能預測更好的就業安置結果。」

AI 回應了一份摘要。但 Rio 並沒有假設這就是事實,而是將其與自己的記錄進行核對,並記下哪些是對的、哪些不對。AI 正確識別出專案出席率與就業安置之間的相關性,但它遺漏了一個關於住房援助與就業安置結合專案的關鍵洞見。於是 Rio 調整了他的描述,要求 AI 再試一次,但要特別注意專案類型。這一次 AI 抓到了自己的錯誤。於是 Rio 記下,未來幾季他需要特別要求 AI 在進行分析時考慮專案類型。

接著他做了一件更難的事:「您也能根據參與者的註冊時間來看這個問題嗎?」AI 做出了回應,Rio 觀察到,儘管不知道註冊數據,AI 仍能協助提取這些資訊。他記下一筆備忘,稍後要交叉核對這些結果。

透過這個過程,Rio 系統性地驗證了 AI 在他的季度報告中能做什麼、不能做什麼。他了解到,只要有正確的描述,AI 就能準確重現他過去手動執行的分析。但他也識別出了明確的限制和需要後續跟進的領域。AI 需要數據中有註冊日期才能進行世代分析(cohort analysis);否則它會嘗試推斷這些日期,而這是他不想要的。最重要的是,Rio 現在擁有一套經過測試的方法,可以自信地用於本季的數據,並清楚記錄了他需要納入哪些資訊,以及他自己仍需補充哪些背景脈絡。

當 Rio 將這套經過驗證的方法用於新數據時,他的審慎態度仍在持續。他會根據自己對專案的了解,檢查數字是否合理。他會為最終報告負責,並在被問及時坦誠說明 AI 的角色。但現在他是基於經過驗證的信心在工作,而不是憑猜測。

那麼,這就是這個框架。找出一項您想要委派的特定分析任務。明確說明您需要什麼。然後找出您已經完成該分析的過往數據。您需要正確答案,才能評估 AI 是否能得出這些答案。與 AI 合作重現您過去的分析,並系統性地評估結果。AI 產出了什麼?它是如何處理這項任務的?它是如何傳達發現的?找出落差,調整您的委派方式,然後再次測試。如果您能驗證 AI 能產出正確的結果,您就建立了一套可以自信地用於新數據的方法。但如果經過幾次調整後仍無法達成,您就學到了這不是一項應該委派的任務。

那麼這一切都很好,但如果您一開始對數據就不太熟悉,無法自行發現那些流程上的落差呢?AI 也可以是一個有用的工具,幫助您腦力激盪並實作您自己可能沒想到的解決方案。因為 AI 模型特別擅長程式設計,它們可以協助處理諸如撰寫 Excel 公式、重新格式化雜亂數據等事情。在這些情況下,您可以直接把您的問題或想法帶給 AI,並明確要求協助理解解決方案可能是什麼樣子,就像您與團隊中的數據分析師合作一樣。在與 AI 合作的過程中,持續要求澄清和解釋,這樣您就能跟上流程並理解最終的輸出結果。

請記住,驗證能建立信心,但並不能消除責任。您仍然有責任檢查這些結果是否合理,並在分析過程中坦誠說明 AI 的角色。

這種測試方法適用於您正在考慮的任何分析任務:捐款人分析、預算預測、調查綜合分析、成果追蹤。先測試,驗證哪些有效,然後更有信心地應用,或者了解哪些根本不應該委派。

在下一課中,我們將探討工作流程增強,以及當 AI 代表您處理例行任務時,如何應用這些相同的原則。

上方的影片取自我們的非營利組織的 AI 流暢度課程,但這個範例對任何使用 AI 處理資料的人都適用。若要評估 Claude 如何處理您的資料:

  • 找出一個您曾手動分析過的資料集
  • 建立提示,請 Claude 代您進行分析
  • 將 Claude 的結果與您原本的結果進行比較
  • 記錄模式並相應調整您的提示:也許 Claude 得到了正確的數字,但卻忽略了整體的模式

這種輕量級的評估能幫助您培養直覺,了解如何在您重視的任務上與 Claude 合作——以及應該將審查與調整的精力集中在哪裡。

課程反思

在繼續之前,請思考:

  • 您已經遇到過哪些常見挑戰?下次您可能會嘗試哪些技巧?
  • 在您的工作中,哪些地方可以透過簡單的評估來了解 Claude 是否適合用於重複性任務?
  • 4D 框架可能如何幫助您思考與 Claude 的協作方式?

接下來

在下一課中,您將探索 Claude 桌面應用程式,以及在其中與 Claude 合作的三種方式——逐輪對話(Chat)、交接工作(Cowork),以及建構軟體(Claude Code)。