載入中

驗證外掛程式的技能

第 12 課8 分鐘
本課內容完成後,您將能夠
  • 說明什麼是評估,以及為什麼在您分享或依賴某項技能之前,評估很重要
  • 透過 skill-creator 執行一次輕量級評估

為什麼這很重要

當您建立一項技能,或將它們打包成外掛程式時,您實際上是在建立一個其他人會使用的小型產品。就像您交給同事的任何東西一樣——範本、試算表模型、檢查清單——在它離開您的桌子之前,值得先試駕一下。

當您使用自己建立的技能時,您知道如何解決任何問題或失敗。您確切知道該問什麼、該提供什麼檔案,以及答案應該是什麼樣子。但團隊成員並不具備這些知識。他們可能會用稍微不同的方式表達請求,提供稍微不同的輸入,或遇到邊緣案例——一種不尋常但真實的情況,例如超出技能設計範圍的請求。這正是技能容易出錯的地方,而使用它的人並不會知道原因。

透過評估(evals,evaluations 的簡稱)來測試技能,是在別人發現問題之前先自己抓出這些失誤的方法。別讓這個詞嚇到您。評估只是一次試用:輸入一個真實的請求,您查看輸出的結果,然後告訴 Claude 該修正什麼。不需要程式碼,不需要測試腳本——只需要您的判斷,判斷這個結果是否足夠好,值得您掛上自己的名字。

評估系統如何運作

當您使用 skill-creator——Claude 內建的技能建立輔助工具——來建立技能時,它會在整個流程中引導您完成評估。以下是實際的運作方式。

Skill-creator 會想出兩個或更多個有人可能會用在您的技能上的真實提示。對於每個提示,它會產生一對輸出:

  • 一個是 Claude 使用您的技能所產生的
  • 另一個是 Claude 在沒有您的技能的情況下,回答同一個提示所產生的

第二個輸出就是比較的基準點。它的存在是為了讓您可以並排比較,看看您的技能實際帶來了什麼差異——不只是「這個輸出還可以嗎」,而是「這個輸出是否比 Claude 自己做出來的結果更好」。

檢視每一對輸出,並直接在審查頁面上用平實的語言給予回饋。當您閱讀每一對輸出時,您其實只是在回答兩個問題:

  • 這個技能版本是我會使用的那個嗎?如果是,很好——記下是什麼讓它變得更好,以便技能能持續保持這一點。
  • 如果不是,缺少了什麼,或哪裡不對?請具體說明。「語氣太正式了」或「它漏掉了執行摘要」能讓 Claude 有明確的方向可以採取行動;「這不太對」則做不到。

一旦您提交了回饋,Claude 就會根據您所說的內容為您修訂該技能。

反覆改進技能

您的回饋就是修正的依據。一旦您提交回饋,Claude 就會更新技能——重寫指示、調整範例、收緊它所要求的內容——然後您可以再次執行相同的提示,看看這個改變是否確實生效。

一次只改變一件事。如果第一輪顯示該技能太冗長而且缺少某個部分,請挑選其中較重要的那一項,先修正它,重新執行,然後再回來進行另一次審查。這樣您就能分辨出真正產生影響的是哪個改變。如果修訂後您仍然不滿意輸出結果,就再執行一次——這是一個循環,不是一次性的關卡。大多數技能在一到兩輪之後就準備好了。發布一項技能的標準——無論是給自己用,還是給團隊成員用——並不是要求評估完美無缺。而是您在意的那些案例,表現明顯優於基準,並且您已經明確指出哪些案例您目前還無法處理。

如果輸出在第一次就已經看起來很棒呢?那您就完成了。評估不是一個必須跳過的障礙——它們的存在,是為了在您需要信心的時候提供信心,而不是為了走個形式。

現在就試試看

請在下方逐步完成一次模擬評估審查——三個提示,每個都有使用技能與未使用技能的輸出並排呈現。

載入中

對於每一對輸出:選出您實際上會送出的版本,並寫下一行您會給 Claude 的回饋。這就是整個循環。

接下來是什麼

在下一課中,您將從「這對我有效」進展到「這對團隊有效」——也就是那些能將個人工作流程轉變為共享基礎設施的模式與選擇。