何時使用哪個模型

本影片中的示範錄製於 2026 年 8 月。它運行於 Claude Haiku 4.5、Claude Sonnet 5 和 Claude Opus 5。在較新的模型上結果會有所不同。每堂課的示範都是一次獨立的評估執行，因此其分數和成本與其他課程中的不會相符。

當您為某個任務選擇 Claude 模型時，您可能是憑直覺，或依照同事的建議。Claude 的模型在能力、速度和成本上確實有所不同，但任何已發佈的比較都不曾見過您特定的提示，因此其中沒有一個能告訴您某個模型在您的任務上表現如何。選擇的方法是衡量每個模型正確完成您任務的頻率，然後才去看每個模型的成本。

這很像是買一把梯子以搆到牆頂。在看價格之前，您要先知道牆有多高，因為一把太短的梯子無論價格多低都沒有用。猜測無法告訴您哪些梯子夠得到，所以您要去測量它們，在夠得到的那些之中，買最便宜的那一把。較高的牆需要較長的梯子，即使它比較貴，那也是您該買的那一把。

對於模型而言，這種衡量是透過評估（eval）來完成的，評估是一組您在每個模型上都會執行的案例。每個案例是您的提示會看到的一個輸入，以及您期望得到的答案，而且這個答案是在任何模型執行之前由人根據輸入所寫下的。每次執行之後，會依模型答對多少案例給出一個分數。

本課程以 Meridian 為例。它每個月收到 50 份 Markdown 格式的專案報告，並用一個提示從每份報告中提取三個欄位：專案 ID、排程狀態和最大風險。它的案例就是某個月的 50 份報告，而它目前還不知道的是，應該用哪個模型來執行這個提示。

Meridian 分五個步驟來解決這個問題，您可以用自己的提示照著做：

1. 決定模型必須達到多高的準確度
2. 在相同的案例上為每個模型評分
3. 算出一次呼叫的成本
4. 依每個完成任務的成本來比較模型
5. 選擇以最低成本達到您所需準確度的模型

決定模型必須達到多高的準確度

這就是牆的高度，您要在看任何成本之前先確定它。您的準確度門檻是模型必須答對的案例比例，達到這個比例您才會將其上線使用。要設定這個門檻，就要算出一個錯誤答案會讓您付出什麼代價，因為代價越高，門檻就應該設得越高。

對 Meridian 來說，一個錯誤答案意味著必須有人手動檢查那份報告，大約需要 5 分鐘。它的工程師每個月可以承擔 5 次這樣的檢查，而 50 份之中的 5 份正好是 10%，所以 Meridian 的門檻是 90%。

不同的任務可能會把門檻推得更高。假設一個錯誤答案要花費 1,000 美元，也許是因為它傳到了客戶手上。那麼門檻就要提高到 100%，而模型的成本幾乎就無關緊要了。

在相同的案例上為每個模型評分

門檻只是一個數字，直到您用它來衡量模型。在相同的案例上、用相同的提示執行每一個模型，這樣從一次執行到下一次執行，唯一改變的就只有模型。 Meridian 用同一個提示，在三個模型上跑了它的 50 份報告：Claude Haiku 4.5、Claude Sonnet 5 和 Claude Opus 5。

Meridian 的一個指令碼會對照每個欄位與預期答案進行檢查。專案 ID 和排程狀態必須完全相符，但最大風險是一個句子，所以指令碼的比對較為寬鬆，允許措辭上的些微變化。每個案例就是一個任務，對 Meridian 而言，這意味著從一份報告中提取三個欄位。只有當模型把全部三個欄位都答對時，才算完成任務。

在 50 個案例中，30 個是典型報告，10 個涵蓋多個專案，10 個沒有風險章節。下表按這三種類型分別列出每個模型的分數。

在相同提示與 90% 門檻下，每個模型依報告類型答對的案例比例

Sonnet 5 和 Opus 5 都答對了全部 50 個。Haiku 4.5 答對了 50 個中的 42 個，也就是 84%，因此在這個任務和這個提示下，它未能達到門檻。

算出一次呼叫的成本

既然已有兩個模型達到門檻，接下來就要考慮成本了。計費是按 token（模型處理文字的片段）計算的，而 Messages API 的每一次回應都包含一個 usage 區塊，裡面有您被計費的確切 token 數。下面的範例是一個示意，一次大小與 Meridian 相近的 Sonnet 5 呼叫，輸入 780 個 token，輸出 41 個 token。

"usage": {
  "input_tokens": 780,
  "output_tokens": 41
}

請從每個模型的 usage 讀取這些數字，而不是從文字估算。模型的分詞器（tokenizer）是將文字拆分成 token 的部分，並非每個模型都使用相同的分詞器。因此同一段文字在不同模型上可能會得到不同數量的 token。Sonnet 5 和 Opus 5 使用一個較新的分詞器，對相同文字會產生大約多 30% 的 token，而 Haiku 4.5 則使用先前那一個。

輸入 token 和輸出 token 有各自的費率，都以每百萬 token 計價。下表顯示三個模型在 2026 年 8 月（也就是 Meridian 執行此評估時）所列的費率，而 Claude 的定價頁面則有目前適用的費率。

每個模型每百萬輸入與輸出 token 的費率，如 2026 年 8 月所列

一次呼叫的成本是其輸入 token 數乘以輸入費率，再加上其輸出 token 數乘以輸出費率。這個範例是一次 Sonnet 5 呼叫，因此使用上表中 Sonnet 5 的費率。

780 input tokens  × $2 per million  = $0.0016
 41 output tokens × $10 per million = $0.0004
                              total = $0.0020

依每個完成任務的成本來比較模型

把一次執行中每次呼叫的成本加總起來，這個總數稱為執行成本。將執行成本除以模型完成的任務數，就得到每個完成任務的成本，這是您用來比較模型的數字。

您是除以完成的任務數，而不是呼叫次數。這是因為每一次呼叫都會被計費，即使是答錯任務的那一次也一樣。所以一個模型的錯誤答案，會增加到同一個模型實際完成的每個任務的成本中。

在 50 個案例下，以 2026 年 8 月所列費率計算的執行成本與每個完成任務的成本

選擇以最低成本達到您所需準確度的模型

您的門檻決定了哪些模型是候選者，在這些候選者中，您選擇每個完成任務成本最低的那一個。 Sonnet 5 和 Opus 5 都答對了 50 個中的 50 個，每個完成任務的成本分別是 $0.0020 和 $0.0046，所以在這個任務上 Meridian 選擇了 Sonnet 5。Haiku 4.5 的 $0.0009 是表中最低的數字，但它不是候選者，因為它沒有達到門檻。

在較困難的任務上，最強大的模型可能是唯一能達到門檻的那一個，這時它就是正確的選擇。每個結果也都與評估所用的提示和案例緊密相關。只要改變提示或案例，正確的模型選擇也可能隨之改變，因此每當您更改其中任何一項時，都要重新執行一次評估。

這個評估並不衡量延遲。如果您的使用者需要等待答案，請在您自己的案例上為回應計時，就像您在這裡為準確度評分一樣。

降低執行評估的成本

上面五個步驟可以幫您選出一個模型，而還有一種方法可以進一步降低評估本身的成本。由於沒有人會在等待評估的答案，您可以透過批次 API 來傳送請求，它會以非同步方式處理請求。批次 API 以輸入和輸出 token 半價的方式執行相同的模型。

當您比較模型時，不要在同一次比較中混用批次費率和標準費率。要麼以批次費率計算每個模型的成本，要麼以標準費率計算每個模型的成本。

結論

1. 先根據一個錯誤答案會讓您付出的代價，設定您的準確度門檻。
2. 讓每個模型面對相同的案例，並剔除任何未達到門檻的模型。
3. 從每次呼叫的 usage 區塊取得其成本，然後將執行成本除以模型完成的任務數。
4. 在達到門檻的候選者中，選擇每個完成任務成本最低的那一個。