어떤 상황에 어떤 모델을 사용할지

이 영상의 데모는 2026년 8월에 녹화되었습니다. Claude Haiku 4.5, Claude Sonnet 5, Claude Opus 5에서 실행되었습니다. 최신 모델에서는 결과가 다를 수 있습니다. 각 레슨의 데모는 별도의 평가(eval) 실행이므로, 점수와 비용은 다른 레슨의 결과와 일치하지 않을 수 있습니다.

작업에 사용할 Claude 모델을 선택할 때, 대개는 직감이나 동료의 말에 의존하게 됩니다. Claude의 모델은 실제로 능력, 속도, 비용 면에서 차이가 있지만, 어떤 공개된 비교 자료도 여러분의 특정 프롬프트를 직접 본 적이 없으므로, 어떤 모델이 여러분의 작업에서 어떻게 수행될지는 그 누구도 알려줄 수 없습니다. 올바른 선택 방법은 각 모델이 여러분의 작업을 얼마나 자주 정확하게 수행하는지 측정하고, 그런 다음에야 각 모델의 비용을 살펴보는 것입니다.

이는 벽 꼭대기에 닿기 위해 사다리를 사는 것과 비슷합니다. 가격을 보기 전에, 먼저 벽이 얼마나 높은지 알아내야 합니다. 너무 짧은 사다리는 가격이 아무리 싸도 소용이 없기 때문입니다. 추측만으로는 어떤 사다리가 벽에 닿을지 알 수 없으므로, 직접 측정해서 벽에 닿는 것들 중 가장 저렴한 것을 사야 합니다. 더 높은 벽에는 더 긴 사다리가 필요하며, 비록 더 비싸더라도 그것이 올바른 선택입니다.

모델의 경우, 이러한 측정은 평가(eval)를 통해 이루어집니다. 평가란 모든 모델에 대해 실행하는 일련의 사례(case)들을 말합니다. 각 사례는 여러분의 프롬프트가 보게 될 하나의 입력과 그에 대해 기대하는 답으로 구성되며, 이 답은 어떤 모델도 실행하기 전에 사람이 해당 입력으로부터 직접 작성합니다. 그런 다음 각 실행(run)은 모델이 얼마나 많은 사례를 맞혔는지에 따라 점수를 받습니다.

이 레슨은 Meridian의 사례를 따라갑니다. 매달 Meridian은 Markdown 형식의 프로젝트 보고서 50개를 받으며, 하나의 프롬프트로 각 보고서에서 세 가지 필드, 즉 프로젝트 ID, 일정 상태, 가장 큰 위험 요소를 추출합니다. Meridian의 사례는 한 달치 50개 보고서이며, 아직 알지 못하는 것은 어떤 모델이 이 프롬프트를 실행해야 하는가입니다.

Meridian은 이를 5단계로 해결하며, 여러분도 자신의 프롬프트로 이 과정을 따라 해볼 수 있습니다:

1. 모델이 얼마나 정확해야 하는지 결정한다
2. 동일한 사례로 각 모델의 점수를 매긴다
3. 한 번의 호출 비용을 계산한다
4. 완료된 작업당 비용으로 모델을 비교한다
5. 필요한 정확도를 가지면서 비용이 가장 낮은 모델을 선택한다

모델이 얼마나 정확해야 하는지 결정한다

이것이 바로 벽의 높이이며, 무엇이든 비용을 살펴보기 전에 먼저 결정해야 합니다. 정확도 기준선(floor)이란, 여러분이 실제로 배포하기로 결정하기 전에 모델이 맞혀야 하는 사례의 비율입니다. 기준선을 정하려면 오답 하나가 여러분에게 어떤 비용을 초래하는지 계산해야 합니다. 비용이 클수록 기준선도 높아져야 하기 때문입니다.

Meridian의 경우, 오답이 나오면 누군가 그 보고서를 직접 확인해야 하며, 이는 약 5분이 걸립니다. Meridian의 엔지니어들은 한 달에 5건 정도의 이런 확인 작업은 감당할 수 있으며, 50건 중 5건은 10%이므로 Meridian의 기준선은 90%입니다.

다른 작업이라면 기준선이 훨씬 더 높아질 수도 있습니다. 예를 들어 오답 하나의 비용이 1,000달러라고 가정해 봅시다. 아마 그 오답이 고객에게까지 전달된 경우일 것입니다. 이 경우 기준선은 100%가 되며, 모델의 비용은 거의 문제가 되지 않습니다.

동일한 사례로 각 모델의 점수를 매긴다

기준선은 모델을 측정하기 전까지는 그저 숫자에 불과합니다. 모든 모델을 동일한 프롬프트로 동일한 사례에 대해 실행하여, 한 실행에서 다음 실행으로 바뀌는 것이 오직 모델뿐이도록 해야 합니다. Meridian은 50개의 보고서를 하나의 프롬프트로 Claude Haiku 4.5, Claude Sonnet 5, Claude Opus 5 세 가지 모델에 실행했습니다.

Meridian의 스크립트는 각 필드를 기대하는 답과 비교합니다. 프로젝트 ID와 일정 상태는 정확히 일치해야 하지만, 가장 큰 위험 요소는 문장 형태이므로 스크립트는 더 느슨하게 비교하여 표현상의 약간의 차이는 허용합니다. 각 사례는 하나의 작업(task)이며, Meridian의 경우 이는 하나의 보고서에서 세 가지 필드를 추출하는 것을 의미합니다. 모델은 세 필드를 모두 맞혔을 때만 그 작업을 완료한 것으로 인정됩니다.

50개의 사례 중 30개는 일반적인 보고서이고, 10개는 여러 프로젝트를 동시에 다루는 보고서이며, 10개는 위험 섹션이 없는 보고서입니다. 아래 표는 이 세 가지 유형별로 각 모델의 점수를 나눠 보여줍니다.

동일한 프롬프트와 90%의 기준선 조건에서, 보고서 유형별로 각 모델이 정확히 맞힌 사례의 비율

Sonnet 5와 Opus 5는 모두 50개를 전부 맞혔습니다. Haiku 4.5는 50개 중 42개를 맞혀 84%를 기록했으며, 이 작업과 이 프롬프트에서는 기준선을 넘지 못했습니다.

한 번의 호출 비용을 계산한다

이제 두 모델이 기준선을 넘었으므로 비용을 따져볼 차례입니다. 과금은 토큰 단위로 이루어지며, 토큰이란 모델이 처리하는 텍스트의 한 조각입니다. Messages API의 모든 응답에는 실제 과금되는 정확한 토큰 수를 담은 usage 블록이 포함되어 있습니다. 아래 예시는 Meridian의 호출 중 하나와 비슷한 크기의 Sonnet 5 호출로, 입력 토큰 780개와 출력 토큰 41개를 나타낸 것입니다.

"usage": {
  "input_tokens": 780,
  "output_tokens": 41
}

이러한 수치는 텍스트로부터 추정하지 말고, 각 모델의 usage에서 직접 읽어야 합니다. 모델의 토크나이저(tokenizer)는 텍스트를 토큰으로 분할하는 부분이며, 모든 모델이 동일한 토크나이저를 사용하는 것은 아닙니다. 따라서 같은 텍스트라도 모델에 따라 토큰 수가 다를 수 있습니다. Sonnet 5와 Opus 5는 같은 텍스트에 대해 약 30% 더 많은 토큰을 생성하는 더 새로운 토크나이저를 사용하며, Haiku 4.5는 이전 토크나이저를 사용합니다.

입력 토큰과 출력 토큰은 각각 별도의 요율을 가지며, 각 요율은 백만 토큰 단위로 제시됩니다. 아래 표는 Meridian이 평가를 실행했던 시점인 2026년 8월에 등재된 세 모델의 요율을 보여주며, Claude의 가격 페이지에서 현재 적용되는 요율을 확인할 수 있습니다.

2026년 8월 기준, 각 모델의 백만 입력 토큰 및 출력 토큰당 요율

한 번의 호출 비용은 입력 토큰 수에 입력 요율을 곱한 값과 출력 토큰 수에 출력 요율을 곱한 값을 더한 것입니다. 이 예시는 Sonnet 5 호출이므로 위 표의 Sonnet 5 요율을 사용합니다.

780 input tokens  × $2 per million  = $0.0016
 41 output tokens × $10 per million = $0.0004
                              total = $0.0020

완료된 작업당 비용으로 모델을 비교한다

한 실행(run) 내 모든 호출의 비용을 합한 것을 실행 비용(run cost)이라고 합니다. 실행 비용을 모델이 완료한 작업 수로 나누면 완료된 작업당 비용을 구할 수 있으며, 이것이 바로 모델을 비교하는 기준이 되는 수치입니다.

호출 수가 아니라 완료된 작업 수로 나눕니다. 그 이유는 작업을 틀린 호출이라도 모두 과금되기 때문입니다. 따라서 어떤 모델의 오답들은 그 모델이 실제로 완료한 각 작업의 비용을 더 높이는 셈이 됩니다.

2026년 8월 기준 요율로, 50개 사례에 대한 실행 비용과 완료된 작업당 비용

필요한 정확도를 가지면서 비용이 가장 낮은 모델을 선택한다

여러분의 기준선이 어떤 모델이 후보가 될지를 결정하며, 그 후보들 중 완료된 작업당 비용이 가장 낮은 모델을 선택합니다. Sonnet 5와 Opus 5는 모두 50개 중 50개를 맞혔으며, 완료된 작업당 비용은 각각 $0.0020와 $0.0046입니다. 따라서 이 작업에서 Meridian은 Sonnet 5를 선택합니다. Haiku 4.5의 $0.0009가 표에서 가장 낮은 수치이지만, 기준선을 넘지 못했기 때문에 후보가 되지 못합니다.

더 어려운 작업에서는 가장 능력이 뛰어난 모델만이 유일하게 기준선을 넘을 수도 있으며, 그런 경우에는 그 모델이 올바른 선택이 됩니다. 각 결과는 평가에 사용된 프롬프트와 사례에도 종속됩니다. 프롬프트나 사례를 바꾸면 올바른 모델도 바뀔 수 있으므로, 둘 중 하나라도 바꿀 때마다 평가를 다시 실행해야 합니다.

이 평가는 지연 시간(latency)을 측정하지 않습니다. 사용자가 답변을 기다려야 하는 경우라면, 여기서 점수를 매긴 것과 마찬가지 방식으로 자신의 사례에 대한 응답 시간을 직접 측정해야 합니다.

평가 실행 비용을 낮추는 방법

이 다섯 단계를 거치면 모델을 얻게 되며, 평가 자체를 실행하는 비용을 낮추는 방법이 한 가지 더 있습니다. 평가 결과는 아무도 기다리지 않으므로, 요청을 비동기적으로 처리하는 Batch API를 통해 보낼 수 있습니다. Batch API는 동일한 모델을 입력 및 출력 토큰 가격의 절반으로 실행합니다.

모델을 비교할 때는 배치 요율과 표준 요율을 한 비교 안에 섞지 마세요. 모든 모델의 비용을 배치 요율로 계산하거나, 모든 모델의 비용을 표준 요율로 계산해야 합니다.

핵심 요약

1. 오답 하나가 여러분에게 어떤 비용을 초래하는지를 기준으로, 정확도 기준선을 먼저 정하세요.
2. 모든 모델에 동일한 사례를 주고, 기준선을 넘지 못하는 모델은 제외하세요.
3. 각 호출의 비용을 usage 블록에서 가져온 다음, 실행 비용을 모델이 완료한 작업 수로 나누세요.
4. 기준선을 넘은 후보들 중, 완료된 작업당 비용이 가장 낮은 모델을 선택하세요.