공개된 어떤 모델 비교도 여러분의 프롬프트를 본 적이 없습니다. 평가(eval)는 여러분 자신의 케이스에 대한 테스트로, 결정을 내릴 수 있는 숫자를 제공합니다. 네 개의 주요 레슨은 각각 짧은 동영상을 보여준 뒤, 가상의 엔지니어링 컨설팅 회사인 Meridian이 하나의 프롬프트에 대해 평가를 구축하고 실행한 방법을 소개합니다. 그 네 개 중 세 개에서는 각 작업을 수행하는 코드, 프롬프트, 또는 워크플로우 파일의 해당 줄을 확인할 수 있습니다. 다운로드할 스크립트는 없습니다. 그 후에는 같은 방식으로 여러분만의 평가를 구축합니다. 이 과정을 마치면 증거를 바탕으로 모델과 프롬프트를 선택하고 출시 후에도 계속 점검할 수 있게 됩니다. 채점된 퀴즈를 통과하면 수료 배지를 받을 수 있습니다.
이 과정이 적합한 대상
작동하는 프롬프트는 있지만 채점된 평가가 없다면 이 과정이 적합합니다. 레슨은 Messages API에 대한 단일 호출로 실행되는 프롬프트만 다룹니다. 에이전트 평가나 지연 시간 측정은 다루지 않습니다.
사전 요구 사항
Messages API를 호출하고 응답을 읽을 수 없다면 먼저 Claude Platform 101을 수강하세요. 코드는 Python이며, "프로덕션에서의 평가" 레슨에는 YAML로 작성된 GitHub Actions 워크플로우가 하나 포함되어 있습니다. 이를 읽을 수 있으면 충분합니다. 해당 레슨은 여러분이 풀 리퀘스트와 CI 검사를 알고 있다고 가정합니다. 여러분만의 평가를 위해서는 Claude Console 계정, API 키, 그리고 예상 답변이 포함된 실제 입력이 필요합니다.