Claude Academy
Cargando

Introducción a las evaluaciones

Crea una pequeña evaluación con tus propios datos para elegir un modelo de Claude priorizando primero la precisión y después el costo, corrige la indicación antes de actualizar el modelo, y sigue verificando después del lanzamiento.

1 h1 cuestionario
Iniciar cursoInicia sesión para guardar el progreso
Lo que aprenderásAl finalizar este curso, podrás
  • Establece un piso de precisión a partir de lo que te costaría una respuesta incorrecta
  • Elige el modelo de menor costo que supere tu piso, según el costo por tarea completada
  • Crea un pequeño conjunto de casos a partir de tus propios datos, con respuestas esperadas
  • Califica campos exactos con código y texto libre con un juez LLM y una rúbrica
  • Corrige la indicación a partir de sus casos fallidos antes de actualizar el modelo
  • Bloquea una fusión cuando la smoke eval en un pull request obtiene una puntuación demasiado baja
  • Ejecuta el conjunto completo a través de la Batch API cuando nadie esté esperando
  • Detecta el drift calificando una muestra nocturna del tráfico en vivo

Ninguna comparación de modelos publicada ha visto tu indicación. Una evaluación es una prueba sobre tus propios casos que te da un número a partir del cual decidir. Cada una de las cuatro lecciones principales muestra un video corto y luego cómo Meridian, una consultora de ingeniería ficticia, creó y ejecutó una evaluación para una indicación. En tres de esas cuatro, encontrarás la línea de su código, indicación o archivo de flujo de trabajo que realiza cada tarea. No hay ningún script para descargar. Después, crearás tu propia evaluación de la misma manera. Terminarás siendo capaz de elegir un modelo y una indicación a partir de evidencia, y de seguir verificando después del lanzamiento. Aprueba el cuestionario calificado para obtener tu insignia de finalización.

Para quién es este curso

Este curso es para ti si tienes una indicación funcional y ninguna evaluación calificada. Las lecciones se limitan a indicaciones que se ejecutan como una sola llamada a la Messages API. No cubre la evaluación de agentes ni la medición de la latencia.

Requisitos previos

Toma primero Claude Platform 101, a menos que puedas llamar a la Messages API y leer la respuesta. El código está en Python, más un flujo de trabajo de GitHub Actions en YAML en la lección "Evaluaciones en producción". Con leerlos es suficiente. Esa lección asume que conoces los pull requests y las verificaciones de CI. Tu propia evaluación necesita una cuenta de Claude Console, una clave de API y entradas reales con respuestas esperadas.