Un flujo de trabajo típico de evaluación de prompts sigue cinco pasos clave que te ayudan a mejorar sistemáticamente tus prompts mediante una medición objetiva. Aunque existen muchas formas diferentes de ensamblar estos flujos de trabajo y diversas herramientas de código abierto y de pago disponibles, comprender el proceso central te ayuda a empezar en pequeño y escalar según sea necesario.
Paso 1: Redacta un prompt
Comienza escribiendo un prompt inicial que quieras mejorar. Para este ejemplo, usaremos un prompt simple:
prompt = f"""
Please answer the user's question:
{question}
"""
Este prompt básico servirá como nuestra línea base para las pruebas y la mejora.
Paso 2: Crea un conjunto de datos de evaluación
Tu conjunto de datos de evaluación contiene entradas de muestra que representan los tipos de preguntas o solicitudes que tu prompt manejará en producción. El conjunto de datos debe incluir preguntas que se interpolarán en tu plantilla de prompt.
Para este ejemplo, nuestro conjunto de datos incluye tres preguntas:
- "¿Cuánto es 2+2?"
- "¿Cómo hago avena?"
- "¿A qué distancia está la Luna?"
En evaluaciones del mundo real, podrías tener decenas, cientos o incluso miles de registros. Puedes ensamblar estos conjuntos de datos a mano o usar Claude para generarlos por ti.
Paso 3: Pasa las preguntas por Claude
Toma cada pregunta de tu conjunto de datos y combínala con tu plantilla de prompt para crear prompts completos. Luego envía cada uno a Claude para obtener respuestas.
Por ejemplo, la primera pregunta se convierte en:
Please answer the user's question:
What's 2+2?Claude podría responder con "2 + 2 = 4" para la pregunta de matemáticas, proporcionar instrucciones para cocinar avena para la segunda pregunta, y dar la distancia a la Luna para la tercera.
Paso 4: Pasa las respuestas por un evaluador
El evaluador evalúa la calidad de las respuestas de Claude examinando tanto la pregunta original como la respuesta de Claude. Este paso proporciona una puntuación objetiva, típicamente en una escala de 1 a 10, donde 10 representa una respuesta perfecta y las puntuaciones más bajas indican margen de mejora.
En nuestro ejemplo, el evaluador podría asignar:
- Pregunta de matemáticas: 10 (respuesta perfecta)
- Pregunta de avena: 4 (necesita mejorar)
- Pregunta de la Luna: 9 (muy buena respuesta)
El promedio de puntuación en todas las preguntas te da una medición objetiva: (10 + 4 + 9) ÷ 3 = 7.66
Paso 5: Cambia el prompt y repite
Ahora que tienes una puntuación de referencia, puedes modificar tu prompt y ejecutar todo el proceso nuevamente para ver si tus cambios mejoran el rendimiento.
Por ejemplo, podrías agregar más orientación a tu prompt:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Después de ejecutar este prompt mejorado a través del mismo proceso de evaluación, podrías obtener una puntuación promedio más alta de 8.7, lo que indica que la instrucción adicional ayudó a Claude a proporcionar mejores respuestas.
Puntuación de prompts
El beneficio clave de este flujo de trabajo es obtener mediciones objetivas del rendimiento del prompt. Puedes:
- Comparar numéricamente diferentes versiones de prompts
- Usar la versión con la mejor puntuación
- Continuar iterando para encontrar enfoques aún mejores
Este enfoque sistemático elimina las conjeturas de la ingeniería de prompts y te da la confianza de que tus cambios son realmente mejoras y no solo variaciones diferentes.