La ingeniería de prompts consiste en tomar un prompt que has escrito y mejorarlo para obtener resultados más confiables y de mayor calidad. Este proceso implica un refinamiento iterativo: comenzar con un prompt básico, evaluar su rendimiento y luego aplicar sistemáticamente técnicas de ingeniería para mejorarlo.
El proceso de mejora iterativa
El enfoque sigue un ciclo claro que puedes repetir hasta lograr los resultados deseados:
- Establece un objetivo - Define qué quieres que logre tu prompt
- Escribe un prompt inicial - Crea un primer intento básico
- Evalúa el prompt - Pruébalo contra tus criterios
- Aplica técnicas de ingeniería de prompts - Usa métodos específicos para mejorar el rendimiento
- Vuelve a evaluar - Verifica que tus cambios realmente mejoraron los resultados
Repites los dos últimos pasos hasta que estés satisfecho con el rendimiento. Cada iteración debería mostrar una mejora medible en tus puntuaciones de evaluación.
Ejemplo: Planificación de comidas para atletas
Repasemos un ejemplo práctico. El objetivo es crear un prompt que genere un plan de comidas de un día para atletas según sus características físicas y requerimientos.
El prompt toma estas entradas y debería producir un plan de comidas completo con totales calóricos, desglose de macronutrientes y detalles específicos de las comidas con porciones y horarios.
Configuración del marco de evaluación
Para medir la mejora de manera sistemática, necesitas una configuración de evaluación robusta. El marco incluye:
- Generación de conjuntos de datos - Crea casos de prueba que representen escenarios del mundo real
- Puntuación automatizada - Usa criterios consistentes para evaluar las salidas
- Seguimiento del rendimiento - Monitorea las mejoras a lo largo de las iteraciones
Al configurar tu evaluador, ten en cuenta los límites de velocidad de la API. Comienza con baja concurrencia (1-3 solicitudes simultáneas) y solo aumenta si no encuentras errores de límite de velocidad.
Creación de tu prompt inicial
Comienza con algo simple, incluso si sabes que no es excelente. Aquí tienes un ejemplo de un primer intento básico:
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}Este prompt es intencionalmente básico y probablemente producirá resultados deficientes. Eso es exactamente lo que quieres: una línea base clara a partir de la cual mejorar.
Establecimiento de criterios de evaluación
Define criterios específicos que tu prompt debería cumplir. Para el ejemplo de planificación de comidas, una buena salida debería incluir:
- Total calórico diario
- Desglose de macronutrientes
- Comidas con alimentos exactos, porciones y horarios
Estos criterios ayudan al modelo de evaluación a calificar las salidas de manera consistente y te dan objetivos claros para la mejora.
Medición del rendimiento de referencia
Ejecuta tu prompt inicial a través del marco de evaluación. No te desanimes por las puntuaciones bajas: una puntuación de 2.3 sobre 10 es en realidad perfecta como punto de partida. Te da mucho margen para demostrar mejoras.
Análisis de resultados
La mayoría de los marcos de evaluación generan informes detallados que muestran cómo se desempeñó cada caso de prueba. Estos informes típicamente incluyen:
- Resultados de casos de prueba individuales - Ve exactamente qué produjo el modelo
- Desglose de puntuación - Comprende por qué ciertas salidas obtuvieron puntuaciones bajas
- Razonamiento - Obtén retroalimentación sobre qué falta o es incorrecto
Usa esta retroalimentación detallada para identificar áreas específicas donde tu prompt necesita mejorar. Busca patrones en múltiples casos de prueba para comprender problemas sistemáticos en lugar de problemas aislados.
Próximos pasos
Con tu línea base establecida y el marco de evaluación en su lugar, estás listo para comenzar a aplicar técnicas específicas de ingeniería de prompts. Cada técnica que apliques debería resultar en una mejora medible en tus puntuaciones de evaluación, acercándote a la calidad de salida ideal.
La clave es hacer un cambio a la vez, evaluar el impacto y luego decidir si mantener el cambio o probar un enfoque diferente. Este proceso sistemático asegura que comprendas qué técnicas funcionan mejor para tu caso de uso específico.