El almacenamiento en caché de prompts en Claude funciona almacenando el trabajo computacional realizado en los mensajes para que pueda reutilizarse en solicitudes posteriores. Esto hace que las solicitudes subsiguientes sean más económicas y rápidas de ejecutar, pero solo cuando envías repetidamente el mismo contenido.
El proceso sigue un patrón de dos fases: la solicitud inicial escribe en la caché, y las solicitudes posteriores pueden leer de ella. La caché solo vive durante 5 minutos, por lo que esta función es más útil cuando envías el mismo contenido repetidamente dentro de un período de tiempo corto.
Puntos de caché
El almacenamiento en caché de prompts no se habilita automáticamente: necesitas agregar manualmente partes de mensaje de punto de caché para controlar qué se almacena en caché. Los puntos de caché le indican a Claude que almacene en caché todo el trabajo realizado para todo lo que esté antes de ese punto en tu mensaje.
Así es como agregas un punto de caché a un mensaje de usuario:
user_message = {
"role": "user",
"content": [
{"text": ""},
{"cachePoint": {"type": "default"}}
]
}La regla clave es que el trabajo realizado para todo lo que está antes del punto de caché se almacenará en caché, pero cualquier cosa después del punto de caché no se guardará en la caché.
Cómo funcionan los puntos de caché
Cuando realizas una solicitud inicial con un punto de caché, Claude procesa todo el contenido y almacena el trabajo realizado hasta ese punto de caché. En solicitudes posteriores, si el contenido antes del punto de caché es idéntico, Claude lee el trabajo previamente procesado desde la caché en lugar de volver a procesarlo.
La caché solo se utilizará si el contenido antes del punto de caché es completamente idéntico. Incluso pequeños cambios, como agregar "Por favor" al principio de tu prompt, impedirán el uso de la caché, forzando a Claude a procesar todo desde cero.
Almacenamiento en caché entre mensajes
Los puntos de caché pueden abarcar múltiples mensajes e incluso incluir mensajes del asistente. Esto significa que puedes almacenar en caché historiales de conversación completos hasta cierto punto.
Por ejemplo, podrías tener una conversación con un mensaje de usuario, una respuesta del asistente y otro mensaje de usuario, con un punto de caché al final. Todo el trabajo de procesamiento de ese hilo de conversación completo se almacena en caché y puede reutilizarse.
Longitud mínima de contenido
El contenido debe tener al menos 1024 tokens de longitud para poder almacenarse en caché. Esta es la suma de todos los mensajes y partes que intentas almacenar en caché antes del punto de caché.
Un simple mensaje "¡Hola!" no alcanzará el mínimo de 1024 tokens, por lo que no se almacenará nada en caché. Pero si repites "¡Hola!" 500 veces, eso superaría los 1024 tokens y calificaría para el almacenamiento en caché.
Ubicaciones de los puntos de caché
Los puntos de caché no están restringidos a los mensajes de usuario. Puedes agregarlos a las indicaciones del sistema y a las definiciones de herramientas, que en realidad son las oportunidades de almacenamiento en caché más comunes.
Para definiciones de herramientas:
tools = [
{"toolSpec": add_duration_to_datetime_schema},
{"toolSpec": get_current_datetime_schema},
{"cachePoint": {"type": "default"}}
]Para indicaciones del sistema:
system = [
{"text": "You are a senior software..."},
{"cachePoint": {"type": "default"}}
]Estas son las oportunidades de almacenamiento en caché más valiosas porque las indicaciones del sistema y las listas de herramientas rara vez cambian entre solicitudes, lo que las convierte en candidatas perfectas para el almacenamiento en caché.