La mise en cache des prompts dans Claude fonctionne en stockant le travail de calcul effectué sur vos messages afin qu'il puisse être réutilisé dans les requêtes suivantes. Cela rend les requêtes suivantes à la fois plus rapides et moins coûteuses à exécuter, mais uniquement lorsque vous envoyez de manière répétée un contenu identique.
Le processus est simple : votre requête initiale écrit le travail de traitement dans le cache, et les requêtes suivantes peuvent lire à partir de ce cache au lieu de retraiter le même contenu. Par défaut, le cache vit pendant 5 minutes, donc cette fonctionnalité n'est utile que si vous envoyez de manière répétée le même contenu dans ce délai. Si vous avez besoin de plus de temps, une durée de cache de 1 heure est également disponible à un prix d'écriture de cache plus élevé.
Points de rupture du cache
La mise en cache n'est pas activée automatiquement - vous devez ajouter manuellement des points de rupture de cache à des blocs spécifiques dans vos messages. Voici comment cela fonctionne :
- Le travail effectué sur les messages n'est pas mis en cache automatiquement
- Vous devez ajouter manuellement un « point de rupture de cache » à un bloc
- Le travail effectué pour tout ce qui se trouve avant le point de rupture sera mis en cache
- Le cache ne sera utilisé sur les requêtes suivantes que si le contenu jusqu'au point de rupture inclus est identique
Pour ajouter un point de rupture de cache, vous devez utiliser la forme longue pour écrire des blocs de texte au lieu de la forme abrégée :
La forme abrégée ne fournit pas d'emplacement pour ajouter le champ de contrôle du cache, vous devez donc utiliser le format étendu avec le champ cache_control défini sur {"type": "ephemeral"}.
Comment fonctionnent les points de rupture du cache
Lorsque vous placez un point de rupture de cache dans un message, Claude met en cache tout le travail de traitement jusqu'à ce point de rupture inclus. Le contenu après le point de rupture est traité normalement sans mise en cache.
Pour que le cache soit utile dans les requêtes suivantes, le contenu doit être identique jusqu'au point de rupture. Même de petits changements comme l'ajout du mot « s'il vous plaît » invalideront le cache et forceront Claude à tout retraiter.
Mise en cache inter-messages
Les points de rupture de cache peuvent s'étendre sur plusieurs messages et types de messages. Si vous placez un point de rupture dans un message ultérieur, tous les messages précédents (utilisateur, assistant, etc.) seront inclus dans le contenu mis en cache.
Cela est particulièrement utile pour les conversations où vous souhaitez mettre en cache l'ensemble du contexte jusqu'à un certain point.
Invites système et outils
Vous ne vous limitez pas aux blocs de texte - des points de rupture de cache peuvent être ajoutés à :
- Invites système
- Définitions d'outils
- Blocs d'images
- Blocs d'utilisation d'outils et de résultats d'outils
Les invites système et les définitions d'outils sont d'excellents candidats pour la mise en cache puisqu'elles changent rarement entre les requêtes. C'est souvent là que vous obtiendrez le plus grand bénéfice de la mise en cache des prompts.
Ordre du cache
En arrière-plan, Claude traite les composants de votre requête dans un ordre spécifique : d'abord les outils, puis l'invite système, puis les messages. Comprendre cet ordre vous aide à placer les points de rupture efficacement.
Vous pouvez ajouter jusqu'à quatre points de rupture de cache au total. Par exemple, vous pourriez mettre en cache vos outils, puis ajouter un autre point de rupture à mi-chemin de votre historique de conversation. Cela vous donne de la flexibilité quant à ce qui est mis en cache lorsque différentes parties de votre requête changent.
Longueur minimale du contenu
Il existe un seuil minimum pour la mise en cache : le contenu doit comporter au moins 1024 tokens pour être mis en cache. C'est la somme de tous les messages et blocs que vous essayez de mettre en cache, et non des blocs individuels.
Un simple message « Bonjour ! » n'atteindra pas ce seuil, mais si vous dupliquez ce contenu 500 fois (ou si vous avez un prompt véritablement long), il dépassera 1024 tokens et sera éligible à la mise en cache.
La clé d'une mise en cache des prompts efficace consiste à identifier quelles parties de vos requêtes restent cohérentes sur plusieurs appels et à placer les points de rupture de manière stratégique pour maximiser la réutilisation tout en minimisant l'invalidation du cache.