La mise en cache des prompts est une fonctionnalité qui accélère les réponses de Claude et réduit le coût de la génération de texte en réutilisant le travail de calcul des requêtes précédentes. Au lieu de jeter tout le travail de traitement après chaque requête, Claude peut l'enregistrer et le réutiliser lorsque vous envoyez à nouveau un contenu similaire.
Comment Claude traite normalement les requêtes
Pour comprendre la mise en cache des prompts, examinons d'abord ce qui se passe lors d'une requête typique sans mise en cache activée.
Lorsque vous envoyez un message à Claude, il ne commence pas immédiatement à générer une réponse. Au lieu de cela, Claude effectue un travail de prétraitement considérable sur votre saisie :
- Tokenise le prompt en éléments plus petits
- Crée des embeddings pour chaque token
- Ajoute du contexte en fonction du texte environnant
- Ce n'est qu'ensuite qu'il génère le texte de sortie réel
Après vous avoir envoyé la réponse, Claude jette tout ce travail de calcul - la tokenisation, les embeddings et l'analyse du contexte sont tous abandonnés.
Le problème de l'abandon du travail
Cela devient inefficace lorsque vous effectuez des requêtes de suivi qui incluent le même contenu. Par exemple, dans une conversation où vous demandez à Claude d'affiner un résumé du même texte long :
Claude doit répéter tout le même travail de prétraitement sur un contenu qu'il vient d'analyser quelques instants auparavant. Comme Claude pourrait se dire : « Je viens de traiter ce message et j'ai jeté tout le travail que j'ai fait - j'aurais pu le réutiliser ! »
Comment la mise en cache des prompts résout ce problème
La mise en cache des prompts modifie ce flux de travail en enregistrant le travail de prétraitement au lieu de l'abandonner :
Lorsque vous effectuez une requête initiale, Claude effectue tout le prétraitement habituel mais stocke les résultats dans un cache au lieu de les jeter. Le cache agit comme une table de correspondance qui indique : « Si je revois un jour ce message, je réutiliserai ce travail que j'ai déjà effectué. »
Avantages et limites clés
La mise en cache des prompts offre plusieurs avantages :
- Réponses plus rapides : Les requêtes utilisant du contenu mis en cache s'exécutent plus rapidement
- Coûts réduits : Vous payez moins pour les portions mises en cache de vos requêtes
- Optimisation automatique : La requête initiale écrit dans le cache, les requêtes de suivi y lisent
Cependant, il existe des limites importantes à garder à l'esprit :
- Durée du cache : Par défaut, le contenu mis en cache vit pendant 5 minutes, et chaque réutilisation réinitialise ce minuteur sans coût supplémentaire. Vous pouvez éventuellement prolonger la durée de vie à 1 heure, ce qui entraîne un prix d'écriture de cache plus élevé.
- Cas d'utilisation limités : Bénéfique uniquement lorsque vous envoyez de manière répétée le même contenu
- Exigence de fréquence élevée : Plus efficace lorsque le même contenu apparaît extrêmement fréquemment dans vos requêtes
La mise en cache des prompts fonctionne mieux pour des scénarios tels que les flux de travail d'analyse de documents, où vous posez plusieurs questions sur le même document volumineux, ou les tâches d'édition itérative où le contenu de base reste constant tandis que vous affinez des aspects spécifiques.