Prompt-Caching ist eine Funktion, die Claudes Antworten beschleunigt und die Kosten der Textgenerierung reduziert, indem Rechenarbeit aus vorherigen Anfragen wiederverwendet wird. Anstatt nach jeder Anfrage die gesamte Verarbeitungsarbeit zu verwerfen, kann Claude sie speichern und wiederverwenden, wenn du erneut ähnlichen Inhalt sendest.
Wie Claude Anfragen normalerweise verarbeitet
Um Prompt-Caching zu verstehen, schauen wir uns zunächst an, was während einer typischen Anfrage ohne aktiviertes Caching passiert.
Wenn du eine Nachricht an Claude sendest, beginnt es nicht sofort damit, eine Antwort zu generieren. Stattdessen leistet Claude eine enorme Menge an Vorverarbeitungsarbeit an deiner Eingabe:
- Tokenisiert den Prompt in kleinere Teile
- Erstellt Embeddings für jedes Token
- Fügt Kontext basierend auf umgebendem Text hinzu
- Generiert erst dann den tatsächlichen Ausgabetext
Nachdem es dir die Antwort gesendet hat, verwirft Claude diese gesamte Rechenarbeit - die Tokenisierung, die Embeddings und die Kontextanalyse werden alle verworfen.
Das Problem beim Verwerfen von Arbeit
Dies wird ineffizient, wenn du Folgeanfragen stellst, die denselben Inhalt enthalten. Zum Beispiel in einem Gespräch, in dem du Claude bittest, eine Zusammenfassung desselben langen Textes zu verfeinern:
Claude muss die gesamte gleiche Vorverarbeitungsarbeit an Inhalten wiederholen, die es gerade erst vor wenigen Augenblicken analysiert hat. Claude könnte sich dabei denken: „Ich habe diese Nachricht gerade verarbeitet und die gesamte Arbeit, die ich geleistet habe, weggeworfen - ich hätte sie wiederverwenden können!"
Wie Prompt-Caching dieses Problem löst
Prompt-Caching verändert diesen Arbeitsablauf, indem es die Vorverarbeitungsarbeit speichert, anstatt sie zu verwerfen:
Wenn du eine erste Anfrage stellst, führt Claude die übliche Vorverarbeitung durch, speichert die Ergebnisse jedoch in einem Cache, anstatt sie wegzuwerfen. Der Cache funktioniert wie eine Nachschlagetabelle, die besagt: „Wenn ich diese Nachricht jemals wieder sehe, werde ich diese Arbeit, die ich bereits geleistet habe, wiederverwenden."
Wichtige Vorteile und Einschränkungen
Prompt-Caching bietet mehrere Vorteile:
- Schnellere Antworten: Anfragen, die zwischengespeicherten Inhalt verwenden, werden schneller ausgeführt
- Niedrigere Kosten: Du zahlst weniger für die zwischengespeicherten Teile deiner Anfragen
- Automatische Optimierung: Die erste Anfrage schreibt in den Cache, Folgeanfragen lesen daraus
Es gibt jedoch wichtige Einschränkungen, die du beachten solltest:
- Cache-Dauer: Standardmäßig bleibt zwischengespeicherter Inhalt 5 Minuten lang erhalten, und jede Wiederverwendung setzt diesen Timer ohne zusätzliche Kosten zurück. Du kannst die Lebensdauer optional auf 1 Stunde verlängern, was einen höheren Preis für das Cache-Schreiben mit sich bringt.
- Begrenzte Anwendungsfälle: Nur vorteilhaft, wenn du wiederholt denselben Inhalt sendest
- Anforderung an hohe Häufigkeit: Am effektivsten, wenn derselbe Inhalt extrem häufig in deinen Anfragen auftritt
Prompt-Caching funktioniert am besten für Szenarien wie Dokumentenanalyse-Workflows, bei denen du mehrere Fragen zu demselben großen Dokument stellst, oder iterative Bearbeitungsaufgaben, bei denen der Basisinhalt konstant bleibt, während du bestimmte Aspekte verfeinerst.