Prompt-Caching in Claude funktioniert, indem die Rechenarbeit, die für deine Nachrichten geleistet wurde, gespeichert wird, sodass sie in Folgeanfragen wiederverwendet werden kann. Dies macht nachfolgende Anfragen sowohl schneller als auch kostengünstiger in der Ausführung, aber nur, wenn du wiederholt identische Inhalte sendest.
Der Prozess ist unkompliziert: Deine erste Anfrage schreibt Verarbeitungsarbeit in den Cache, und Folgeanfragen können aus diesem Cache lesen, anstatt denselben Inhalt erneut zu verarbeiten. Standardmäßig lebt der Cache 5 Minuten, daher ist diese Funktion nur nützlich, wenn du innerhalb dieses Zeitraums wiederholt denselben Inhalt sendest. Wenn du mehr Zeit benötigst, ist auch eine Cache-Dauer von 1 Stunde zu einem höheren Cache-Write-Preis verfügbar.
Cache-Breakpoints
Caching wird nicht automatisch aktiviert - du musst manuell Cache-Breakpoints zu bestimmten Blöcken in deinen Nachrichten hinzufügen. So funktioniert es:
- Arbeit, die an Nachrichten geleistet wird, wird nicht automatisch zwischengespeichert
- Du musst manuell einen „Cache-Breakpoint" zu einem Block hinzufügen
- Arbeit, die für alles vor dem Breakpoint geleistet wird, wird zwischengespeichert
- Der Cache wird bei Folgeanfragen nur verwendet, wenn der Inhalt bis einschließlich des Breakpoints identisch ist
Um einen Cache-Breakpoint hinzuzufügen, musst du die Langform zum Schreiben von Textblöcken anstelle der Kurzform verwenden:
Die Kurzform bietet keine Möglichkeit, das Cache-Control-Feld hinzuzufügen, daher musst du das erweiterte Format mit dem Feld cache_control, das auf {"type": "ephemeral"} gesetzt ist, verwenden.
Wie Cache-Breakpoints funktionieren
Wenn du einen Cache-Breakpoint in einer Nachricht platzierst, speichert Claude die gesamte Verarbeitungsarbeit bis einschließlich dieses Breakpoints zwischen. Inhalt nach dem Breakpoint wird normal verarbeitet, ohne zwischengespeichert zu werden.
Damit der Cache in Folgeanfragen nützlich ist, muss der Inhalt bis zum Breakpoint identisch sein. Selbst kleine Änderungen wie das Hinzufügen des Wortes „bitte" machen den Cache ungültig und zwingen Claude, alles erneut zu verarbeiten.
Nachrichtenübergreifendes Caching
Cache-Breakpoints können sich über mehrere Nachrichten und Nachrichtentypen erstrecken. Wenn du einen Breakpoint in einer späteren Nachricht platzierst, werden alle vorherigen Nachrichten (Benutzer, Assistent usw.) im zwischengespeicherten Inhalt enthalten sein.
Dies ist besonders nützlich für Gespräche, bei denen du den gesamten Kontext bis zu einem bestimmten Punkt zwischenspeichern möchtest.
System-Prompts und Tools
Du bist nicht auf Textblöcke beschränkt - Cache-Breakpoints können hinzugefügt werden zu:
- System-Prompts
- Tool-Definitionen
- Bildblöcken
- Tool-Nutzungs- und Tool-Ergebnisblöcken
System-Prompts und Tool-Definitionen sind ausgezeichnete Kandidaten für das Caching, da sie sich zwischen Anfragen selten ändern. Hier erzielst du oft den größten Nutzen aus Prompt-Caching.
Cache-Reihenfolge
Hinter den Kulissen verarbeitet Claude die Komponenten deiner Anfrage in einer bestimmten Reihenfolge: zuerst Tools, dann System-Prompt, dann Nachrichten. Das Verständnis dieser Reihenfolge hilft dir, Breakpoints effektiv zu platzieren.
Du kannst insgesamt bis zu vier Cache-Breakpoints hinzufügen. Zum Beispiel könntest du deine Tools zwischenspeichern und dann einen weiteren Breakpoint mitten in deinem Gesprächsverlauf hinzufügen. Dies gibt dir Flexibilität dabei, was zwischengespeichert wird, wenn sich verschiedene Teile deiner Anfrage ändern.
Mindestinhaltslänge
Es gibt einen Mindestschwellenwert für das Caching: Der Inhalt muss mindestens 1024 Token lang sein, um zwischengespeichert zu werden. Dies ist die Summe aller Nachrichten und Blöcke, die du zwischenspeichern möchtest, nicht einzelner Blöcke.
Eine einfache Nachricht „Hallo!" erreicht diesen Schwellenwert nicht, aber wenn du diesen Inhalt 500 Mal duplizierst (oder einen tatsächlich langen Prompt hast), wird er 1024 Token überschreiten und für das Caching geeignet sein.
Der Schlüssel zu effektivem Prompt-Caching liegt darin, zu identifizieren, welche Teile deiner Anfragen über mehrere Aufrufe hinweg konsistent bleiben, und Breakpoints strategisch zu platzieren, um die Wiederverwendung zu maximieren und die Cache-Invalidierung zu minimieren.