Prompt-Caching ist eine Funktion, die Claudes Antworten beschleunigt und die Kosten der Textgenerierung reduziert, indem sie die Rechenarbeit aus vorherigen Anfragen wiederverwendet. Um zu verstehen, wie das funktioniert, schauen wir uns zunächst an, was normalerweise innerhalb von Claude bei einer typischen Anfrage passiert.
Wie Claude Anfragen normalerweise verarbeitet
Wenn du Claude eine Nachricht sendest, passiert im Hintergrund eine Menge, bevor du eine Antwort zurückbekommst. Claude beginnt nicht einfach sofort damit, Text zu generieren – es leistet zunächst umfangreiche Arbeit an deiner Eingabenachricht.
Hier ist, was Claude mit deiner Nachricht macht:
- Den Prompt tokenisieren
- Embeddings für jedes Token erstellen
- Kontext basierend auf umgebendem Text hinzufügen
- Ausgabetext generieren
Diese ganze Vorverarbeitungsarbeit passiert, bevor Claude eine tatsächliche Antwort generiert. Sobald Claude die Verarbeitung deiner Anfrage abgeschlossen und die Antwort zurückgesendet hat, verwirft es die gesamte Rechenarbeit, die es gerade geleistet hat.
Das Problem beim Verwerfen von Arbeit
Dies führt zu einer Ineffizienz, wenn du Gespräche mit Claude führst. Nehmen wir an, du stellst eine Folgeanfrage, die dieselbe Nachricht von vorher, plus Claudes vorherige Antwort, plus eine neue Nachricht zur Fortsetzung des Gesprächs enthält.
Wenn Claude diese ursprüngliche Nachricht erneut sieht, muss es die gesamte gleiche Rechenarbeit wiederholen, die es gerade Momente zuvor verworfen hat. Claude denkt im Wesentlichen: „Ich habe genau diese Nachricht gerade verarbeitet und diese ganze Arbeit geleistet, und dann weggeworfen. Jetzt muss ich das alles noch einmal machen."
Wie Prompt-Caching dieses Problem löst
Prompt-Caching behebt diese Ineffizienz, indem es die Rechenarbeit speichert, anstatt sie zu verwerfen. So funktioniert es:
Wenn Claude deine ursprüngliche Anfrage verarbeitet, wirft es die gesamte Vorverarbeitungsarbeit nicht weg, sondern speichert sie in einem Cache. Der Cache funktioniert wie eine Nachschlagetabelle, die bestimmte Eingabenachrichten ihren entsprechenden Rechenergebnissen zuordnet.
Wenn du eine Folgeanfrage stellst, die denselben Inhalt enthält, kann Claude seinen Cache überprüfen und die vorherige Arbeit wiederverwenden, anstatt von Grund auf neu zu beginnen.
Wichtige Vorteile und Einschränkungen
Prompt-Caching bietet mehrere Vorteile:
- Anfragen, die zwischengespeicherten Inhalt verwenden, sind günstiger und schneller auszuführen
- Die erste Anfrage schreibt in den Cache
- Folgeanfragen können aus dem Cache lesen
- Der Cache lebt 5 Minuten
- Nur nützlich, wenn du wiederholt denselben Inhalt sendest (was aber extrem häufig vorkommt)
Der Cache hat eine Lebensdauer von 5 Minuten, daher ist er am vorteilhaftesten für Gespräche oder Workflows, bei denen du mehrere Anfragen mit überlappendem Inhalt innerhalb eines kurzen Zeitraums stellst. Dieses Muster ist tatsächlich sehr häufig in echten Anwendungen – denk an Chatbots, Dokumentenanalyse-Tools oder jedes System, das Gesprächskontext aufrechterhält.
Prompt-Caching ist besonders wertvoll, weil viele KI-Anwendungen wiederholt denselben Inhalt senden. Ob es sich um System-Prompts, Gesprächsverlauf oder große Dokumente handelt, die analysiert werden – derselbe Text erscheint oft über mehrere Anfragen innerhalb einer Sitzung hinweg.