Wie Kontext die Leistung und Kosten von Claude beeinflusst

Viele Menschen nutzen KI-Chats als Alternative zur Suche. Um das sicher zu tun, ist es wichtig zu verstehen, woher LLMs ihre Informationen beziehen. Wenn ein LLM falsche Informationen liefert, ist das meist ein Nebeneffekt von fehlendem, falschem oder minderwertigem Kontext.

Wenn du nicht weißt, warum das passiert, kann man leicht das Gefühl bekommen, das Modell versuche dich zu täuschen, indem es sich Informationen ausdenkt. Aber sobald du verstehst, woher das Wissen eines Modells stammt, kannst du klarer vorhersehen, wo es einen Fehler machen könnte. Du kannst auch sehen, wohin deine Tokens fließen, und entscheiden, wann mehr Kontext den Preis wert ist.

Woher Antworten kommen

Das ist nur ein Aufwärmen - rate einfach drauflos.

Alle drei passieren. Die Lektion geht sie in dieser Reihenfolge durch: Wissen aus dem Training, was auch immer du in das Gespräch einbringst, und was das Modell auf eigene Faust nachschlägt.

Parametrisches Gedächtnis

Modelle wissen manchmal einfach... Dinge. Dieses eingebaute Wissen nennt man parametrisches Gedächtnis, weil es in den Gewichten des Modells, also den Parametern, verankert ist.

Niemand hatte vor, eine Enzyklopädie zu bauen, aber die Fakten, die LLMs aus dem Gedächtnis zitieren können, entstanden als Nebeneffekt des Erlernens, Text vorherzusagen.

Wo das parametrische Gedächtnis an seine Grenzen stößt

Das parametrische Gedächtnis ist bei manchen Dingen besser als bei anderen. Unten siehst du Sätze, die ein Modell gerade schreibt, indem es das wahrscheinlichste nächste Wort vorhersagt. Klicke, um die nächsten paar Wörter in jedem Satz aufzudecken, und entscheide dann selbst, ob das Modell korrekte Informationen geliefert hat oder nicht.

Kontext hinzufügen

Schau dir eine Frage an, die Claude allein aus dem Training nicht beantworten kann.

In diesem Widget wird die Aufgabe für das Modell merklich einfacher, wenn wir unsere Frage durch zusätzlichen Kontext anpassen.

Das Kontextfenster

Der Kontext eines Sprachmodells hat eine maximale Größe. Zum Zeitpunkt der Erstellung dieses Textes können aktuelle Flaggschiff-Claude-Modelle bis zu einer Million Tokens fassen.

Das sind etwa drei Exemplare von Moby-Dick. Wie kann also jemandem der Platz ausgehen?

In den Anfangstagen der KI-Chats bedeutete das Erreichen des Limits einen Neustart. Du hast dieses Limit vielleicht selbst schon 2024 oder 2025 mit einer Chat-Oberfläche erreicht. Und trotzdem weißt du, dass du deutlich weniger als einen Roman oder drei geschrieben hast - die meisten von uns sind nicht so gesprächig. Wo sind also deine Million Tokens geblieben? Schauen wir uns das an.

Das Fenster füllen

Führe eine normale Chat-Interaktion durch und beobachte, wie sich dein Kontextfenster füllt. Damit dieses Beispiel überschaubar bleibt, stellen wir uns ein Modell mit einem viel kleineren Kontextfenster von nur 1.000 Tokens vor.

Compaction

Wenn sich das Kontextfenster seinem Limit nähert, bittet die App Claude, das gesamte bisherige Gespräch zusammenzufassen, und diese Zusammenfassung ersetzt dann den vorherigen Kontext.

Compaction ermöglicht es dir, dein Gespräch fortzusetzen, statt ein neues zu beginnen. So funktioniert es:

1. Zuerst bemerkt es die App. Statt eine Anfrage zu senden, die das Kontextfenster überlasten könnte, hält die App deine nächste Runde zurück und leitet die Compaction ein.
2. Dann fasst Claude zusammen. Das bisherige Gespräch wird Claude mit einem Prompt wie „Anbei ist ein Gespräch zwischen einem Menschen und einem Modell. Bitte erstelle eine Zusammenfassung von allem, was bisher passiert ist." übergeben.
3. Schließlich wird das Gespräch ausgehend von dieser Zusammenfassung fortgesetzt. Die Zusammenfassung ersetzt den Gesprächsverlauf, und dann wird deine zurückgehaltene Anfrage aus Schritt 1 zur Beantwortung an Claude übergeben.

Probier es aus: Compaction

Geschriebenes Gedächtnis

Gedächtnis ist der Grund, warum sich ein hart begrenztes Fenster unendlich anfühlen kann: Claude schreibt sich in einem Gespräch eine Notiz, und diese Notizen werden zu Beginn des nächsten Gesprächs wieder hinzugefügt.

Stell dir das Gedächtnis so vor, dass Claude Dinge aufschreibt, im Memento-Stil, und sie später wieder liest: Claude wacht nach einem Nickerchen vollständig erfrischt auf und kann sich die Gedächtnisdateien ansehen, die es zuvor für sich selbst geschrieben hat. Wir nennen das geschriebenes Gedächtnis, damit es nicht mit dem parametrischen Gedächtnis verwechselt wird.

Compaction ist die Art und Weise, wie Claude ein einzelnes Gespräch über das Kontextlimit hinaus fortsetzen kann. Geschriebenes Gedächtnis ist die Art und Weise, wie Claude wichtige Details über mehrere Gespräche hinweg im Kontext behält.

Lies die Skizze von links nach rechts. Am Dienstag äußerst du eine Präferenz, und Claude schreibt sie sichtbar auf. Dann, am Donnerstag, in einem neuen Gespräch, wurde Claude die Präferenz nicht erneut mitgeteilt. Aber die Gedächtnisnotiz wird still und leise vor deiner ersten Nachricht in den Kontext eingefügt. Dieser Prozess ermöglicht es Claude, sich mit der Zeit an deine Präferenzen zu erinnern, basierend auf dem direkten Feedback, das du teilst.

Die Erinnerung schafft es in zukünftige Gespräche, selbst in einer brandneuen Sitzung ohne den vollständigen Kontext vom Dienstag.

Verschiedene Claude-Produkte implementieren das Gedächtnis unterschiedlich. Claude Code liest CLAUDE.md-Dateien in der gesamten Codebasis, während claude.ai das Gedächtnis in seinen Einstellungen aufbewahrt. Aber selbst wenn der Ort unterschiedlich ist, ist der Prozess derselbe: Claude schreibt wichtige Informationen auf, und eine spätere Instanz von Claude liest sie dann zu Beginn des nächsten Gesprächs wieder.

Eine Woche mit Gedächtnis

Fünf Tage mit demselben Assistenten. Achte darauf, was er aufschreibt, und vergleiche das mit dem, was er neu nachschlägt.

Vorangestellter Kontext

Wenn man weiter herauszoomt, wird eine ganze Menge zum Kontext hinzugefügt, bevor Claude dein erstes Token sieht. Das Widget unten zeigt, welcher vorangestellte Kontext einem Gespräch mit Claude hinzugefügt werden könnte. Der genaue Inhalt variiert von Produkt zu Produkt.

Agentischer Kontext

Jetzt, da du weißt, wie wichtig Kontext für die Erweiterung von Claudes Fähigkeiten ist, ist es wichtig, den agentischen Kontext zu verstehen: wenn Claude entscheidet, sich mehr Kontext zu besorgen, bevor es antwortet. Du hast das im früheren Beispiel über Tomatenpflanzen gesehen, bei dem Claude ein Suchtool genutzt hat, statt aus dem parametrischen Gedächtnis oder dem bereits vorhandenen Kontext zu antworten.

Stell dir im folgenden Widget vor, du wärst Claude. Die Seitenleiste zeigt einige Informationen, die still und leise vor der Nachricht des Nutzers in den Kontext eingefügt wurden. Entscheide für jeden Prompt, ob du aus dem antwortest, was du bereits weißt, oder ob du dich nach außen streckst, um mehr Kontext zu bekommen.

Claude trifft diese gleiche Entscheidung bei jeder Runde, und wie bereitwillig es nach mehr Kontext greift, hängt teilweise von der Effort-Einstellung ab. Bei höherem Effort sucht, liest und prüft Claude eher, bevor es antwortet, was in der Regel eine bessere Antwort und ein größeres Kontextfenster bedeutet. Bei niedrigerem Effort antwortet Claude eher direkt. Erfahre, wie du eine Effort-Stufe in Claude auswählst oder in Claude Code.

Kontext nachverfolgen

Schau dir dieses Beispiel einer Antwort von Claude an. Jeder hervorgehobene Abschnitt wurde von einem Teil des vorangestellten Kontexts beeinflusst. Klicke auf einen Abschnitt und identifiziere, woher du denkst, dass er stammt.

Was du jetzt tun kannst

• Du kannst den Unterschied zwischen dem benennen, was in den Gewichten steckt (parametrisches Gedächtnis) und dem, was im Fenster steckt (Kontext).
• Du weißt, dass das Fenster eine Obergrenze hat, und dass du nicht der einzige Autor bist, der es füllt.
• Du weißt, dass jede Runde das gesamte Fenster erneut sendet, und du kannst bewusst entscheiden, wann du eine neue Sitzung startest.
• Du verstehst, dass Compaction eine Zusammenfassungstechnik ist, die das Fenster unendlich erscheinen lassen kann, aber Details verloren gehen können.
• Du kannst erklären, wie geschriebenes Gedächtnis zwischen Sitzungen überdauert.
• Du kannst dir eine Antwort von Claude ansehen und einige Vermutungen darüber anstellen, wie der vorangestellte Kontext sie geprägt haben könnte.

Weiter: eine Effort-Stufe in Claude auswählen · in Claude Code

Mehr erfahren: Wie KI funktioniert · KI-Fähigkeiten und Einschränkungen