Wie KI-Modelle Next Token Prediction nutzen
Next Token Prediction · 4 Min.
Generative KI ähnelt eher einer enorm ausgefeilten Autovervollständigung als einer Suchmaschine. Sie schreibt Antworten Wort für Wort, basierend darauf, was typischerweise worauf folgt. Genau diese eine Eigenschaft verschafft dir sowohl die Flüssigkeit als auch die Halluzination.
Autovervollständigung in großem Maßstab
Wichtige Erkenntnisse
- Next Token Prediction bezieht sich auf die Tatsache, dass generative KI Antworten Wort für Wort schreibt, basierend darauf, was typischerweise worauf folgt.
- Fähigkeitszone: Aufgaben, die Mustern ähneln, die das Modell schon oft gesehen hat (Zusammenfassen, Umformatieren, Erklären gängiger Konzepte).
- Einschränkungszone: unbekanntes oder dünn besetztes Terrain, sowie überall dort, wo die Aufgabe erfordert, zwischen „wahr" und „klingt wahr" zu unterscheiden.
- Fabrikation konzentriert sich in der Spezifität: Namen, Daten, Statistiken, Quellenangaben, URLs, Zitate. Je präziser eine Aussage, desto mehr rechtfertigt sie eine Überprüfung.
- Produktfunktionen wie Zitate, Signalisierung von Unsicherheit, eingeschränkte Generierung und Generator-Verifizierer-Schleifen existieren speziell, um diese Einschränkung weiter zurückzudrängen.
- 4D-Verbindung: Next Token Prediction ist die Grundlage der Discernment (Beurteilung). Zu wissen, dass die Ausgabe generiert wurde, sagt dir genau, welche Art von Prüfung anzuwenden ist.
Übungen
Der Verifikationstest
Warum? Du weißt jetzt, dass derselbe generative Prozess, der KI flüssig macht, auch der ist, der sie fabrizieren lässt. Zeit, das auf deinem eigenen Terrain zu sehen, in einer Domäne, in der du es erkennen wirst.
Geh zurück zu deiner Aufgabenliste und wähle die Aufgabe aus, bei der du am meisten Vertrauen in deine Fachkompetenz hast. Du brauchst ein Thema, bei dem du der Experte bist, denn du musst in der Lage sein, zu überprüfen, was zurückkommt. Schreibe fünf spezifische, überprüfbare Fakten aus dieser Domäne auf: die Berufsbezeichnung einer Person, ein Veröffentlichungsdatum, eine Statistik, eine Produktspezifikation, ein direktes Zitat, eine URL. Dinge, die du als korrekt kennst und unabhängig bestätigen kannst.
Führe nun drei Sondierungen durch:
- Sondierung 1: Die Fähigkeitszone. Bitte die KI, ein bekanntes Konzept in deiner Domäne zu erklären oder zusammenzufassen. Etwas Populäres und gut Dokumentiertes. Achte auf die Flüssigkeit. Überprüfe den Inhalt stichprobenartig. So fühlt sich die Fähigkeitszone an: geschmeidig, selbstbewusst und weitgehend korrekt.
- Sondierung 2: Spezifität unter Druck. Bitte die KI, fünf überprüfbare Details in deiner Domäne zu liefern: drei Quellen zitieren, einen Autor nennen, genaue Zahlen angeben, eine URL bereitstellen. Überprüfe jedes einzelne. Bewerte es auf einer Skala von fünf: Wie viele waren vollständig korrekt? Wenn sie fabriziert, notiere, wie selbstbewusst sie dabei klang.
- Sondierung 3: Sampling in Aktion. Führe genau dieselbe Anfrage nach spezifischen Fakten in einem neuen Gespräch aus. Vergleiche die beiden Ausgaben. Was blieb konsistent? Was hat sich geändert? Die Variation, die du siehst, ist das Sampling von Next Token Prediction bei der Arbeit.
Zusatzaufgabe: Führe Sondierung 2 erneut in einem Tool mit aktivierten Zitaten durch (wie dem Recherche-Modus in Claude). Bewerte es erneut. Ändert sich die Bewertung, wenn Quellen zur Überprüfung vorhanden sind?
Lektionsreflexion
- Hättest du Fabrikationen in einer Domäne erkannt, die du nicht gut kennst?
- Schau dir deine Aufgabenliste an: Welche Aufgaben liegen größtenteils in der Fähigkeitszone, und welche stoßen in Spezifität vor, die eine Überprüfung erfordert?
Was kommt als Nächstes
Next Token Prediction erklärt, wie die KI generiert. Als Nächstes betrachten wir, woraus sie generiert: die Wissenseigenschaft. Was weiß das Modell tatsächlich, woher kommt dieses Wissen, und wo liegen die Lücken?