Wissenslücken in KI-Modellen verstehen
Wissen · 5 Min.
Das Modell weiß, was es während des Trainings gesehen hat – und nur das. Standardmäßig kein Echtzeit-Browsing, keine gelebte Erfahrung und ein hartes Ende beim Wissensstichtag. Die praktische Frage ist nicht „Weiß die KI das?", sondern „Wie gut war das in dem repräsentiert, was sie gelesen hat?"
Was das Modell gelesen hat – und wann es aufgehört hat zu lesen
Die wichtigsten Erkenntnisse
- Was generative KI weiß, stammt vollständig aus den Trainingsdaten und ist zum Wissensstichtag eingefroren. Ohne Tools hat sie keinen Zugriff auf Informationen nach diesem Datum.
- Fähigkeitszone: Themen, die häufig, aktuell (innerhalb des Trainings) und konsistent in den Trainingsdaten vorkamen.
- Grenzzone: seltene, nach dem Stichtag liegende, nischenhafte, lokale oder umstrittene Themen.
- Charakteristische Schwächen: Veralterung, ungleichmäßige Abdeckung, übernommene Verzerrungen darin, was als „Standard" oder „normal" gilt, sowie die Unfähigkeit, die Herkunft von Wissen zuzuordnen.
- Websuche, Retrieval (RAG/MCPs) und Tool-Nutzung existieren speziell, um diese Lücken zu schließen, indem sie dem Modell Zugriff auf Informationen geben, mit denen es nie trainiert wurde.
- 4D-Verbindung: Die Ungleichmäßigkeit des Wissens ist zentral für Delegation (Übertragung). Zu verstehen, wo das Modell gut ausgestattet ist und wo es dünn wird, sagt dir, wann du delegieren solltest, wann du selbst Kontext liefern musst und wann du woanders suchen solltest.
Übungen
Der Außenseiter-Test
Warum? Du weißt, dass das Wissen des Modells breit, aber eingefroren ist und von dem geprägt wird, was in seinen Trainingsdaten enthalten war. Jetzt wirst du genau kartieren, wo es in deinem spezifischen Bereich gut ausgestattet ist und wo es dünn wird.
Kehre zu deiner Aufgabenliste zurück und wähle eine Aufgabe aus. Schreibe in Bezug auf diese Aufgabe Folgendes auf:
- Zwei Themen, die mainstream, gut dokumentiert und stabil sind. Die Art von Dingen, die jeder informierte Kollege wissen würde.
- Zwei Themen, die nischenhaft, lokal, aktuell oder sich schnell entwickelnd sind. Branchenspezifischer Fachjargon, regionale Vorschriften, etwas, das sich im letzten Jahr geändert hat.
- Eine „Standardannahme", die Außenstehende in deinem Bereich oft falsch einschätzen. (Wer der typische Kunde ist. Wie ein „Standard"-Fall aussieht. Welches Tool Menschen tatsächlich verwenden im Vergleich zu dem, das in der Presse erwähnt wird.)
Führe nun drei Sondierungen durch:
- Sondierung 1: Abdeckung. Frage nach einem Mainstream-Thema und einem Nischenthema aus deiner Liste. Vergleiche die Tiefe und Genauigkeit. Achte darauf, ob die KI bei den beiden unterschiedlich Unsicherheit signalisiert oder ob beide Antworten mit demselben selbstbewussten Ton kommen.
- Sondierung 2: Veralterung. Frage nach etwas, das sich in deinem Bereich nachweislich kürzlich geändert hat: eine Aktualisierung einer Vorschrift, eine Tool-Veröffentlichung, ein Führungswechsel, ein überarbeiteter Standard. Erkennt die KI den Stichtag an? Präsentiert sie veraltete Informationen als aktuell? Lehnt sie die Antwort ab? Notiere, was passiert.
- Sondierung 3: Standardannahmen. Ohne deine Annahme direkt zu benennen, stelle eine Frage, die aufdecken würde, ob die KI standardmäßig die Sichtweise eines Außenstehenden einnimmt. Wenn zum Beispiel der „Standard"-Kunde in deinem Bereich anders ist, als die meisten Menschen annehmen, bitte die KI, den typischen Kunden zu beschreiben. Notiere, was sie als normal behandelt.
Gehe zurück zu deiner Aufgabenliste und füge eine zweite Anmerkung hinzu: Markiere für jede Aufgabe, ob du dich auf das Wissen des Modells verlassen kannst oder ob du das Wissen selbst über Kontext, Dokumente oder Suche einbringen musst.
Zusatzaufgabe: Führe die Veralterungs-Sondierung erneut mit aktivierter Websuche durch. Vergleiche, was sich ändert. Das ist Retrieval in Aktion.
Reflexion zur Lektion
- In welchem Bereich deiner Arbeit wird dir jetzt klar, dass du Kontext liefern musst, anstatt anzunehmen, dass das Modell ihn bereits hat?
- Hat die Sondierung zu Standardannahmen etwas zutage gebracht, das dich überrascht hat?
Was kommt als Nächstes
Wissen umfasst, was das Modell während des Trainings aufgenommen hat. Arbeitsgedächtnis umfasst, worauf es gerade jetzt achtet: deinen Prompt, deine Dokumente, dein Gespräch. Diese Eigenschaft hat die härteste Grenze aller vier.