Bessere Ergebnisse erzielen

In unserer letzten Lektion haben wir uns mit Datenschutz und Sicherheit befasst – was du unbedingt schützen musst und wie du das tust. Lass uns jetzt also über die Frage sprechen, die dich wahrscheinlich überhaupt erst davon abgehalten hat, KI für Datenanalysen zu nutzen: Wie kann ich den Ergebnissen vertrauen?

Die heutige Lektion handelt von der Delegations-Gewissenhaftigkeits-Schleife, genauer gesagt davon, Vertrauen in die analytischen Fähigkeiten von KI für deine spezifische Arbeit aufzubauen, indem du sie systematisch an Daten testest, die du bereits verstehst. Auf diese Weise kannst du besser nachvollziehen, wie KI deine spezifischen Umstände unterstützen kann.

Der Prozess beginnt mit der Delegation (Übertragung). So funktioniert das: Identifiziere zunächst eine bestimmte analytische Aufgabe, die du regelmäßig erledigst und die du an KI delegieren möchtest. Finde vergangene Daten, bei denen du die Analyse bereits abgeschlossen hast, und arbeite dann mit KI zusammen, um das, was du getan hast, zu reproduzieren, wobei du bewertest, was funktioniert und was nicht. Verfeinere deinen Ansatz und teste erneut. Wenn KI deine bekannten Ergebnisse treffen kann, weißt du, wie du sie für ähnliche zukünftige Aufgaben einsetzen und ihr vertrauen kannst. Und wenn nicht, hast du gelernt, dass diese Aufgabe etwas ist, das du nicht delegieren solltest.

Lass mich dir zeigen, wie das in der Praxis aussieht, und dann sprechen wir darüber, was zu tun ist, wenn du von Anfang an nicht so datenaffin bist.

Lerne Rio kennen, den Programmdirektor bei Valley Veterans Services. Jedes Quartal analysiert er die Programmteilnahme zusammen mit den Beschäftigungsergebnissen, berechnet Teilnahmequoten, verfolgt monatliche Veränderungen und ermittelt, ob die Anwesenheit mit dem Erfolg bei der Arbeitsplatzvermittlung korreliert. Diese Analyse nimmt ihm durchweg Stunden in Anspruch.

Bei der Überlegung zur Delegation weiß Rio, dass er die Ergebnisse dieser Analyse weiterhin nutzen möchte, um sein Programm zu verbessern. Er möchte die Ergebnisse selbst interpretieren, könnte aber auf die Datenbereinigung und das Formel-Chaos verzichten, in dem er sich normalerweise bei der eigentlichen Analyse wiederfindet. Um zu testen, ob KI in diesem Szenario geeignet ist, wird er sie anhand der Daten des letzten Quartals bewerten. Er weiß genau, was diese Daten zeigten, nachdem er sie ohne KI analysiert hat, und er hat die rohen, unordentlichen Daten von vorher. Das ist sein Testfall.

Rio lädt die Daten hoch und beginnt, mit KI zu arbeiten, wobei er Beschreibung und Beurteilung einsetzt, um seine Analyse durchzuführen. Jedes Mal, wenn KI antwortet, überprüft Rio die Ergebnisse gegen das, was er als wahr kennt, und notiert mögliche Lücken in der Argumentation der KI. Manchmal hilft zusätzliche Beschreibung der KI, das gewünschte Ergebnis zu erzielen. In diesen Fällen weiß Rio, dass er diese Art von Information für zukünftige Datenanalyseaufgaben einbeziehen muss. Ein anderes Mal findet Rio möglicherweise echte Fähigkeitslücken. Das ist die Delegations-Gewissenhaftigkeits-Schleife in Aktion. Rios Gewissenhaftigkeit bei der Bewertung der Fähigkeiten des Modells kann verändern, was er in Zukunft an KI delegiert.

Sein erster Versuch könnte so aussehen: „Ich teile Anwesenheitsdaten und Beschäftigungsergebnisdaten aus unserem Berufsausbildungsprogramm des letzten Quartals. Bitte analysiere die Teilnahmemuster über die drei Monate hinweg und stelle die Korrelationen zwischen Anwesenheitsniveaus und Beschäftigungserfolg grafisch dar. Mich interessiert besonders, ob regelmäßige Anwesenheit bessere Ergebnisse bei der Arbeitsplatzvermittlung vorhersagt."

KI antwortet mit einer Zusammenfassung. Aber anstatt dies als Tatsache anzunehmen, überprüft Rio dies anhand seiner Aufzeichnungen und notiert, was gut ist und was nicht. KI identifizierte korrekt die Korrelation zwischen Programmteilnahme und Arbeitsplatzvermittlung, übersah aber eine entscheidende Erkenntnis zum kombinierten Wohnungshilfe- und Arbeitsvermittlungsprogramm. Also verfeinert Rio seine Beschreibung und bittet KI, es erneut zu versuchen, diesmal aber besonders auf den Programmtyp zu achten. Diesmal erkennt KI ihren Fehler. Rio notiert sich also, dass er für zukünftige Quartale die KI ausdrücklich bitten muss, den Programmtyp bei der Durchführung ihrer Analyse zu berücksichtigen.

Dann macht er etwas Schwierigeres: „Kannst du das auch danach betrachten, wann die Teilnehmer sich angemeldet haben?" KI antwortet, und Rio beobachtet, dass KI trotz fehlender Kenntnis der Anmeldedaten helfen konnte, diese zu extrahieren. Er macht sich eine Notiz, diese Ergebnisse später abzugleichen.

Indem er diesen Prozess durchlaufen hat, hat Rio systematisch validiert, was KI für seine Quartalsberichte kann und was nicht. Er hat gelernt, dass KI mit der richtigen Beschreibung die Analyse, die er früher manuell durchgeführt hat, genau reproduzieren kann. Aber er hat auch klare Einschränkungen und Bereiche für Nachfassaktionen identifiziert. KI benötigt Anmeldedaten in den Daten, um eine Kohortenanalyse durchzuführen; andernfalls wird sie versuchen, diese abzuleiten, was er nicht möchte. Und am wichtigsten: Rio hat jetzt einen getesteten Ansatz, den er mit den Daten dieses Quartals selbstbewusst verwenden kann, sowie klare Notizen darüber, welche Informationen er einbeziehen muss und welchen Kontext er selbst noch hinzufügen muss.

Wenn Rio diesen validierten Ansatz mit neuen Daten verwendet, setzt sich seine Gewissenhaftigkeit fort. Er wird prüfen, ob die Zahlen angesichts dessen, was er über seine Programme weiß, Sinn ergeben. Er wird die Verantwortung für den endgültigen Bericht übernehmen und transparent über die Rolle der KI sein, falls danach gefragt wird. Aber jetzt arbeitet er auf Basis validierten Vertrauens, nicht auf Basis von Vermutungen.

Hier also das Modell: Identifiziere eine bestimmte analytische Aufgabe, die du delegieren möchtest. Sei präzise darüber, was du brauchst. Finde dann vergangene Daten, bei denen du diese Analyse bereits abgeschlossen hast. Du brauchst die richtigen Antworten, um zu bewerten, ob KI zu ihnen gelangen kann. Arbeite mit KI zusammen, um deine vergangene Analyse zu reproduzieren, und bewerte die Ergebnisse systematisch. Was hat KI produziert? Wie ist sie an die Aufgabe herangegangen? Wie hat sie die Ergebnisse kommuniziert? Identifiziere Lücken, verfeinere deine Delegation und teste dann erneut. Wenn du validieren kannst, dass KI korrekte Ergebnisse produziert, hast du einen Ansatz entwickelt, den du selbstbewusst auf neue Daten anwenden kannst. Wenn du aber nach mehreren Verfeinerungen nicht dorthin gelangst, hast du gelernt, dass dies keine Aufgabe ist, die du delegieren solltest.

Das ist also alles gut und schön, aber was, wenn du mit den Daten von Anfang an nicht besonders vertraut bist und diese Prozesslücken selbst nicht erkennen könntest? KI kann auch ein nützliches Werkzeug sein, um Lösungen zu entwickeln und umzusetzen, an die du selbst vielleicht nicht gedacht hättest. Da KI-Modelle besonders gut im Programmieren sind, können sie bei Dingen wie dem Schreiben von Excel-Formeln, der Neuformatierung unordentlicher Daten und mehr helfen. In diesen Fällen kannst du einfach deine Frage oder Idee an KI herantragen und gezielt um Hilfe bitten, um zu verstehen, wie eine Lösung aussehen könnte – genau so, wie du mit einem Datenanalysten in deinem Team zusammenarbeiten würdest. Während du mit KI arbeitest, frage einfach immer wieder nach Klärungen und Erklärungen, damit du dem Prozess folgen und das Endergebnis verstehen kannst.

Denk nur daran: Validierung schafft Vertrauen, beseitigt aber nicht die Verantwortung. Du bist weiterhin dafür verantwortlich zu prüfen, ob diese Ergebnisse Sinn ergeben, und transparent über die Rolle der KI in deinem Analyseprozess zu sein.

Dieses Testen funktioniert für jede analytische Aufgabe, die du in Betracht ziehst: Spenderanalyse, Budgetprognosen, Umfragesynthese, Ergebnisverfolgung. Teste zuerst, validiere, was funktioniert, und wende es dann mit mehr Vertrauen an – oder lerne, was du überhaupt nicht delegieren solltest.

In unserer nächsten Lektion werden wir uns die Workflow-Erweiterung ansehen und wie man diese gleichen Prinzipien anwendet, wenn KI Routineaufgaben in deinem Auftrag übernimmt.