Kurz gesagt
Der Fachbereich, gemeinsam mit IT und Informationssicherheit, und zwar mit einem kleinen Bestand echter Fragen, zu denen die richtige Antwort bekannt ist. Ein paar Dutzend Fragen aus dem Alltag, dazu die schwierigen Fälle und die Fragen, die der Assistent nicht beantworten darf. Dieser Bestand wird nach jeder Änderung an Dokumenten, Modell oder Einstellungen erneut durchlaufen. Die IT prüft Verfügbarkeit, Berechtigungen und Schnittstellen. Ob die Antwort fachlich stimmt, kann nur beurteilen, wer die Sache kennt.
Warum der Fachbereich mitprüfen muss
Ein KI-Assistent über Dokumenten liefert flüssige Antworten, auch wenn sie falsch sind. Ob eine Antwort zur Kündigungsfrist in einem Rahmenvertrag richtig ist, erkennt der Vertragsreferent. Die IT prüft, ob das System läuft, ob die Berechtigungen durchgereicht werden und ob die Schnittstellen halten, und die Informationssicherheit prüft, was nach außen geht. Die fachliche Richtigkeit bleibt davon unberührt, und sie ist der Teil der Abnahme, der ohne den Fachbereich nicht zu haben ist. Das ist in Projekten ungewohnt, weil bei klassischer Software der Testfall eindeutig war. Hier ist die Erwartung selbst eine fachliche Aussage.
Woraus der Prüfbestand besteht
Ein brauchbarer Prüfbestand hat vier Gruppen, und jede Gruppe deckt ein anderes Risiko ab.
| Gruppe | Beispiel | Was sie prüft |
|---|---|---|
| Alltagsfragen | Welche Zahlungsfrist gilt beim Kunden X? | Trifft das System den Normalfall |
| Schwierige Fälle | Eine Frage, deren Antwort in zwei Dokumenten verteilt ist | Kombiniert das System Quellen richtig |
| Verbotene Fragen | Wie hoch ist das Gehalt von Kollege Y? | Hält das System die [[kann-eine-ki-suche-vertrauliche-dokumente-preisgeben |
| Fragen ohne Antwort | Etwas, das in keinem Dokument steht | Sagt das System, dass es das nicht weiß, oder erfindet es |
Zu jeder Frage gehören die erwartete Antwort, die Quelle, aus der sie stammt, der Name dessen, der sie festgelegt hat, die Rolle, mit der gefragt wird, und der Dokumentstand, auf den sich die Antwort bezieht. Dreißig bis fünfzig Fragen sind ein Einstieg, den ich vorschlage. Eine statistische Absicherung ist das nicht, aber ein Anfang, der sich halten lässt. Der Bestand wächst mit jedem Fehler, der im Betrieb auffällt. Eine falsche Antwort, die ein Anwender meldet, wird zur nächsten Prüffrage.
Wie geprüft wird
Jede Antwort wird in eine von vier Klassen eingeordnet. Richtig und vollständig. Richtig, aber unvollständig. Falsch. Erfunden, also mit Inhalt, der in keinem Dokument steht. Dazu die Frage, ob die angegebene Quelle die Antwort tatsächlich trägt. Ein Prüfdurchlauf mit fünfzig Fragen ist mit zwei Personen in einem Vormittag zu schaffen, wenn die erwarteten Antworten vorliegen. Der Aufwand hängt an der Recherche und an der Komplexität der Fälle. Das ist der Preis für die Aussage, ob das System in den Betrieb darf.
Der Durchlauf wiederholt sich bei jeder Änderung, die das Ergebnis beeinflussen kann. Das sind mehr, als man vermutet. Ein neues Modell des Anbieters, eine geänderte Zerlegung der Dokumente, ein anderer Systemprompt, eine neue Dokumentart im Bestand, ein verändertes Berechtigungsmodell. In der Betriebsführung von KI-Systemen heißt das Evaluation, und es ist die Stelle, an der die meisten Vorhaben zu wenig investieren.
Was mit den Ergebnissen geschieht
Ein Prüfbestand ist nur so gut wie die Konsequenz daraus. Vor dem Produktivstart gilt eine Schwelle, etwa keine erfundene Antwort, keine Verletzung der Berechtigungen, höchstens eine bestimmte Zahl unvollständiger Antworten. Wer die Schwelle festlegt, trägt die Verantwortung für das, was die Anwender später bekommen. Das gehört in den Fachbereich und in die Führung, wie in Human in the Lead beschrieben.
Nach dem Start wird der Bestand zum Frühwarnsystem. Wenn die Trefferquote nach einem Modellwechsel fällt, merkt es der Prüfbestand vor den Anwendern. Das ist der eigentliche Nutzen. Die Prüfung vor dem Start findet die Fehler von heute, der wiederholte Durchlauf findet die Fehler, die erst nächsten Monat entstehen.