Kurz gesagt
Das hängt davon ab, wohin das Dokument fällt. Eine Rechnung im falschen Ordner kostet eine Suche. Eine Personalakte in der Akte eines Kunden kann eine Datenschutzverletzung sein, mit Prüfung einer Meldung an die Datenschutzbehörde, und sie kostet Vertrauen und im Zweifel den Auftrag. Eine Trefferquote von 98 Prozent sagt deshalb wenig, solange niemand weiß, welche zwei Prozent falsch liegen und was dort passiert. Fehler werden nach ihren Folgen bewertet, und danach richtet sich, wie viel Automatisierung eine Dokumentart verträgt.
Drei Fehlerklassen
Jede automatische Zuordnung, ob nach Regel oder mit KI, produziert Fehler. Entscheidend ist, in welche Klasse sie fallen.
| Klasse | Beispiel | Folge | Wer es merkt |
|---|---|---|---|
| Unbequem | Rechnung im Ordner des falschen Monats | Eine Suche, ein Verschieben | Der Sachbearbeiter beim nächsten Zugriff |
| Teuer | Vertrag unter falschem Geschäftspartner, Kündigungsfrist wird übersehen | Vertrag verlängert sich, Streit mit dem Lieferanten | Niemand, bis die Frist vorbei ist |
| Potenziell meldepflichtig | Personalakte in der Kundenakte, Arztbrief in der Rechnungsablage | Unbefugter Zugriff auf Personendaten, Prüfung einer Meldung nach Art. 33 DSGVO, Vertrauensverlust | Oft der Falsche, nämlich der, der es sehen konnte |
Die erste Klasse darf eine Automatisierung in Kauf nehmen. Die zweite braucht eine Prüfung, die den Fehler findet, bevor die Frist greift. Die dritte darf nicht vorkommen, und das ist eine andere Anforderung als „selten“. Eine Fehlzuordnung, die unbefugten Zugriff auf Personendaten ermöglicht, kann eine Datenschutzverletzung sein. Dann ist unverzüglich zu prüfen, ob eine Meldung an die Aufsichtsbehörde nötig ist. Sie erfolgt möglichst binnen 72 Stunden ab Bekanntwerden, wenn die Verletzung voraussichtlich zu einem Risiko für die Betroffenen führt (Quelle: Datenschutzbehörde). Ob die Schwelle erreicht ist, entscheidet der Einzelfall, und die Prüfung selbst ist bereits Aufwand und Unruhe.
Warum die Trefferquote in die Irre führt
Ein Klassifikator mit 98 Prozent Trefferquote klingt gut. Bei 50.000 Dokumenten im Monat sind das tausend falsche Zuordnungen. Wenn sie gleichmäßig verteilt sind, landen darunter auch Dokumente der dritten Klasse. Das Modell weiß nicht, dass ein Fehler bei der Personalakte etwas anderes ist als ein Fehler beim Lieferschein. Wer die Lösung allein nach der Gesamtquote auswählt oder abnimmt, übersieht genau die Fälle, die zählen.
Deshalb wird die Qualität je Dokumentart gemessen, die Gesamtquote ist nur eine Kennzahl für den Projektbericht. Welche Quote für welche Dokumentart genügt, legt der Fachbereich anhand der Fehlerfolgen fest, und für alles, was Personendaten enthält, liegt die Latte höher. Das ist dieselbe Logik, mit der in KI-Vorhaben im ECM die Berechtigungen vor der Suche geprüft werden.
Was das für die Automatisierung bedeutet
Schwellen je Klasse. Ein Modell gibt zu jeder Zuordnung eine Sicherheit an. Dieser Wert ist keine verlässliche Wahrscheinlichkeit, deshalb werden die Schwellen an repräsentativen Fällen und an den Fehlerfolgen geeicht. Für unbequeme Fehler genügt eine niedrige Schwelle, darunter wird nachgefragt. Für Dokumentarten mit Personendaten liegt sie so hoch, dass im Zweifel ein Mensch zuordnet.
Vier Augen bei sensiblen Arten. Alles mit Personen-, Gesundheits- oder Vertragsdaten wird vor der Ablage bestätigt. Das kostet Sekunden je Dokument und senkt das Risiko, auch wenn es keine Fehlerfreiheit garantiert.
Rückholbarkeit. Eine falsche Zuordnung muss sich finden und korrigieren lassen, ohne Spuren zu verwischen. Das Protokoll zeigt, wer das Dokument gesehen hat, solange es falsch lag. Ohne dieses Protokoll ist die Frage der Datenschutzbehörde nicht zu beantworten.
Geschützte Ablage im Zweifel. Ein Dokument, dessen Zuordnung unsicher ist, wird zunächst in einen geschützten Bereich gelegt, in dem nur die Nachbearbeitung Zugriff hat, einschließlich Titel und Metadaten. Berechtigungen, die an der Dokumentart hängen, helfen nur, wenn die Dokumentart stimmt. Eine falsche Klassifikation setzt deshalb auch die falschen Rechte, und das Auffangnetz muss unabhängig davon gespannt sein.
Was es tatsächlich kostet
Die Kosten einer Fehlzuordnung lassen sich für die ersten beiden Klassen beziffern. Minuten je Suche mal Anzahl, verpasste Fristen mal Vertragswert. Für die dritte Klasse gibt es keine brauchbare Zahl, weil Vertrauen und Reputation nicht in der Rechnung stehen. In der Bewertung eines Automatisierungsvorhabens, wie in Vier Arten von Nutzen beschrieben, gehört deshalb neben dem Nutzen die Frage auf den Tisch, welcher Fehler nicht passieren darf, und was es kostet, ihn auszuschließen.
Eine Automatisierung ist so gut wie ihr schlimmster Fehler. Die Trefferquote gehört in den Projektbericht, die Fehlerklassen gehören in die Entscheidung.