Retrieval Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit einem eigenen Wissensbestand, etwa den Dokumenten eines Unternehmens. Bei jeder Frage sucht das System zuerst die passenden Textstellen aus den eigenen Dokumenten heraus und gibt sie dem Modell als Kontext mit. Die Antwort stützt sich damit auf Verträge, Richtlinien und Akten des Unternehmens und kann ihre Quellen nennen.
Wie es funktioniert
Ein typischer Aufbau: Die Dokumente werden in Abschnitte zerlegt und als Vektoren in einem Index abgelegt. Eine Anfrage wird ebenso umgewandelt, und das System holt die inhaltlich nächsten Abschnitte. Der Abruf kann aber auch über Volltext, strukturierte Abfragen oder eine Kombination laufen. Gute Lösungen verbinden mehrere Wege und filtern über Metadaten wie Dokumentart, Status oder Gültigkeit.
Woran es hängt
Die Qualität einer RAG-Lösung hängt an vier Stellen: an den Dokumenten, am Abruf, am Modell und daran, ob jemand die Antworten misst. In Projekten ist der erste Punkt der häufigste Engpass. Wenn überholte Fassungen neben gültigen liegen, findet das System beide. Fehlt der Aktenbezug, fehlt der Zusammenhang. Und wenn Berechtigungen beim Abruf nicht geprüft werden, sieht ein Anwender in der Antwort Inhalte, die er im ECM nie öffnen dürfte. Deshalb gehören Metadaten und Berechtigungen zur Architektur einer RAG-Lösung.
Abgrenzung
Große Kontextfenster und Cache Augmented Generation ersetzen RAG nicht, sie ergänzen es. Für einen kleinen, stabilen Wissensbestand reicht es oft, ihn vollständig mitzugeben. Für große und sich ständig ändernde Bestände bleibt der gezielte Abruf das passende Muster.
Beiträge zum Thema
- RAG wird alle paar Monate für tot erklärt und dabei erwachsen
- CAG ergänzt RAG als zweiter Architekturbaustein
- Das wichtigste KI-Asset liegt im ECM
- Vier KI-Ebenen im ECM und warum viele Projekte nicht skalieren
- Vier Arten von Nutzen entscheiden über KI im ECM
- Woran KI im ECM zuerst hängen bleibt
- KI im ECM wird nach Verbrauch abgerechnet, und damit wird die Kostenfrage zur Architekturfrage