Die meisten glauben, besseres Retrieval behebt Halluzinationen. Das stimmt nicht.
Ich habe bei BCG RAG-Systeme in Produktion gebracht und an der TUM welche gebaut, und das Muster ist immer dasselbe: Das Retrieval findet die richtigen Dokumente, und das Modell erfindet trotzdem eine Antwort, die diese Dokumente nicht stützen. Der Retrieval-Schritt hat seine Aufgabe erfüllt. Dem Generierungs-Schritt war das egal.
Die Lösung ist nicht Retrieval. Es sind drei Dinge, die fast niemand wirklich umsetzt.
1. Begrenzte Generierung
Einem Modell zu sagen "halluzinier nicht" bewirkt nichts: Das ist keine Anweisung, das ist ein Wunsch. Was funktioniert, ist zu sagen, was es tun darf: nur Fakten aus diesen Dokumenten verwenden, und das überprüfbar machen. In manchen unserer Systeme machen wir das post-hoc: Nach der Generierung wird geprüft, ob die Ausgabe tatsächlich etwas zitiert und ob diese Zitierung standhält. Wenn nicht, wird verworfen und neu generiert. Das ist aufwendig. Es funktioniert aber.
2. Confidence-Schwellenwerte, auf beiden Seiten
Die meisten RAG-Pipelines ziehen die Top-k-Dokumente und nehmen still an, dass sie relevant sind. Oft sind sie es nicht. Retrieval-Confidence und Generierungs-Confidence sollten getrennt bewertet werden. Fällt eine der beiden unter einen Schwellenwert, sollte die Antwort "Ich weiß es nicht" lauten, nicht eine Vermutung, die als Fakt verkleidet wird. Das klingt aufgeschrieben selbstverständlich. Fast kein produktives System setzt es tatsächlich um.
3. Eine explizite Fallback-Kette
Wenn das Modell aus dem Kontext heraus nicht antworten kann, was passiert dann? Wenn die Antwort lautet "es halluziniert trotzdem", ist das System von Grund auf fehlerhaft konzipiert. Wir verketten Fallbacks: Schlägt das Retrieval fehl, wird eine andere Retrieval-Strategie versucht; schlägt auch die fehl, wird an ein anderes Modell oder einen Menschen weitergeleitet. Das Modell darf sich niemals etwas ausdenken, nur weil sonst nichts konfiguriert wurde.
Der schwierige Teil
Nichts davon ist schwer zu bauen. Der schwierige Teil ist, überhaupt einzugestehen, dass das eigene System das braucht. RAG-Demos funktionieren im Labor wunderbar, weil niemand die Grenzfälle testet. RAG in der Produktion halluziniert ständig, und die Systeme, bei denen das nicht der Fall ist, sind genau die, die von Anfang an mit dieser Annahme gebaut wurden.
Siehe auch: Warum Halluzinationsminderung wichtiger ist als Modellgröße