Bachelorarbeit, TUM
KI-Forschung / Vertrauenswürdige KI · 2025
Echo: Minderung von Halluzinationspotenzial in Nutzer-Prompts
Meine Bachelorarbeit. Ein Shift-Left-Ansatz zur Minderung von LLM-Halluzinationen, der das Problem auf Prompt-Ebene angeht statt erst nach der Generierung.
Kontext
Ausgangspunkt und Rahmenbedingungen
Die aktuelle Halluzinationsforschung konzentriert sich überwiegend auf Faktoren auf Seiten des LLM: Trainingsdatenqualität, Modellarchitektur, Decoding-Strategien. Der Nutzer-Prompt ist jedoch eine kontrollierbare Eingabefläche, die das Halluzinationsrisiko erheblich beeinflusst — diese Dimension ist bislang jedoch weitgehend unerforscht.
Herausforderung
Zentrale Einschränkung, die es zu lösen galt
Entwurf eines Systems, das Prompts vor der LLM-Generierung analysiert, um halluzinationsauslösende Muster zu erkennen und zu mindern. Entwicklung einer neuartigen Taxonomie für nutzerseitige Halluzinationsrisiken sowie einer quantitativen Metrik zur Bewertung des Prompt-Risikos.
Lösung
Konzeptions- und Umsetzungsansatz
Entwickelte eine Multi-Agenten-Pipeline (Analyzer, Initiator, Conversation, Preparator) mit einer neuartigen Taxonomie, die Prompt Risk (Mehrdeutigkeit auf Token-Ebene) von Meta Risk (strukturelle Probleme) unterscheidet. Führte die Prompt Risk Density (PRD) ein, eine gewichtete Metrik zur Quantifizierung von Halluzinationspotenzial. Implementierte iterative Human-in-the-Loop-Verfeinerung mit strukturierten XML-Ausgaben und farbcodierter Risikovisualisierung.
Ergebnis
Messbare Wirkung und erzieltes Ergebnis
Zeigte, dass Shift-Left-Promptanalyse das nachgelagerte Halluzinationsrisiko reduziert. Leistete einen Beitrag zum Forschungsdiskurs über vertrauenswürdige KI in kritischen Bereichen (Recht, Gesundheitswesen, Finanzwesen). Bewies, dass bessere Prompts die Zugänglichkeitslücke zwischen teuren Closed-Source- und kleineren Open-Source-Modellen verringern können.
Wichtigste Erkenntnis
“Halluzinationen sind ebenso sehr ein Prompt- wie ein Modellproblem. Risiken vor der Generierung zu erkennen ist günstiger, als schlechte Ausgaben im Nachhinein zu korrigieren, und eine klare Taxonomie machte das Risiko messbar.”
Arbeiten Sie an etwas Ähnlichem? Ich übernehme ausgewählte Consulting- und Freelance-Projekte in den Bereichen Agentic AI, RAG-Systeme und LLM-Zuverlässigkeit.