Claude 3.5 ist klüger als Claude 3. GPT-4 ist klüger als GPT-3.5. Keines der beiden ist vor Halluzinationen gefeit.
Ich habe identische Prompts parallel gegen Claude, GPT-4, Gemini und über Bedrock gehostete Modelle laufen lassen. Die größeren Modelle halluzinieren nicht unbedingt seltener, sie halluzinieren anders, und sie tun es mit mehr Selbstvertrauen. Claude halluziniert seltener, aber wenn es passiert, ist es schwerer zu erkennen, weil der Fehler glatt wirkt statt offensichtlich falsch. GPT-4 halluziniert sichtbarer, man erkennt die Nahtstellen meist. Frühe Gemini-Versionen halluzinierten ständig, und man hat es gemerkt.
Der Unterschied zwischen den Modellen ist real. Er ist aber klein im Vergleich zum Unterschied zwischen einem System, das Halluzinationen aktiv mindert, und einem, das es nicht tut.
Was ich in der Praxis beobachtet habe
Bei BCG habe ich an einem Projekt gearbeitet, dessen Auftrag lautete: "Upgrade von GPT-3.5 auf GPT-4." Das haben wir gemacht. Zusätzlich haben wir drei Dinge ergänzt: Zitierungsprüfung, Confidence-Schwellenwerte und explizite Fallback-Strategien. Das Modell-Upgrade half. Die Risikominderung half deutlich mehr. Das Feedback des Kunden machte das unmissverständlich klar: Aufgefallen ist ihm die Risikominderung, nicht der Modellwechsel.
Das ist eine unbequeme Tatsache für die Branche, denn Modellanbieter, Anthropic eingeschlossen, verdienen ihr Geld mit dem Verkauf größerer Modelle. Der implizite Upgrade-Pfad lautet immer: "Kauf das nächste Modell." Für manche Workloads ist das tatsächlich die richtige Entscheidung. Für die meisten produktiven Systeme, die ich geprüft habe, ist es genau falsch herum.
Die richtige Reihenfolge
Die Reihenfolge sollte lauten:
- Das System dazu bringen, seine eigene Ausgabe zu verifizieren: Zitierungen, Confidence-Prüfungen, Fallback-Ketten.
- Danach das Modell optimieren, falls überhaupt noch nötig.
In etwa 80 % der Systeme, die ich prüfe, sehe ich es genau umgekehrt. Jemand besorgt sich einen Claude- oder GPT-4-API-Key, verdrahtet schnell eine RAG-Pipeline und nimmt an, dass das Modell Halluzinationen von selbst in den Griff bekommt. Das tut es nicht. Das System tut es, oder es existiert noch gar nicht, und genau das ist die Lücke, die es zu schließen gilt.
Weiterführende Lektüre: RAG-Systeme halluzinieren immer noch. Was wirklich hilft.