Software & KI
KI-Halluzination
Plausibel formulierte, aber falsche KI-Ausgabe
Als KI-Halluzination werden Ausgaben bezeichnet, die falsch, erfunden oder nicht durch die vorliegenden Informationen gedeckt sind. Bei Sprachmodellen können das zum Beispiel Namen, Zahlen oder Quellen sein. Solche Angaben wirken sprachlich oft ebenso überzeugend wie richtige Antworten.
Was bedeutet das im Unternehmen?
Sprachmodelle erzeugen passende Fortsetzungen einer Eingabe; die sachliche Richtigkeit ist damit nicht automatisch sichergestellt. Fehler können etwa bei fehlendem Kontext oder unzutreffenden Schlussfolgerungen entstehen. Wenn weitere Arbeitsschritte eine falsche Angabe übernehmen, kann sie sich durch den gesamten Ablauf fortsetzen.
Ein Beispiel aus der Praxis
Du lässt interne Produktunterlagen zusammenfassen. In der Antwort taucht eine Lieferfrist auf, die in keiner Vorlage steht. Beim Abgleich fällt die Ergänzung auf. Du entfernst sie und holst die tatsächliche Angabe beim zuständigen Fachbereich ein.
Eine Quellenangabe muss die Aussage tatsächlich belegen
Auch ein genanntes Dokument kann erfunden sein oder die behauptete Information nicht enthalten. Eine Suche mit RAG kann passende Grundlagen liefern. Sie ersetzt jedoch nicht die Prüfung, ob die Antwort mit diesen Grundlagen übereinstimmt.
Darauf kommt es an
- Zahlen, Namen und Zusagen gegen Originalquellen prüfen.
- Fehlende Informationen als offen behandeln.
- Vor automatischen Folgeaktionen eine passende Kontrolle vorsehen.
Eine häufige Frage
Verhindert ein besserer Prompt alle Halluzinationen?
Nein. Klare Aufgaben und geeignete Quellen können helfen, beseitigen das Risiko aber nicht vollständig. Die Prüfung muss sich danach richten, welche Folgen eine falsche Antwort hätte.
Herausgeber: IT Fabrik · Stand: