KI-Halluzinationen sind erfundene Inhalte, die eine künstliche Intelligenz mit derselben Sicherheit vorträgt wie richtige: eine Zahl, die es nicht gibt, eine Quelle, die nie erschienen ist, eine Frist, die so in keinem Gesetz steht. Für Firmen ist das kein Randthema. Denn eine KI liefert immer ein Ergebnis, und ein sehr gutes, ein mittelmäßiges und ein falsches sehen auf den ersten Blick gleich aus. In diesem Beitrag erfahren Sie, warum KI-Halluzinationen entstehen, woran Sie sie erkennen und warum das größte Risiko nicht in der Technik liegt, sondern im Moment der Freigabe.
Im Video: Wer KI nicht prüfen kann, sollte sie nicht nutzen
Matthias Böhmichen, Geschäftsführer der Biteno GmbH, erzählt in Folge 6 unserer Reihe „KI einführen – aber richtig“ von einem Abend, an dem er selbst nicht richtig hingeschaut hat. Daraus sind fünf Regeln entstanden, mit denen bei der Biteno heute jedes KI-Ergebnis geprüft wird, bevor es Geld kostet oder nach außen geht.
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Was sind KI-Halluzinationen?
Von einer Halluzination sprechen Fachleute, wenn ein Sprachmodell etwas ausgibt, das sachlich falsch oder frei erfunden ist, aber sprachlich völlig überzeugend klingt. Typisch sind:
- Erfundene Zahlen: Marktgrößen, Prozentwerte, Preise oder Mengen, die nirgends belegt sind.
- Erfundene Quellen: Studien, Urteile, Fachartikel oder Links, die es nicht gibt, oft mit realistisch klingenden Titeln und Autoren.
- Falsche Fristen und Regeln: Aufbewahrungsfristen, Kündigungsfristen oder Paragrafen, die verwechselt oder ausgedacht sind.
- Falsch übernommene Details: eine Menge aus der Vorlage, ein Kundenname, eine Artikelnummer, die beim Umformulieren verrutscht.
Das Tückische: Die KI sagt nie „Ich bin mir unsicher, lass lieber noch jemanden nachschauen“. Sie liefert einfach, und zwar so, dass es gut klingt. Es gibt kein Warnlicht. Ob ein Ergebnis falsch ist, merkt nur einer: der Mensch, der es liest. Oder eben nicht.
Warum halluziniert eine KI?
Ein Sprachmodell schlägt nichts nach wie eine Datenbank. Es berechnet, welche Wörter mit hoher Wahrscheinlichkeit als Nächstes passen. Es ist darauf gebaut, eine plausible Antwort zu geben. Plausibel heißt aber leider nicht richtig. Fehlt dem Modell eine Information, füllt es die Lücke mit etwas, das so aussieht, als könnte es stimmen.
Dazu kommt ein zweiter Effekt, den wir im Beitrag zum Prompt Engineering beschrieben haben: Sprachmodelle werden unter anderem mit menschlichen Bewertungen trainiert, und Menschen bewerten selbstbewusste, zustimmende Antworten lieber als ein ehrliches „Weiß ich nicht“. Die KI lügt also nicht. Sie tut genau das, wofür sie gebaut wurde. Für Ihre Firma ist das Ergebnis trotzdem dasselbe: Ein Fehler kommt im gleichen sauberen Ton daher wie alles andere.
Neuere Modelle halluzinieren seltener, und Werkzeuge, die auf Ihre eigenen Dokumente zugreifen, senken das Risiko weiter. Ganz verschwinden wird das Problem aber nicht. Wer KI im Unternehmen einsetzt, muss deshalb mit Halluzinationen planen, statt auf das nächste Update zu hoffen.
Woran Sie KI-Halluzinationen im Arbeitsalltag erkennen
| Ergebnis | Typische Halluzination | Prüffrage |
|---|---|---|
| Angebot | Menge falsch übernommen, Gesamtpreis stimmt nicht | Stimmen Mengen, Preise und der Name des Kunden? |
| Fachtext, Blogbeitrag | Studie oder Statistik, die es nicht gibt | Lässt sich jede Zahl in der Originalquelle finden? |
| Vertrag, Rechtsfrage | Frist oder Paragraf verwechselt oder erfunden | Steht das genau so im Gesetz oder im Vertrag? |
| Kundenantwort | Zusage, die Ihre Firma so nicht macht | Würde ich das so unterschreiben? |
| Werbeanzeige | nicht belegte Aussage, Text passt nicht zur Zielseite | Würde ich da selbst draufklicken? |
Zwei Fälle, die zeigen, was auf dem Spiel steht
2023 reichten Anwälte in New York einen Schriftsatz ein, in dem mehrere Gerichtsurteile zitiert wurden, die ChatGPT erfunden hatte. Das Gericht verhängte eine Geldstrafe, der Fall ging um die Welt. Anfang 2024 musste die Fluggesellschaft Air Canada einem Kunden Geld erstatten, weil ihr Chatbot ihm eine Erstattungsregel genannt hatte, die es so nicht gab. Das Argument, der Chatbot sei für seine Aussagen selbst verantwortlich, ließ das zuständige Schiedsgericht in Kanada nicht gelten.
Beide Fälle zeigen dasselbe: Ihr Kunde interessiert sich nicht dafür, ob ein Mensch oder eine KI das Angebot geschrieben hat. Für ihn kommt es von Ihrer Firma. Die Verantwortung lässt sich nicht an die KI abgeben.
Die eigentliche Regel: Wer nicht beurteilen kann, darf KI nicht einsetzen
Aus KI-Halluzinationen folgt eine einfache Regel: Wer das Ergebnis einer KI nicht beurteilen kann, darf die KI für diese Aufgabe nicht einsetzen.
Stellen Sie sich vor, ein Mitarbeiter lässt sich ein Angebot von der KI schreiben. Die Positionen stimmen fast, nur eine Menge ist falsch übernommen, und der Gesamtpreis liegt 20 Prozent zu niedrig. Wer das Geschäft kennt, sieht das in zehn Sekunden. Wer es nicht kennt, schickt das Angebot ungeprüft raus. Und der Kunde unterschreibt natürlich sehr gern.
Eigentlich kennen Sie das schon. Einen neuen Auszubildenden lassen Sie in der ersten Woche auch kein Angebot ungeprüft an den Kunden schicken. Nicht, weil er dumm ist, sondern weil Sie noch nicht wissen, wo er danebenliegt. Bei der KI ist das genauso. Sie ist nur überzeugender als Ihr Azubi, hat hundertmal schneller gearbeitet und vor allem: Sie hat nie nachgefragt.
Können und Wollen: zwei Voraussetzungen für jede Prüfung
Um ein KI-Ergebnis zu beurteilen, braucht es zwei Dinge.
Das Können. Sie müssen genug von der Sache verstehen, um einen Fehler zu erkennen. Eine Kalkulation prüft nur, wer kalkulieren kann. Einen Werbetext beurteilt nur, wer weiß, wie ein guter Werbetext aussieht.
Das Wollen. Sie müssen in dem Moment, in dem Sie freigeben, bereit sein, wirklich hinzuschauen. Den Text nicht nur zu überfliegen, sondern zu fragen: „Würde ich das so unterschreiben?“ Und wenn nicht, ihn zurückzugeben, auch wenn das noch eine Runde kostet, Zeit und Geld.
Über das Können wird viel gesprochen: Schulungen, Kurse, Leitfäden. Über das Wollen spricht kaum jemand. Dabei ist es aus unserer Erfahrung das größere Problem.
Warum das Wollen nachlässt
1. Gewöhnung
Hat die KI zehnmal gute Arbeit geliefert, schauen Sie beim elften Mal weniger genau hin. Das ist menschlich, und die Forschung hat einen Namen dafür: Automatisierungsvertrauen (englisch „automation bias“). Man verlässt sich auf die Maschine, weil sie bisher meistens recht hatte. Genau dann rutscht der Fehler durch.
2. Müdigkeit
Die KI wird nicht müde, Sie schon. Um zehn Uhr morgens lesen Sie einen Text anders als um sechs Uhr abends nach acht Besprechungen. Die KI liefert am Abend genauso viel wie am Morgen, Ihre Prüfung nicht.
3. Menge
Eine KI erzeugt in einer Stunde mehr Texte, Entwürfe und Vorschläge, als ein Mensch an einem Tag gründlich prüfen kann. Wer alles prüfen will, kommt nicht hinterher. Und wer nicht hinterherkommt, fängt an zu überfliegen.
Ein kleiner Test für heute: Nehmen Sie das letzte KI-Ergebnis, das Sie durchgewunken haben, und lesen Sie es morgen früh in Ruhe noch einmal. Würden Sie es wieder so freigeben?
Ein Fall aus der Biteno
Bei der Biteno arbeiten wir seit 2022 mit KI, und seit Anfang 2026 hat jeder Mitarbeiter einen eigenen KI-Mitarbeiter. Einer davon ist Mark Hirtenmacher, der unter anderem Werbeanzeigen und Landingpages entwirft. Eine feste Regel gab es schon: Mark darf keine Anzeige schalten und kein Budget ausgeben, ohne dass Matthias Böhmichen es freigibt.
Trotzdem ist es passiert. An einem langen Arbeitstag, kurz nach sechs am Abend, hat Matthias neue Anzeigen für unseren separaten Webauftritt IT Service Center überflogen statt gelesen und freigegeben. Am nächsten Morgen waren 20 bis 30 Euro Werbegeld ausgegeben, das Ergebnis bestenfalls Durchschnitt. Und beim Lesen in Ruhe sah er sofort, was nicht stimmte. Am Wissen lag es also nicht. Es fehlte in dem Moment das Wollen, denn alle drei Gründe kamen zusammen: Mark hatte vorher oft gute Arbeit geliefert, es war spät, und es lag viel auf dem Tisch.
20 oder 30 Euro sind ärgerlich, aber kein Drama. Denken Sie das aber weiter: ein Angebot, ein Vertrag, eine Kalkulation, eine Antwort an einen wichtigen Kunden, die niemand richtig gelesen hat. Dann ist das keine Frage der Technik mehr, sondern eine Frage der Sorgfalt. Die Werbung haben wir angehalten, bis Anzeigen und Zielseite gründlich geprüft waren. Und Mark hat eine Rückmeldung bekommen, was nicht gepasst hat. Die steht jetzt in seinem Gedächtnis.
Fünf Regeln gegen KI-Halluzinationen im Unternehmen
Die ersten beiden Regeln betreffen das Können und das Wollen. Die anderen drei sorgen dafür, dass es auch an einem schlechten Tag klappt.
Regel 1: KI nur dort einsetzen, wo jemand das Ergebnis beurteilen kann
Fangen Sie mit Aufgaben an, die ein Mitarbeiter prüfen kann, der sie selbst gut beherrscht. Dann erkennt er Fehler sofort und spart trotzdem Zeit. Aufgaben, die in Ihrer Firma niemand beurteilen kann, sind für den Anfang tabu.
Regel 2: Prüfen gehört immer dazu
Auch am Ende eines harten Tages. Auch wenn die letzten zehn Ergebnisse gut waren. Wer merkt, dass er nur noch überfliegt, gibt nicht frei, sondern macht eine kurze Pause und schaut dann noch einmal richtig hin.
Regel 3: Eine Prüfliste statt Bauchgefühl
Legen Sie für jede Art von Ergebnis drei oder vier feste Fragen fest. Beim Angebot zum Beispiel: Stimmen Mengen und Preise? Stimmt der Name des Kunden? Würde ich das unterschreiben? Bei einer Anzeige: Würde ich selbst draufklicken? Eine Liste prüft auch dann noch gründlich, wenn der Kopf schon müde ist. Und bei allem, was wirklich wichtig ist, schaut nach dem Vier-Augen-Prinzip ein zweiter Mensch drauf.
Regel 4: Was nicht gut ist, geht zurück
Wer ein mittelmäßiges Ergebnis stillschweigend verbessert oder durchwinkt, bekommt beim nächsten Mal wieder Mittelmaß. Sagen Sie der KI, was nicht gepasst hat und warum. Die KI-Mitarbeiter der Biteno haben dafür ein dauerhaftes Gedächtnis: Eine Rückmeldung, die einmal gegeben wurde, vergessen sie nicht. Aber nur, wenn jemand sie gibt.
Regel 5: Freigaben in kleinen Schritten
Alles, was Geld kostet oder nach außen geht, braucht eine ausdrückliche Freigabe, und zwar mit kleinem Rahmen: erst ein kleines Testbudget, erst ein Kunde, erst eine Woche. Rutscht doch etwas durch, bleibt der Schaden klein. Diese Regel schützt Sie auch vor dem, was Regel 2 nicht verhindern kann: Eine Freigabe ist nur so gut wie der Mensch, der freigibt.
Was Sie als Chef klären sollten
Es geht nicht nur um Sie selbst. Ihre Mitarbeiter arbeiten vermutlich genauso mit KI, oft sogar mehr als Sie. Diese Fragen sollten Sie für Ihre Firma beantworten können:
- Wer prüft in Ihrer Firma, was die KI liefert?
- Kann diese Person das Ergebnis fachlich beurteilen?
- Hat sie die Zeit dafür, und geben Sie ihr diese Zeit?
- Oder wird erwartet, dass mit KI einfach alles doppelt so schnell geht?
Wer nur Tempo verlangt, bekommt Überfliegen. Wer klare Spielregeln für KI aufstellt, bekommt beides: Zeitgewinn und Ergebnisse, auf die er sich verlassen kann. Wie solche Spielregeln aussehen und warum Verbote dabei nicht helfen, lesen Sie auch im Beitrag zur Schatten-KI im Unternehmen.
Häufige Fragen zu KI-Halluzinationen
Lassen sich KI-Halluzinationen ganz abstellen? Nein. Neuere Modelle halluzinieren seltener, und eine KI, die auf Ihre eigenen Dokumente zugreift, liegt deutlich öfter richtig. Ganz ausschließen lässt sich ein Fehler aber nicht. Deshalb gehört die Prüfung durch einen Menschen fest in den Ablauf.
Hilft es, die KI nach Quellen zu fragen? Ja, aber nur, wenn Sie die Quellen auch öffnen. Eine KI kann Quellen ebenso erfinden wie Zahlen. Eine Quellenangabe, die niemand anklickt, ist keine Prüfung.
Wie bringe ich die KI dazu, ihre eigenen Fehler zu finden? Fragen Sie nach Schwächen statt nach Lob, zum Beispiel: „Welche Angaben in diesem Text sind nicht belegt?“ oder „Wo würde ein kritischer Kunde nachhaken?“. Das ersetzt Ihre Prüfung nicht, macht sie aber schneller.
Wer haftet, wenn eine KI im Namen meiner Firma etwas Falsches sagt? Gegenüber Ihrem Kunden in aller Regel Ihre Firma. Der Fall Air Canada zeigt, dass sich ein Unternehmen nicht hinter seinem Chatbot verstecken kann. Für die rechtliche Bewertung im Einzelfall ziehen Sie bitte einen Anwalt hinzu.
Müssen wir dann alles doppelt machen? Nein. Prüfen geht deutlich schneller als selbst schreiben, vor allem mit einer Prüfliste. Wichtig ist, dass jemand prüft, der die Sache beherrscht, und dass er dafür die Zeit bekommt.
Fazit
KI-Halluzinationen sind kein Fehler, den ein Update bald behebt, sondern eine Eigenschaft heutiger Sprachmodelle. Gefährlich werden sie erst, wenn niemand hinschaut. Deshalb gilt: KI nur dort einsetzen, wo jemand das Ergebnis beurteilen kann, und bei jeder Freigabe bereit sein, wirklich zu prüfen, auch am Abend, auch wenn man müde ist. Wer zurückmeldet, was nicht gepasst hat, bekommt eine KI, die mit jeder Runde besser wird.
Die Biteno GmbH begleitet mittelständische Firmen bei der Einführung von KI: Wir schauen gemeinsam, für welche Aufgaben sich KI in Ihrer Firma eignet, wer die Ergebnisse beurteilen kann und wie die Prüfung in Ihren Abläufen funktioniert.
Wer prüft in Ihrer Firma, was die KI liefert? In einem Gespräch von 20 bis 30 Minuten klären wir mit Ihnen, wo Ihre Firma steht und welcher Schritt sich als Nächstes lohnt. Rufen Sie an unter 0711 48890-20 oder nehmen Sie Kontakt auf →
