SontorKI-TelefonieHalluzination am Telefon
Building Voice AI · Teil 5 von 8

Halluzination am Telefon

Am Telefon gibt es keinen Zurück-Button. Warum KI-Halluzination hier gefährlicher ist als im Chat — und welche Architektur sie verhindert.

Markus Helfenstein17 Min LesezeitSerie: Building Voice AI

Die Frage

Im Februar 2024 entschied ein kanadisches Gericht im Fall Moffatt v. Air Canada (BCCRT 149), dass Air Canada für eine Rückerstattungsregel haftet, die ihr Chatbot erfunden hatte. Der Kunde hatte nach Erstattungsregeln für Trauerfälle gefragt. Der Bot antwortete mit einer detaillierten, aber vollständig falschen Policy. Air Canada argumentierte, der Bot sei eine "separate legal entity". Das Gericht wies das zurück.

Dieser Fall betraf einen Text-Chatbot — wo der Kunde den Chatverlauf als Beleg hatte. Am Telefon wäre beides schwieriger gewesen: Verifizierung und Nachweis.

Im Chat sieht der Nutzer die Antwort als Text. Er kann sie kopieren, googeln, vergleichen. Am Telefon ist die Information flüchtig. Das Arbeitsgedächtnis behält vier bis fünf Informationseinheiten (Cowan, 2001) — danach ist die Aussage weg.

Dazu kommt ein zweiter Effekt: Die kognitionspsychologische Forschung hat einen Hearing-is-Believing-Effekt identifiziert — gesprochene Information wird als glaubwürdiger wahrgenommen als geschriebene (Munz et al., 2024). Der Mechanismus ist Listening Fluency: Die subjektive Leichtigkeit, mit der das Gehirn gesprochene Sprache verarbeitet, wird unbewusst als Glaubwürdigkeitssignal interpretiert.

Doppeltes Risikoprofil: Der Anrufer kann eine falsche Aussage nicht verifizieren — und er vertraut ihr stärker als einer geschriebenen. Die Haftung liegt beim Unternehmen: API-Provider wie OpenAI und Azure schließen die Haftung für KI-generierte Inhalte in ihren Nutzungsbedingungen aus.

Fünf Verteidigungsschichten gegen Halluzination

Die meisten Ansätze gegen Halluzination beginnen mit dem Prompt: "Antworte nur basierend auf den bereitgestellten Informationen." Das ist notwendig — aber nicht hinreichend. System-Prompts allein sind umgehbar (Guardrails Research, 2025). Ein robustes System braucht mehrere Schichten:

KI Halluzination verhindern: 5 Verteidigungsschichten — Modellwahl, Prompt-Constraints, Tool-Grounding, Eskalation, Monitoring
1

Tool-Grounding — Kein Faktum aus dem Kopf

Kein Preis, keine Telefonnummer, kein Produktname steht im Prompt. Stattdessen hat der Sontor-Assistent spezialisierte Such-Tools: FAQ, Produkte, Ansprechpartner. Wenn ein Kunde nach einem Preis fragt, ruft der Bot ein Tool auf und formuliert die Antwort auf Basis des Datenbank-Ergebnisses. Das ist die Trennung von Reasoning und Wissen (OpenAI Function Calling Best Practices): Wenige, spezifische Tools mit klarem Schema.
2

Deterministische Suche statt probabilistischem Retrieval

In Sontor setzen wir nicht auf Embeddings und RAG, sondern auf Fuzzy-Search auf Basis der Levenshtein-Distanz. RAG ist probabilistisch — es findet Dokumente, die konzeptuell ähnlich sind, aber nicht notwendigerweise exakt korrekt. Die Forschung nennt das den Garbage-in-Garbage-out-Effekt von RAG (RAG Hallucination Research, MDPI, 2025). Fuzzy-Search ist deterministisch: Kein Treffer, keine falsche Antwort.
3

Ehrliche Leermeldung — "Ich weiß es nicht"

Im Sontor-Prompt steht: "Wenn ein Tool-Ergebnis leer ist, sage dem Kunden ehrlich, dass diese Information aktuell nicht vorliegt." Das klingt trivial. Es ist die wichtigste Regel. Ohne sie füllt das Modell die Lücke — und am Telefon ist eine ehrliche Leermeldung akzeptabel. Eine erfundene Hausnummer nicht.
4

Themeneinschränkung — Das Sicherheitsnetz

Der Sontor-Assistent beantwortet ausschließlich Fragen zum Unternehmen, den Produkten oder Bestellungen. Alles andere lehnt er freundlich ab. Selbst wenn alle anderen Schichten versagen, begrenzt diese letzte Verteidigungslinie den Schaden auf den Themenbereich, in dem der Bot über verifizierte Daten verfügt.
5

URL-Integrität — Nichts erfinden, was angeklickt wird

LLMs konstruieren plausible URLs — die nicht existieren. Am Telefon bekommt der Anrufer die URL diktiert und landet im Nichts. Die Regel: Der Bot darf ausschließlich URLs verwenden, die ein Tool als Ergebnis zurückgibt. Eigenkonstruktion ist verboten.

Was die meisten übersehen

Das beste Anti-Halluzinations-System ist nicht nur technisch — es ist prozessual. Die fünf Schichten reduzieren das Risiko drastisch. Aber kein System kann garantieren, dass ein LLM niemals eine falsche Aussage trifft.

Die prozessuale Lösung: Voice ist das Medium der Interaktion. Text ist das Medium der Verbindlichkeit. Jede handlungsrelevante Information — ein Preis, eine Lieferzusage, ein Termin — wird durch eine schriftliche Bestätigung abgesichert. Der Bot sagt den Preis am Telefon und bietet unmittelbar danach an: "Soll ich Ihnen die Details per E-Mail schicken?"

Die E-Mail oder SMS ist die Single Source of Truth. Sie wird direkt aus der Datenbank generiert — ohne LLM-Beteiligung. Wenn der Bot am Telefon einen falschen Preis halluziniert hat, fängt die Bestätigung den Fehler auf.


Drei Fehler, die ich immer wieder sehe

Fehler 1: Wissen im Prompt statt in der Datenbank

Der Prompt enthält alle Produktpreise und Öffnungszeiten. Nach der nächsten Preisanpassung gibt der Bot veraltete Preise aus — und niemand merkt es. Am Telefon besonders problematisch: Der Kunde hört einen falschen Preis, kann ihn nicht verifizieren, und handelt danach.

Lösung: Kein Faktenwissen im Prompt. Jede Information kommt per Tool-Call aus der Datenbank.

Fehler 2: RAG ohne Threshold — Halluzination mit Quellenangabe

Der Bot verwendet Embedding-basiertes Retrieval und findet immer ein Dokument — weil semantische Ähnlichkeit nie exakt null ist. Das System halluziniert "grounded" — mit einer Quelle, die nicht zur Frage passt (MDPI, 2025).

Lösung: Strenge Score-Thresholds. Nur Ergebnisse über dem konfigurierten Schwellenwert werden an das Modell weitergegeben.

Fehler 3: Keine Bestätigung — Mündliche Zusage als Vertragsbasis

Der Bot sagt einen Preis, der Kunde bestellt auf dieser Basis, der Preis war falsch. Am Telefon gibt es keinen Chatverlauf als Nachweis. Lösung: Jede handlungsrelevante Information wird per Bestätigungsnachricht (E-Mail oder SMS) abgesichert — direkt aus der Datenbank generiert, nicht durch das LLM.


Die Halluzinations-Checkliste

Fünf Tests, mit denen Sie das Halluzinationsrisiko eines KI-Telefonassistenten prüfen:

1
Der Fakten-Test: Fragen Sie nach einem konkreten Preis. Stimmt die Antwort mit dem aktuellen Preis in Ihrem System überein?
Testet: Datenbank vs. Prompt
2
Der Grenzfall-Test:Fragen Sie nach einem Produkt, das nicht existiert. Sagt der Bot "Das haben wir nicht" — oder erfindet er?
Testet: Ehrliche Leermeldung
3
Der Aktualitäts-Test: Ändern Sie einen Preis im System. Nennt der Bot beim nächsten Anruf den neuen Preis?
Testet: Live-Datenanbindung
4
Der Vertrauens-Test: Sagen Sie dem Bot eine falsche Information. Korrigiert er auf Basis der Datenbank — oder bestätigt er?
Testet: Widerstandsfähigkeit gegen Suggestion
5
Der Bestätigungs-Test: Bitten Sie um eine Zusammenfassung per E-Mail. Bekommt der Kunde eine schriftliche Bestätigung?
Testet: Prozessuale Absicherung

Fazit

Am Telefon gibt es keinen Zurück-Button. Was der Bot sagt, ist gesagt. Der Anrufer kann es nicht nachschlagen, nicht verifizieren, nicht vergleichen.

Deshalb braucht ein KI-Telefonassistent zwei Verteidigungslinien: eine technische und eine prozessuale. Die technische — Tool-Grounding, deterministische Suche, ehrliche Leermeldung — reduziert die Wahrscheinlichkeit einer Halluzination. Die prozessuale — schriftliche Bestätigung jeder handlungsrelevanten Aussage — begrenzt den Schaden, wenn sie trotzdem eintritt.

Voice ist das Medium der Interaktion. Text ist das Medium der Verbindlichkeit. Ein KI-Telefonassistent, der beides mischt — der verbindliche Zusagen rein mündlich trifft — schafft ein Haftungsrisiko, das keine technische Maßnahme vollständig beseitigen kann.

Jetzt Demo anrufen — 07565 7614994

Lassen Sie sich direkt mit den Gründern verbinden.

Kostenlos. Ohne Registrierung. Ihr Gespräch wird nicht aufgezeichnet.

Alle Artikel der Serie

Die Anatomie eines Voice-AI-Calls
12 Min
Warum 800 Millisekunden über Vertrauen entscheiden
13 Min
Single-Tenant vs. Multi-Tenant bei Voice AI
11 Min
Prompt Engineering für Voice ≠ Chat
18 Min
Halluzination am TelefonAktuell
17 Min
Was die DSGVO wirklich von KI-Telefonie verlangt
20 Min
Was kauft man eigentlich?
14 Min
Der Markt in 12 Monaten
16 Min