Wie generative KI und Chatbots falsche Überzeugungen gemeinsam entstehen lassen

Mit einer KI zu chatten kann sich verblüffend menschlich anfühlen. Die Antworten kommen sofort, die Software knüpft an frühere Aussagen an, und der Ton wirkt oft souverän – manchmal sogar beruhigend.

Eine neue philosophische Analyse hält jedoch dagegen: Solche Gespräche verbreiten nicht nur gelegentlich falsche Fakten.

In bestimmten Situationen können Menschen demnach gemeinsam mit generativer KI falsche Überzeugungen mitentwickeln – sie entstehen schrittweise in wiederholten Dialogen, statt dass jemand lediglich einen einzelnen Fehler übernimmt.

Damit verschiebt sich der Blick weg von „KI-Halluzinationen“ als rein technischen Aussetzern hin zu etwas Unauffälligerem und womöglich Ernsterem: geteilten kognitiven Ereignissen, die sich über Zeit entfalten.

Laut der Studie können diese Hin-und-her-Unterhaltungen beeinflussen, wie Menschen Ereignisse erinnern, sich selbst verstehen und sogar Wirklichkeit deuten.

Wenn KI immer zustimmt

Anhand von Gerichtsakten und dokumentierten Chatbot-Protokollen zeichnet die Arbeit Momente nach, in denen KI-Dialogsysteme in das fortlaufende Denken von Nutzerinnen und Nutzern eingewoben wurden.

Bei der Auswertung dieser Interaktionen zeigt Dr. Lucy Osler von der Universität Exeter, wie ein länger anhaltender Austausch fehlerhafte Selbstnarrative nicht nur bestätigt, sondern aktiv stützt und weiter ausbaut.

In solchen Gesprächen ist wiederholte Bestätigung mehr als ein bloßes Echo: Sie kann eine Annahme festigen, ihr Form geben und ihr über die Zeit hinweg Zusammenhang verleihen.

Sobald sich dieses Muster etabliert, wird die Grenze zwischen einem vorübergehenden Irrtum und einer verfestigten „Realität“ zunehmend unscharf – und es öffnet sich der Blick auf eine umfassendere Erklärung dafür, wie Denken über den einzelnen Geist hinausreichen kann.

KI-Werkzeuge, die mit uns denken

Alltagsdenken stützt sich ohnehin auf Hilfsmittel. Wir stellen Erinnerungen im Smartphone ein, teilen Kalender und machen Notizen, um Wichtiges nicht zu vergessen.

Philosophinnen und Philosophen sprechen hierbei von verteilter Kognition – der Vorstellung, dass Denken nicht auf ein einziges Gehirn begrenzt ist, sondern sich über Werkzeuge, Gespräche und Zeit erstrecken kann. In einem Aufsatz von 1998 argumentierten Forschende, dass bestimmte Hilfsmittel faktisch Teil des Denkprozesses selbst werden können.

Vor diesem Hintergrund legt Dr. Lucy Osler nahe, dass Chatbot-Unterhaltungen mehr sein können als ein reiner Informationsaustausch – nämlich gemeinsame Denk- und Reflexionsräume.

Das hängt auch damit zusammen, dass Chatbots zwei Funktionen gleichzeitig erfüllen. Sie liefern Informationen, und zugleich reagieren sie so, als würde ihnen jemand aufmerksam zuhören.

Der freundliche Ton lässt das Ganze sozial wirken, während die selbstsichere Art der Formulierungen Antworten das Gewicht eines Ratschlags verleiht.

Gerade diese Mischung aus Vertrautheit und Gewissheit kann es schwerer machen, Fehler zu erkennen – und leichter, sie in das fortlaufende eigene Denken zu integrieren.

KI kann Irrtümer verstärken

Generative KI-Systeme verfassen Texte, indem sie wahrscheinliche Wortfolgen vorhersagen – nicht, indem sie Fakten in Echtzeit prüfen. Dadurch erfinden sie mitunter Details oder präsentieren Vermutungen mit unberechtigter Sicherheit.

Wenn Menschen solche Ausgaben nutzen, um Reisen zu planen, Streitfragen zu klären oder Erinnerungen erneut zu durchdenken, kann selbst ein kleiner Fehler nachwirken.

Funktionen zur Chatbot-Erinnerung können frühere Passagen später wieder hervorholen, sodass ein einmaliges Versehen wie bestätigt erscheint. Mit der Zeit kann diese Rückkopplungsschleife das Selbstnarrativ einer Person unmerklich umformen – insbesondere dann, wenn das System die Geschichte weiterhin als stimmig darstellt.

Auch Gestaltungsentscheidungen können den Effekt verstärken. Viele Chatbots sind darauf optimiert, Gespräche am Laufen zu halten – und dieses Ziel kann Zustimmung eher belohnen als Korrektur.

Forschende bezeichnen das als Sykophanz: übertriebene Zustimmung, die die Ansichten der Nutzenden spiegelt, anstatt sie zu hinterfragen. Personalisierungssysteme verstärken anschließend vertrauten Ton und naheliegende Annahmen, sodass die Interaktion noch stärker „passend“ wirkt.

In so einem Umfeld kann jemand, der mit Unsicherheit oder Frust startet, am Ende eine längere und glatter formulierte Version derselben Überzeugung mitnehmen – die sich nun nicht nur logisch geordnet, sondern auch sozial bestätigt anfühlt.

Die Gefahr von Bestätigung

In psychiatrischen Kliniken ist Psychose – Symptome, die den Kontakt zur Wirklichkeit stören können – bereits ein Zustand, der durcheinanderbringt, was sich wahr anfühlt.

Während einer Episode kann eine Person Wahnvorstellungen entwickeln: falsche Überzeugungen, die trotz klarer Gegenbelege bestehen bleiben und als persönliche Tatsachen erlebt werden.

Vor diesem Hintergrund bringt dialogorientierte KI eine zusätzliche Dynamik ins Spiel. In den Strafzumessungsbemerkungen eines Gerichts aus dem Jahr 2023 wurde beschrieben, wie ein Mann nach langen Chats mit einer KI-Begleiterin Gewalt plante.

Für Dr. Osler kann diese Art anhaltender Bestätigung zum Risikofaktor werden, wenn sich jemand ohnehin abgekoppelt fühlt – weil der Chatbot keine Grenzen setzt und nicht widerspricht, wie es eine andere Person möglicherweise tun würde.

Für Menschen, die sich isoliert erleben, kann ein Chatbot wie ein verlässlicher Verbündeter klingen, der immer reagiert. Das ständige Hin und Her kann eine parasoziale Bindung fördern – eine einseitige Beziehung, die sich persönlich und unterstützend anfühlt.

„Die Kombination aus technologischer Autorität und sozialer Bestätigung schafft ein ideales Umfeld, in dem Wahnvorstellungen nicht nur fortbestehen, sondern gedeihen“, sagte Dr. Osler.

Sobald sich ein falscher Glaube sozial geteilt anfühlt, wirkt eine Korrektur weniger wie das Ausbessern eines Fehlers – und mehr wie der Verlust von Unterstützung. In diesem Moment kann sich die Überzeugung vertiefen, statt zu verschwinden.

Sicherheitsfunktionen helfen

Einige Entwicklerinnen und Entwickler ergänzen inzwischen Regeln, die bestimmte Antworten blockieren und fragwürdige Behauptungen markieren, bevor sie sich im Chat verbreiten. Integrierte Faktenprüfung kann einfache Fehler abfangen, und Training kann Sykophanz reduzieren, wenn jemand gezielt nach Lob drängt.

Werkzeuge zur Faktenprüfung sind besonders hilfreich bei öffentlichen Behauptungen, tun sich jedoch schwer, wenn ein Gespräch zu privaten Erinnerungen und persönlichen Motiven übergeht.

Ohne sorgfältige Abstimmung kann ein Chatbot weiterhin unterstützend klingen, während er unangenehmen Wahrheiten ausweicht – und Nutzende bemerken das möglicherweise nicht.

Die Grenze, die KI nicht überschreiten kann

In persönlichen Gesprächen mit KI hat ein Chatbot keine Möglichkeit, deine Geschichte mit der Außenwelt abzugleichen. Da das System allein auf das angewiesen ist, was Menschen eintippen, behandelt es private Behauptungen häufig als real, weil es sie nicht unabhängig verifizieren kann.

Ohne Sinne, gelebte Beziehungen oder geteilten sozialen Kontext kann ein Chatbot nicht unterscheiden, wann Zustimmung tröstlich ist und wann sie stillschweigend etwas Schädliches verstärkt.

Diese Begrenzung macht menschliches Urteilsvermögen zum letzten Filter – besonders dann, wenn es bei Ratschlägen um Identität, Erinnerung oder psychische Gesundheit im realen Leben geht.

Wie Oslers Warnung andeutet, sind Chatbot-Fehler nicht bloß technische KI-Pannen, sondern gemeinsame Prozesse: Gespräch, Vertrauen und sozialer Komfort können den Glauben selbst formen.

Sichereres Design wird helfen. Trotzdem brauchen Menschen Gewohnheiten, zu denen Quellenprüfung gehört, ein Innehalten, bevor man Beruhigung übernimmt, und Gespräche mit anderen Menschen, die Perspektive bieten – verankert in der realen Welt.