Paderborner Forschungsteam untersucht Nutzer*innenverhalten im Umgang mit KI-Fehlern
Ob bei der Bilderkennung, Sprachverarbeitung oder Routenplanung – Systeme mit künstlicher Intelligenz (KI) liefern nicht immer korrekte Ergebnisse. In diesen Situationen und vor allem bei Empfehlungen für Entscheidungen sollten Menschen KI-Anwendungen ein gesundes Misstrauen entgegenbringen. Die Paderborner Wissenschaftler*innen Tobias Peters und Prof. Dr. Ingrid Scharlau vom Sonderforschungsbereich Transregio (TRR) 318 haben in ihrer aktuellen Studie untersucht, ob gezielt gef?rdertes Misstrauen den Umgang von Menschen mit solchen Systemen verbessern kann. Die Studie mit dem Titel ?Interacting with fallible AI: Is distrust helpful when receiving AI misclassifications?“ wurde nun in der Fachzeitschrift ?Frontiers in Psychology“ ver?ffentlicht.
In zwei experimentellen Szenarien zur Bildklassifizierung erhielten Versuchspersonen Empfehlungen einer KI, deren Genauigkeit sich im Laufe des Versuchs gezielt verschlechterte. Sie sollten entscheiden, ob geometrische Formen bestimmten Kategorien zugeordnet werden k?nnen und ob Bilder echt oder KI-generiert waren. W?hrend des Experiments wurden die Teilnehmer*innen regelm??ig befragt, wie sehr sie der KI ver- oder misstrauten. So konnte mit psychologischen Methoden untersucht werden, wie stark sich die Proband*innen durch fehlerhafte KI-Ratschl?ge beeinflussen lie?en. Das zentrale Ergebnis: Eine Aufforderung zur Skepsis steigert die Leistung nicht, sondern verschlechtert diese tendenziell sogar.
Aufforderung zur Skepsis wirkt nicht wie erhofft
Ein besonderer Fokus lag darauf, ob eine explizite Aufforderung zur Skepsis – also der Hinweis, jeden KI-Vorschlag kritisch zu hinterfragen – im Vergleich zu einer neutralen Anweisung die Leistung verbessert. Peters: ?In der Interaktion mit einer KI, die Fehler macht, hat unsere Aufforderung, misstrauisch zu sein, überraschenderweise nicht geholfen. Das bedeutet, dass diese Anweisung kaum Einfluss auf die Nutzung der KI-Unterstützung hatte.“
Erg?nzend zur experimentellen Untersuchung entwickelte er gemeinsam mit Kai Biermeier, technischer Mitarbeiter im TRR 318, eine Bayes-Analyse auf Basis der Signalentdeckungstheorie. Diese berücksichtigt auch Unsicherheiten in den Daten und misst, wie gut die Versuchspersonen zwischen korrekten und fehlerhaften KI-Ratschl?gen unterscheiden konnten. Deutlich wurde, dass sie die zunehmenden Fehler der KI wahrnahmen und darauf reagierten: ?Sobald die Ratschl?ge der KI schlechter wurden, haben die Versuchspersonen der KI weniger vertraut und mehr misstraut“, erkl?rt Peters. ?Auch als die KI-Leistung wieder besser wurde, ist das Vertrauen und Misstrauen nicht auf das ursprüngliche Niveau zurückgekehrt. Dies stimmt mit bisheriger Vertrauensforschung und einem dort üblichen Befundmuster überein, dass Vertrauen leicht zu verlieren und schwer zu gewinnen ist.“
Der methodische Ansatz erm?glicht es zukünftigen Studien, Vertrauen und Misstrauen im Umgang mit KI differenziert zu untersuchen. ?Unsere Ergebnisse liefern wichtige Impulse für den aktuellen Diskurs über den Umgang mit Fehleranf?lligkeit und Misstrauen gegenüber KI-Systemen – insbesondere mit Blick auf Warnhinweise, sogenannte Disclaimers, vor der Nutzung von sprachbasierten Chatbots wie ChatGPT“, so das Fazit des Paderborner Wissenschaftlers.
Zur Studie: https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2025.1574809/full
