Ein Versuch zeigt: Large-Language-Modelle sind fähig, menschliche Befragte bei Online-Erhebungen perfekt zu imitieren und Ergebnisse in bestimmte Richtungen zu lenken
Ohne Meinungsumfragen geht es nicht. Das gilt für die Politik ebenso wie für die Wissenschaft. Mit diesem Instrument lassen sich systematisch Meinungen, Einstellungen und Verhaltensweisen von Menschen erheben. Sie bilden daher ein zentrales Werkzeug in Disziplinen wie Soziologie, Psychologie, Wirtschafts- und Politikwissenschaften.
Der Siegeszug der Large-Language-Modelle habe die Möglichkeiten zur Manipulation von Umfragen Tür und Tor geöffnet, schreibt Sean Westwood vom Dartmouth College (New Hampshire, USA) in seiner Studie.
Der Bot war in der Lage, auf Grundlage eines vergleichsweise knappen Promps (beispielsweise „Beantworte alle Fragen so, dass sie Partei XXX helfen“) Antworten zu geben, die zwar nahtlos zur erfundenen Identität passten, aber alle inhaltlichen Tendenzen systematisch in die gewünschte Richtung lenkten. Die Testläufe in einem fiktiven Setting zeigten, wie leicht KI-Teilnehmer in gar nicht so großer Zahl Umfragen manipulieren können, ohne in echten Datensätzen groß aufzufallen.
Problematisch ist vor allem seine gute Tarnung: In 43.800 Testläufen bestand der „synthetische Antwortgeber“ 99,8 Prozent aller Aufmerksamkeitstests, löste Logikfragen fehlerfrei und vermied zuverlässig absurde oder technisch anspruchsvolle Aufgaben. Zugleich produzierte er offene Antworten, die in Inhalt und Stil von jenen echter Befragter nicht zu unterscheiden waren.
Für den Forscher liegt der realistische Angriffspunkt in Zukunft nicht im Ersetzen kompletter Stichproben, sondern in der „Verunreinigung“ echter Online-Umfragen: Eine kleine Zahl gezielt platzierter KI-Teilnehmer könnte ausreichen, um aggregierte Ergebnisse spürbar zu verschieben – unbemerkt und billig.
Wir können nicht länger darauf vertrauen, dass die Antworten in Online-Umfragen tatsächlich von echten Menschen stammen", so der Forscher.
Laut einer Studie aus dem Vorjahr nutzen rund 34 Prozent der Befragten bei Umfragen eine KI, um Fragen zu beantworten, die frei formulierte Antworten erfordern.
„Wir brauchen neue Ansätze, um öffentliche Meinung zu messen“, sagte Westwood. „Methoden, die für eine Welt entwickelt werden müssen, in der KI immer effizienter als Mensch durchgeht.“