Synthetische Umfragedaten: Mittelwerte passen, Zusammenhänge nichtSynthetic Replacements for Human Survey Data? The Perils of Large Language Models

Bisbee et al. · Political Analysis 32 (4) · 2024

ChatGPT-Antworten treffen Mittelwerte echter Befragter einigermaßen, verfälschen aber Zusammenhänge zwischen Variablen, streuen zu wenig und ändern sich bei gleichem Prompt über die Zeit.

6,8MFK-Score von 10 · Ergebnis: widerlegt

Studiendesign6

Datenbasis7

Unabhängigkeit10

Replikation6

Übertragbarkeit5

Peer-reviewter Validierungsvergleich mit repräsentativem Panel; Schwächen durch Wang et al. und Chen et al. gestützt. Die verbreitete Lesart hält nicht – oft ein Fehlzitat oder ein Mythos. Wie der Score entsteht →

Die Zahlen

48 %	Regressionskoeffizienten aus ChatGPT-Daten, die signifikant von den echten ANES-Werten abweichen
32 %	davon Fälle mit umgekehrtem Vorzeichen

Methode: Vergleich von ChatGPT-Antworten auf Gefühlsthermometer zu 11 Gruppen mit ANES-Daten; Wiederholung derselben Prompts nach drei Monaten.
Datenbasis: ANES 2016–2020 (USA); ChatGPT-Läufe April vs. Juli 2023.
Einschränkungen und häufige Fehlzitate: Ein Modell zu einem Zeitpunkt, politischer Kontext. Zeigt nicht, dass synthetische Daten nie nutzbar sind, sondern dass sie für Zusammenhangsanalysen unzuverlässig sind.
Interessenlage: keine bekannt (akademisch)
Quelle: https://www.cambridge.org/core/journals/political-analysis/article/synthetic-replacements-for-human-survey-data-the-perils-of-large-language-models/B92267DC26195C7F36E63EA04A47D2FE (frei zugänglich)

Im Podcast

Folge 26 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Synthetische Umfragedaten: Mittelwerte passen, Zusammenhänge nicht“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/bisbee-et-al-synthetic-replacements-2024/

widerlegtKI im MarketingMethodik & Marktforschung

← Alle Studien