GPT-4 sagt Ergebnisse sozialwissenschaftlicher Experimente vorausPredicting Results of Social Science Experiments Using Large Language Models

Hewitt, Ashokkumar, Ghezae, Willer · Working Paper (Stanford/NYU) · 2024

GPT-4 sagt die Richtung von Umfrage-Experimenten gut voraus, auch bei unveröffentlichten Studien, überschätzt aber die Effektstärke. Bei Feldexperimenten mit echtem Verhalten bricht die Vorhersage deutlich ein.

5,7MFK-Score von 10 · Ergebnis: gemischt

Studiendesign4

Datenbasis8

Unabhängigkeit10

Replikation3

Übertragbarkeit5

Breite Validierung gegen echte Experimente, akademisch; Preprint, nicht unabhängig repliziert. Die Befundlage ist uneinheitlich oder nur unter Bedingungen gültig. Wie der Score entsteht →

Die Zahlen

r = 0,85	Korrelation zwischen Vorhersage und tatsächlichem Effekt über 476 Effekte aus 70 US-Umfrageexperimenten
r = 0,90	bei unveröffentlichten Studien
10,9 Prozentpunkte / 0,56	Vorhersagefehler (RMSE) / Korrekturfaktor
r = 0,27 / 64 %	Feldexperimente: Korrelation / richtige Richtung
r = 0,47	Umfrageexperimente in Megastudien

Methode: Vorhersage präregistrierter, US-repräsentativer Umfrageexperimente (TESS) durch GPT-4, verglichen mit den echten Effekten.
Datenbasis: 70 Experimente mit 105.165 Teilnehmenden, plus Megastudien und Feldexperimente.
Einschränkungen und häufige Fehlzitate: Nicht peer-reviewt (Fassung vom 08.08.2024). Gute Vorhersage für Umfragen heißt nicht gute Vorhersage für Verhalten.
Interessenlage: keine bekannt; Ursprungsdaten NSF-finanziert
Quelle: https://samim.io/dl/Predicting%20results%20of%20social%20science%20experiments%20using%20large%20language%20models.pdf (frei zugänglich)

Im Podcast

Folge 26 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „GPT-4 sagt Ergebnisse sozialwissenschaftlicher Experimente voraus“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/hewitt-et-al-predicting-experiments-llm-2024/

gemischtKI im MarketingMethodik & Marktforschung

← Alle Studien