Studiendatenbank · Laborexperiment
KI-Befragte plätten und verzerren GruppenLarge language models that replace human participants can harmfully misportray and flatten identity groups
Alle getesteten Sprachmodelle antworten homogener als echte Menschen und geben eher die Außensicht auf eine Gruppe wieder als deren eigene Sicht; höhere „Temperatur“ behebt das nicht.
6,1MFK-Score von 10 · Ergebnis: widerlegt
Die Zahlen
| 3 von 5 | Antwortoptionen, die GPT-4 und GPT-3.5 in 100 Antworten meist nur nutzten |
| 3.200 | echte US-Teilnehmende zum Vergleich |
| 16 / 9 / 4 | demografische Identitäten / Fragen / Modelle |
- Methode
- Vergleich der Antworten von vier Modellen (Llama-2, Wizard Vicuna, GPT-3.5, GPT-4) mit echten Befragten derselben Identitätsgruppen.
- Datenbasis
- 3.200 US-Teilnehmende, 16 Identitäten, 9 Fragen.
- Einschränkungen und häufige Fehlzitate
- US-Stichprobe, ältere Modelle. Misst Antwortverteilungen, nicht Kaufverhalten.
- Interessenlage
- keine bekannt
- Quelle
- https://www.nature.com/articles/s42256-025-00986-z (teilweise frei zugänglich)
Im Podcast
- Folge 26 (erscheint demnächst)
Zitieren
widerlegtKI im MarketingMethodik & Marktforschung