Benchmark: Synthetische Befragte überschätzen SegmentunterschiedeWhen Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses

Chen, Zhu, Zheng · arXiv:2607.26348 · 2026

Synthetische Befragte überschätzen den Einfluss von Demografie: Sie blähen Segmentunterschiede auf, zeigen oft auf das falsche Zielsegment und erfinden Unterschiede. Größere Modelle beheben das nicht.

6,4MFK-Score von 10 · Ergebnis: widerlegt

Studiendesign4

Datenbasis8

Unabhängigkeit10

Replikation6

Übertragbarkeit5

Breiter Benchmark mit großen repräsentativen Vergleichsdaten, akademisch; Preprint, Richtung durch Wang et al. gestützt. Die verbreitete Lesart hält nicht – oft ein Fehlzitat oder ein Mythos. Wie der Score entsteht →

Die Zahlen

2–4×	Aufblähung der Unterschiede zwischen Segmenten
50–72 %	Fälle, in denen das Modell auf das falsche Zielsegment zeigt
bis 41 %	erfundene Segmentunterschiede

Methode: Benchmark von vier Modellen (Claude Haiku 4.5, Claude Sonnet 4.6, Llama-3.1-8B, Llama-3.3-70B) gegen echte Umfragedaten.
Datenbasis: General Social Survey (USA 2016–2024) und World Values Survey Welle 7 (63 Länder).
Einschränkungen und häufige Fehlzitate: In Begutachtung, nicht peer-reviewt. Kein Modell schlägt auf Individualebene eine einfache statistische Baseline.
Interessenlage: keine bekannt
Quelle: https://arxiv.org/pdf/2607.26348 (frei zugänglich)

Im Podcast

Folge 26 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Benchmark: Synthetische Befragte überschätzen Segmentunterschiede“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/chen-zhu-zheng-synthetic-users-fail-2026/

widerlegtKI im MarketingMethodik & MarktforschungMarkenaufbau & Wachstum

← Alle Studien