Standortauswahl verzerrt Pilot-Ergebnisse (Opower)Site Selection Bias in Program Evaluation

Allcott · Quarterly Journal of Economics 130 (3) · 2015

Über 111 randomisierte Opower-Experimente zeigt sich, dass die ersten Standorte die Wirkung in den folgenden Standorten deutlich überschätzten. Pilot-Ergebnisse sollte man beim Rollout also abschlagen.

8,4MFK-Score von 10 · Ergebnis: bestätigt

Studiendesign10

Datenbasis10

Unabhängigkeit8

Replikation6

Übertragbarkeit8

Sehr große Serie randomisierter Feldexperimente; methodisch einflussreich, Übertragung auf andere Programme naheliegend. Die verbreitete Aussage hält der Prüfung stand. Wie der Score entsteht →

Die Zahlen

111 RCTs	Umfang der Auswertung
8,6 Mio.	Haushalte
10 vs. 101	erste Standorte vs. Folgestandorte, deren Wirkung die ersten überschätzten

Methode: Vergleich der Effekte früher und später randomisierter Programmstandorte.
Datenbasis: 111 RCTs mit 8,6 Mio. US-Haushalten.
Einschränkungen und häufige Fehlzitate: Bezieht sich auf Energiespar-Programme in den USA; der Mechanismus (Pilotstandorte sind besonders günstig) gilt aber allgemein.
Interessenlage: keine bekannt
Quelle: https://doi.org/10.1093/qje/qjv015 (teilweise frei zugänglich)

Im Podcast

Folge 21 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Standortauswahl verzerrt Pilot-Ergebnisse (Opower)“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/allcott-site-selection-bias-2015/

bestätigtMethodik & Marktforschung

← Alle Studien