Jeder fünfte „signifikante“ A/B-Test-Gewinner wirkt nichtFalse Discovery in A/B Testing

Berman, Van den Bulte · Management Science (INFORMS) · 2022

Ein erheblicher Teil statistisch signifikanter Website-A/B-Tests beruht auf Zufall: Bei 5-%-Signifikanz ist etwa jeder fünfte vermeintliche Gewinner in Wahrheit wirkungslos. Ursache ist vor allem, dass die meisten getesteten Änderungen gar keinen Effekt haben.

7,7MFK-Score von 10 · Ergebnis: widerlegt

Studiendesign7

Datenbasis9

Unabhängigkeit9

Replikation6

Übertragbarkeit9

Sehr große Basis realer Tests und akademisch; ähnliche Befunde aus der Experimentierpraxis großer Plattformen. Die verbreitete Lesart hält nicht – oft ein Fehlzitat oder ein Mythos. Wie der Score entsteht →

Die Zahlen

4.964	Effekte aus 2.766 Experimenten einer kommerziellen A/B-Test-Plattform
18–25 %	geschätzte Falsch-Entdeckungsrate bei 5-%-Signifikanz (zweiseitig)
28–37 %	geschätzte Falsch-Entdeckungsrate bei 10-%-Signifikanz
ca. 70 %	Anteil der getesteten Änderungen ohne echten Effekt

Methode: Schätzung der Falsch-Entdeckungsrate mit drei Verfahren über einen großen Bestand realer Experimente.
Datenbasis: 2.766 Website-Experimente (4.964 Effekte) einer kommerziellen Testplattform.
Einschränkungen und häufige Fehlzitate: Daten einer Plattform; die Rate hängt von Testpraxis und Stichprobengrößen ab. Widerlegt nicht A/B-Tests, sondern die Gleichsetzung von „signifikant“ mit „sicherer Gewinner“.
Interessenlage: keine bekannt (akademisch; Plattformdaten)
Quelle: https://doi.org/10.1287/mnsc.2021.4207 (kostenpflichtig)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Jeder fünfte „signifikante“ A/B-Test-Gewinner wirkt nicht“. MFK-Studiendatenbank, Stand 2026-11-08. https://marketing-facts.de/studien/berman-van-den-bulte-false-discovery-ab-tests-2022/

widerlegtSearch & PerformanceMethodik & Marktforschung

← Alle Studien