Studiendatenbank · Feldexperiment
Beobachtung gegen Experiment: Wie falsch Werbemessung liegtA Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook
Gängige Beobachtungsverfahren lagen gegenüber dem Experiment oft um ein Vielfaches daneben, meist nach oben, teils auch nach unten; selbst umfangreiche Daten reichen nicht, um die wahre Werbewirkung ohne Experiment zu bestimmen.
8,0MFK-Score von 10 · Ergebnis: bestätigt
Die Zahlen
| 15 | groß angelegte Werbeexperimente |
| rund 500 Mio. / 1,6 Mrd. | Nutzer-Beobachtungen bzw. Werbeeinblendungen |
| Faktor 3 | Abweichung der geschätzten Wirkung in der Hälfte der Studien |
| 316 % vs. 73 % | Mehrkäufe nach naivem Vergleich bzw. im Experiment, Beispiel aus der Arbeit |
| 500 Mio. | Nutzer-Experiment-Beobachtungen |
| 1,6 Mrd. | ausgelieferte Werbeimpressionen in den Experimenten |
- Methode
- Vergleich verschiedener Beobachtungsmethoden mit den Ergebnissen randomisierter Experimente auf denselben Kampagnen.
- Datenbasis
- 15 Experimente, rund 500 Millionen Nutzer-Beobachtungen, 1,6 Milliarden Werbeeinblendungen.
- Einschränkungen und häufige Fehlzitate
- Eine Plattform; die Abweichung geht nicht immer in dieselbe Richtung. Es gibt keinen seriösen 'Durchschnittsfaktor', um den Attribution übertreibt.
- Interessenlage
- Akademische Arbeit mit Plattformdaten; Mitautoren arbeiteten bei der Plattform.
- Quelle
- https://pubsonline.informs.org/doi/10.1287/mksc.2018.1135 (kostenpflichtig)
Im Podcast
Zitieren
bestätigtMessung & AttributionMethodik & Marktforschung