Studiendatenbank · Laborexperiment

Dice Roll: Wie viele Abfragen eine KI-Markenmessung brauchtThe Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations

Żatuchin · arXiv 2609.04047 · 2026

Die Streuung liegt überwiegend zwischen verschiedenen Fragen, nicht zwischen Wiederholungen; viele verschiedene Prompts schlagen viele Wiederholungen. Für eine einzelne Frage ist die Messung kaum belastbar, und die Erstversion musste Empfehlungen aus synthetischen Daten zurückziehen.

Die Zahlen

83,8 % / 16,2 %	Varianzanteil zwischen Modell-Frage-Kombinationen vs. Wiederholungsrauschen
1–2 Läufe	reichen bei über 250 verschiedenen Fragen für Reliabilität 0,80
0,27 (KI 0,00–0,52)	Reliabilität bei einer Frage in fünf Formulierungen

Methode

Reanalyse wiederholter Abfragen mit Varianzzerlegung; Version 2 mit Korrektur.

Datenbasis

Wiederholte LLM-Abfragen zu Markenempfehlungen; Zielgröße Zahl genannter Marken

Einschränkungen und häufige Fehlzitate

Unbegutachteter Preprint eines Einzelautors; misst Markenanzahl, nicht Sichtbarkeit einer Marke; Laufzahl-Stufen der v1 zurückgezogen.

Interessenlage

Zweitaffiliation beim GEO-Anbieter Rankfor.AI

Quelle

https://arxiv.org/abs/2609.04047 (frei zugänglich)

Im Podcast

• Folge 37 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Dice Roll: Wie viele Abfragen eine KI-Markenmessung braucht“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/zatuchin-dice-roll-method-2026/

offenGEO & KI-SucheMessung & Attribution

← Alle Studien