Studiendatenbank · Laborexperiment
KI-Markenempfehlungen sind kaum reproduzierbarNEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility
Fragt man KI-Assistenten wiederholt nach Markenempfehlungen, kommt fast nie dieselbe Liste oder Reihenfolge heraus; stabil ist nur, wie oft eine Marke überhaupt genannt wird – ein „Rang in der KI“ ist daher keine sinnvolle Kennzahl.
4,5MFK-Score von 10 · Ergebnis: offen
Die Zahlen
| < 1 zu 100 | Wahrscheinlichkeit, dass zwei von 100 Antworten dieselbe Markenliste enthalten |
| ~1 zu 1.000 | Läufe, bis zwei Listen in derselben Reihenfolge auftreten |
| 97 % | Sichtbarkeit von City of Hope in 69 von 71 Antworten (Krebskliniken US-Westküste) |
| 55–77 % | Sichtbarkeit von Kopfhörermarken über 994 Antworten |
| 0,081 | durchschnittliche semantische Ähnlichkeit von Prompts, die Menschen schrieben |
| 2.961 | Läufe von 12 Prompts durch 3 Tools, ausgeführt von 600 Freiwilligen |
| ≥ 60–100 | empfohlene Läufe pro Prompt, um eine Sichtbarkeitsquote zu mitteln |
| < 1 von 100 | Anteil identischer Listen bei Wiederholung (Kernzahl, in Folge 15 verwendet) |
- Methode
- Freiwillige stellten festgelegte Fragen an mehrere KI-Systeme und kopierten die Antworten; die Autoren normalisierten sie zu geordneten Markenlisten.
- Datenbasis
- 600 Freiwillige, 12 Prompts, 2.961 Läufe über ChatGPT, Claude und Google AI Overviews/AI Mode, Nov.–Dez. 2025; Rohdaten öffentlich
- Einschränkungen und häufige Fehlzitate
- Momentaufnahme, Modelle ändern sich laufend; manuelle Normalisierung. Zeigt nicht, ob Sichtbarkeit mit Marktanteil zusammenhängt.
- Interessenlage
- O'Donnell arbeitet bei Gumshoe.ai (verkauft KI-Tracking); Fishkin legt die Nähe offen. Der Befund spricht eher gegen viele Tracking-Tools.
- Quelle
- https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/ (frei zugänglich)
Im Podcast
- Folge 15: Share of Model
- Folge 37 (erscheint demnächst)
Zitieren
offenGEO & KI-SucheMessung & Attribution