Studiendatenbank · Anbieterauswertung
PyMC Labs/Colgate: Kaufabsicht per „Semantic Similarity Rating“LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings
Mit einer speziellen Abfragemethode (SSR) erreichte die KI-Rangfolge von 57 Produktkonzepten 90 Prozent der Zuverlässigkeit einer wiederholten echten Befragung. Gemessen wurde die Rangfolge der Konzepte, nicht die Treffsicherheit einzelner Antworten.
3,2MFK-Score von 10 · Ergebnis: offen
Die Zahlen
| 90 % | Anteil der menschlichen Test-Retest-Korrelation, den die SSR-Rangfolge erreicht |
| 0,88 | KS-Ähnlichkeit der Antwortverteilungen mit GPT-4o |
| 0,26 | KS-Ähnlichkeit bei direkter Frage nach einer Zahl (meist „3“) |
| 57 / 9.300 | Konzepttests / Befragte (je 150–400) |
| 0,91 / 50 % | ohne Persona-Angaben: Verteilungsähnlichkeit / Rangfolgen-Treffer |
- Methode
- Vergleich synthetischer Antworten mit echten Konzepttests; Antworten werden über semantische Ähnlichkeit zu Referenzsätzen in Likert-Werte übersetzt.
- Datenbasis
- 57 Konzepttests für Körperpflege in den USA, 9.300 Befragte; Daten nicht öffentlich.
- Einschränkungen und häufige Fehlzitate
- Die Referenzsätze wurden an denselben 57 Tests optimiert, die Übertragbarkeit auf andere Befragungen ist offen. Geschlecht und Region werden nicht zuverlässig abgebildet. „90 %“ heißt nicht „90 % richtige Antworten“. Kein Peer Review.
- Interessenlage
- Autoren sind der Methodenanbieter (PyMC Labs) und der Datengeber (Colgate-Palmolive).
- Quelle
- https://arxiv.org/pdf/2510.08338 (frei zugänglich)
Im Podcast
- Folge 26 (erscheint demnächst)
Zitieren
offenKI im MarketingMethodik & Marktforschung