Studiendatenbank · Laborexperiment
Sprachmodelle replizieren klassische ExperimenteUsing Large Language Models to Simulate Multiple Humans and Replicate Human Subject Studies
Mehrere klassische Experimente wie Ultimatumspiel, Holzweg-Sätze und Milgram ließen sich mit Sprachmodellen nachstellen; beim Wisdom-of-Crowds-Test wussten große Modelle es aber unnatürlich besser als Menschen.
5,0MFK-Score von 10 · Ergebnis: gemischt
Die Zahlen
| 3 von 4 | nachgestellte Experimente, deren Befunde repliziert wurden |
- Methode
- Nachstellen von vier bekannten Experimenten mit simulierten Teilnehmenden.
- Datenbasis
- Vier Turing-Experimente mit verschiedenen Sprachmodellen.
- Einschränkungen und häufige Fehlzitate
- Die Originalbefunde stehen vermutlich in den Trainingsdaten. „Hyper-Accuracy-Verzerrung“ zeigt, dass Modelle nicht wie Durchschnittsmenschen antworten.
- Interessenlage
- Microsoft-Beteiligung (Kalai), Microsoft bietet KI-Modelle an.
- Quelle
- https://arxiv.org/pdf/2208.10264 (frei zugänglich)
Im Podcast
- Folge 26 (erscheint demnächst)
Zitieren
gemischtKI im MarketingMethodik & Marktforschung