Studiendatenbank · Feldexperiment
BCG-Experiment: KI hilft innerhalb ihrer Grenze, schadet außerhalbNavigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
Bei Aufgaben, die GPT-4 gut beherrscht, erledigten Beraterinnen und Berater mit KI mehr Aufgaben, schneller und in höherer Qualität. Bei einer Aufgabe jenseits dieser 'gezackten Grenze' lagen sie mit KI häufiger falsch als ohne.
7,4MFK-Score von 10 · Ergebnis: bestätigt
Die Zahlen
| 758 | teilnehmende Wissensarbeiter (BCG-Beratende) |
| +12,2 % | mehr erledigte Aufgaben mit KI bei Aufgaben innerhalb der KI-Grenze |
| −25,1 % | weniger Bearbeitungszeit (25,1 % schneller) innerhalb der KI-Grenze |
| −19 Prozentpunkte | geringere Wahrscheinlichkeit einer richtigen Lösung mit KI bei der Aufgabe außerhalb der Grenze (Kontrollgruppe 84,5 % richtig, KI-Gruppen zusammen rund 65 %) |
- Methode
- Präregistriertes Feldexperiment: Beratende wurden zufällig ohne KI, mit GPT-4 oder mit GPT-4 plus Prompt-Training realistischen Beratungsaufgaben zugeteilt.
- Datenbasis
- 758 BCG-Beratende, 18 realistische Aufgaben innerhalb und eine außerhalb der KI-Grenze, 2023.
- Einschränkungen und häufige Fehlzitate
- Ein Unternehmen, GPT-4-Stand 2023; Aufgaben im Experimentsetting statt echter Kundenprojekte. Die Lage der 'Grenze' verschiebt sich mit jedem Modell.
- Interessenlage
- akademisch, in Kooperation mit BCG (das KI-Beratung verkauft)
- Quelle
- https://www.hbs.edu/faculty/Pages/item.aspx?num=64700 (frei zugänglich)
Zitieren
bestätigtKI im Marketing