Studiendatenbank · Laborexperiment
Prompt-Formatierung verschiebt LLM-ErgebnisseQuantifying Language Models' Sensitivity to Spurious Features in Prompt Design
Schon bedeutungsgleiche Formatänderungen am Prompt verschieben die Leistung von Sprachmodellen massiv; Ergebnisse sollten als Spannweite über Formate berichtet werden.
6,1MFK-Score von 10 · Ergebnis: bestätigt
Die Zahlen
| bis 76 Punkte | Genauigkeitsunterschied durch Formatierung bei LLaMA-2-13B |
| Median 0,064 | deutlich kleinere Spannweite bei GPT-3.5 |
- Methode
- Systematische Variation von Prompt-Formaten bei Few-Shot-Aufgaben.
- Datenbasis
- Mehrere offene Modelle und GPT-3.5, Few-Shot-Aufgaben
- Einschränkungen und häufige Fehlzitate
- Ältere Modelle; Übertragung auf Markenempfehlungen nur als Prinzip.
- Interessenlage
- Akademisch; keine bekannt
- Quelle
- https://arxiv.org/abs/2310.11324 (frei zugänglich)
Im Podcast
- Folge 37 (erscheint demnächst)
Zitieren
bestätigtKI im MarketingMethodik & Marktforschung