Nichtdeterminismus 'deterministischer' LLM-EinstellungenNon-Determinism of "Deterministic" LLM Settings

Atil u. a. · Penn State, Comcast AI; arXiv 2408.04667 · 2025

Auch deterministisch eingestellte Sprachmodelle liefern bei gleichen Läufen schwankende Genauigkeit und praktisch nie identische Texte.

5,3MFK-Score von 10 · Ergebnis: bestätigt

Studiendesign4

Datenbasis4

Unabhängigkeit7

Replikation6

Übertragbarkeit6

Kontrolliertes Laborexperiment, Befund konsistent mit Thinking Machines. Die verbreitete Aussage hält der Prüfung stand. Wie der Score entsteht →

Die Zahlen

bis 15 %

Schwankung der Genauigkeit zwischen identischen Läufen

Methode: Fünf LLMs, acht Aufgaben, je zehn Läufe mit deterministischen Einstellungen.
Datenbasis: 5 Modelle (u. a. GPT-3.5/4o, Llama-3, Mixtral), 8 Aufgaben, 10 Läufe
Einschränkungen und häufige Fehlzitate: Preprint; Modelle von 2024; keine Markenempfehlungen untersucht.
Interessenlage: Akademisch mit Industrie-Mitautoren (Comcast)
Quelle: https://arxiv.org/abs/2408.04667 (frei zugänglich)

Im Podcast

Folge 37 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Nichtdeterminismus 'deterministischer' LLM-Einstellungen“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/atil-non-determinism-deterministic-llm-2025/

bestätigtKI im MarketingMethodik & Marktforschung

← Alle Studien