Aus der wilden Welt der digitalen Transformation
Alle starren auf Modell-Benchmarks und Tokenpreise. GPT, Claude, Gemini, Kimi, Qwen, GLM, Minimax – welches Modell bietet das beste Preis-Leistungsverhältnis? Doch eine neue Studie zeigt: Die eigentliche Kostenschraube sitzt woanders. Wer dasselbe Modell in einem anderen Harness laufen lässt, zahlt bis zu neunmal mehr – bei identischer Leistung. Ein Blick auf Zahlen, die das Silicon Valley gerade nervös machen.
Es gibt mittlerweile einige Fachleute, die sagen, dass die LLM-Technologie weitgehend ausgereizt sei. Mit anderen Worten, technisch würden sich die Modelle im Top-Segment kaum noch unterscheiden – dass es trotzdem immer noch erhebliche Qualitätsunterschiede zwischen den Anbietern gibt, läge nur daran, dass die führenden Anbieter OpenAI und Anthropic über sehr viel mehr Wissen und Daten verfügen, und deshalb eine deutlich überlegene Harness verwenden können. Ich kann das nicht beurteilen. Aber dass eine gute Harness, also die Regeln, wie eine Antwort gefunden werden soll, tatsächlich sehr wichtig ist, das weiß ich aus eigener Erfahrung ganz sicher. Doch was ist eine gute Harness? Dazu habe ich heute ein sehr spannendes Forschungspapier für Sie.
Forscher der University of Washington (Allen School) und der University of Stanford haben die bislang größte Studie zur kreativen Vielfalt von KI-Systemen durchgeführt – und die Ergebnisse sind ernüchternd. Über 70 verschiedene große Sprachmodelle (LLMs) aller führenden Anbieter wurden mit denselben offenen Fragen konfrontiert: „Schreibe ein Gedicht über die Zeit“, „Schlage Startup-Ideen vor“, „Gib mir Lebensratschläge.“ Also solche Fragen, auf die zehn verschiedene Menschen zehn völlig unterschiedliche Antworten geben würden. Doch trotz unterschiedlicher Architekturen, Trainingsdaten und Hersteller lieferten die Modelle nahezu identische Antworten – dieselben Ideen, dieselben Strukturen, dieselben Metaphern. Die Forscher nennen dieses Phänomen den „Artificial Hivemind“ (Künstlicher Schwarmgeist).
Die Arbeit wurde mit dem Best Paper Award der NeurIPS 2025 ausgezeichnet, der höchsten Anerkennung in der KI-Forschung. Sie können die Studie hier bei uns oder bei der Cornell University herunterladen.