Alle starren auf Modell-Benchmarks und Tokenpreise. GPT, Claude, Gemini, Kimi, Qwen, GLM, Minimax – welches Modell bietet das beste Preis-Leistungsverhältnis? Doch eine neue Studie zeigt: Die eigentliche Kostenschraube sitzt woanders. Wer dasselbe Modell in einem anderen Harness laufen lässt, zahlt bis zu neunmal mehr – bei identischer Leistung. Ein Blick auf Zahlen, die das Silicon Valley gerade nervös machen.
Wer regelmäßig mit Coding Agents arbeitet, kennt das Muster: Nicht das Modell allein entscheidet über Qualität und Preis eines Tasks – sondern vor allem die Orchestrierungsschicht (Agent mit Harness) drumherum, welche Kontext zusammenstellt, Tools bereitstellt, Turns sequenziert und Arbeit delegiert. Eine aktuelle Studie von 32 Autoren rund um Muayad Sayed Ali und Waseem AlShikh („The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI“, arXiv:2607.06906) liefert dafür jetzt harte Zahlen – und einen Namen für das Phänomen: Token-Maxing.
Die These der Autoren: Agentic-AI-Entwicklung läuft heute überwiegend nach dem Prinzip „Fähigkeit gegen Tokens kaufen“ – längere Reasoning-Traces, mehr Turns, breitere Tool-Payloads, größere wiederholt eingespielte Kontexte. Das Ergebnis: Tokens pro Task wachsen schneller als der eigentliche Nutzen des Tasks. Sinkende Preise pro Token verschleiern diesen Trend nur – die Gesamtkosten steigen trotzdem.
Der kontrollierte Test: Ein Harness, sechs Modelle
Um den Effekt sauber zu isolieren, haben die Forscher einen kontrollierten Swap durchgeführt: 22 fest definierte Evaluierungs-Tasks, sechs Foundation-Modelle (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, Palmyra X6) – und als einzige Variable die Orchestrierungsschicht: ein eingefrorener, konventioneller Produktions-Loop gegen den sogenannten Writer Agent Harness.
Die Ergebnisse bei identischem Modell, nur mit besserem Harness:
- Kosten pro Task: −41 % (von 0,21 $ auf 0,12 $)
- Median-Laufzeit: −44 % (von 48 auf 27 Sekunden)
- Tokens pro Task: −38 % (von 14.200 auf 8.800)
- Qualität: bleibt erhalten, steigt sogar leicht (0,78 → 0,81)
Besonders bemerkenswert: Der Effizienzgewinn ist modellunabhängig – jedes der sechs Modelle wurde günstiger, zwischen 33 und 61 Prozent. Der Qualitätsgewinn dagegen korreliert fast perfekt mit der Grundstärke des jeweiligen Modells (r = 0,99 bei n = 6) – ein Phänomen, das die Autoren „Harness Leverage“ nennen: Je besser das Modell ohnehin ist, desto mehr Hebelwirkung entfaltet ein guter Harness zusätzlich. Qualität pro investiertem Dollar steigt um 82 Prozent, abgeschlossene Tasks pro Million Tokens von 54,9 auf 92,0.
Die zentrale Aussage der Studie, zugespitzt: Auf diesem Workload hat die Orchestrierungsschicht die Kosten pro Task stärker bewegt als die gesamte Bandbreite der verfügbaren Modelle. Nicht das Modell-Upgrade spart am meisten Geld – sondern das Harness-Upgrade.
Der Praxisbeleg: Kimi K3 in drei Harnesses
Was in der Studie als kontrolliertes Laborexperiment daherkommt, lässt sich in freier Wildbahn eins zu eins beobachten. Das Team von Composio hat genau das durchexerziert und dasselbe Modell – Kimi K3 – durch drei verschiedene Agent-Harnesses geschickt: Claude Code, Hermes und Kimi Code, jeweils mit denselben 28 identischen Tasks.
Das Resultat deckt sich frappierend mit der arXiv-Studie:
| Harness | Erfolgsquote | Median-Tokens | Kosten / Task | Median-Zeit |
|---|---|---|---|---|
| Kimi Code | 22/28 | 61.000 | 0,22 $ | 297 s |
| Hermes | 21/28 | 67.000 | 0,28 $ | 179 s |
| Claude Code | 20/28 | 340.000 | 2,00 $ | 348 s |
Die Erfolgsquoten liegen dicht beieinander – das Modell liefert überall ungefähr die gleiche Leistung ab. Aber der Tokenverbrauch klafft um den Faktor 5,6 auseinander, die Kosten um den Faktor 9. Und: Das schnellste Harness (Hermes) ist nicht dasselbe wie das tokensparsamste (Kimi Code) – Geschwindigkeit und Effizienz sind zwei getrennte Stellschrauben, die man unabhängig voneinander optimieren muss.
Composios Fazit bringt es auf den Punkt: „Wer Agentenkosten senken will, sollte zuerst das Harness prüfen, bevor er das Modell wechselt.“ In ihren Daten veränderte das Harness die Kosten um das Neunfache – bei praktisch gleichbleibender Modellfähigkeit.
Was das für Entwickler bedeutet
Zwei unabhängige Untersuchungen, ein kontrolliertes Laborexperiment und ein Praxistest mit echtem Modell – beide kommen zum selben Schluss: Wer heute über Agentic-AI-Kosten spricht, aber nur über Modellwahl diskutiert, schaut auf die falsche Stellschraube. Die konkreten Hebel, die laut Studie hinter dem Harness-Effekt stecken:
- Cache-Shape-Discipline – Kontext so strukturieren, dass Prompt-Caching tatsächlich greift, statt bei jedem Turn den kompletten Verlauf neu zu berechnen.
- Kontrollierte Turn-Sequenzierung – statt endloser Trial-and-Error-Schleifen gezielte Delegation von Teilaufgaben.
- Governance bei Failure-Spend – Mechanismen, die verhindern, dass ein festgefahrener Agent munter weiter Tokens verbrennt, ohne dem Task näherzukommen.
Für Teams, die Coding Agents produktiv im Einsatz haben – sei es für Software-Entwicklung, Content-Pipelines oder interne Automatisierung –, heißt das konkret: Vor dem nächsten Modell-Upgrade lohnt sich ein Audit des eigenen Harnesses. Die Zahlen legen nahe, dass dort mehr eingespartes Geld liegt als in jedem Preisvergleich zwischen Anbietern.
Fazit
Die Modell-Debatte wird weitergehen – welches LLM gerade die Nase vorn hat, ändert sich gefühlt monatlich. Aber die eigentliche Kostenfrage bei Agentic AI entscheidet sich woanders: in der Architektur der Schicht, die das Modell umgibt. Die Wahl des Harnesses ist längst keine technische Fußnote mehr, sondern eine strategische Entscheidung mit direktem Effekt auf die Bilanz.
Und im Übrigen ist das alles auch ein energisches Plädoyer für Open-Source-Agenten. Kimi Code, das in Composios Test sparsamste Harness, ist selbst Open Source – ebenso wie das nur wenig schlechter abschneidende Hermes. Und Closed-Source Claude Code, das mit Abstand teuerste und auch schwächste, führt hier schlicht ein fremdes Modell durch eine Orchestrierung, die nicht für dieses Modell gebaut wurde. Die Lehre ist also nicht unbedingt „Open Source ist automatisch sparsamer und besser“ – auch eine offene Harness kann, eigene Erfahrung, hemmungslos Token verbrennen, wenn niemand sie darauf hin optimiert. Die wirkliche Lehre: Wer sein Harness einsehen, verstehen und anpassen kann, hat wenigstens die Chance, es zu optimieren. Bei einer Black Box bleibt einem nur, dem Hersteller zu vertrauen.
Quellen:
- Sayed Ali et al., „The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI“, arXiv:2607.06906, arxiv.org/abs/2607.06906
- Composio, X-Thread zu Kimi K3 über drei Harnesses, x.com/composio/status/2082452269522378858