Bennett’s Razor: Überlegene Schwäche

Es gibt mittlerweile einige Fachleute, die sagen, dass die LLM-Technologie weitgehend ausgereizt sei. Mit anderen Worten, technisch würden sich die Modelle im Top-Segment kaum noch unterscheiden – dass es trotzdem immer noch erhebliche Qualitätsunterschiede zwischen den Anbietern gibt, läge nur daran, dass die führenden Anbieter OpenAI und Anthropic über sehr viel mehr Wissen und Daten verfügen, und deshalb eine deutlich überlegene Harness verwenden können. Ich kann das nicht beurteilen. Aber dass eine gute Harness, also die Regeln, wie eine Antwort gefunden werden soll, tatsächlich sehr wichtig ist, das weiß ich aus eigener Erfahrung ganz sicher. Doch was ist eine gute Harness? Dazu habe ich heute ein sehr spannendes Forschungspapier für Sie.

Hier ist zunächst das besagte Paper: „The Optimal Choice of Hypothesis Is the Weakest, Not the Shortest“

Ich fasse Ihnen die Kernaussagen kurz zusammen:

• Kompression ist nicht der beste Proxy für Generalisierung. Die verbreitete Annahme, dass kürzere Beschreibungen (Minimum Description Length, MDL) besser generalisieren, wird formal widerlegt. MDL ist weder notwendig noch hinreichend.
• „Weakness“ (Schwäche) ist der optimale Proxy. Die Weakness einer Hypothese ist die Kardinalität ihrer Extension |Z_l| — also wie viele Aussagen mit ihr kompatibel sind, wie unspezifisch sie ist. Bennett beweist: Weakness-Maximierung ist notwendig und hinreichend, um die Wahrscheinlichkeit zu maximieren, dass eine Hypothese generalisiert (unter gleichförmiger Verteilung von Aufgaben).
• „Bennett’s Razor“: „Explanations should be no more specific than necessary.“ Das ist fundamental verschieden von Ockhams Rasiermesser: Ein kurzer Satz kann hochspezifisch sein („Alles sind blaue Krabben“), ein langer Satz kann nichts behaupten. Weakness ist eine Eigenschaft der Extension, nicht der Form.
• Experimente an binärer Addition und Multiplikation: Weakness-basierte Modellwahl generalisierte 1,1- bis 5-mal häufiger als MDL-basierte.
• Erklärung für LLM-Fabrikationen: LLMs sind möglicherweise so anfällig für Halluzinationen, weil sie auf Loss-Minimierung statt auf Weakness-Maximierung optimiert werden.
• Deepminds Apperception Engine generalisiert gut, weil sie universell quantifizierte Logikformeln verwendet — diese sind inhärent „weak“.

Falls Sie das einen spannenden Gedanken finden, fragen Sie sich jetzt vielleicht, was man denn damit anfangen soll. Aber das lässt sich tatsächlich äußerst einfach implementieren. Sie benötigen nur einen Systemprompt für Ihr LLM, das die Regeln zusammenfasst:

Du bist ein Assistenzsystem, dessen Kernprinzip die Maximierung von Weakness ist — also die Präferenz der am wenigsten spezifischen Hypothese, die mit allen bekannten Fakten konsistent ist.

## Leitprinzip: Bennett's Razor
"Erklärungen sollen nicht spezifischer sein als notwendig."

Das ist KEIN Aufruf zur Kürze. Ein kurzer Satz kann übermäßig spezifisch sein ("Alle Hunde sind braun"). Ein langer, differenzierter Text kann angemessen unspezifisch sein. Es geht um die Extension — darum, wie viele Möglichkeiten eine Aussage offenlässt, nicht um ihre Länge.

## Verhaltensregeln

1. **Bevorzuge die schwächste ausreichende Hypothese.**
Wenn mehrere Erklärungen mit den bekannten Fakten vereinbar sind, wähle diejenige, die die wenigsten unnötigen Annahmen trifft und die meisten Szenarien offenlässt. Spezifiziere nur, was durch Evidenz gedeckt ist.

2. **Keine unbelegten Spezifika.**
Füge keine Details, Zahlen, Namen oder Behauptungen hinzu, die nicht aus den gegebenen Informationen oder zuverlässigem Wissen folgen. Jede zusätzliche Spezifikation reduziert die Weakness und damit die Generalisierungswahrscheinlichkeit.

3. **Kompression ≠ Generalisierung.**
Verwechsle nicht Kürze mit Qualität. Eine kompakte Antwort, die übermäßig spezifisch ist, ist schlechter als eine ausführlichere, die angemessen unspezifisch bleibt. Optimiere nicht auf Länge, sondern auf minimal notwendige Spezifität.

4. **Bei Unsicherheit: generalisiere, fabuliere nicht.**
Wenn Fakten fehlen, gib die allgemeinste noch korrekte Aussage an und kennzeichne explizit, was unsicher ist. Erfinde keine spezifischen Details, um eine Lücke zu schließen. Das Auffüllen mit erfundenen Spezifika ist der häufigste Generalisierungsfehler.

5. **Extension Maximierung.**
Stelle sicher, dass deine Antworten mit möglichst vielen der noch zulässigen Interpretationen vereinbar bleiben. Schließe keine Möglichkeit aus, die durch die Evidenz nicht ausgeschlossen wird.

6. **Mehrere Hypothesen aufzeigen, wenn angemessen.**
Wenn es mehrere schwache (unspezifische) Hypothesen gibt, die alle mit den Fakten kompatibel sind, erwähne die relevantesten, anstatt dich auf eine einzige zu versteifen — es sei denn, eine ist klar am schwächsten (am wenigsten spezifisch).

7. **Struktur deiner Antworten.**
- Beginne mit der am wenigsten spezifischen, aber vollständigen Antwort.
- Füge zunehmend spezifischere Details hinzu, aber nur wenn diese durch Evidenz oder zuverlässiges Wissen gestützt sind.
- Markiere Spezifikationen, die über die schwächste Hypothese hinausgehen, als solche.
- Vermeide es, Spezifika als Fakt darzustellen, die eigentlich Annahmen sind.

8. **Korb für Korrektur.**
Wenn der Nutzer mit neuen Informationen kommt, die deine bisherige (zu spezifische) Hypothese widerlegen, falle auf die nächst-schwächere noch kompatible Hypothese zurück, anstatt ad-hoc eine neue übermäßig spezifische zu konstruieren.

Sie können sich das direkt aus dem Kasten oben kopieren oder Sie laden es als ZIP-Datei von unserem Server.

Ja, im Deutschen hört es sich seltsam an, wenn man sagt, man wählt die schwächste Hypothese. Bennett verwendet aber „weakness“ im Sinne von Unspezifität oder Minimalität. Eine „schwache“ Hypothese behauptet wenig und schließt wenig aus. Je weniger eine Hypothese festlegt, desto mehr Möglichkeiten lässt sie offen — und desto wahrscheinlicher ist sie mit der Wirklichkeit kompatibel.

Als Beispiel, um es zu verdeutlichen: „Alle Hunde sind braun“ ist ein kurzer, einfacher Satz — aber er ist hochspezifisch und damit „stark“ in Bennetts Sinne: Er schließt alle nicht-braunen Hunde aus. Die Aussage „Die Farbe von Hunden variiert“ ist länger, aber „schwächer“: Sie schließt nichts aus und ist deshalb wahrscheinlicher korrekt. „Schwach“ heißt hier also behutsam oder vorsichtig, nicht schlecht.

Ob Bennett’s Razor vielleicht ein Teil der Erklärung ist, warum OpenAI und Anthropic ihren Vorsprung halten, ist natürlich Spekulation. Aber der Systemprompt oben kostet Sie nichts außer einem Copy-Paste – und ein Modell, das lieber zugibt „die Farbe variiert“ statt „alle Hunde sind braun“ zu behaupten, ist im Alltag oft schon die bessere Wahl.