Es ist ein Durchbruch, der die Fachwelt aufhorchen lässt: KI-Systeme haben begonnen, Aufgaben im FrontierMath-Test zu lösen – einem Benchmark, der speziell entwickelt wurde, um selbst die fortschrittlichsten Sprachmodelle an ihre Grenzen zu bringen. Der polnische Mathematiker Bartosz Naskręcki, einer der Problemautoren dieses anspruchsvollen Tests, dokumentierte kürzlich, wie ein modernes KI-Modell ein Forschungsproblem auf höchstem Niveau eigenständig lösen konnte. Doch was macht diesen Erfolg so besonders?
FrontierMath ist ein Benchmark-Projekt der Organisation Epoch AI, das Hunderte von unveröffentlichten, extrem anspruchsvollen Mathematik-Problemen umfasst. Die Architektur des Tests ist dabei bewusst vierstufig angelegt: Die Tiers 1–3 decken Bachelor- bis frühes Postdoc-Level ab und testen akademisches Grundvermögen. Tier 4 ist Forschungsniveau – ungelöste oder hochkomplexe Probleme. Die Besonderheit daran: Alle Aufgaben sind exklusiv für diesen Benchmark entwickelt worden. Sie existieren nicht im Internet, können nicht durch reines Training auf bestehenden Datensätzen beantwortet werden – sie erfordern echtes logisches Schlussvermögen und mathematische Kreativität. Mit Unterstützung von OpenAI entwickelt, zielt FrontierMath also darauf ab, zu unterscheiden zwischen echtem Verständnis und bloßem Mustererkennen.
Bartosz Naskręcki von der Adam-Mickiewicz-Universität in Poznań hat mit dem neuen GPT-5.4 ein Problem bearbeitet, das zu Tier 4 gehört. Es stammt aus der arithmetischen algebraischen Geometrie – einem Bereich, der selbst unter Mathematikern als anspruchsvoll gilt.
Das Setup war klar strukturiert: Das Sprachmodell (LLM) erhielt elf unabhängige Versuche unter identischen Bedingungen, um ein und dasselbe Forschungsproblem zu lösen. Die Aufgabe verlangte die Berechnung einer exakten großen ganzen Zahl durch eine Kette von sieben konzeptionellen Schritten (S1–S7), von denen jeder einzelne eine eigenständige mathematische Einsicht erfordert.
Das Ergebnis: Nur 1 von 11 Versuchen lieferte die korrekte Antwort.
Und doch liegt in diesem Ergebnis eine überraschende Erkenntnis: Über alle elf Versuche hinweg deckte das Modell den Großteil des Lösungswegs ab. Alle 11 Versuche erkannten die strukturelle Zerlegung des Problems, alle 11 identifizierten den Schlüssel-Invarianten, 8 von 11 formulierten die tiefe geometrische Struktur – aber nur ein einziger Versuch vollzog den finalen Berechnungsschritt korrekt. Die KI wusste im Grunde, was zu tun ist. Sie konnte es nur nicht zuverlässig zu Ende bringen.
Die Analyse offenbart mehrere bemerkenswerte Muster:
1. Tiefe schlägt Breite
Versuche, die 2–3 Strategien in die Tiefe verfolgten, schnitten deutlich besser ab als solche, die oberflächlich viele verschiedene Ansätze durchprobierten. Die generative Breite des Modells – also seine Fähigkeit, diverse Ansätze vorzuschlagen – ist eine Stärke. Aber ohne die Disziplin, einem Ansatz konsequent zu folgen, führt sie zu diffusen, niedrig bewerteten Versuchen.
2. Schlechte Selbsteinschätzung
Das Modell drückt seine Unsicherheit gleichförmig aus – unabhängig davon, ob seine Antwort korrekt ist oder nicht. Es „weiß nicht, was es nicht weiß.“ Das macht Konfidenz-Signale für die nachgelagerte Evaluation praktisch wertlos.
3. Das Last-Mile-Problem als zentrale Herausforderung
Die KI kann das richtige mathematische Gerüst aufbauen, aber die Lücke zwischen Framework und verifizierter Berechnung nicht zuverlässig schließen. Naskręcki sieht zwei mögliche Lösungswege: entweder (a) integrierte Verifikationstools (Code-Ausführung mit Feedback-Schleifen) oder (b) Zugang zu früheren erfolgreichen Versuchen.
Diese Ergebnisse sind für alle relevant, die KI in wissensintensiven Bereichen einsetzen – nicht nur in der Mathematik:
- KI ist kein Autopilot für komplexes Denken. Sie ist ein brillanter Brainstorming-Partner, der den Lösungsraum aufspannen kann – aber die finale Verifikation und Ausführung braucht nach wie vor menschliche Expertise oder robuste Tool-Integration.
- Mehrere Durchläufe erzeugen mehr als die Summe ihrer Teile. Die Tatsache, dass das kollektive Wissen aller 11 Versuche fast den gesamten Lösungsraum abdeckte, zeigt das Potenzial von Ensemble-Ansätzen und iterativen KI-Workflows.
- Vertrauen, aber verifizieren. Die schlechte Selbstkalibrierung der KI bedeutet: Man kann sich nicht auf die Konfidenz-Aussagen des Modells verlassen. Externe Verifikation ist unverzichtbar.
Naskręckis Studie zeigt eindrucksvoll, wo KI heute steht, wenn es um echte Forschungsmathematik geht: Sie versteht die Landschaft, kennt die Werkzeuge und kann den Weg skizzieren. Aber den letzten Schritt – die präzise, fehlerfreie Ausführung einer komplexen Berechnung – schafft sie nur in Ausnahmefällen.
Das ist kein Grund zur Enttäuschung. Es ist eine Roadmap. Denn wenn das Wissen bereits da ist und „nur“ die Ausführung fehlt, dann sind integrierte Verifikationstools, bessere Selbsteinschätzung und iterative Feedback-Mechanismen die logischen nächsten Schritte.
Die letzte Meile ist die härteste – aber sie ist auch die kürzeste.