Wann haben Sie zuletzt gelesen, dass eine KI schneller wurde, ohne dass dafür neue Hardware nötig war? Meistens lautet die Schlagzeile ja anders: noch ein Rechenzentrum, noch eine Milliardeninvestition, noch ein Rekord bei den Grafikkarten. Seit kurzem macht allerdings ein Projekt von sich reden, das die Frage anders stellt – mit einer Antwort, die einen genaueren Blick wert ist.
Wer Sprachmodelle auf eigener Hardware betreiben möchte, braucht eine sogenannte Inferenz-Engine. Bekannte Vertreter sind llama.cpp, vLLM und SGLang. Neu dazugekommen ist TensorFold: quelloffen (Apache-2.0), mit nativer Unterstützung für Apple Silicon (Metal) und NVIDIA-GPUs (CUDA) und einer OpenAI-kompatiblen Schnittstelle, sodass sich bestehende Werkzeuge ohne Umbau anbinden lassen. Laut GitHub-Seite ist die Engine in Zig geschrieben und braucht weder Python noch MLX. Hinter dem Projekt steht der britische Entwickler Ash Hart, inzwischen unterstützt von einer wachsenden Community.
Der Kern der Idee von TensorFold ist ein cleverer Ablauf beim Erzeugen der Antwort. Ein kleines Hilfsmodell schlägt mehrere Token auf einmal vor, das große Modell prüft diese Vorschläge gemeinsam und übernimmt nur, was es selbst auch gewählt hätte. Laut Projekt ist das Ergebnis dabei Byte für Byte identisch mit dem klassischen Vorgehen (was die wichtigste Verbesserung von TensorFold gegenüber dem schon länger bekannten Speculative Decoding ist). Hinzu kommen die Wiederverwendung bereits berechneter Prompts und die Möglichkeit, ein Modell über mehrere Maschinen zu verteilen.
Die Modelle bleiben dabei dieselben, es wird nicht noch stärker komprimiert. Auf der Projektseite stehen zum Beispiel 874 Token pro Sekunde für Nemotron 3.5 Lightning auf einer RTX PRO 6000 Blackwell. Unabhängige Besprechungen berichten von 1,6- bis 3-fachem Tempo gegenüber vLLM auf dem DGX Spark. Die Zahlen stammen vom Projekt selbst, Context Studios konnte sie auf eigener Hardware aber weitgehend nachvollziehen.
Ein so junges Projekt hat natürlich einige Grenzen. Bisher werden nur wenige Modellfamilien unterstützt. Außerdem liegt bei vielen gleichzeitigen Anfragen laut einem Community-Benchmark weiterhin vLLM vorn, nur bei einem einzelnen Nutzer dagegen TensorFold. Für den produktiven Einsatz heißt das: Versionen festlegen, Changelogs lesen, selbst messen. Ob sich das im geschäftlichen Einsatz lohnen könnte, hängt vor allem davon ab, ob eines der unterstützten Modelle die erforderliche Antwortqualität liefert. Ich wage außerdem zu sagen, dass die Antwortgeschwindigkeit für nur einen Menschen mit herkömmlichen Inferenz-Engines längst völlig ausreichend ist – aber bei vielen Nutzern gleichzeitig büßt TensorFold viel von seiner Leistung ein.
Doch die Ideen von TensorFold sind auch aus einem ganz anderen Grund bemerkenswert.
Ein Roboter bedient keine hundert Nutzer gleichzeitig. Er hat genau einen Strom von Eindrücken, auf den er sofort reagieren muss, mit begrenzter Energie und ohne Serverraum im Rücken. Gefragt ist dort nicht der maximale Durchsatz, sondern eine kurze Antwortzeit pro Token bei kleinem Energiebudget. Und genau dieses Profil – schnell für einen einzelnen Strom – steht bei TensorFold im Vordergrund.
Dass das Projekt auf seiner Startseite von der Vorbereitung eines Satelliteneinsatzes spricht, „where every hardware resource counts“, passt ins Bild. Ein Satellit ist im Grunde das extremste mobile System, das man sich denken kann. Ob TensorFold selbst jemals in einem Roboter läuft, kann man heute natürlich noch nicht sagen. Die Richtung scheint mir aber klar: Wer mobile KI will, braucht kleine, effiziente Modelle und Software, die aus jedem Watt das Maximum herausholt. Es ist wie so oft in der Softwareentwicklung: Neue Hardware bringt vielleicht das Doppelte, gut optimierte Software mitunter ein Vielfaches. Ich habe das in über fünfzig Jahren als Softwareentwickler oft erlebt. Und TensorFold zeigt gerade, dass das auch in der KI gilt.
Zum Weiterlesen
- TensorFold: Projektseite und How-to-Guide
- GitHub-Repository mit Releases und Changelog
- Community-Benchmarks mit nachvollziehbaren Messläufen
- StarLight, die Enterprise-Variante für Teams und Flotten
- Besprechung von Flowtivity und Besprechung von Context Studios (beide mit kritischen Anmerkungen)
- Diskussion im NVIDIA-Entwicklerforum mit Erfahrungsberichten vom DGX Spark