Wer lokale KI betreibt, hat sich in den letzten Monaten immer nur gefragt: Welches aktuelle chinesische Open-Source-Modell passt auf meine Hardware? Dass die Antwort jetzt aus Santa Clara (USA) kommen könnte, hätten Sie vermutlich nicht erwartet. Dass NVIDIA die Spitze lokaler Prosumer-KI erklimmen würde, hat zumindest uns überrascht.
Eine andere Nachricht vorab, weil sie an einen früheren Beitrag anschließt: Beam von Reflection AI ist inzwischen auf Ollama verfügbar. Es läuft dort als beam:cloud, also nicht auf der eigenen Hardware, aber man kann es damit bereits ausprobieren. Wir haben das getan, und die ersten Eindrücke sind gut und überzeugend. Vielleicht mehr dazu, sobald wir länger damit gearbeitet haben.
Wichtig in diesem Zusammenhang noch: Beam gibt es bisher nur als großes Modell mit 501 Milliarden Parametern (23 Milliarden aktiv). Das lässt sich nicht mehr auf Prosumer-Hardware betreiben. Wir schätzen, dass man für die derzeit verfügbare Beam-Version 768 GB VRAM benötigt, zumindest bei sinnvoller Quantisierung und einem für die Code-Entwicklung hinreichenden Kontextfenster. Ob es ein kleineres Modell von Beam gibt oder geben wird, wissen wir nicht. Auf der Hugging-Face-Seite von Reflection haben wir bisher jedenfals noch nichts zu Beam gefunden.
Das eigentliche Thema heute ist aber die neue Nemotron-Generation 3.5 von NVIDIA. Mit Nemotron 3.5 erweitert NVIDIA seine Modellfamilie um zwei Varianten, die unterschiedliche Hardware-Welten bedienen.
- Nemotron 3.5 Super VL ist ein offenes Modell mit 120 Milliarden Parametern (12 Milliarden aktiv) und 1 Million Token Kontext. Es richtet sich an leistungsstarke Profi-Hardware, vom Rechenzentrum bis zu Workstations wie DGX Station oder RTX PRO.
- Nemotron 3.5 Bolt 74B-A9B ist die Variante für High-End-Consumer-Hardware. Dank nativer 2-Bit-Quantisierung passt es in 24 GB Speicher und läuft neben anderen Anwendungen. Es unterstützt llama.cpp, Ollama, LM Studio, Unsloth und vLLM. Das Kontextfenster beträgt 256k Token.
Ein dritter Kandidat, Bolt E4B mit nur 4 GB, soll laut NVIDIA am 23. Oktober folgen. Er zielt auf schnelle Sprachassistenten und eingebettete Systeme. Dieses Modell dürfte auch auf kleinen Grafikkarten laufen und sich deshalb für sehr viele Arbeitsplätze eignen.
Was die Zahlen sagen: Artificial Analysis (AA) bewertet Super VL mit 26,5 Punkten im Intelligence Index. Damit ist es zum Start das beste US-Open-Weight-Modell seiner Größenklasse, und es verdoppelt die Leistung seines Vorgängers. Dabei braucht es rund 60 Prozent weniger Ausgabe-Token pro Aufgabe. Die Geschwindigkeit ist bemerkenswert: Auf einem DeepInfra-Endpunkt mit NVFP4-Gewichten erreichte es etwa 630 Token pro Sekunde, schneller als jedes andere Modell mit mindestens 20 Punkten, das AA bei dieser Prompt-Länge gemessen hat. (Anmerkung: Die 630 tok/s stammen von Rechenzentrums-Hardware. Wir haben auf unserer Hardware 150 tok/s gemessen, was aber ebenfalls ein sehr guter Wert ist.) Nemotron Bolt kommt auf 21 Punkte und liegt damit nur anderthalb Punkte hinter dem deutlich größeren Nemotron 3 Ultra (550B), hat aber nur etwa ein Siebtel der Parameter und läuft laut NVIDIA auf einer 24-GB-Grafikkarte.
Unsere Erfahrungen: Beide Modelle laufen bei uns im KI-Cluster, und die Ergebnisse sind überzeugend. Auch in den Benchmarks, die wir selbst am liebsten heranziehen (arena.ai und livebench.ai). Bei vergleichbaren Hardware-Anforderungen liegt NVIDIA damit aus unserer Sicht erstmals ganz vorn – vor den chinesischen Modellen dieser Klasse. Das ist unsere Einschätzung nach eigenen Tests, kein abschließendes Urteil, und bei der Geschwindigkeit, mit der sich diese Rangliste verschiebt, vermutlich nur eine Momentaufnahme.
Das entscheidende Detail: Bildverarbeitung. Beide Modelle verarbeiten neben Text auch Bilder. Man kann ihnen Screenshots geben, die sie analysieren. NVIDIA nennt als Stärken Texterkennung, Tabellen, Diagramme und strukturierte Informationen in visuellen Dokumenten. Das Modell liest Webseiten, Grafiken und PDFs und zieht Schlüsse daraus. Das klingt nach einer Randnotiz, ist es aber nicht. Wer Agenten mit Fehlermeldungen, Dashboards oder Oberflächen arbeiten lässt, muss nicht mehr zwischen getrennten Systemen vermitteln. Der Kontext bleibt in einem Modell, und das Ganze bleibt im eigenen Haus. Gerade für Unternehmen mit Datenschutzanforderungen ist das ein starkes Argument.
Fazit: Die Gewichte, Datensätze und Trainingsrezepte sind offen, und die Modelle lassen sich auf eigene Daten nachtrainieren. Dass der Hardware-Hersteller die Modelle gleich passend zu seiner eigenen Hardware liefert, ist natürlich kein Zufall. Man darf das nüchtern sehen: ein Vorteil für Anwender, aber auch ein Stück Strategie, die wir hier im Blog schon öfter angesprochen haben. NVIDIA kann es letztlich egal sein, wer den Wettlauf gewinnt – Hauptsache, KI verbreitet sich stark, denn das treibt den Absatz der Hardware.
Ob NVIDIA diesen aktuellen Spitzenplatz im Bereich lokale KI halten kann, muss man erstmal sehen. Neue chinesische Modelle sind jedenfalls angekündigt, und die chinesischen KI-Unternehmen haben schon mehrfach bewiesen, zu welchen Spitzenleistungen sie fähig sind. Für Unternehmen, die lokale KI ernsthaft betreiben wollen, ist Nemotron 3.5 aber schon jetzt oft die bessere Wahl, wenn Hardware und Bildverarbeitung zusammenpassen müssen. Wenn Sie wissen möchten, wie das auf Ihrer Hardware aussieht, sprechen Sie uns gerne an.