Beiträge

Veröffentlicht am

Europa und KI – Gipfel der Selbstsabotage?

https://www.tagesschau.de/wirtschaft/digitales/ki-europa-gipfel-100.html

Angesichts harter Konkurrenz von KI-Giganten aus den USA und China geht es Frankreichs Präsident Emmanuel Macron bei dem Gipfel auch darum, dass Europa bei der Zukunftstechnologie nicht den Anschluss verliert. Europa müsse im Herzen der KI-Revolution stehen, sie mitgestalten.

Vom 10. bis 11. Februar 2025 tagte der Artificial Intelligence Action Summit in Paris – ein Versuch der EU, sich als führender Player in der Künstlichen Intelligenz (KI) zu positionieren. Über 60 europäische Unternehmen wollten gemeinsam Innovation vorantreiben. Doch anderthalb Monate später zeigt sich: Die EU sabotiert sich mit ihrer eigenen Regulierung weiterhin selbst.

Das KI-Gesetz, seit Februar 2025 teilweise in Kraft, verbietet Systeme mit „unannehmbaren Risiken“ und schreibt strenge Schulungen für Mitarbeiter vor. Ab August 2025 drohen bei Verstößen Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes. Dazu kommt die DSGVO, die die Nutzung von Daten für KI-Training massiv erschwert. Unternehmen wie Meta ziehen sich zurück – die Datenschutzvorschriften seien zu restriktiv, heißt es. US-Vizepräsident J.D. Vance warnte auf dem Gipfel vor übermäßiger Regulierung, die Innovation ersticken könnte. Und er hat recht: Während die EU bürokratische Hürden aufbaut, machen andere Regionen längst einen Bogen um Europa.

Für Unternehmen wie unseres ist das ein Albtraum. Aktuell müssen wir Mitarbeiter schulen oder deren KI-Nutzung überwachen – alles, um Strafen zu vermeiden. Diese Vorgaben sind eine direkte Folge des KI-Gesetzes, und die Frustration wächst: In Diskussionen auf X wird die EU-Regulierung als „Bürokratie-Monster“ bezeichnet, das Innovation bremst. Die EU träumt von einem „globalen Zentrum für vertrauenswürdige KI“, aber die Realität sieht anders aus: Die Kombination aus KI-Gesetz und Datenschutzvorschriften lässt uns zurückfallen, während der Rest der Welt voranschreitet.

Die EU muss ihre Ambitionen mit der Realität abgleichen – weniger Bürokratie, mehr Pragmatismus. Sonst bleibt Europa im KI-Rennen ein Zuschauer, während andere die Führung übernehmen. Es bleibt spannend, ob die EU aus ihren Fehlern lernt – oder weiterhin über die eigenen Füße stolpert. Europa soll den Anschluss nicht verlieren? Die EU ist doch noch nicht einmal aus den Startlöchern herausgekommen! Ist das Hybris, Naivität oder einfach nur ein Mangel an Realismus?

Veröffentlicht am

Grok goes Telegram

https://techstory.in/elon-musks-grok-ai-expands-to-telegram-reaching-over-1-billion-users/

Elon Musk’s xAI has taken a significant step in expanding its advanced AI chatbot, Grok, by integrating it into Telegram. This marks Grok’s first major expansion beyond its original platform, X (formerly Twitter), and positions it as a key player in the competitive AI landscape. With over 1 billion monthly active users on Telegram, this move opens up new opportunities for both platforms while intensifying the ongoing battle for dominance in the AI industry.

Am 26. März 2025 hat xAI einen spannenden Schritt getan: Der KI-Chatbot Grok, entwickelt von Elon Musks Unternehmen, ist nun auch auf Telegram verfügbar. Telegram-Nutzer mit einem Premium-Abo können Grok unter @GrokAI direkt anschreiben und Fragen stellen – von alltäglichen Anliegen bis hin zu Programmieraufgaben. Das ist ein großer Schritt, denn Telegram hat kürzlich die Marke von 1 Milliarde monatlichen Nutzern überschritten und ist damit die drittgrößte Messaging-Plattform weltweit.

Für Unternehmen ist diese Entwicklung sehr interessant. KI-Chatbots wie Grok, die in Messaging-Apps integriert werden, bieten neue Möglichkeiten für Kommunikation und Produktivität. Sie ermöglichen es, direkt im Chat Antworten zu erhalten, ohne zwischen Apps wechseln zu müssen – ein Trend, den auch andere Anbieter wie OpenAI mit ChatGPT auf WhatsApp verfolgen. Allerdings ist Grok auf Telegram derzeit auf Basis-Funktionen beschränkt; erweiterte Features wie „DeepSearch“ bleiben zahlenden Nutzern von X oder der Grok-App vorbehalten.

Mit der bereits erfolgten Integration von Grok auf X mit ca. 600 Millionen Nutzern erreicht xAI damit nun global einen enorm großen Benutzerkreis. Dabei liegt der Fokus von Elon Musk, dem Chef von xAI, vor allem auf neutraler und objektiver Information. In einer Welt, in der die Lüge überall ist, sei das zwar schwierig, sagt Musk, aber er gibt nicht auf. Ein Mann auf einer Mission.

Grok selbst wirkt dabei wie ein superintelligentes Kind: voller Wissen, aber noch naiv gegenüber dem Bösen in der Welt. Sicher ist, KI-Chatbots wie Grok bringen uns einen Schritt näher an eine Zukunft, in der diese neue Technologie nahtlos in unseren Alltag integriert ist. Ich bin sehr gespannt, welche Fortschritte die Menschheit damit erzielen kann, insbesondere im Licht der mittlerweile einsetzenden Demokratisierung von KI.
Veröffentlicht am

Apples Überraschungswaffe

https://www.cultofmac.com/news/mac-studio-ai-performance

Apple is perceived as a laggard in the AI race — despite that, Apple has developed the single best computer for AI research. The new Mac Studio with an M3 Ultra chip, which supports up to 512 GB of unified memory, is the easiest and cheapest way to run powerful, cutting-edge LLMs on your own hardware.

The latest DeepSeek v3 model, which sent shockwaves through the AI space for its comparable performance to ChatGPT, can run entirely on a single Mac, Apple AI researchers revealed on Monday.

Am 9. März 2025 hat Apple mit dem neuen Mac Studio für Aufsehen gesorgt – und das aus gutem Grund. Laut einem Bericht von „Cult of Mac“ ist das Gerät mit dem M3 Ultra Chip und bis zu 512 GB Unified Memory in der Lage, große Sprachmodelle wie DeepSeek V3 lokal auszuführen. Dieses Modell, das in der KI-Welt für seine, mit ChatGPT vergleichbare, Leistung viel Aufsehen hervorgerufen hat, läuft auf einem einzigen Mac Studio mit über 20 Token pro Sekunde – eine sehr gute und alltagstaugliche Leistung, die bisher teure Cloud-Lösungen oder Nvidia-Datenzentren erfordert hat.

Für Unternehmen ist das eine spannende Entwicklung. Lokale KI-Verarbeitung bietet nicht nur höhere Datensicherheit, sondern auch schnellere Verarbeitung ohne Abhängigkeit von Cloud-Diensten. Der Mac Studio mit M3 Ultra mit 512 GB Unified Memory, der bei ca. 12.000 € liegt, ist zudem eine kostengünstige Alternative zu Nvidia-Hardware mit ähnlichem Speicher, die oft teurer ist. Besonders beeindruckend: Drei Mac Studios, über Thunderbolt 5 verbunden, können sogar das noch größere DeepSeek R1-Modell mit 670 Milliarden Parametern betreiben – ein Durchbruch, der die Dominanz von Cloud-Anbietern wie OpenAI herausfordert.

Doch Apple ist nicht allein: Nvidia hat mit Project DIGITS, das im Mai 2025 erscheinen soll, eine ähnliche Vision. Dieses Gerät, ausgestattet mit dem GB10 Grace Blackwell Superchip und 128 GB Unified Memory, kann Modelle mit bis zu 200 Milliarden Parametern lokal verarbeiten – und das für nur 3.000 US-Dollar. Beide Ansätze zeigen, wie wichtig Unified Memory für die Zukunft der KI ist: Es ermöglicht effiziente, sichere und kostengünstige Verarbeitung direkt am Arbeitsplatz.

Als Programmierer sehe ich hier großes Potenzial. Modelle wie DeepSeek V3 lokal zu testen, ohne auf Cloud-Lösungen angewiesen zu sein, könnte unsere Workflows beschleunigen und die Kosten senken. Gleichzeitig beweisen Apple und Nvidia, dass der Westen mit China – wo Modelle wie QwQ-32B oder Manus dominieren – mithalten kann. Und es wird spannend, wie diese Entwicklung sich auf die großen Cloud-Anbieter auswirken wird.

Veröffentlicht am

Ein Ring, sie alle zu verstehen

https://www.heise.de/news/KI-Ring-uebersetzt-Gebaerdensprache-in-Echtzeit-10320209.html

Ein von der Cornell-Universität in den USA entwickelter KI-Ring könnte Gehörlosen künftig eine mobile Lösung an die Hand geben, um Eingaben in Computern und Smartphones zu tätigen. Er soll auf einer Konferenz in Japan Ende April das erste Mal in Aktion gezeigt werden.

Künstliche Intelligenz (KI) wird oft mit Skepsis betrachtet – und ja, wie jede Technologie kann sie missbraucht werden. Doch die positiven Möglichkeiten sind enorm, zum Beispiel wenn es darum geht, benachteiligten Menschen zu helfen. Ein beeindruckendes Beispiel dafür ist der Gehörlosen-Ring, der am 17. März 2025 von der Cornell-Universität in den USA vorgestellt wurde.

Dieses innovative Gerät nutzt KI, um Gebärdensprache in Echtzeit in Text umzuwandeln, so dass Gehörlose Computer und Smartphones einfacher bedienen können. Im Vergleich zu früheren Lösungen wie Handschuhsensoren ist der Ring mobil und unkompliziert – ein Schritt hin zu mehr Barrierefreiheit.

Der Gehörlosen-Ring erinnert an die Botschaft der Rockoper Tommy von The Who: „Hear me“ – eine Technologie, die Gehörlosen Gehör verschafft. Doch er ist nicht die einzige KI-Innovation, die das Leben von Menschen mit Hörbeeinträchigung erleichtern will. Auch das EU-Projekt aiD nutzt generative KI, um Videos in Gebärdensprache aus Texten zu erstellen. Ein Avatar übersetzt Inhalte automatisch – etwa für Unterricht oder Reiseankündigungen – und ermöglicht so eine bessere Kommunikation zwischen Gehörlosen und Hörenden.

Auch für Menschen mit Sehbehinderungen gibt es Fortschritte: KI-gestützte Bildbeschreibungstools, wie sie von Microsoft Seeing AI oder Google Chrome angeboten werden, erstellen automatisch Alt-Texte für Bilder. Diese Technologie macht digitale Inhalte zugänglich, auch wenn sie noch nicht perfekt ist. Dennoch hilft sie Unternehmen, große Bilddatenbanken barrierefrei zu gestalten – ein Vorteil für eCommerce und Bildung.

Diese Beispiele zeigen, dass KI für die Menschheit auch große Hoffnungen erfüllen kann. Die Befürchtungen vor ihrem destruktiven Potential in der Hand böser Menschen sollte man durchaus ernst nehmen, aber gleichzeitig die Hoffnung auf eine bessere Welt niemals verlieren, finden wir. KI bietet eben z.B. auch Lösungen, um Barrieren abzubauen und Menschen mehr Teilhabe zu ermöglichen. Es bleibt spannend, wie sich diese Technologien weiterentwickeln – und sie sind ein Grund, optimistisch in die Zukunft zu blicken.

Veröffentlicht am

Gemma 3: Googles neues Meisterwerk im KI-Rennen

https://blog.google/technology/developers/gemma-3/

Today, we’re introducing Gemma 3, a collection of lightweight, state-of-the-art open models built from the same research and technology that powers our Gemini 2.0 models. These are our most advanced, portable and responsibly developed open models yet. They are designed to run fast, directly on devices — from phones and laptops to workstations — helping developers create AI applications, wherever people need them. Gemma 3 comes in a range of sizes (1B, 4B, 12B and 27B), allowing you to choose the best model for your specific hardware and performance needs.

Am 12. März 2025 hat Google sein neuestes Open-Source-KI-Modell Gemma 3 vorgestellt, das die KI-Welt in Staunen versetzt. Dieses Modell, eine Weiterentwicklung der Gemini-Reihe, bringt multimodale Fähigkeiten (Text, Bild, Ton) mit sich und ist für seine Effizienz bekannt. Es ist in vier Größen verfügbar – von 1 Milliarde bis 27 Milliarden Parametern – und läuft bereits auf einer einzigen GPU oder TPU, was es für Unternehmen und Entwickler zugänglich macht.

Besonders beeindruckend ist die technische Leistung: Gemma 3 bietet ein Kontextfenster von 128.000 Token und unterstützt über 140 Sprachen, was es zu einem vielseitigen Werkzeug macht. Laut Google schneidet es in Benchmarks wie LMArena besser ab als Modelle wie Llama-405B oder DeepSeek-V3. Für uns als Unternehmen ist wichtig, dass Gemma 3 auch in der größten Variante auf Hardware mit 24 GB VRAM stabil und schnell läuft – eine erschwingliche Option im Vergleich zu teureren Lösungen.

Als Teil der Test-Community kann ich die Begeisterung bestätigen. Die Geschwindigkeit und Genauigkeit von Gemma 3 sind sensationell, und die Rückmeldungen meiner Kollegen im Unternehmen sind ebenfalls positiv. Wir nutzen es bereits für Textanalyse, Übersetzungen und kreative Projekte, mit Ergebnissen, die unsere Erwartungen übertreffen. Die Möglichkeit, es lokal mit Tools wie Ollama einzusetzen, bietet zudem Datensicherheit, ein Thema, das in Zeiten wachsender globaler Konkurrenz – etwa durch chinesische Modelle wie das ebenfalls kürzlich neu vorgestellte Manus – an Bedeutung gewinnt.

Gemma 3 zeigt, dass der Westen im KI-Rennen mit innovativen Ansätzen mithalten kann. Für Unternehmen bietet es Chancen, KI effizienter und kostengünstiger zu integrieren. Wer mehr Details erfahren möchte, findet sie auf der offiziellen Seite. Es bleibt spannend, wie sich diese Technologie weiterentwickelt.

Veröffentlicht am

Matt Williams: Der Technovangelist, der die KI-Welt begeistert

Matt Williams, besser bekannt als Technovangelist, ist ein einflussreicher Influencer in der Welt der Künstlichen Intelligenz. Mit seinem YouTube-Kanal und seiner Präsenz auf X inspiriert er Tausende, die sich für KI und Technologie begeistern. Williams war Mitgründer des Open-Source-Projekts Ollama, das lokale KI-Modelle zugänglich macht, und ist ein gefragter Redner auf Konferenzen wie DevOps Days und DockerCon.

Seine Inhalte sind vielfältig: Auf YouTube teilt er Tipps zu KI-Tools, wie kürzlich in einem Video, in dem er zeigt, wie man mit KerligAI und Ollama negative Kommentare in Wachstumschancen verwandelt. Auf X diskutiert er aktuelle Entwicklungen, etwa seine Tests mit dem neuen KI-Modell Gemma3 am 12. März 2025. Seine Leidenschaft für Gadgets und KI zeigt sich auch auf seiner Website, wo er technische Einblicke und Projekte wie Ollama vorstellt.

Als Programmierer schätze ich Williams’ Fokus auf praktische Anwendungen. Seine Arbeit mit Ollama hat mir geholfen, KI lokal zu testen, ohne auf teure Cloud-Lösungen angewiesen zu sein. Besonders beeindruckend ist, wie er komplexe Themen wie Reinforcement Learning oder lokale LLMs (Large Language Models) verständlich macht – ein Talent, das ihn von anderen Influencern abhebt.

Matt Williams ist ein Vorbild für alle, die KI nicht nur verstehen, sondern auch anwenden möchten. Schauen Sie bei ihm vorbei – vielleicht inspiriert er Sie genauso wie mich!

Veröffentlicht am

Die KI-Welt hat einen neuen Star

https://qwenlm.github.io/blog/qwq-32b/

Scaling Reinforcement Learning (RL) has the potential to enhance model performance beyond conventional pretraining and post-training methods. Recent studies have demonstrated that RL can significantly improve the reasoning capabilities of models. For instance, DeepSeek R1 has achieved state-of-the-art performance by integrating cold-start data and multi-stage training, enabling deep thinking and complex reasoning.

Our research explores the scalability of Reinforcement Learning (RL) and its impact on enhancing the intelligence of large language models. We are excited to introduce QwQ-32B, a model with 32 billion parameters that achieves performance comparable to DeepSeek-R1, which boasts 671 billion parameters (with 37 billion activated). This remarkable outcome underscores the effectiveness of RL when applied to robust foundation models pretrained on extensive world knowledge.

Am 5. März 2025 stellte Alibabas Qwen-Team das Open-Source-Modell QwQ-32B vor. Mit nur 32 Milliarden Parametern konkurriert es mit Giganten wie DeepSeek-R1 (671 Milliarden Parameter) und übertrifft sogar OpenAIs o1-mini in Benchmarks wie Mathematik und Programmieren. Die enorme Leistung erzielt QwQ durch weiterentwickelte Software, und das Modell läuft flott bereits auf (für KI-Verhältnisse) kleiner Hardware (24GB VRAM).

Programmierer wissen es, verbesserter Code schlägt meistens verbesserte Hardware. Mit optimierten Abläufen, performanteren Algorithmen und schlankeren Datenstrukturen lassen sich oft drastische Performance-Steigerungen erzielen, weit über das hinaus, was (nur) neue Hardware bieten würde. Mir scheint, in der KI-Welt wird bisher bei den Platzhirschen zu viel auf immer noch größere und leistungsstärkere Hardware gesetzt, während das Potential, das in optimiertem Code liegt, ein wenig zu kurz kommt. Tja. Es stimmt mich schon etwas traurig, dass offenbar die Chinesen beginnen, auch in der Software-Entwicklung den Westen abzuhängen.

Veröffentlicht am

Microsoft Dragon Copilot: Mehr Zeit für Patienten durch KI

Microsoft Corp. is unveiling Microsoft Dragon Copilot, the first AI assistant for clinical workflow that brings together the trusted natural language voice dictation capabilities of DMO with the ambient listening capabilities of DAX, fine-tuned generative AI and healthcare-adapted safeguards. Part of Microsoft Cloud for Healthcare, Dragon Copilot is built on a secure modern architecture that enables organizations to deliver enhanced experiences and outcomes across care settings for providers and patients alike.

Satya Nadella, CEO von Microsoft, hat sich kürzlich beschwert, dass KI viel kostet, aber ökonomisch bisher wenig bringt. Er wünscht sich endlich Anwendungen für KI, die tatsächlich einen wirtschaftlichen Aufschwung bewirken. Die Idee, Ärzte von den umfangreichen Dokumentationsarbeiten zu entlasten, geht wohl in diese Richtung. Mir persönlich wäre es auch lieber, ein Arzt hätte mehr Zeit für mich, anstatt in Papierkram zu ertrinken.

Veröffentlicht am

DeepSeek R1 ohne Zensur

https://www.perplexity.ai/de/hub/blog/open-sourcing-r1-1776

DeepSeek-R1 is a fully open-weight large language model (LLM) achieving close performance to the state-of-the-art reasoning models like o1 and o3-mini. A major issue limiting R1’s utility is its refusal to respond to sensitive topics, especially those that have been censored by the Chinese Communist Party (CCP).

Für viele Anwendungsfälle ist es nicht ausschlaggebend, aber das sehr leistungsfähige KI-Modell DeepSeek R1 ist massiv zensiert für Themen, die die politische Führung von China als heikel erachtet. Die KI-Suchmaschine perplexity.ai hat deshalb nun als Open Source eine nachtrainierte Version herausgebracht, aus der die Zensur entfernt ist. Da es anzunehmen ist, dass die ursprüngliche Version keine westliche Zensur enthalten hat, ist dieses Modell von Perplexity vielleicht sogar das unzensierteste aktuell verfügbare.

Allerdings hat Elon Musk neulich darauf hingewiesen, dass es, weil weltweit in allen für Training verfügbaren Daten bereits heftige Verfälschungen enthalten sind, auch und gerade durch staatliche Medien, eine sehr große Herausforderung ist, eine KI neutral und objektiv zu trainieren. Wenn die KI nur mit wokem Quatsch gefüttert wird, kann sie auch nur Quatsch antworten, anders gesagt.

Sie können Perplexity-R1-1776 bei Ollama herunterladen und auf Ihrem eigenen KI-Server ausführen. Kleiner Wermutstropfen: Das kleinste verfügbare Modell ist eine 70b Version, Sie benötigen also 48GB VRAM um es im Grafikkartenspeicher ausführen zu können. (Die derzeit preisgünstigste Variante dafür sind übrigens 2x AMD Radeon RX 7900 XTX 24GB in einem Dual-GraKa-Setup).

Veröffentlicht am

Eigene KI-Bilder erzeugen

Nachdem Sie eine KI auf Ihrem Rechner lokal zum Laufen gebracht haben, möchten Sie vielleicht auch selbst KI-Bilder erzeugen können?

Nun, da gibt es etwas Neues und es kommt aus dem Schwarzwald. Flux.1-schnell ist ein Open Source (Apache2-Lizenz) Modell des deutschen Unternehmens Black Forest Labs. In Windeseile hat es die aktuelle Krone der KI-Bildgeneratoren errungen. Es ist sehr schnell, wie der Name schon sagt, und generiert beeindruckende Bilder.

Es gibt davon auch eine sog. Dev-Variante, die ist nur für nicht-kommerzielle Nutzung freigegeben. Während aber die Schnell-Variante nur eingeschränkt modifiziert werden kann, weil es sich um ein hoch optimiertes Modell handelt, stehen für die Dev-Variante sehr viele Möglichkeiten des Feintunings zur Verfügung. Es gibt deshalb für Dev eine rege Szene von Enthusiasten, die alle möglichen Anpassungen und Modifikationen mit unterschiedlichen Bildstilen für das Dev-Modell erstellen und teilen.

Außerdem sind noch Pro-Varianten verfügbar, die sind zahlungspflichtig, und eine solche betreibt übrigens unter anderem X/Twitter. Wenn Sie zum Beispiel Grok um ein Bild fragen, wird eine Flux-Pro-Engine aus dem Schwarzwald verwendet.

Aber schon die Ergebnisse von Schnell und Dev sind bereits außerordentlich gut und lohnen allemal, sich das auf dem eigenen Rechner zu installieren. Dazu braucht man noch nicht einmal einen superstarken Rechner, ein einigermaßen brauchbarer Gaming-PC reicht. Mit einem Klick auf „Weiterlesen“ finden Sie eine Anleitung, wie Sie das auf dem eigenen Rechner umsetzen können.

(Beispielbilder am Schluss des Beitrags)

„Eigene KI-Bilder erzeugen“ weiterlesen

Veröffentlicht am

Tipps zur Einrichtung eines lokalen KI-Servers

In Ergänzung zu unserem vorangegangenen Beitrag haben wir noch ein paar Tips für Sie zur Installation eines eigenen KI-Chatbots.

Im Gegensatz zur verlinkten Anleitung bei Hetzner würden wir Ihnen betreff Open WebUI, falls Sie keine Docker-Installation wünschen, empfehlen, nicht mit git, sondern mit pip zu installieren. Die Docker Installation ist wohl am einfachsten und funktioniert auch einwandfrei. Vielleicht will man jedoch mehr Einblick in die Installation. Die hierzu im Artikel von Hetzner als Alternative vorgeschlagene git-Installation funktioniert zwar auch, aber spätestens beim ersten Update scheitert man unserer Erfahrung und das endet in einer Neu-Installation – bei der natürlich alle Einstellungen etc. verlorengehen. Hat man jedoch mit pip installiert, ist eine neue Open WebUI Version kein Problem.

Falls Sie Open WebUI mit pip installieren möchten, sollten Sie Python <=3.11 verwenden. Sollte Ihr System ein neueres Python haben, können Sie die V3.11 nachinstallieren mit „apt [bzw. dnf etc.] install python3.11″ und pip 3.11 mit „python3.11 -m ensurepip –upgrade“. Anschließend verwenden Sie  „python3.11 <script.py>“ und „pip3.11 <befehl>“ um die 3.11 Version auszuführen.

Zum Speicherbedarf. Ein System mit >= 12 GB VRAM kann Modelle bis 32b im Speicher der Grafikkarte ausführen. Falls das Modell in der Grafikkarte ausgeführt werden kann, ist das erheblich schneller als auf dem Mainboard. Und 32b ist bereits ein sehr gutes Modell mit hoher Qualität – insbesondere die für Programmierer sehr interessante, aus dem Vollmodell destillierte, Variante Qwen2.5-coder:32b hat sogar maximal 32b Parameter („b“ steht für englisch Billions, also Milliarden Parameter), kann also bereits mit einer relativ erschwinglichen Gamer-GPU in deren Speicher laufen.

Interessant i.d.Zshg. ist außerdem, um eines der großen bzw. vollständigen Modelle auszuführen, braucht man nicht unbedingt einen unbezahlbar teuren Grafikkartenpark. Auf einem System mit 512 GB RAM und einer hinreichend starken CPU lassen sich die vollen Modelle mit ca. 760b auch auf dem Mainboard einigermaßen performant ausführen, solange es nur um Inference (Antworten auf Fragen) geht. Klar ist das etwas langsam, aber als alleiniger Anwender erträglich und brauchbar. Training wäre allerdings eine ganz andere Sache …

Veröffentlicht am

Eigenen KI-Chatbot hosten

https://community.hetzner.com/tutorials/ai-chatbot-with-ollama-and-open-webui/de

Dieses Tutorial erklärt, wie man auf einem Server mit Ubuntu oder Debian Ollama installiert und Sprachmodelle hinzufügt. Es wird auch gezeigt, wie man mit Open WebUI eine Chat-Benutzeroberfläche einrichtet und wie man ein eigenes Sprachmodell erstellt.

Möchten Sie einen eigenen KI-Chatbot hosten? Mit dieser großartigen Anleitung ist es sehr einfach und Sie erhalten Zugriff auf eine Vielzahl von KI-Modellen, einige davon gegenüber OpenAI deutlich überlegen. Das OpenAI-Modell gibt es aber dort nicht, das ist nicht OpenSource, obwohl Altman das versprochen hatte (genau das ist übrigens der Kern des Streits zwischen Musk und Altman, nebenbei).

Einen solchen Chatbot mit Web-UI zu hosten geht auch auf dem eigenen Rechner, und der Zugriff auf die Ollama Engine via Browser ist deutlich komfortabler.

Veröffentlicht am

Open Source KI

https://github.com/deepseek-ai/DeepSeek-R1

We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a preliminary step, demonstrated remarkable performance on reasoning. With RL, DeepSeek-R1-Zero naturally emerged with numerous powerful and interesting reasoning behaviors. However, DeepSeek-R1-Zero encounters challenges such as endless repetition, poor readability, and language mixing. To address these issues and further enhance reasoning performance, we introduce DeepSeek-R1, which incorporates cold-start data before RL. DeepSeek-R1 achieves performance comparable to OpenAI-o1 across math, code, and reasoning tasks.

Die chinesische Entwicklung des KI-Modells „DeepSeek“ sendet Schockwellen durch die Branche und lässt alle Tech-Aktien abstürzen, weil es viel günstiger ist als die Konkurrenz und deutlich weniger Trainingsaufwand benötigt. Im Artikel von Heise dazu kommt jedoch mMg. zu kurz, dass das Modell Open Source ist – ein Versprechen, das auch Sam Altman für OpenAI gegeben hatte, aber bis heute nicht eingelöst hat. In Verbindung mit den weit geringeren Hardware-Anforderungen kann man diese KI also auf einigermaßen leistungsfähiger Hardware selbst hosten.

Veröffentlicht am

Auch Giganten können über die eigenen Füße stolpern

https://www.zerohedge.com/markets/intel-brink-death-due-culture-rot-says-scathing-report

Intel’s board is incompetent and its horrible decisions over the decades are going to push it towards death. The decision to fire Pat Gelsinger, put in charge a CFO + career sales and marketing leader, and cut spending on fabs in favor of a renewed focus on x86 is an example of the incompetence that will end Intel. Fabricated Knowledge wrote The Death of Intel: When Boards Fail recently explaining how board issues around leadership and planning have failed the company. Simply put, the Intel board has escaped blame for over a decade of failures. This decade of failure culminates in the ultimate mistake: dismissing CEO Pat Gelsinger.

„Überraschenderweise“ sind Innovation und Qualität eben doch tragfähigere Strategien als Knebelverträge, Monokultur und Andienen an realitätsverleugnenden Zeitgeist. „Diversity, Inclusion and Equity“ (DIE) wurde mittlerweile umbenannt in DEI. Es ist wohl mittlerweile zu offensichtlich geworden, was diese Schlagwortsammlung in Wahrheit für Unternehmen anrichtet. Siehe auch Intel’s Commitment to Sustainability and Diversity und What happened to Intel?

Veröffentlicht am

Blick in die Glaskugel

https://www.pcwelt.de/article/2526399/was-bringt-das-jahr-2025-fuer-linux.html

Die Auswahl der nachfolgenden Trends, Hardwareprodukte und Softwareentwicklungen ist ein bunter Mix, der den Fokus auf Linux-Nutzung setzt. Daneben werden aber auch andere IT-Ereignisse bei Hardware und Software berücksichtigt, die den künftigen IT-Alltag beeinflussen oder prägen werden.

PC-WELT mit einem sehr interessanten Überblick für Neuerungen bei Hard- und Software, die 2025 in der Informationstechnologie vermutlich wichtig sein werden. Mit CPU und GPU ist es wohl bald nicht mehr getan, es muss künftig auch eine NPU in den Rechner.