Schlagwort: Coding

Veröffentlicht am

KI für alle: Von Georgi Gerganovs Vision zu Microsofts bitnet.cpp

Die Zukunft der KI liegt nicht nur in den Händen der Tech-Riesen – sondern auch in denen von Entwicklern wie Georgi Gerganov, dem Mastermind hinter Ollama. Gerganov, ein bulgarischer Programmierer, hat mit seinem Framework llama.cpp die Grundlage dafür geschaffen, dass leistungsstarke Sprachmodelle (LLMs) lokal auf normaler Hardware laufen können. Tools wie Ollama, die auf llama.cpp aufbauen, ermöglichen es, Modelle wie LLaMA oder Mistral auf einem MacBook oder Linux-Server zu betreiben – ohne teure GPUs oder Cloud-Infrastruktur. Das ist ein Gamechanger für Unternehmen, die Wert auf Datenschutz und Unabhängigkeit legen. Gerganovs Vision: KI für alle zugänglich machen, nicht nur für die, die sich High-End-Hardware leisten können.

In die gleiche Kerbe schlägt eine neue Entwicklung von Microsoft: bitnet.cpp, ein Open-Source-Framework für 1-Bit-LLMs, das Inferenz auf CPUs revolutioniert. Bitnet.cpp nutzt 1-Bit-Quantisierung, um Modellgröße und Rechenaufwand drastisch zu reduzieren – und das bei beeindruckender Leistung. Ein 100-Milliarden-Parameter-Modell läuft auf einer einzigen CPU mit 5–7 Tokens pro Sekunde, und das mit bis zu 82 % weniger Energieverbrauch als herkömmliche Frameworks. Die neueste Veröffentlichung, BitNet b1.58 2B4T, zeigt, dass 1-Bit-Modelle in Effizienz und Genauigkeit mit Full-Precision-Modellen mithalten können.

Veröffentlicht am

Firebase Studio – Innovation oder Abhängigkeit?

https://www.heise.de/news/Mit-Firebase-Studio-blaest-Google-zum-Grossangriff-auf-Cursor-AI-und-Copilot-10347527.html

Google hat auf seiner Konferenz Cloud Next das Firebase Studio vorgestellt, eine umfassende, Cloud-basierte Entwicklungsumgebung mit KI im Kern. Sie erweitert die Tool-Plattform Firebase um KI-Workspaces, in denen die Entwicklerinnen und Entwickler komplette Full-Stack-Anwendungen, mobile Apps und Webseiten mit dem KI-Chat bauen. Hinzu kommen KI-gesteuerte Tools für Testing, Datenanbindung, Dokumentation und Deployment.

Google hat letzte Woche mit Firebase Studio einen Paukenschlag in der Softwareentwicklung gelandet: Ein KI-gestütztes Tool, das komplette Anwendungen – inklusive Backend, Testing, Dokumentation und Deployment – automatisch erstellt. Laut dem Google Cloud Blog nutzt es Gemini-Modelle, um Entwicklern das Leben zu erleichtern. Klingt nach einem Traum für Unternehmen, die schnell und günstig Apps brauchen, oder? Doch wie so oft lohnt ein kritischer Blick.

Firebase Studio verspricht, die Entwicklung zu demokratisieren – ein Segen für kleine Firmen ohne große Teams. Aber der Preis könnte hoch sein: Wer seine App mit Googles KI erstellt, bindet sich an deren Ökosystem. Was passiert mit den Daten, die in diesem Prozess anfallen? Wer garantiert, dass sie nicht für Googles eigene Zwecke genutzt werden? Und wie unabhängig bleibt ein Unternehmen, wenn es auf solche Lösungen setzt? Gerade in einer Zeit, in der Datenschutz und Souveränität immer wichtiger werden, ist das keine Kleinigkeit.

Dazu kommt die Konkurrenz: Firebase Studio tritt direkt gegen Tools wie Cursor AI oder GitHub Copilot an – ein Zeichen, dass der Markt für KI-gestützte Entwicklung boomt. Google ist spät dran, aber mit all seiner Marktmacht und seinem Kapital rollt es das Feld nun von hinten auf. Google bietet unserer Meinung zwar derzeit das beste Preis- / Leistungsverhältnis im Bereich KI, aber gibt es dabei einen Pferdefuß? Während die Tech-Riesen um die Vorherrschaft kämpfen, bleibt eine Frage offen: Wollen wir uns wirklich noch tiefer in ihre Netze verstricken? Oder ist es an der Zeit, Alternativen zu suchen – Lösungen, die uns die Kontrolle über unsere Daten und Prozesse lassen? Eine eigene KI, zum Beispiel?

Und wie sieht es mit der Kreativität in der SW-Entwicklung aus? Während KI ganz bestimmt die Entwicklung beschleunigen und auf solide standardisierte Verfahren ausrichten kann, bleibt der Mensch mit seiner Phantasie doch der entscheidende Faktor für „Software mit Herz“. Ich jedenfalls arbeite mit einer selbstgestrickten IDE aus bash, kate und git. Ja, ich lasse mir gerne von KI helfen, aber in meiner IDE ist dazu nichts verfügbar. Ich sehe keinen Grund, KI direkt in meine IDE zu integrieren – ein Browser für KI-Fragen reicht mir, ich möchte immer selbst wissen und verstehen, was ich programmiere. Das ist auch aus Sicht der Anwendungssicherheit relevant: All diese aufeinander getürmten Abhängigkeiten sind ohnehin schon ein Security-Alptraum, wie zum Beispiel xkcd treffend analysiert hat. Wenn diese Abhängigkeiten aber auch noch im Hintergrund zusammengestöpselt werden, ohne dass man sie überhaupt noch kennt …

Veröffentlicht am

Ex-Mitarbeiter werfen OpenAI Verrat vor

Künstliche Intelligenz ist ein Schlachtfeld – nicht nur technisch, sondern auch moralisch. Letzte Woche hat ein Amicus Curiae Brief (eine Art „Gutachten“ im US-Recht, mit dem Außenstehende dem Gericht ihre Sicht liefern) von zwölf Ex-OpenAI-Mitarbeitern für Wirbel gesorgt: Sie unterstützen Elon Musks Klage gegen OpenAI, weil die Firma ihre gemeinnützige Seele für eine profitorientierte Struktur opfern wolle. Der Vorwurf? OpenAI-Chef Sam Altman habe die Mission, KI zum Wohl der Menschheit zu entwickeln, nur als Marketing-Trick genutzt, um Talente zu ködern. Klingt nach einem Hollywood-Drama, oder? Aber bevor wir applaudieren, lohnt ein zweiter Blick.

Die Ex-Mitarbeiter – darunter Namen wie Daniel Kokotajlo und William Saunders – behaupten im Brief, dass OpenAIs Wandel zu einer Public Benefit Corporation die Kontrolle an Investoren wie Microsoft übergibt und die ursprüngliche Vision verrät. Einer von ihnen, Todor Markov, geht hart ins Gericht: Altman habe die Non-Profit-Struktur als „Fassade“ missbraucht, um Talente zu ködern, und Mitarbeiter mit Schweigeklauseln geknebelt, um Kritik zu ersticken. Der ganze Brief: Amicus Curiae Brief, 11. April 2025.

Doch hier wird’s spannend: Mehrere der Unterzeichner arbeiten jetzt bei Anthropic, einem OpenAI-Konkurrenten, der sich als ethischer Ritter in der KI-Welt verkauft. Zufall? Oder steckt da mehr dahinter? Wenn OpenAI durch diesen Streit geschwächt wird, profitiert Anthropic – und vielleicht auch Musk mit seiner Firma xAI. Ist das ein echter Warnruf vor einer gekaperten Mission, oder spielen die Ex-Mitarbeiter Schach mit ihrer alten Firma? Und warum ausgerechnet Musk, der selbst große finanzielle Interessen an KI hat?

Für uns Unternehmen, die KI nutzen oder einsetzen wollen, ist das mehr als Klatsch aus dem Silicon Valley. Es geht um Vertrauen: Wem können wir glauben, wenn selbst die „Guten“ in der KI-Welt ihre eigenen Interessen verfolgen? Wer wird mit den massenhaft anfallenden Daten verlässlich umgehen? Sollen wir auf Firmen setzen, die große Versprechen machen, oder lieber kritisch bleiben und KI verantwortungsvoll selbst implementieren? Wir haben keine Antworten – aber wir stellen Fragen.

Veröffentlicht am

WAN2.1: KI-Videos für alle – trotz EU-Bürokratie


(Animiertes Beitragsbild eines anderen unserer Blog-Artikel)

https://aaron.de/index.php/2025/03/01/wan-2-1-mit-comfyui-inkl-gpu-support-lokal-einrichten/

ComfyUI ist eine node-basierte Benutzeroberfläche zur Steuerung und Modifikation von KI-Modellen zur Bild- und Videoerstellung. Wan 2.1 ist ein Text-to-Video-Modell (T2V), das speziell für die Generierung von Videos auf Basis von Texteingaben entwickelt wurde.

Diese Anleitung beschreibt Schritt für Schritt, wie ComfyUI mit Wan 2.1 lokal eingerichtet wird. Jeder Abschnitt erklärt die benötigten Komponenten, warum sie notwendig sind und wie sie korrekt installiert werden. Diese Anleitung setzt Python 10 und eine GPU mit CUDA-Support voraus.

WAN2.1, entwickelt von Alibaba, revolutioniert die Videogenerierung: Mit nur 12 GB VRAM (16 GB für 720p) können Unternehmen und Kreative hochwertige Videos erstellen. Seit Februar 2025 unterstützt ComfyUI dieses Open-Source-Modell nativ, das Text-zu-Video, Bild-zu-Video und mehr ermöglicht (Hugging Face Blog). Das 1.3B-Modell benötigt nur 8,19 GB VRAM und generiert 5-Sekunden-Videos in 480p in etwa 4 Minuten – erschwinglich für Consumer-GPUs wie eine RTX 4060Ti. Nutzer berichten sogar von 720p-Videos mit 16 GB VRAM, wenn auch mit längeren Renderzeiten.

Die Möglichkeiten sind beeindruckend: WAN2.1 ist das erste Modell, das sowohl chinesischen als auch englischen Text in Videos erzeugen kann, und eignet sich für Marketing, Werbung oder kreative Projekte. Oben sehen Sie ein animiertes Video, das aus einem ebenfalls mit KI generierten Beitragsbild eines anderen Eintrags auf unserem Blog erzeugt wurde.

Doch es gibt Hürden: ComfyUI bietet keine Zugriffsverwaltung, und obwohl man dies über eine HTAUTH-Anmeldung via Apache sozusagen nachrüsten könnte, bedeutet es trotzdem, dass bei öffentlichem Zugang jeder die Inhalte anderer Nutzer sehen könnte – ein großes Datenschutzproblem. Während Open WebUI für Bilder eine Integration bietet, fehlt die Videounterstützung. Daher nutze ich WAN2.1 derzeit nur lokal und warte, bis Open WebUI auch Videos unterstützt, bevor ich es für unser Unternehmen freigebe.

In Europa bremst zudem die Regulierung den Fortschritt. Das KI-Gesetz und die DSGVO erschweren den Einsatz: Daten für KI-Training sind schwer zugänglich, und die Kennzeichnungspflicht für KI-Inhalte schafft zusätzliche Hürden. Ab August 2025 drohen Strafen von bis zu 35 Millionen Euro bei Verstößen – ein Risiko, das viele Unternehmen scheuen lässt. Während andere Regionen WAN2.1 voll ausreizen, müssen wir in Europa Mitarbeiter schulen oder deren KI-Nutzung überwachen, um rechtliche Probleme zu vermeiden.

Wir sehen das Potenzial von WAN2.1, aber auch die Frustration. Die EU muss ihre Ambitionen mit der Realität abgleichen – weniger Bürokratie, mehr Pragmatismus. Sonst verpasst die EU den Anschluss, während andere die Zukunft der Videogenerierung gestalten.

Veröffentlicht am

Europa und KI – Gipfel der Selbstsabotage?

https://www.tagesschau.de/wirtschaft/digitales/ki-europa-gipfel-100.html

Angesichts harter Konkurrenz von KI-Giganten aus den USA und China geht es Frankreichs Präsident Emmanuel Macron bei dem Gipfel auch darum, dass Europa bei der Zukunftstechnologie nicht den Anschluss verliert. Europa müsse im Herzen der KI-Revolution stehen, sie mitgestalten.

Vom 10. bis 11. Februar 2025 tagte der Artificial Intelligence Action Summit in Paris – ein Versuch der EU, sich als führender Player in der Künstlichen Intelligenz (KI) zu positionieren. Über 60 europäische Unternehmen wollten gemeinsam Innovation vorantreiben. Doch anderthalb Monate später zeigt sich: Die EU sabotiert sich mit ihrer eigenen Regulierung weiterhin selbst.

Das KI-Gesetz, seit Februar 2025 teilweise in Kraft, verbietet Systeme mit „unannehmbaren Risiken“ und schreibt strenge Schulungen für Mitarbeiter vor. Ab August 2025 drohen bei Verstößen Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes. Dazu kommt die DSGVO, die die Nutzung von Daten für KI-Training massiv erschwert. Unternehmen wie Meta ziehen sich zurück – die Datenschutzvorschriften seien zu restriktiv, heißt es. US-Vizepräsident J.D. Vance warnte auf dem Gipfel vor übermäßiger Regulierung, die Innovation ersticken könnte. Und er hat recht: Während die EU bürokratische Hürden aufbaut, machen andere Regionen längst einen Bogen um Europa.

Für Unternehmen wie unseres ist das ein Albtraum. Aktuell müssen wir Mitarbeiter schulen oder deren KI-Nutzung überwachen – alles, um Strafen zu vermeiden. Diese Vorgaben sind eine direkte Folge des KI-Gesetzes, und die Frustration wächst: In Diskussionen auf X wird die EU-Regulierung als „Bürokratie-Monster“ bezeichnet, das Innovation bremst. Die EU träumt von einem „globalen Zentrum für vertrauenswürdige KI“, aber die Realität sieht anders aus: Die Kombination aus KI-Gesetz und Datenschutzvorschriften lässt uns zurückfallen, während der Rest der Welt voranschreitet.

Die EU muss ihre Ambitionen mit der Realität abgleichen – weniger Bürokratie, mehr Pragmatismus. Sonst bleibt Europa im KI-Rennen ein Zuschauer, während andere die Führung übernehmen. Es bleibt spannend, ob die EU aus ihren Fehlern lernt – oder weiterhin über die eigenen Füße stolpert. Europa soll den Anschluss nicht verlieren? Die EU ist doch noch nicht einmal aus den Startlöchern herausgekommen! Ist das Hybris, Naivität oder einfach nur ein Mangel an Realismus?

Veröffentlicht am

Grok goes Telegram

https://techstory.in/elon-musks-grok-ai-expands-to-telegram-reaching-over-1-billion-users/

Elon Musk’s xAI has taken a significant step in expanding its advanced AI chatbot, Grok, by integrating it into Telegram. This marks Grok’s first major expansion beyond its original platform, X (formerly Twitter), and positions it as a key player in the competitive AI landscape. With over 1 billion monthly active users on Telegram, this move opens up new opportunities for both platforms while intensifying the ongoing battle for dominance in the AI industry.

Am 26. März 2025 hat xAI einen spannenden Schritt getan: Der KI-Chatbot Grok, entwickelt von Elon Musks Unternehmen, ist nun auch auf Telegram verfügbar. Telegram-Nutzer mit einem Premium-Abo können Grok unter @GrokAI direkt anschreiben und Fragen stellen – von alltäglichen Anliegen bis hin zu Programmieraufgaben. Das ist ein großer Schritt, denn Telegram hat kürzlich die Marke von 1 Milliarde monatlichen Nutzern überschritten und ist damit die drittgrößte Messaging-Plattform weltweit.

Für Unternehmen ist diese Entwicklung sehr interessant. KI-Chatbots wie Grok, die in Messaging-Apps integriert werden, bieten neue Möglichkeiten für Kommunikation und Produktivität. Sie ermöglichen es, direkt im Chat Antworten zu erhalten, ohne zwischen Apps wechseln zu müssen – ein Trend, den auch andere Anbieter wie OpenAI mit ChatGPT auf WhatsApp verfolgen. Allerdings ist Grok auf Telegram derzeit auf Basis-Funktionen beschränkt; erweiterte Features wie „DeepSearch“ bleiben zahlenden Nutzern von X oder der Grok-App vorbehalten.

Mit der bereits erfolgten Integration von Grok auf X mit ca. 600 Millionen Nutzern erreicht xAI damit nun global einen enorm großen Benutzerkreis. Dabei liegt der Fokus von Elon Musk, dem Chef von xAI, vor allem auf neutraler und objektiver Information. In einer Welt, in der die Lüge überall ist, sei das zwar schwierig, sagt Musk, aber er gibt nicht auf. Ein Mann auf einer Mission.

Grok selbst wirkt dabei wie ein superintelligentes Kind: voller Wissen, aber noch naiv gegenüber dem Bösen in der Welt. Sicher ist, KI-Chatbots wie Grok bringen uns einen Schritt näher an eine Zukunft, in der diese neue Technologie nahtlos in unseren Alltag integriert ist. Ich bin sehr gespannt, welche Fortschritte die Menschheit damit erzielen kann, insbesondere im Licht der mittlerweile einsetzenden Demokratisierung von KI.
Veröffentlicht am

Apples Überraschungswaffe

https://www.cultofmac.com/news/mac-studio-ai-performance

Apple is perceived as a laggard in the AI race — despite that, Apple has developed the single best computer for AI research. The new Mac Studio with an M3 Ultra chip, which supports up to 512 GB of unified memory, is the easiest and cheapest way to run powerful, cutting-edge LLMs on your own hardware.

The latest DeepSeek v3 model, which sent shockwaves through the AI space for its comparable performance to ChatGPT, can run entirely on a single Mac, Apple AI researchers revealed on Monday.

Am 9. März 2025 hat Apple mit dem neuen Mac Studio für Aufsehen gesorgt – und das aus gutem Grund. Laut einem Bericht von „Cult of Mac“ ist das Gerät mit dem M3 Ultra Chip und bis zu 512 GB Unified Memory in der Lage, große Sprachmodelle wie DeepSeek V3 lokal auszuführen. Dieses Modell, das in der KI-Welt für seine, mit ChatGPT vergleichbare, Leistung viel Aufsehen hervorgerufen hat, läuft auf einem einzigen Mac Studio mit über 20 Token pro Sekunde – eine sehr gute und alltagstaugliche Leistung, die bisher teure Cloud-Lösungen oder Nvidia-Datenzentren erfordert hat.

Für Unternehmen ist das eine spannende Entwicklung. Lokale KI-Verarbeitung bietet nicht nur höhere Datensicherheit, sondern auch schnellere Verarbeitung ohne Abhängigkeit von Cloud-Diensten. Der Mac Studio mit M3 Ultra mit 512 GB Unified Memory, der bei ca. 12.000 € liegt, ist zudem eine kostengünstige Alternative zu Nvidia-Hardware mit ähnlichem Speicher, die oft teurer ist. Besonders beeindruckend: Drei Mac Studios, über Thunderbolt 5 verbunden, können sogar das noch größere DeepSeek R1-Modell mit 670 Milliarden Parametern betreiben – ein Durchbruch, der die Dominanz von Cloud-Anbietern wie OpenAI herausfordert.

Doch Apple ist nicht allein: Nvidia hat mit Project DIGITS, das im Mai 2025 erscheinen soll, eine ähnliche Vision. Dieses Gerät, ausgestattet mit dem GB10 Grace Blackwell Superchip und 128 GB Unified Memory, kann Modelle mit bis zu 200 Milliarden Parametern lokal verarbeiten – und das für nur 3.000 US-Dollar. Beide Ansätze zeigen, wie wichtig Unified Memory für die Zukunft der KI ist: Es ermöglicht effiziente, sichere und kostengünstige Verarbeitung direkt am Arbeitsplatz.

Als Programmierer sehe ich hier großes Potenzial. Modelle wie DeepSeek V3 lokal zu testen, ohne auf Cloud-Lösungen angewiesen zu sein, könnte unsere Workflows beschleunigen und die Kosten senken. Gleichzeitig beweisen Apple und Nvidia, dass der Westen mit China – wo Modelle wie QwQ-32B oder Manus dominieren – mithalten kann. Und es wird spannend, wie diese Entwicklung sich auf die großen Cloud-Anbieter auswirken wird.

Veröffentlicht am

Gemma 3: Googles neues Meisterwerk im KI-Rennen

https://blog.google/technology/developers/gemma-3/

Today, we’re introducing Gemma 3, a collection of lightweight, state-of-the-art open models built from the same research and technology that powers our Gemini 2.0 models. These are our most advanced, portable and responsibly developed open models yet. They are designed to run fast, directly on devices — from phones and laptops to workstations — helping developers create AI applications, wherever people need them. Gemma 3 comes in a range of sizes (1B, 4B, 12B and 27B), allowing you to choose the best model for your specific hardware and performance needs.

Am 12. März 2025 hat Google sein neuestes Open-Source-KI-Modell Gemma 3 vorgestellt, das die KI-Welt in Staunen versetzt. Dieses Modell, eine Weiterentwicklung der Gemini-Reihe, bringt multimodale Fähigkeiten (Text, Bild, Ton) mit sich und ist für seine Effizienz bekannt. Es ist in vier Größen verfügbar – von 1 Milliarde bis 27 Milliarden Parametern – und läuft bereits auf einer einzigen GPU oder TPU, was es für Unternehmen und Entwickler zugänglich macht.

Besonders beeindruckend ist die technische Leistung: Gemma 3 bietet ein Kontextfenster von 128.000 Token und unterstützt über 140 Sprachen, was es zu einem vielseitigen Werkzeug macht. Laut Google schneidet es in Benchmarks wie LMArena besser ab als Modelle wie Llama-405B oder DeepSeek-V3. Für uns als Unternehmen ist wichtig, dass Gemma 3 auch in der größten Variante auf Hardware mit 24 GB VRAM stabil und schnell läuft – eine erschwingliche Option im Vergleich zu teureren Lösungen.

Als Teil der Test-Community kann ich die Begeisterung bestätigen. Die Geschwindigkeit und Genauigkeit von Gemma 3 sind sensationell, und die Rückmeldungen meiner Kollegen im Unternehmen sind ebenfalls positiv. Wir nutzen es bereits für Textanalyse, Übersetzungen und kreative Projekte, mit Ergebnissen, die unsere Erwartungen übertreffen. Die Möglichkeit, es lokal mit Tools wie Ollama einzusetzen, bietet zudem Datensicherheit, ein Thema, das in Zeiten wachsender globaler Konkurrenz – etwa durch chinesische Modelle wie das ebenfalls kürzlich neu vorgestellte Manus – an Bedeutung gewinnt.

Gemma 3 zeigt, dass der Westen im KI-Rennen mit innovativen Ansätzen mithalten kann. Für Unternehmen bietet es Chancen, KI effizienter und kostengünstiger zu integrieren. Wer mehr Details erfahren möchte, findet sie auf der offiziellen Seite. Es bleibt spannend, wie sich diese Technologie weiterentwickelt.

Veröffentlicht am

Die KI-Welt hat einen neuen Star

https://qwenlm.github.io/blog/qwq-32b/

Scaling Reinforcement Learning (RL) has the potential to enhance model performance beyond conventional pretraining and post-training methods. Recent studies have demonstrated that RL can significantly improve the reasoning capabilities of models. For instance, DeepSeek R1 has achieved state-of-the-art performance by integrating cold-start data and multi-stage training, enabling deep thinking and complex reasoning.

Our research explores the scalability of Reinforcement Learning (RL) and its impact on enhancing the intelligence of large language models. We are excited to introduce QwQ-32B, a model with 32 billion parameters that achieves performance comparable to DeepSeek-R1, which boasts 671 billion parameters (with 37 billion activated). This remarkable outcome underscores the effectiveness of RL when applied to robust foundation models pretrained on extensive world knowledge.

Am 5. März 2025 stellte Alibabas Qwen-Team das Open-Source-Modell QwQ-32B vor. Mit nur 32 Milliarden Parametern konkurriert es mit Giganten wie DeepSeek-R1 (671 Milliarden Parameter) und übertrifft sogar OpenAIs o1-mini in Benchmarks wie Mathematik und Programmieren. Die enorme Leistung erzielt QwQ durch weiterentwickelte Software, und das Modell läuft flott bereits auf (für KI-Verhältnisse) kleiner Hardware (24GB VRAM).

Programmierer wissen es, verbesserter Code schlägt meistens verbesserte Hardware. Mit optimierten Abläufen, performanteren Algorithmen und schlankeren Datenstrukturen lassen sich oft drastische Performance-Steigerungen erzielen, weit über das hinaus, was (nur) neue Hardware bieten würde. Mir scheint, in der KI-Welt wird bisher bei den Platzhirschen zu viel auf immer noch größere und leistungsstärkere Hardware gesetzt, während das Potential, das in optimiertem Code liegt, ein wenig zu kurz kommt. Tja. Es stimmt mich schon etwas traurig, dass offenbar die Chinesen beginnen, auch in der Software-Entwicklung den Westen abzuhängen.

Veröffentlicht am

Microsoft Dragon Copilot: Mehr Zeit für Patienten durch KI

Microsoft Corp. is unveiling Microsoft Dragon Copilot, the first AI assistant for clinical workflow that brings together the trusted natural language voice dictation capabilities of DMO with the ambient listening capabilities of DAX, fine-tuned generative AI and healthcare-adapted safeguards. Part of Microsoft Cloud for Healthcare, Dragon Copilot is built on a secure modern architecture that enables organizations to deliver enhanced experiences and outcomes across care settings for providers and patients alike.

Satya Nadella, CEO von Microsoft, hat sich kürzlich beschwert, dass KI viel kostet, aber ökonomisch bisher wenig bringt. Er wünscht sich endlich Anwendungen für KI, die tatsächlich einen wirtschaftlichen Aufschwung bewirken. Die Idee, Ärzte von den umfangreichen Dokumentationsarbeiten zu entlasten, geht wohl in diese Richtung. Mir persönlich wäre es auch lieber, ein Arzt hätte mehr Zeit für mich, anstatt in Papierkram zu ertrinken.

Veröffentlicht am

DeepSeek R1 ohne Zensur

https://www.perplexity.ai/de/hub/blog/open-sourcing-r1-1776

DeepSeek-R1 is a fully open-weight large language model (LLM) achieving close performance to the state-of-the-art reasoning models like o1 and o3-mini. A major issue limiting R1’s utility is its refusal to respond to sensitive topics, especially those that have been censored by the Chinese Communist Party (CCP).

Für viele Anwendungsfälle ist es nicht ausschlaggebend, aber das sehr leistungsfähige KI-Modell DeepSeek R1 ist massiv zensiert für Themen, die die politische Führung von China als heikel erachtet. Die KI-Suchmaschine perplexity.ai hat deshalb nun als Open Source eine nachtrainierte Version herausgebracht, aus der die Zensur entfernt ist. Da es anzunehmen ist, dass die ursprüngliche Version keine westliche Zensur enthalten hat, ist dieses Modell von Perplexity vielleicht sogar das unzensierteste aktuell verfügbare.

Allerdings hat Elon Musk neulich darauf hingewiesen, dass es, weil weltweit in allen für Training verfügbaren Daten bereits heftige Verfälschungen enthalten sind, auch und gerade durch staatliche Medien, eine sehr große Herausforderung ist, eine KI neutral und objektiv zu trainieren. Wenn die KI nur mit wokem Quatsch gefüttert wird, kann sie auch nur Quatsch antworten, anders gesagt.

Sie können Perplexity-R1-1776 bei Ollama herunterladen und auf Ihrem eigenen KI-Server ausführen. Kleiner Wermutstropfen: Das kleinste verfügbare Modell ist eine 70b Version, Sie benötigen also 48GB VRAM um es im Grafikkartenspeicher ausführen zu können. (Die derzeit preisgünstigste Variante dafür sind übrigens 2x AMD Radeon RX 7900 XTX 24GB in einem Dual-GraKa-Setup).

Veröffentlicht am

Eigene KI-Bilder erzeugen

Nachdem Sie eine KI auf Ihrem Rechner lokal zum Laufen gebracht haben, möchten Sie vielleicht auch selbst KI-Bilder erzeugen können?

Nun, da gibt es etwas Neues und es kommt aus dem Schwarzwald. Flux.1-schnell ist ein Open Source (Apache2-Lizenz) Modell des deutschen Unternehmens Black Forest Labs. In Windeseile hat es die aktuelle Krone der KI-Bildgeneratoren errungen. Es ist sehr schnell, wie der Name schon sagt, und generiert beeindruckende Bilder.

Es gibt davon auch eine sog. Dev-Variante, die ist nur für nicht-kommerzielle Nutzung freigegeben. Während aber die Schnell-Variante nur eingeschränkt modifiziert werden kann, weil es sich um ein hoch optimiertes Modell handelt, stehen für die Dev-Variante sehr viele Möglichkeiten des Feintunings zur Verfügung. Es gibt deshalb für Dev eine rege Szene von Enthusiasten, die alle möglichen Anpassungen und Modifikationen mit unterschiedlichen Bildstilen für das Dev-Modell erstellen und teilen.

Außerdem sind noch Pro-Varianten verfügbar, die sind zahlungspflichtig, und eine solche betreibt übrigens unter anderem X/Twitter. Wenn Sie zum Beispiel Grok um ein Bild fragen, wird eine Flux-Pro-Engine aus dem Schwarzwald verwendet.

Aber schon die Ergebnisse von Schnell und Dev sind bereits außerordentlich gut und lohnen allemal, sich das auf dem eigenen Rechner zu installieren. Dazu braucht man noch nicht einmal einen superstarken Rechner, ein einigermaßen brauchbarer Gaming-PC reicht. Mit einem Klick auf „Weiterlesen“ finden Sie eine Anleitung, wie Sie das auf dem eigenen Rechner umsetzen können.

(Beispielbilder am Schluss des Beitrags)

„Eigene KI-Bilder erzeugen“ weiterlesen

Veröffentlicht am

Tipps zur Einrichtung eines lokalen KI-Servers

In Ergänzung zu unserem vorangegangenen Beitrag haben wir noch ein paar Tips für Sie zur Installation eines eigenen KI-Chatbots.

Im Gegensatz zur verlinkten Anleitung bei Hetzner würden wir Ihnen betreff Open WebUI, falls Sie keine Docker-Installation wünschen, empfehlen, nicht mit git, sondern mit pip zu installieren. Die Docker Installation ist wohl am einfachsten und funktioniert auch einwandfrei. Vielleicht will man jedoch mehr Einblick in die Installation. Die hierzu im Artikel von Hetzner als Alternative vorgeschlagene git-Installation funktioniert zwar auch, aber spätestens beim ersten Update scheitert man unserer Erfahrung und das endet in einer Neu-Installation – bei der natürlich alle Einstellungen etc. verlorengehen. Hat man jedoch mit pip installiert, ist eine neue Open WebUI Version kein Problem.

Falls Sie Open WebUI mit pip installieren möchten, sollten Sie Python <=3.11 verwenden. Sollte Ihr System ein neueres Python haben, können Sie die V3.11 nachinstallieren mit „apt [bzw. dnf etc.] install python3.11″ und pip 3.11 mit „python3.11 -m ensurepip –upgrade“. Anschließend verwenden Sie  „python3.11 <script.py>“ und „pip3.11 <befehl>“ um die 3.11 Version auszuführen.

Zum Speicherbedarf. Ein System mit >= 12 GB VRAM kann Modelle bis 32b im Speicher der Grafikkarte ausführen. Falls das Modell in der Grafikkarte ausgeführt werden kann, ist das erheblich schneller als auf dem Mainboard. Und 32b ist bereits ein sehr gutes Modell mit hoher Qualität – insbesondere die für Programmierer sehr interessante, aus dem Vollmodell destillierte, Variante Qwen2.5-coder:32b hat sogar maximal 32b Parameter („b“ steht für englisch Billions, also Milliarden Parameter), kann also bereits mit einer relativ erschwinglichen Gamer-GPU in deren Speicher laufen.

Interessant i.d.Zshg. ist außerdem, um eines der großen bzw. vollständigen Modelle auszuführen, braucht man nicht unbedingt einen unbezahlbar teuren Grafikkartenpark. Auf einem System mit 512 GB RAM und einer hinreichend starken CPU lassen sich die vollen Modelle mit ca. 760b auch auf dem Mainboard einigermaßen performant ausführen, solange es nur um Inference (Antworten auf Fragen) geht. Klar ist das etwas langsam, aber als alleiniger Anwender erträglich und brauchbar. Training wäre allerdings eine ganz andere Sache …

Veröffentlicht am

Eigenen KI-Chatbot hosten

https://community.hetzner.com/tutorials/ai-chatbot-with-ollama-and-open-webui/de

Dieses Tutorial erklärt, wie man auf einem Server mit Ubuntu oder Debian Ollama installiert und Sprachmodelle hinzufügt. Es wird auch gezeigt, wie man mit Open WebUI eine Chat-Benutzeroberfläche einrichtet und wie man ein eigenes Sprachmodell erstellt.

Möchten Sie einen eigenen KI-Chatbot hosten? Mit dieser großartigen Anleitung ist es sehr einfach und Sie erhalten Zugriff auf eine Vielzahl von KI-Modellen, einige davon gegenüber OpenAI deutlich überlegen. Das OpenAI-Modell gibt es aber dort nicht, das ist nicht OpenSource, obwohl Altman das versprochen hatte (genau das ist übrigens der Kern des Streits zwischen Musk und Altman, nebenbei).

Einen solchen Chatbot mit Web-UI zu hosten geht auch auf dem eigenen Rechner, und der Zugriff auf die Ollama Engine via Browser ist deutlich komfortabler.

Veröffentlicht am

Mondphasen-Kalender

Die Kraft der Gravitation des Mondes auf die Erde ist so groß, dass sie alle Ozeane bewegt und Ebbe und Flut hervorruft. Bedenkt man außerdem, dass der Mensch zu zwei Dritteln aus Wasser besteht, und dass dies ebenso oder in noch höherem Ausmaß für alle Tiere und Pflanzen gilt, ist es nicht verwunderlich, dass es seit altersher Überlieferungen gibt, wie der Mond Gesundheit, Stimmungen, aber auch Viehzucht und Ernte beeinflusst.

Was von diesen empirischen Beobachtungen richtig ist, und was nur Folklore, das wollen wir an dieser Stelle nicht beurteilen. Aber falls Sie z.B. eine Parasitenkur nach dem Vollmond ausrichten, in Ihrem Garten günstige Saattermine finden, oder, für die Damen, den besten Zeitpunkt fürs Haareschneiden ermitteln wollen, haben wir heute eine passende Software für Sie.

„Mondphasen-Kalender“ weiterlesen