CEPHEI Blog

Quelle Video: Twitter/X https://x.com/sabrinaesaquino/status/2049972985772077155

Was vor zwei Jahren noch nach Hollywood-Kitsch klang, ist heute Realität: Eine Einzelperson kann einen vollständigen KI-Klon von sich selbst bauen. Allein, ohne Studio, ohne Team. Stimme, Aussehen, Sprechweise, Gestik – alles reproduzierbar. Und das mit Tools, die jeder Entwickler selbst hosten kann.

Tech-Creator Sabrina Esaquino macht es vor. Im oben eingebundenen knapp 14-minütigen Video zeigt sie, wie sie einen KI-Agenten trainiert, der Videos imitiert, die sie selbst produziert hat. Der Klon spricht mit ihrer Stimme, bewegt den Mund passend zum Text und reproduziert ihre typischen Gesten.

Der gesamte Workflow läuft auf einem Standard-VPS mit 8 GB RAM für etwa 14 Dollar im Monat. Keine teure Cloud-Infrastruktur, kein Enterprise-Account.

Hermes Agent (Open-Source, von Nous Research) bildet das Rückgrat. Das Tool sammelt über Wochen Daten über den Nutzer – wie er schreibt, spricht, aussieht – und speichert dieses Wissen persistent. Statt bei jeder Anfrage bei Null anzufangen, baut der Agent ein Profil auf, das er immer wieder verwendet.

Der Workflow im Detail:

1. Datensammlung: Alte Videos werden als Trainingsmaterial hochgeladen
2. Audio-Klonung: ~2 Minuten Originalstimme reichen für eine überzeugende Stimm-Synthese
3. Bildanalyse: Ein Vision-Modell wählt die besten Referenzframes
4. Video-Rendering: Lipsync-Technologie sorgt für passende Mundbewegungen
5. Feedback-Loop: Der Nutzer korrigiert („Mund sieht falsch aus“), der Agent lernt dazu

Das Ergebnis: Fünf Varianten eines Videos, aus denen der Nutzer die beste wählt.

Und nun, ich weiß ja nicht, wie es Ihnen geht, aber ich kann beim besten Willen nicht mehr unterscheiden, ob das ein echtes oder ein KI-Video ist. Das ist zwar noch nicht vollautomatisch, Sabrina sagt ja selbst, sie hat an verschiedenen Stellen eingegriffen und manuell nachgeschärft bzw. verbessert. Dennoch, es wird, da bin ich mir sicher, immer mehr solcher Videos geben. Bisher erkennt man die noch recht leicht, aber in nur wenigen Monaten, mit diesen Technologien und ihrem rasanten Fortschritt?

Die Frage ist nicht mehr, ob KI die Erstellung von Content verändert, sondern wie wir damit umgehen. Als Entwickler, als Unternehmen, als Gesellschaft.

Forscher um Almira Osmanovic Thunström von der Universität Göteborg haben im Frühjahr 2024 absichtlich eine fiktive Krankheit namens „Bixonimania“ erfunden, die angeblich durch übermäßige Bildschirmnutzung und blaues Licht entstehen soll. Sie veröffentlichten zwei offensichtlich gefälschte wissenschaftliche Preprints über diese Erkrankung auf einer akademischen Plattform, inklusive vieler Warnsignale wie fiktive Autoren (mit KI-generiertem Foto), einem nicht existierenden Universitäts-Institut, sowie absurden Danksagungen an die „Professor Sideshow Bob Foundation“ und die „University of Fellowship of the Ring“.

Das Experiment verlief jedoch erschreckend erfolgreich: Innerhalb weniger Wochen begannen populäre KI-Chatbots wie Microsoft Copilot, Google Gemini, Perplexity und ChatGPT, die erfundene Krankheit als medizinisch real zu behandeln und Nutzern bei der Beschreibung entsprechender Symptome (juckende, müde Augen durch Bildschirmeinsatz) Bixonimania als Diagnose zu präsentieren. Dabei ignorierten die Modelle offensichtliche Hinweise auf den Scherz und reproduzierten die Fehlinformation als seriösen Gesundheitsratschlag.

Dieser Vorfall offenbart eine fundamentale Schwachstelle großer Sprachmodelle: Sie können falsche Informationen nicht zuverlässig von wissenschaftlich validierten Fakten unterscheiden und verbreiten erfundene Inhalte als Wahrheit.

Besonders besorgniserregend ist, dass sogar echte wissen­schaft­liche Publikationen das Fake-Paper zitierten – ein Hinweis darauf, dass einige Forscher möglicherweise KI-generierte Referenzen verwenden, ohne die Originalquellen zu prüfen. Das Team der Universität Göteborg warnt, dass dies ein Lehrstück über die Funktionsweise von Desinformation ist und die Gefahren KI-gestützter Gesundheitsberatung verdeutlicht.

Mehr bei Nature https://www.nature.com/articles/d41586-026-01100-y

Es gibt derzeit einen Trend (Beispiel), Leute nehmen Flatulenzen auf und spielen das dann einer KI vor, die diese „Musik“ bewerten soll. Fairerweise muss man sagen, dass nicht alle KIn darauf hereinfallen, aber teilweise – es ist schreiend komisch, wenn die KI dann im Stil eines Musikkritikers diese Geräusche äußerst ernsthaft rezensiert. Und den Gesprächspartner auch noch in den höchsten und schmeichelhaftesten Tönen lobt dafür.

Es ist dies ein Problem, das immer mehr Aufmerksamkeit gewinnt. Hier ist ein Artikel des Massachusetts Institute of Technology (MIT) zur allgemeinen Dimension des Phänomens. Das MIT nennt es „The Chatbot-Delusion Crisis“. KI kann Menschen dazu verleiten, völlig den Kontakt zur Realität zu verlieren und in Wahnwelten abzugleiten.

Tja, die alte Programmierer-Regel „Garbage in, garbage out“ gilt eben immer noch. Computer sind immer noch Maschinen, auch wenn wir nun mit der sogenannten Künstlichen Intelligenz über ein weit mächtigeres Interface verfügen, als je zuvor.

Der Begriff „Intelligenz“ ist aber meiner Meinung in diesem Zusammenhang völlig irreführend. Ein LLM ist vielmehr sozusagen eine Programmiersprache – mit dem (riesigen!) Vorteil, dass sie jeder spricht. Doch weder AGI (Artificial General Intelligence) noch erst recht ASI (Artificial Super Intelligence) werden sich damit einstellen. Das sind alles nur Marketing-Schlagworte, deren Zweck das Einwerben von Kapital ist. Ja, die enormen Produktivitätsfortschritte, die KI ermöglicht, sind völlig real, und sie werden auch das Antlitz der menschlichen Gesellschaft tiefgreifend verändern.

Aber denken müssen wir weiterhin selbst. Und wenn wir Müll denken, wird KI diesen Müll nur verstärken – ein Skynet mit Terminatoren würden wir nur, und zwar selbst, dann bauen, wenn wir die Maschinen entsprechend anweisen.

Von alleine tun Maschinen gar nichts. Deshalb sind es ja Maschinen.

Finden Sie das enttäuschend? Aber nein. Denn wir könnten die Maschinen ja auch ein Paradies errichten lassen. Haben Sie mitbekommen, was auf Twitter/X gerade los ist? Sie bekommen seit kurzem Beiträge aus der ganzen Welt in Ihrer Sprache angezeigt. (Man kann jedoch einstellen, für welche Sprachen man keine Übersetzung möchte.)

Und zack, der Turmbau zu Babel ist rückabgewickelt und die Welt ist ein Dorf. Schon mal eine wesentliche Voraussetzung für paradiesische Zustände, finden Sie nicht? Jeder kann auf einmal mit jedem reden. Und „überraschenderweise“ wollen die Menschen überall auf der ganzen Welt das Gleiche: In Frieden und Freiheit ihre Kinder großziehen und Spaß am Leben haben.

Erst der Angriff auf LiteLLM, und dann ging es in der letzten März-Woche Schlag auf Schlag. Die EU verliert 350 GByte Daten, der Identitätsdienstleister IDMerit sogar 1 TByte, Kash Patels E-Mail wird vom Iran gehackt, Axios (mit 750 Tsd Dependencies!) erleidet eine katastrophale Supply-Chain-Attack, Anthropic stellt versehentlich den gesamten Source-Code seines CLI-Tools online. Und dann war da noch Mercor AI, die 4 TB KYC-Daten verloren haben, übrigens im Zusammenhang mit dem LiteLLM-Hack. KYC (Know Your Customer)! Biometrische Daten, Personalausweisdaten, und dergleichen Einladungen zum Identitätsdiebstahl mehr. Tja, und gleichzeitig fordert die Politik weltweit Alterskontrollen im Netz. Das soll durch eine eID ermöglicht werden, mithin, für jeden Bürger soll es eine digitale Identität geben. Ist man sich eigentlich darüber im Klaren, dass laufend bewiesen wird, dass man unfähig ist, diese Daten zu schützen? Und was es bedeuten würde, wenn eine solche Datenbank öffentlich wäre?

KI spielt eine große Rolle bei diesem sich zunehmend entfaltenden Sicherheitsdesaster. Ghost ist ein super-populäres Open-Source-CMS (Headless Blogging/Website-Builder) mit über 50.000 GitHub-Stars. Das Projekt läuft seit ca. 20 Jahren (erste Version 2013, aber Wurzeln noch früher) und hatte noch nie eine kritische Sicherheits­lücke (kein einziger CVE mit hohem/critical Impact in der gesamten Geschichte). Dann lässt der Anthropic-Researcher N. Carlini bei einer Live-Konferenz, ebenfalls in der Woche des Grauens Ende März, das Projekt von einer neuen Claude Code-Version analysieren, und ruckzuck wurde ein extrem kritischer SQL-Injection-Fehler gefunden, der ein Ghost-System komplett, mit allen Admin-Rechten, übernehmen kann.

KI trägt also zu diesen Sicherheitslücken bei, erstens, weil man sie damit viel leichter finden kann, zweitens, weil Anwender und Entwickler nachlässig werden und sich blind auf die KI verlassen. Andererseits sind es aber gerade KI-gestützte Tools, die enorm hilfreich sind bei der Aufdeckung solcher Vorfälle. Sowohl der Supply-Chain-Angriff auf LiteLLM als auch der auf Axios wurden sehr schnell von KI-Überwachungstools entdeckt.

Ich denke, menschliche Spezialisten werden auf lange Zeit unverzichtbar bleiben. Ohne KI-Unterstützung sind zwar auch diese längst chancenlos, doch Erfahrung und sektorübergreifender Blick sind und bleiben eine notwendige Ergänzung zum enormen Wissen der KI. Das weit grundlegendere Problem ist aber meiner Meinung, man sollte nicht zu rennen versuchen, bevor man gehen kann. Die enormen Möglichkeiten der IT lassen uns leicht vergessen, dass damit auch riesige Gefahren verbunden sind. Und wenn diese Risiken ignoriert werden, könnte das die gesamte informations­technische Revolution zum Stillstand bringen – nicht zu wissen ist weniger gefährlich als falsch zu glauben.

Stellen Sie sich vor: Ihr Unternehmen betreibt eine Website, die jahrelang hervorragend in den Suchergebnissen von Google rankte. SEO wurde optimiert, Content wurde gepflegt, technische Standards wurden eingehalten. Und dann verändert sich die Welt. Immer mehr Nutzer stellen ihre Fragen nicht mehr klassisch in eine Suchmaschine ein, sondern lassen sich Antworten von KI-Chatbots generieren. Und genau diese KI-Systeme verstehen Ihre Seite nicht. Das Problem: Während Sie sich jahrelang auf die Regeln von Google-SEO konzentriert haben, entsteht gerade ein völlig neues Ökosystem – das der KI-gestützten Suche. Und die Regeln dort sind andere.

„Warum AI Visibility für Unternehmen entscheidend ist“ weiterlesen