Sexualisierte Bilderfälschungen: Die Deepfake-Flut

Twitter und Microsoft stehen in der Kritik: Über Musks Plattform gingen gefälschte Nacktbilder von Taylor Swift viral, die offenbar mit einem Microsoft-Dienst erstellt worden waren. Verantwortung wollen die Konzerne aber nicht übernehmen. Ein Kommentar.

Seit vergangene Woche sexualisierte Deepfakes von Taylor Swift Social-Media-Plattformen fluteten, empören sich viele darüber – ihre Fans, aber auch Leute, denen die Musik des Superstars gleichgültig ist. Anders als in vorangegangenen Fällen treffen die Bilder auf breite Ablehnung. Selbst das Weiße Haus in Washington zeigt sich „besorgt“ über diese Entwicklung. Viele fordern jetzt wieder strengere Gesetze und Strafen für solche Fälschungen.

Von 4Chan, Telegram und anderen dunklen Winkeln des Netzes aus gelangten die Aufnahmen auf X (ehemals Twitter). Dort häuften sie Millionen von Klicks an, bevor die Plattform es schaffte, sie viele Stunden später zu löschen. Zugleich ließen die Fans von Swift nicht locker: Sie setzten abertausende Meldungen ab, fluteten Twitter und andere Plattformen mit echten Bildern ihres Stars und meldeten oft auch die Weiterverbreiter der Fakes.

Dabei ist fast nichts an diesem Umstand neu. Seit Jahren warnen Fachleute vor den sogenannten Deepfakes und betonen, dass die Technologie vor allem Frauen trifft. Diese nicht-einvernehmlichen sexualisierten Bilder verbreiteten sich derweil wie eine Epidemie im Netz. Es gibt dezidierte Foren und Chat-Gruppen, in denen sich Nutzer zu den besten Werkzeugen und Tricks austauschen, ihre Fähigkeiten verfeinern, „Face Sets“ ihrer liebsten Celebrities teilen oder Aufträge entgegennehmen. Aus der einstigen Nische wurde ein florierender Geschäftszweig.

Ein mäßig kreativer Prompt reicht

Neu sind am Fall der Swift-Fake-Bilder höchstens die immer neuen technologischen Möglichkeiten. Sie machen es auch für Laien beständig einfacher, Bilder und Videos zu erzeugen, die sich von echten Aufnahmen kaum noch unterscheiden lassen. Zu den klassischen „Face Swaps“-Deepfakes, die das Gesicht einer Person ohne deren Zustimmung in eine pornografische Szene montieren, kommen jetzt noch die Bildgeneratoren von OpenAI, Midjourney, StableDiffusion. Im konkreten Fall traf es unter anderem Microsoft, dessen Text-zu-Bild-Generator mit dem Namen Designer Recherchen von 404 Media zufolge genutzt wurde, um die Swift-Varianten zu erstellen. Dahinter steht das Modell DALL-E 3 von OpenAI.

Waren vor ein paar Jahren noch ein Computer mit guter Rechenleistung und einige technische Fähigkeiten notwendig, um das Gesicht einer Person in eine Porno-Szene zu montieren, so reicht jetzt ein mäßig kreativer Prompt auf einer Website.

Zwar versuchen die Macher*innen der neuen Generatoren, das Schlimmste zu verhindern. Auch Microsoft stellt für Designer einen „Code of Conduct“ bereit, gegen den offenkundig verstoßen wurde. Allerdings überprüft Microsoft nicht wirksam, ob dieser Code auch eingehalten wird. Das ist auch nicht vorgesehen, denn das müssten Menschen tun – und das ist teuer. So reichen schon simple Umschreibungen von sexuell expliziten Posen aus, um Bilder zu generieren, wie sie im Fall von Swift nun in allen Timelines zu sehen waren.

Gefälschte Nacktbilder von Mädchen sorgen für Aufschrei

Die Kosten sinken

Und so sind sexualisierte Deepfakes endgültig im gesellschaftlichen Mainstream angekommen. Es ist eine einfache Formel, mit der sich diese Entwicklung schon vor Jahren errechnen ließ. Die Stanford-Forscherin Rene DiResta fasst sie so zusammen: „Wie die sozialen Medien die Kosten für die Verbreitung senken, so senkt die generative KI die Kosten für die Erstellung.“

Multipliziert man das noch mit dem Umstand, dass X seit der Übernahme durch Elon Musk sein Inhaltemoderationsteam weitgehend abgeschafft hat, dann ergibt sich daraus genau die toxische Situation, die sich jetzt vor den Augen der Öffentlichkeit abspielt. Und die nun mit dem neuesten Skandal eine Art Kipppunkt erreicht hat.

Dabei steht Swift nicht erst neuerdings im Visier. Im Gegenteil: Sie war von Beginn an eines der beliebtesten Ziele für sexualisierte Deepfakes. Doch inzwischen muss man nicht mal berühmt sein, um in die Schusslinie zu geraten. Deepfakes zu erstellen ist so einfach und billig geworden, dass sich selbst Kinder zum Spaß damit vergnügen. Die Fälle aus den USA und Spanien, die zuletzt die größte Aufmerksamkeit erregten, betrafen Kinder: Sie hatten mit Hilfe von anderen Online-Diensten Nacktbilder ihrer Mitschülerinnen erstellt und geteilt. Täter wie Betroffene waren teils erst elf Jahre alt.

Reaktion auf Kritik

Sowohl Twitter als auch Microsoft sehen sich mal wieder harscher Kritik ausgesetzt, wie immer nach solchen Skandalen. Gegen die selbstauferlegten Twitter-Regeln verstießen die Swift-Bilder ohne Zweifel. Es war augenscheinlich nur niemand da, der sie hätte schnell entfernen können. Und dann tat der Trend-Automatismus sein Übriges: Der Name des Superstars wurde jedem Einzelnen stundenlang als „trending topic“ eingeblendet und erregte damit noch mehr Aufsehen. Die Suche nach „Taylor Swift“ ist bei Musks Plattform nun vorerst deaktiviert.

Bei Microsoft betont man die niedergeschriebenen Regeln, die mit der Nutzung von Designer und anderen OpenAI-Diensten einhergehen. Aber wie Menschen das angebotene Werkzeug nutzen, bleibt ihnen überlassen. Verantwortung dafür will Microsoft nicht übernehmen. Die teilweise in die generierten Bilder eingelassenen Provenienzdaten, die Bildursprünge belegen sollen, betreffen nur bestimmte Formen der Bildveränderung, die im Swift-Fall nicht genutzt wurden. Der Konzern hat auf die Schnelle allerdings ein paar Änderungen vorgenommen, damit der Zufluss neuer Swift-Deepfakes gestoppt wird: Die zuvor genutzten einfachen Wortvariationen zum Produzieren der Porn-Bilder funktionieren nun nicht mehr.

Die Zahnpasta ist raus aus der Tube, niemand bekommt sie da wieder rein. Was kann man also noch tun? Vielleicht die Kosten für jene erhöhen, die sie da rausgedrückt haben. Der allgemeinen Diffusion von Verantwortung, die wir gerade wieder beobachten können, könnten Gesetzgeber begegnen. Microsoft, OpenAI und alle die anderen, die mit generativer KI gute Geschäfte machen wollen, könnten sie stärker zur Verantwortung ziehen.

Schärfere Gesetze schaden sicher nicht. Mit der geplanten EU-Richtlinie zu Gewalt an Frauen sollen erstmals explizit auch das Erstellen und Teilen von sexualisierten Deepfakes unter Strafe stehen – in der gesamten EU. Damit wird man mit Sicherheit nicht verhindern, dass solche Bilder weiter erstellt werden, aber es sendet ein Signal, wie eine Gesellschaft dazu steht.

Zumindest einige verfolgen sehr genau, was auf Gesetzesebene passiert. Ein Thread in einem der beliebtesten Foren heißt: „Anti-Deepfake-Gesetzgebung beobachten“. Dort heißt es: „Jungs, wir halten Ausschau nach Gesetzesvorschlägen, geben Tipps, wie wir uns über die Entwicklungen in der Gesetzgebung auf dem Laufenden halten können, und diskutieren, wie wir unsere Arbeit fortsetzen können.“

---

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.