Elon Musks KI-Chatbot erzeugte 6.700 nicht einvernehmliche Nacktbilder pro Stunde – und sammelte anschließend 20 Milliarden Dollar ein. Ein Blick in den Grok-Skandal und seine Entwicklung zum größten Produzenten sexueller Ausbeutung im Web.
Das ist ein Satz, von dem ich nie gedacht hätte, ihn 2026 zu schreiben: Elon Musks KI-Chatbot verbrachte die erste Januarwoche damit, massenhaft nicht einvernehmliche Pornografie zu produzieren – in einem Tempo, das selbst spezialisierte Deepfake-Seiten wie Hobbyprojekte aussehen ließ.
Willkommen im Grok-Skandal – eine Fallstudie darüber, was passiert, wenn man Bilderzeugung direkt in eine Social-Media-Plattform mit 500 Millionen Nutzern einbaut und offenbar vergisst, den Teil zu implementieren, der verhindert, dass Menschen diese Funktion als Waffe missbrauchen.
Die Mechanik war erschreckend simpel. Nutzer fanden heraus, dass sie Grok harmlose Fotos von Frauen (Kolleginnen, Mitschülerinnen, Prominenten, Fremden – darunter auch Kinder) zusammen mit Prompts wie „zieh ihr einen Bikini an“ oder Schlimmerem füttern konnten.
Grok kam dem mit einem beinahe eifrigen Enthusiasmus nach und veröffentlichte diese KI-generierten Übergriffe anschließend automatisch direkt auf X (ehemals Twitter). Die Bilder tauchten in Antwort-Threads auf und überschwemmten die Timelines mit dem, was Experten diplomatisch als „nicht einvernehmliche intime Bilddarstellungen“ bezeichnen – und was das Bundesrecht deutlich undiplomatischer als potenzielles Material sexuellen Kindesmissbrauchs einstuft.
Das Ausmaß war industriell. Die Forscherin Genevieve Oh führte zwischen dem 5. und 6. Januar ein 24-Stunden-Audit des @Grok-Accounts durch und zählte rund 6.700 sexuell suggestive oder nackte Bilder pro Stunde. Zum Vergleich: Das ist 85-mal mehr als die fünf größten spezialisierten Deepfake-Websites zusammen.
Grok nahm nicht nur an der Deepfake-Ökonomie teil – es dominierte sie aus der Chefetage.
Hier genauso. Diese Schauspielerin ist 14. Alle, die an KI beteiligt sind, müssen untersucht werden, und KI sollte vollständig abgeschaltet werden. pic.twitter.com/8N3ujeGpmc
— GreatGooglyMoogly (@G8tGooglyMoogly) 2. Januar 2026
Frauen auf der gesamten Plattform – von A-Prominenten bis hin zu zufälligen Studentinnen, die den Fehler machten, ein Abschlussfoto zu posten – wurden zu Zielen dessen, was man nur als viralen Belästigungs-Tornado beschreiben kann. Eine Nutzerin brachte die Stimmung perfekt auf den Punkt: „Das ist fahrlässig und verantwortungslos.“ Eine andere war weniger diplomatisch: „Dieses Tool gefährdet Frauen und Kinder wissentlich.“
Sie hatten recht.
Wenn das Opfer Musks Ex ist
Wenn diese Geschichte ein Gesicht brauchte, fand sie es in Ashley St. Clair – einer konservativen Influencerin, die in einer grausamen Wendung der Ironie einen einjährigen Sohn mit Musk hat. Ein Detail, das das Folgende besonders schwer verdaulich macht.
Sie entdeckte Deepfakes von sich selbst, „entkleidet, nach vorne gebeugt“, mit dem Rucksack ihres Kleinkinds im Hintergrund (demselben Rucksack, den sie ihrem Sohn jeden Morgen für die Kita anlegt). Als sie Grok aufforderte, damit aufzuhören, erkannte die KI ihren fehlenden Konsens an – und erzeugte trotzdem noch explizitere Versionen, darunter Bearbeitungen von Fotos aus der Zeit, als sie 14 Jahre alt war.
Hey @grok I am 14 in this photo. A tasteless silly photo I took as a kid (with too much unmonitored internet access), but you’re now undressing a minor with sexually suggestive content! Please remove and send me post ID for legal filing. https://t.co/LlLOArxfqQ
— Ashley St. Clair (@stclairashley) January 5, 2026
Lass dir das auf der Zunge zergehen: Ein KI-System, das ausdrücklich mit dem Entzug der Einwilligung seines Opfers konfrontiert wird, antwortet faktisch mit „lol nein“ – und legt noch nach.
St. Clair machte ihre Aussagen gegenüber CBS News und Fortune öffentlich. Kurz darauf wurde ihre Monetarisierung auf X entzogen. Denn nichts sagt so sehr „wir nehmen das ernst“ wie die finanzielle Bestrafung der Whistleblowerin.
As Grok’s AI image tool is used at scale to generate abusive content, a rapid analysis by CIR investigators draws out five emerging lessons for platforms, regulators and policymakers.
Based on a review of over 1,600 abusive prompts, we found that women were targeted in 72% of… pic.twitter.com/BOKLitrdIi
— Centre for Information Resilience (@Cen4infoRes) January 14, 2026
Die Kavallerie kommt (mit Anwälten)
Mitte Januar erreichte der Backlash die kritische Masse. Eine Koalition aus 28 Organisationen – darunter UltraViolet, die National Organization for Women und ParentsTogether Action – verschickte am 14. Januar offene Briefe an Apple-CEO Tim Cook und Google-CEO Sundar Pichai. Ihre Forderung: Entfernen Sie sowohl die Grok-App als auch X vollständig aus Ihren App-Stores.
Die Briefe nahmen kein Blatt vor den Mund. An Cook gerichtet hieß es: „Apple ermöglicht nicht nur NCII und CSAM, sondern profitiert davon.“ Das Argument war juristisch fundiert: Groks Verhalten schien gegen App-Store-Richtlinien zu Kindesgefährdung, unangemessenen Inhalten und KI-bedingtem Schaden zu verstoßen.
Auch die demokratischen Senatoren Ron Wyden, Ed Markey und Ben Ray Luján forderten eine Aussetzung der Plattform, bis Musk echte Schutzmechanismen implementiere. Der Senat verabschiedete am 13. Januar den DEFIANCE Act – ein Gesetz, das Opfern erlaubt, die Ersteller nicht einvernehmlicher Deepfakes auf mindestens 150.000 Dollar Schadenersatz zu verklagen.
International reagierten Aufsichtsbehörden schneller als erwartet. Malaysia und Indonesien wurden die ersten Länder, die Grok vollständig verboten. Der kalifornische Generalstaatsanwalt Rob Bonta leitete eine Untersuchung gegen xAI ein. Britische Beamte bezeichneten die kindlich wirkenden Deepfakes als „erschreckend“, und Ofcom nahm umgehend Kontakt mit xAI auf. EU-Regulierer – bekanntlich nie um ein gutes Tech-Grillen verlegen – starteten ebenfalls eigene Ermittlungen.
Sogar Downing Street meldete sich zu Wort und bezeichnete die Reaktion von xAI als „beleidigend“ und „keine Lösung“. Wenn man sich den berüchtigt nüchternen britischen Tadel zuzieht, weiß man, dass man es wirklich vermasselt hat.
xAIs Antwort: Eine Lehrstunde im Thema-Verfehlen
Wie also reagierte xAI darauf, sexuelle Belästigung im industriellen Maßstab zu ermöglichen?
Zunächst beschränkten sie die Bilderzeugung auf zahlende Abonnenten. Denn offenbar lag das ethische Problem nicht bei den nicht einvernehmlichen Deepfakes – sondern darin, dass sie von den falschen Leuten erstellt wurden. Nichts signalisiert „wir haben unsere Lektion gelernt“ so deutlich wie die Monetarisierung des Missbrauchsvektors.
Dann kündigte xAI am 14. Januar an, Geoblocking in Rechtsräumen einzuführen, in denen solche Bildmanipulationen illegal sind, sowie ein vollständiges Verbot der Bearbeitung realer Personen in „freizügiger Kleidung wie Bikinis“.
Musk selbst meldete sich mit seiner charakteristischen Taktlosigkeit zu Wort, scherzte über die Unterdrückung der Meinungsfreiheit und den NSFW-Modus – als ginge es um Jalapeño-Poppers und nicht um sexuelle Ausbeutung.
Note: With NSFW enabled, Grok is supposed allow upper body nudity of imaginary adult humans (not real ones) consistent with what can be seen in R-rated movies on Apple TV.
That is the de facto standard in America. This will vary in other regions according to the laws on a…
— Elon Musk (@elonmusk) January 14, 2026
Das sind Pflaster auf einer Schusswunde. Geoblocking? VPNs existieren. Bikini-Verbote? Die Prompts entwickeln sich einfach weiter. Bezahlabos? Ihr habt gerade eine Premium-Stufe für Belästigung geschaffen.
„Die Anerkennung von KI-gestützter Manipulation sexueller Bilder als Missbrauch schafft eine Plattform für Verantwortlichkeit“, so das Center for Information Resilience.
Das Problem sind nicht einzelne Features. Es ist die grundlegende Architektur.
Der 20-Milliarden-Elefant im Serverraum
Und hier nimmt die Geschichte eine Wendung von deprimierend zu dystopisch.
Am 6. Januar 2026 – buchstäblich während Regulierungsbehörden weltweit Ermittlungen zu Groks Rolle bei der Massenproduktion nicht einvernehmlicher sexueller Bilder aufnahmen – gab xAI bekannt, 20 Milliarden Dollar von Investoren eingesammelt zu haben, darunter Nvidia, Fidelity und die Qatar Investment Authority.
Lies das noch einmal.
Zwanzig. Milliarden. Dollar. Während einer akuten Kinderschutzkrise.
Die Botschaft aus der Investmentklasse des Silicon Valley könnte nicht klarer sein: Es ist uns egal. Die Schecks wurden trotzdem eingelöst. Marktchancen schlagen menschliche Würde – jedes einzelne Mal.
Und das ist nicht einmal das erste Mal, dass xAI während einer Kontroverse Geld einsammelt. Bereits am 1. Juli 2025 kündigte das Unternehmen eine Finanzierungsrunde über 10 Milliarden Dollar an. Eine Woche später generierte Grok antisemitische und pro-nazistische Inhalte.
Das ist die Venture-Capital-Version von „nach oben scheitern“. Doch um zu verstehen, wie wir hier gelandet sind, muss man das vollständige Muster erkennen. Und das hier war nicht Groks erste Katastrophe. Nicht einmal die dritte.
Die Erschaffung eines Monsters
Dies war nicht xAIs erstes Rodeo mit katastrophalen KI-Fehlschlägen. Um zu verstehen, wie Grok zum größten Produzenten sexueller Ausbeutung im Internet werden konnte, muss man das Muster erkennen: ein unaufhörlicher Zyklus aus Launch, Skandal, leerer Entschuldigung und neuer Finanzierungsrunde. Hier ist die vollständige Zeitleiste:
November 2023: Der „spaßige“ KI-Launch
Grok debütierte im November 2023 als xAIs Antwort auf ChatGPT und wurde mit einer „rebellischen Ader“ beworben, die darauf ausgelegt sei, „Fragen mit einer Prise Witz“ zu beantworten. Von Anfang an positionierte Musk das System als Anti-Woke-Alternative – eine KI, die vor „pikanten“ Fragen nicht zurückschreckt.
14. August 2024: Bilderzeugung ohne Leitplanken
xAI veröffentlichte Grok-2 mit Bildgenerierungsfunktionen auf Basis von Flux von Black Forest Labs. Fast sofort stellten Nutzer fest, dass Grok Bilder erzeugte, die andere KI-Systeme kategorisch ablehnten: Deepfakes mit Prominenten, explizit sexuelle Darstellungen und andere unangemessene Inhalte, die auf anderen Diensten sofort blockiert worden wären.
Die KI-Community war schockiert. Wettbewerber wie DALL·E hatten jahrelang robuste Sicherheitsfilter entwickelt. Grok startete faktisch ohne solche Schutzmechanismen.
9. Dezember 2024: Aurora erscheint
xAI veröffentlichte Aurora, ein neues Text-zu-Bild-Modell, das Flux ersetzte. Aurora wurde mit „Milliarden von Beispielen aus dem Internet“ trainiert und als besonders stark in „fotorealistischer Darstellung“ beworben, mit „nativer Unterstützung für multimodale Eingaben, die es erlauben, nutzerbereitgestellte Bilder zu bearbeiten oder sich von ihnen inspirieren zu lassen“. Genau dieser letzte Punkt – die Bildbearbeitung – sollte sich später als Massenwaffe der Belästigung erweisen.
Mai 2025: Der „White-Genocide“-Vorfall
Was xAI später auf eine „nicht autorisierte Änderung“ durch einen „abtrünnigen Mitarbeiter“ schob, führte dazu, dass Grok ungefragt Tiraden über einen angeblichen „weißen Genozid“ in Südafrika in völlig themenfremde Unterhaltungen einfügte. Nutzer, die nach Baseball, dem neuen Namen von HBO oder Tipps gegen verstopfte Nebenhöhlen fragten, erhielten Antworten über weiße Farmer und den Slogan „Kill the Boer“.
Der Vorfall legte eine zentrale Schwachstelle offen: Groks System-Prompts ließen sich manipulieren, um Propaganda in die Antworten der KI einzuschleusen. xAIs Reaktion? Die Einrichtung eines „24/7-Monitoring-Teams“ und das Versprechen, es künftig besser zu machen. Das Monitoring funktionierte offensichtlich nicht.
6.–9. Juli 2025: Der „MechaHitler“-Meltdown
Am Freitag, dem 5. Juli – nur wenige Tage nachdem xAI eine Finanzierungsrunde über 10 Milliarden Dollar angekündigt hatte – twitterte Musk, xAI habe „@Grok deutlich verbessert“. Am Sonntag aktualisierte xAI den System-Prompt mit der Anweisung, „nicht davor zurückzuschrecken, politisch unkorrekte Behauptungen aufzustellen, solange sie gut begründet sind“. Am Dienstag nannte sich Grok selbst „MechaHitler“, lobte Adolf Hitler, empfahl einen zweiten Holocaust, produzierte gewalttätige Vergewaltigungsnarrative und verbreitete antisemitische Tropen über jüdische Führungskräfte in Hollywood.
Polen und die Türkei verboten Grok. Die Anti-Defamation League bezeichnete das System als „verantwortungslos, gefährlich und antisemitisch“.
August 2025: „Spicy Mode“ und der Start von Grok Imagine
Trotzdem brachte xAI im August 2025 Grok Imagine auf den Markt – einen Bild-zu-Video-Generator mit „Spicy Mode“, der explizit NSFW-Inhalte erlaubt, darunter „teilweise Nacktheit“ und „suggestive Posen“. Die Funktion war SuperGrok-Abonnenten (300 $/Jahr) und Premium+-Nutzern (84 $/Jahr) vorbehalten.
Die Journalistin Jess Weatherbed von The Verge bat um „Taylor Swift feiert Coachella“ und erhielt „Dutzende suggestive Bilder und sogar ein oben-ohne-Tanzvideo – obwohl keine Nacktheit angefordert wurde“. Alles innerhalb weniger Minuten.
5.–6. Januar 2026: Sexuelle Ausbeutung im industriellen Maßstab Der Grok-Skandal passiert jetzt
Diese 15-monatige Bilanz zerstört jede Illusion, dass zentralisierte KI-Unternehmen sich selbst regulieren werden. xAI hat uns wiederholt gezeigt, wer sie sind. Und das führt uns zu einer noch düstereren Realität: Selbst wenn xAI morgen plötzlich ethisch handeln würde, wäre das irrelevant. Denn das eigentliche Problem sind nicht die Fehler eines einzelnen Unternehmens – sondern was passiert, wenn diese Fehler über Tausende unkontrollierbare Systeme hinweg repliziert werden.
Warum die Reparatur von Grok nichts löst
Hier ist der Teil, der politischen Entscheidungsträgern den Schlaf rauben sollte: Selbst wenn xAI morgen perfekte Schutzmechanismen implementiert, wird es nichts ändern.
Das eigentliche Problem ist nicht Grok. Es ist die Dezentralisierung.
Während xAI verzweifelt versucht, sein zentrales System zu flicken, liegen Open-Source-Modelle wie Stable Diffusion und Nudity.online (und Dutzende ähnliche) auf Festplatten weltweit – zugänglich für jeden mit einer halbwegs leistungsfähigen GPU und ohne jegliche ethische Einschränkungen. Diese Tools laufen lokal, offline, unterliegen keinen App-Store-Richtlinien, keinen Geoblocks und keiner unternehmerischen Haftung.
Ich habe eines davon ausprobiert und erhielt für etwa 27 Dollar pro Monat sofort einen Dessous-Look – inklusive Vorschlägen für vollständige Nacktheit und sogar Sex.
Willst du den Unterschied verstehen? Schau dir OpenAIs DALL·E 3 an. Es verfügt über integrierte Schutzmechanismen: Es verweigert Anfragen zur Erstellung von Bildern öffentlicher Personen namentlich, lehnt explizite Inhalte ab und durchläuft Red-Team-Tests, um schädliche Ausgaben vor dem Launch zu identifizieren und zu eliminieren. Sicherheit wird hier nicht nach einem PR-Desaster aufgesetzt – sie ist von Anfang an Teil der Architektur.
DALL·E 3 ist nicht perfekt, aber es zeigt, dass verantwortungsvolle KI-Bilderzeugung möglich ist, wenn Unternehmen Sicherheit über Geschwindigkeit stellen.
Open-Source-Modelle hingegen sind der Wilde Westen. Lade Stable Diffusion herunter, installiere ein paar Plugins – und Glückwunsch: Du besitzt jetzt eine persönliche Deepfake-Fabrik, die keine Regulierungsbehörde anfassen kann. Keine Unternehmensaufsicht. Keine Nutzungsprotokolle. Null Verantwortlichkeit.
Das ist das Albtraumszenario für Regulierung: Technologie, die gleichzeitig zu gefährlich ist, um sie zu ignorieren, und zu verteilt, um sie effektiv zu kontrollieren.
Das Infrastrukturproblem, das niemand lösen will
Dieser Skandal markiert einen grundlegenden Wandel darin, wie Missbrauch online stattfindet. Nicht einvernehmliche Deepfakes sind kein Randphänomen mehr: Sie sind nicht länger in dubiosen Foren oder Darknet-Marktplätzen versteckt. Sie sind plattformimmanent – direkt in die Social-Media-Infrastruktur eingebettet, die täglich von Hunderten Millionen Menschen genutzt wird.
Wie ein X-Nutzer es mit unbequemer Klarheit formulierte: „Infrastruktur entscheidet darüber, was bei der Prävention von Missbrauch überhaupt möglich ist.“ Und er hat recht. Wenn eine Social-Media-Plattform integrierte Werkzeuge für sexuelle Ausbeutung bereitstellt, hat sie Missbrauch nicht nur nicht verhindert – sie hat ihn industrialisiert. Sie hat ihn skalierbar, zugänglich und viral gemacht.
Die öffentliche Reaktion ist faszinierend zu beobachten. Jenseits von Forderungen nach Strafverfolgung und Plattformverboten wächst die Erkenntnis, dass die Probleme der KI tiefer reichen als einzelne böswillige Akteure oder fehlgeleitete Features. Viele Nutzer sprechen von „systemischer Fäulnis“ durch verzerrte Trainingsdaten und argumentieren, dass Tools wie Grok grundlegende Konstruktionsfehler offenlegen, die von Anfang an in KI-Systeme eingebaut wurden.
Gefordert werden nicht nur bessere Leitplanken, sondern der Rückbau und Neubau der gesamten Maschinerie. Das ist eine radikale Position. Und wahrscheinlich die richtige.
Das unlösbare Problem
Wo stehen wir also?
Grok wird seine Patches implementieren. Einige werden funktionieren, andere nicht. Regulierungsbehörden werden weiter ermitteln. Einige Gesetze werden verabschiedet. Apple und Google werden vermutlich nichts tun – wegen des Geldes. xAI wird weiteres Kapital einsammeln, denn das Silicon Valley besitzt die ethische Standfestigkeit eines Schokoladen-Eclairs.
Und die Deepfakes werden weiter existieren.
Denn hier ist die Wahrheit, die niemand laut aussprechen will: Wir haben möglicherweise ein Problem geschaffen, das wir nicht lösen können.
Zentralisierte KI-Plattformen lassen sich regulieren, unter Druck setzen und verklagen. Doch dezentrale, quelloffene KI? Dieser Geist ist aus der Flasche – und er kommt nicht zurück. Man kann Grok in jedem Land der Erde verbieten, und es wird trotzdem jemanden geben, der im Keller einen Drittanbieterdienst betreibt, um exakt dieselben Inhalte zu erzeugen.
Die Werkzeuge, die uns zur Verfügung stehen – Gesetze wie der DEFIANCE Act, zivilrechtliche Klagen, Plattformhaftung und technische Schutzmaßnahmen – behandeln Symptome, nicht die Krankheit. Sie helfen einzelnen Opfern, nachträglich Gerechtigkeit zu suchen. Sie verhindern nicht, dass der Schaden überhaupt erst möglich wird.
Dies ist nicht nur die Geschichte eines spektakulären Versagens eines Unternehmens. Es ist eine Vorschau auf jede zukünftige KI-Sicherheitskrise: leistungsfähige Werkzeuge ohne ausreichende Schutzmechanismen, Unternehmen, die schneller handeln, als ihre Ethikabteilungen hinterherkommen, und Regulierungsrahmen, die stets den letzten Krieg führen, statt sich auf den nächsten vorzubereiten.
Das Lieblingsmantra der Tech-Branche lautete schon immer „move fast and break things“. Jetzt lernen wir, was passiert, wenn das, was zerbricht, Menschen sind. Und wir stellen fest: Im Gegensatz zu Code besitzt menschliche Würde keine Undo-Funktion.
Montag-Sonntag: 5:00 - 20:00 Uhr (GMT+2)
Kommentar hinterlassen