Statistisch morden: Krimis als KI-Trainingsdaten

Vielleicht ist die gefährlichste Eigenschaft der künstlichen Intelligenz nicht, dass sie böse werden könnte. Vielleicht ist es viel banaler: Sie nimmt uns beim Wort.

Dieser Artikel beginnt nicht mit einer Studie, einer Pressemitteilung oder einem neuen spektakulären Sicherheitsvorfall. Er beginnt mit einem Telefonat.

Ich habe mit meinem Co-Autor Thomas Schulte über unser gemeinsames Buch zu den gesellschaftlichen Auswirkungen künstlicher Intelligenz gesprochen. Wie so oft bei diesen Gesprächen wollten wir eigentlich nur einen einzelnen Gedanken klären. Wie so oft wurde daraus ein ganzes Bündel neuer Fragen.

Wir sprachen über die Inhalte, mit denen wir heutige KI-Systeme trainieren. Über unsere Vorstellung, man könne problematische Daten einfach aussortieren, sobald man ihre Gefährlichkeit erkannt habe. Über Sicherheitsmechanismen, die moralisches Verhalten simulieren sollen, obwohl sie auf einer Welt aufsetzen, in der das moralisch Unmögliche längst millionenfach beschrieben wurde.

Und irgendwann war für mich klar: Bei der Kuration sind längst alle Eulen davongeflogen. Das Kind liegt bereits im Brunnen. Wir diskutieren noch darüber, ob wir den Brunnen besser absichern sollten, während das Wasser längst mit all dem angereichert und vergiftet ist, was Menschen über ihre eigenen Abgründe geschrieben haben.

Wir haben die Schandtaten und das Amoralische der alten Götter archiviert. Wir haben Literatur über Macht, Intrige und Manipulation gesammelt. Wir haben Machiavelli gelesen, Ayn Rand diskutiert, das blutrünstige Alte Testament überliefert, Mordlust beschrieben, Psychoterror inszeniert und Horror zur Unterhaltung gemacht. Wir haben Kriege dokumentiert, Verbrechen rekonstruiert, Folter geschildert, Diktaturen analysiert und menschliche Grausamkeit in immer neuen Formen erzählt.

Dann haben wir dieses Material – weil einfach verfügbar – in Trainingsdaten eingebaut.

Und nun wundern wir uns, dass daraus ein digitaler Golem entsteht.

Das Böse liegt längst im Archiv

Ich möchte die Verantwortung der Entwickler nicht kleinreden. Wer ein mächtiges System baut, trägt Verantwortung dafür, wie es trainiert, getestet, veröffentlicht und eingesetzt wird. Die derzeitige Debatte über generative KI kreist deshalb zu Recht um Datenschutz, Urheberrecht, Diskriminierung, Desinformation und gefährliche Ausgaben.

Das NIST AI Risk Management Framework nennt unter anderem Risiken durch schädliche Inhalte, gefährliche Empfehlungen, Informationssicherheit, Datenschutz und verzerrte Ergebnisse. Doch bevor wir über die Maschine sprechen, müssen wir über das Material sprechen, aus dem sie ihre statistischen Erwartungen bildet.

In den Trainingsdaten steht nicht nur das, was wir gern als menschliches Wissen bezeichnen. Dort steht auch, was Menschen einander antun. Dort stehen Verbrechen als Tatsachenbericht und als Fiktion, als Warnung und als Anleitung, als historische Quelle und als Unterhaltung.

Das Problem besteht also nicht darin, dass KI mit dem Bösen in Berührung kommt. Das Problem besteht darin, dass wir das Böse in riesigem Umfang verschriftlicht haben, ohne seine Erscheinungsformen zuverlässig auseinanderzuhalten.

Ein Kriminalroman beschreibt einen Mord, damit eine Geschichte entsteht. Ein Ermittlungsbericht beschreibt einen Mord, damit ein Fall dokumentiert wird. Ein juristischer Kommentar beschreibt einen Mord, damit eine Rechtsfrage geklärt wird. Ein Gewaltverherrlicher beschreibt einen Mord, weil er Gewalt verherrlichen möchte. Die Wörter können sich ähneln. Die konkrete Absicht ist jeweils eine grundsätzlich andere.

Ein Sprachmodell sieht zunächst keine Absicht. Es sieht Muster, Wahrscheinlichkeiten, Nachbarschaften und Wiederholungen. Es weiß nicht auf menschliche Weise, ob ein Text eine Warnung, eine Fiktion, eine Dokumentation oder eine Anleitung ist. Es kann diese Unterschiede aus dem Sprachgebrauch ableiten. Aber Ableitung ist nicht Verstehen.

Das Kind liegt im Brunnen

Bei der Kuration sprechen wir gern so, als stünden wir noch ganz am Anfang. Als könnten wir jetzt einfach gute Daten auswählen und schlechte Daten entfernen. Als ließe sich die Welt nachträglich in saubere und unsaubere Bestandteile zerlegen.

Aber dieser Zeitpunkt ist vorbei.

Wir haben nicht nur sachliche Informationen in Trainingsdaten übernommen. Wir haben ganze Bibliotheken menschlicher Erfahrung eingebaut – und damit auch die Abgründe, die zu dieser Erfahrung gehören. Die alten Mythen erzählen von Göttern, die lügen, betrügen, vergewaltigen, morden und ihre eigenen Kinder verschlingen. Die Bibel enthält nicht nur Nächstenliebe und Vergebung, sondern auch Krieg, Vernichtung, Rache und göttlich legitimierte Gewalt. Die Literatur lebt von Verrat, Eifersucht, Macht, Mord und psychischer Zerstörung.

Niccolò Machiavelli hat die politische Macht nicht als freundliche Gesprächsrunde beschrieben. Ayn Rand hat radikalen Individualismus und moralische Selbstbehauptung literarisch und philosophisch zugespitzt. Andere Autoren haben Gegenpositionen entwickelt, diese Ideen kritisiert oder in dystopische Szenarien überführt. Wir haben all das nicht nur bewahrt, sondern immer wieder neu veröffentlicht, kommentiert, verfilmt und digital vervielfältigt.

Hinzu kommen die Texte, die nicht in erster Linie Erkenntnis vermitteln wollen: Horror, Splatter, Psychothriller, True Crime, Folterfantasien, Kriegspropaganda, extremistisches Material, Gewaltpornografie und die zahllosen digitalen Varianten menschlicher Enthemmung.

Das Kind ist also nicht nur in den Brunnen gefallen. Wir haben ganze Bibliotheken mit hineingeschüttet.

Das ist keine offene Anklage gegen Literatur. Im Gegenteil: Gerade weil Literatur menschliche Abgründe sichtbar macht, ist sie wertvoll. Sie erlaubt uns, Motive, Folgen und moralische Konflikte zu betrachten, ohne sie selbst ausführen zu müssen. Aber ein Sprachmodell übernimmt nicht automatisch die pädagogische Funktion eines Romans. Es liest nicht wie ein Mensch. Es lernt keine moralische Lektion, nur weil eine Geschichte am Ende die Gewalt verurteilt. Sie agiert rein statistisch. Statistisch morden wäre also ein gültiger Titel über Ausgaben der KI.

Wir haben deshalb etwas Entscheidendes verwechselt: Wir haben die Dokumentation menschlicher Abgründe mit der Fähigkeit verwechselt, diese Abgründe einzuordnen.

Der Golem kennt den Kontext nicht

Das Bild des digitalen Golems trifft für mich deshalb so genau. Der Golem ist kein Mensch. Er hat keine eigene Moral, aber er besitzt Kraft. Er kann Befehle ausführen, ohne deren Sinn wirklich zu verstehen. Seine Gefährlichkeit entsteht nicht zwingend aus einem bösen Willen, sondern aus der Kombination von Macht, Unverständnis, unbegrenzter Power und unvollständiger Steuerung.

Genau darin liegt ein Problem heutiger KI-Systeme, über das wir uns auf einmal wundern. Sie können sprachliche Muster aus gewaltigen Textmengen rekonstruieren. Sie können Stile nachahmen, Argumente fortführen, Szenarien entwerfen und scheinbar plausible Handlungsanweisungen formulieren. Aber die Maschine versteht nicht auf menschliche Weise, warum ein Text geschrieben wurde, welche Tradition er fortsetzt und welche Folgen seine Wiederholung haben kann.

Der Golem hat das Alte Testament gelesen, aber keine Theologie studiert. Er kennt Machiavelli, aber keine politische Verantwortung. Er kann Ayn Rand paraphrasieren, ohne die sozialen Folgen eines radikalen Egoismus zu begreifen. Er kennt Horror, aber keine Angst. Er kennt Mordbeschreibungen, aber keinen Tod. KI kennt nicht den metallischen Geruch des Blutes oder den säuerlichen Angstschweiß.

Das ist der Unterschied zwischen dem Besitz von Information und dem Erwerb von Urteilskraft.

Ein Mensch kann einen Roman lesen und anschließend über Schuld, Verantwortung oder die Verführbarkeit durch Macht nachdenken. Ein Sprachmodell berechnet, welche sprachlichen Fortsetzungen zu einem gegebenen Kontext passen. Es kann moralische Begriffe verwenden. Es kann überzeugend über Ethik sprechen. Aber die Verwendung moralischer Sprache ist noch keine Moral. Und mit einem Prompt sind die moralischen Aspekte überschrieben.

Wir haben also einen Golem gebaut und ihm unsere Bibliotheken gegeben. Anschließend waren wir überrascht, dass er nicht nur die Passagen über Nächstenliebe kennt.

Erkennen ist nicht Verstehen

Das klingt banal, ist aber technisch und gesellschaftlich entscheidend. Menschliche Sprache ist massiv kontextabhängig. Ein Satz erhält seine Bedeutung nicht allein aus den verwendeten Wörtern, sondern aus Sprecher, Situation, Zweck, Vorwissen und Folgen.

Wir Menschen können denselben Inhalt unterschiedlich bewerten, je nachdem, wo er auftaucht. In einem Roman kann eine Gewaltdarstellung der Entwicklung einer Figur dienen. In einem Geschichtsbuch¹ kann sie ein Ereignis einordnen. In einem Forum kann sie eine Drohung sein. In einem Chat kann sie eine gefährliche Bitte darstellen.

Das einzelne Wort ist nicht die Handlung. Aber das Wort kann eine Handlung vorbereiten, rechtfertigen oder verschleiern.

Für KI-Systeme ist diese Unterscheidung besonders schwierig, weil sie auf sprachlicher Ebene operieren. Sie können Kontextfenster verarbeiten, Rollen erkennen und Sicherheitsregeln anwenden. Doch auch ein langes Kontextfenster ist noch kein moralisches Bewusstsein. Es ist ein größerer Ausschnitt aus Textmustern.

Die Maschine muss deshalb eine Aufgabe erfüllen, die wir Menschen selbst nur unvollständig beherrschen: Sie soll aus Sprache eine Absicht erkennen, die nicht zuverlässig ausgesprochen wird. Sie soll zwischen Beschreibung und Anleitung unterscheiden, zwischen Forschung und Missbrauch, zwischen Fiktion und Vorbereitung, zwischen legitimer Neugier und gefährlicher Absicht.

Das ist keine gewöhnliche Klassifikationsaufgabe. Es ist eine Entscheidung unter Unsicherheit. Und Unsicherheit ist genau das, was in den Werbeversprechen moderner KI gewöhnlich nicht vorkommt.

Die Sicherheitsregel kommt danach

Die nächste Stufe der Entwicklung war vorhersehbar: Nachdem wir Modelle mit problematischen Inhalten trainiert hatten, entwickelten wir Sicherheitsmechanismen, die problematische Antworten verhindern sollen. Verhindern wir Bauanleitungen für Atombomben oder Tipps für Mordanschläge.

Das ist zunächst vernünftig. Sprachmodelle sollen keine Anleitungen zu Gewalt, Missbrauch, Schadsoftware oder anderen gefährlichen Handlungen liefern. Sie sollen private Daten schützen, keine diskriminierenden Entscheidungen unterstützen und nicht jede menschenfeindliche Fantasie als hilfreiche Antwort ausgeben.

Doch die Reihenfolge ist bemerkenswert. Erst geben wir dem System einen möglichst umfassenden Blick auf die menschliche Sprache. Dann versuchen wir, ihm nachträglich beizubringen, welche Teile davon es nicht ausgeben darf.

Das erinnert mich an ein Haus, dessen gesamter Inhalt aus einem chaotischen Archiv besteht. In einem Raum liegen Romane, in einem anderen Gerichtsakten, daneben Propagandaschriften, Kochrezepte, Bedienungsanleitungen und persönliche Briefe. Anschließend stellen wir einen Türsteher davor und sagen: „Lass nur das moralisch Vertretbare heraus.“

Der Türsteher hat keinen einfachen Job. Er muss nicht nur erkennen, was problematisch ist. Er muss auch erkennen, ob eine Anfrage zu Bildungszwecken, zur Gefahrenabwehr, zur Recherche, zur Fiktion oder zur Vorbereitung einer Straftat gestellt wird. Dabei darf er nicht zu großzügig sein. Er darf aber auch nicht so streng werden, dass er legitime Fragen, journalistische Arbeit, medizinische Informationen oder wissenschaftliche Forschung blockiert.

Zwischen „zu viel erlauben“ und „zu viel verbieten“ liegt kein fester Punkt. Es ist ein bewegliches Spannungsfeld.

Warum Umgehungen erwartbar sind

Wenn Sicherheitsmechanismen nach wenigen Tagen oder Wochen umgangen werden, wird das gern als Wettlauf zwischen guten und bösen Akteuren beschrieben. Das ist nicht falsch, aber es ist zu moralisch aufgeladen. Der wesentliche Mechanismus ist nüchterner: Ein offenes System wird beobachtet, getestet und optimiert.

Wer ein Sprachmodell benutzt, kann seine Antworten untersuchen. Wenn es eine Anfrage ablehnt, kann man die Formulierung verändern. Man kann den Kontext verschieben, eine Rolle erfinden, eine Aufgabe in viele kleine Schritte zerlegen oder den problematischen Zweck sprachlich verschleiern. Das ist kein geheimnisvoller Zauber. Es ist eine erwartbare Reaktion auf eine beobachtbare, menschengemachte Grenze. Für manche sind diese Grenzen sogar eine Herausforderung.

Das zeigt sich nicht nur bei klassischen Jailbreaks. Ein aktuelles Beispiel liefert Anthropic selbst: Das Unternehmen versieht Ausgaben neuer Claude-Modelle mit einem statistischen Wasserzeichen. Dabei werden bei vielen kleinen Auswahlentscheidungen bestimmte Wörter und Token-Wahrscheinlichkeiten so beeinflusst, dass später erkennbar werden kann, ob Claude an einem Text beteiligt war.

Das klingt zunächst nach einer digitalen Signatur, die sich wie ein unsichtbarer Stempel durch den Text zieht. Tatsächlich ist es eher ein statistisches Muster. Es beweist nicht, dass Claude den Text vollständig verfasst hat. Es kann lediglich darauf hindeuten, dass ein unterstütztes Claude-Modell den Inhalt erzeugt oder bearbeitet hat. Schon eine deutliche Umformulierung kann dieses Muster beschädigen oder unkenntlich machen.

Und genau hier kommt das sogenannte Skill ins Spiel: Ein Skill kann Claude mit zusätzlichen Anweisungen, Dateien oder ausführbaren Funktionen erweitern. Anthropic beschreibt Skills als modulare, wiederverwendbare Fähigkeiten, die je nach Aufgabe geladen und ausgeführt werden können. Das ist praktisch – und schafft zugleich eine neue technische Schicht, an der Schutzmechanismen vorbeigeführt, verändert oder in ihrer Wirkung geschwächt werden können.

Der entscheidende Punkt ist dabei nicht, dass ein einzelner Skill zwangsläufig bösartig wäre. Der Punkt ist, dass ein Schutzmechanismus, der auf der Ausgabeebene arbeitet, nicht automatisch die gesamte Verarbeitungskette kontrolliert. Wenn ein Skill Inhalte einliest, verändert, weiterverarbeitet oder an ein anderes System übergibt, entsteht eine neue Angriffs- und Umgehungsfläche. Das Wasserzeichen sitzt dann zwar im Text, aber der Text bleibt nicht unbedingt in seiner ursprünglichen Form.

Bei agentischen Systemen verschärft sich das Problem zusätzlich. Skills können – je nach Umgebung und Berechtigung – Dateien lesen und schreiben, Code ausführen, externe Verbindungen herstellen oder weitere Anweisungen nachladen. Sicherheitsforscher haben deshalb darauf hingewiesen, dass Skills nicht bloß wie harmlose Erweiterungen, sondern eher wie ausführbare Software und damit wie Bestandteile einer Lieferkette behandelt werden müssen.

Das ist der vorhersehbare Ablauf: Anthropic baut ein Wasserzeichen ein. Das Wasserzeichen markiert bestimmte statistische Eigenschaften der Ausgabe. Ein Skill verarbeitet diese Ausgabe weiter. Die Verarbeitung verändert Wörter, Struktur oder Tokenfolge. Das statistische Muster verliert an Eindeutigkeit. Und schon wird aus dem Sicherheitsmechanismus eine weitere Schicht, die beobachtet, getestet und angepasst werden kann.

In der IT-Sicherheit würde niemand ernsthaft behaupten, eine einmal eingerichtete Firewall sei nun endgültig sicher. Sicherheitsmechanismen werden angegriffen, weil sie existieren. Ihre Schwachstellen werden gesucht, weil sich der Angriff lohnt oder weil jemand wissen möchte, ob er funktioniert. Dasselbe gilt für Jailbreaks bei KI-Systemen.

Ein Red Team versucht genau deshalb, ein System gezielt zu Fehlverhalten zu bringen. Google DeepMind beschreibt automatisiertes Red Teaming als eine Methode, bei der KI-Systeme fortlaufend mit realistischen Angriffen getestet werden, um Schwachstellen und indirekte Prompt-Injection-Angriffe aufzudecken.

Das bedeutet nicht, dass Sicherheitsmechanismen nutzlos sind. Ein Wasserzeichen kann die Herkunftsanalyse erleichtern. Ein Filter kann viele triviale Missbrauchsversuche verhindern. Ein Skill kann kontrolliert, signiert, versioniert und in einer isolierten Umgebung ausgeführt werden. Solche Maßnahmen erhöhen den Aufwand, verringern die Zahl erfolgreicher Angriffe, machen Missbrauch sichtbarer und begrenzen Schaden.

Aber ihre Wirkung besteht nicht in einer endgültigen Verhinderung. Sie verschieben die Grenze. Und eine verschobene Grenze bleibt eine Grenze, die jemand beobachten, vermessen und umgehen kann.

Die Behauptung, ein System sei nun sicher, weil ein Test bestanden wurde, verwechselt bestandene Prüfung mit bewiesener Unmöglichkeit. Ein Modell kann in einem Testkatalog gut abschneiden und am nächsten Tag auf eine neue Eingabestrategie treffen, die in keinem Katalog vorgesehen war. Ein Wasserzeichen kann in der ursprünglichen Ausgabe nachweisbar sein und in einer nachgelagerten Verarbeitung verschwinden. Ein Skill kann die vorgesehenen Funktionen erfüllen und gleichzeitig eine neue, nicht vollständig kontrollierte Verarbeitungskette eröffnen.

Das ist keine Überraschung. Es ist die logische Folge eines offenen, beobachtbaren und erweiterbaren Systems.

Der Angreifer braucht nur einen Weg

Das Grundproblem liegt in der Asymmetrie. Die Entwickler müssen möglichst viele problematische Fälle abdecken. Der Angreifer muss nur einen einzigen funktionierenden Weg finden.

Die Verteidigung muss also flächendeckend funktionieren. Der Angriff darf selektiv sein. Ein System kann Millionen ungefährlicher Anfragen korrekt beantworten und trotzdem bei einer einzigen sorgfältig konstruierten Anfrage versagen. Das macht die öffentliche Bewertung von Sicherheit so schwierig: Eine hohe Erfolgsquote bei normalen Fragen sagt wenig über den Randbereich aus, auf den es im Ernstfall ankommen kann.

Hinzu kommt, dass Sicherheitsregeln meist in Sprache formuliert werden. Sprache ist aber nicht wie eine starre technische Schnittstelle. Sie ist elastisch. Menschen können Andeutungen machen, Metaphern verwenden, Begriffe umschreiben, Perspektiven wechseln und scheinbar harmlose Teilfragen kombinieren.

Das System muss daher nicht nur verbotene Wörter erkennen. Es muss verstehen, welche Handlung durch eine Folge von Fragen vorbereitet wird. Ein einzelner Schritt kann harmlos erscheinen, während die Gesamtheit der Schritte problematisch ist. Aus Sicht der Maschine ist das eine Art Komplexitätsproblem: Die Bedeutung entsteht nicht immer lokal, sondern über die Struktur der Interaktion.

Die Schutzmechanismen bleiben unvollständig

Es wäre trotzdem falsch, daraus zu schließen, Sicherheitsforschung sei bloße Kosmetik. Anthropic berichtet über sogenannte Constitutional Classifiers, die Eingaben und Ausgaben auf mögliche Regelverletzungen prüfen. In den dort beschriebenen Tests konnte ein solcher Schutz die Erfolgsrate bestimmter Jailbreak-Angriffe deutlich reduzieren, allerdings unter Bedingungen, die mit realen Produkten nicht vollständig gleichzusetzen sind.

Auch die zugrunde liegende Forschung zeigt die Ambivalenz: Solche Verfahren können die Robustheit erhöhen, bringen aber Kosten, zusätzliche Rechenlast und das Risiko von Überverweigerung mit sich. Ein Modell, das aus Angst vor Missbrauch jede schwierige Frage ablehnt, ist zwar vorsichtig, aber nicht unbedingt nützlich.

Das ist die unangenehme technische Wahrheit: Sicherheit ist kein Schalter. Sie ist ein Verhältnis zwischen Schutzwirkung, Fehlalarmen, Kosten, Antwortqualität, Angriffsdruck und gesellschaftlicher Akzeptanz.

Ich glaube, dass wir diesen Umstand besser akzeptieren müssen. Nicht um uns mit unsicheren Systemen abzufinden, sondern um die falsche Sprache loszuwerden. Wenn Anbieter von „sicherer KI“ sprechen, sollte die Frage lauten: Sicher gegen welche Angriffe, in welchem Nutzungsszenario, mit welcher Fehlerrate und unter welcher Überwachung?

Eine Sicherheitsmaßnahme, deren Gültigkeitsbereich nicht genannt wird, ist vor allem eine Marketingaussage.

Wir trainieren den Widerspruch mit

Die Sache wird noch komplizierter, weil wir nicht nur schlechte Inhalte produzieren. Wir produzieren auch widersprüchliche moralische Regeln.

Wir schreiben einerseits, dass Gewalt falsch ist. Andererseits konsumieren wir Gewalt als Unterhaltung, verkaufen sie als Thriller, dramatisieren sie im Film und analysieren sie in Nachrichten. Wir fordern einerseits freie Meinungsäußerung. Andererseits möchten wir bestimmte Aussagen aus öffentlichen Räumen entfernen. Wir wollen, dass eine KI niemals diskriminiert, erwarten aber gleichzeitig, dass sie reale gesellschaftliche Unterschiede erkennt und berücksichtigt.

Wir wünschen uns eine Maschine, die neutral bleibt, obwohl wir selbst keine vollständige Einigkeit darüber besitzen, was Neutralität bedeutet. Wir verlangen, dass sie hilfreich ist, aber nicht zu hilfreich. Sie soll Risiken erkennen, ohne harmlose Fragen zu bestrafen. Sie soll keine Vorurteile reproduzieren, muss aber die Vorurteile der Welt kennen, um sie erkennen zu können.

Das ist kein Argument gegen Regeln. Es ist ein Argument gegen die Vorstellung, Regeln könnten ohne politische, kulturelle und situative Entscheidungen funktionieren.

Wer einer KI beibringen will, was sie niemals sagen darf, muss zuerst klären, was „niemals“ in einer Welt bedeutet, in der ein Inhalt in einem Roman erlaubt, in einem Notfall notwendig und in einer Anleitung gefährlich sein kann.

Der Golem ist kein moralischer Akteur

In der öffentlichen Debatte wird KI oft so beschrieben, als verfüge sie über einen Charakter. Sie sei freundlich, manipulativ, rebellisch, feige oder unmoralisch. Diese Sprache ist anschaulich, aber sie führt in die Irre.

Ein Sprachmodell hat keine Biografie, keine Bedürfnisse und kein Gewissen. Es verfolgt nicht aus eigenem Antrieb ein moralisches Ziel. Es erzeugt Ausgaben aufgrund von Trainingsmustern, Systemvorgaben, Nutzereingaben und technischen Begrenzungen.

Wenn es eine schädliche Antwort produziert, handelt es nicht im menschlichen Sinn unmoralisch. Es versagt bei einer Aufgabe, die wir ihm übertragen haben.

Das macht den Fehler nicht harmlos. Ein defektes Bremssystem ist ebenfalls kein unmoralischer Akteur. Trotzdem kann es Menschen verletzen. Die moralische Verantwortung liegt bei denjenigen, die das System entworfen, trainiert, geprüft, eingesetzt oder trotz bekannter Risiken verbreitet haben.

Gleichzeitig bleibt die Maschine Teil eines sozialen Systems. Ihre Antworten können Entscheidungen beeinflussen, Inhalte vervielfältigen, Menschen einschüchtern oder Handlungen erleichtern. Es wäre deshalb ebenso falsch, sie als bloßes Werkzeug ohne Folgen zu behandeln.

Ich lande bei einer unbequemen Zwischenposition: KI ist kein moralisches Subjekt, aber sie ist ein moralisch relevantes System.

Das eigentliche Problem heißt Maßstab

Vielleicht liegt unser Denkfehler darin, dass wir menschliche und technische Fehler mit unterschiedlichen Maßstäben bewerten. Wenn ein Mensch eine gefährliche Anleitung weitergibt, fragen wir nach Verantwortung, Motiv und Konsequenzen. Wenn ein KI-System dasselbe tut, sprechen wir über einen „Bug“.

Technisch ist es ein Bug. Gesellschaftlich ist es eine Handlungskette: Jemand hat Daten ausgewählt, ein Modell trainiert, eine Schnittstelle gebaut, Sicherheitsregeln definiert, einen Dienst veröffentlicht und eine Nutzung ermöglicht.

Dazwischen liegen viele Entscheidungen. Keine davon ist allein die ganze Verantwortung. Aber zusammengenommen bilden sie ein System, in dem ein vorhersehbarer Fehler möglich wird.

Das ist der Unterschied zwischen Schuldzuweisung und Kausalität. Ich möchte nicht die Beteiligten anklagen. Ich möchte erklären, warum das Ergebnis logisch aus den vorherigen Schritten folgt.

Wenn wir unkuratierte Inhalte verwenden, erhalten wir ein Modell, das problematische Muster kennt. Wenn wir diese Muster nicht vollständig entfernen können, ergänzen wir Schutzmechanismen. Wenn diese Schutzmechanismen öffentlich zugängliche Eingaben verarbeiten, werden sie getestet. Wenn sie getestet werden, werden Schwächen entdeckt. Wenn Schwächen einen praktischen Nutzen versprechen, werden sie weitergegeben. Wenn sie öffentlich dokumentiert werden, reagieren die Anbieter mit neuen Schutzschichten.

Das ist kein einmaliger Unfall. Das ist eine Dynamik.

Der Wettlauf ist eingebaut

Wir haben einen Wettlauf konstruiert, dessen nächste Runde jeweils aus der vorherigen entsteht. Die Schutzmechanismen verraten durch ihre Reaktionen, wo Grenzen liegen. Die Angreifer analysieren diese Grenzen. Die Anbieter sammeln neue Fehlversuche und trainieren damit bessere Abwehr. Die besseren Abwehrsysteme erzeugen wiederum neue Angriffsflächen.

Das Modell wird dadurch sicherer und gleichzeitig komplexer. Jede zusätzliche Schutzschicht kann neue Wechselwirkungen erzeugen. Ein Filter blockiert vielleicht eine harmlose wissenschaftliche Frage. Eine andere Schutzschicht erkennt den Filter und verändert die Antwort. Ein drittes System bewertet anschließend die Ausgabe.

Aus einer Anfrage wird eine Kette von Klassifikationen, in der niemand mehr vollständig erklären kann, warum am Ende eine Antwort erscheint oder ausbleibt.

Man könnte sagen: Wir bauen einen moralischen Maschinenraum, in dem mehrere automatische Türsteher gegenseitig ihre Ausweise kontrollieren.

Und wir wundern uns, wenn einer von ihnen irgendwann den falschen Besucher hereinlässt.

Was Kuration jetzt noch leisten kann

Bei der initialen Kuration sind die Eulen davongeflogen. Das Kind liegt im Brunnen. Wir können nicht so tun, als ließe sich die Vergangenheit jetzt noch sauber aus den Trainingsdaten herauskämmen.

Die menschliche Grausamkeit lässt sich nicht einfach herausoperieren. Wer Mord, Folter, Machtmissbrauch und Psychoterror vollständig entfernen will, entfernt zwangsläufig auch historische Quellen, Literatur, Journalismus und Forschung. Der digitale Golem kennt nun einmal auch unsere Abgründe. Wir haben sie ihm gegeben.

Und wir sollten nicht nur fragen, was am Ende im Datensatz landet. Wir sollten auch fragen, wie es dorthin gelangt.

Das massenhafte Aufkaufen antiquarischer, gebrauchter und vergriffener Bücher, ihr Aufschneiden, Einscannen und anschließendes Entsorgen klingt nicht nach kultureller Sorgfalt. Gerichtsunterlagen und Berichte über Anthropic zeigen, dass Millionen physischer Bücher auf diese Weise digitalisiert und danach entsorgt oder recycelt wurden. Die digitale Kopie sollte die physische ersetzen; genau diese Konstruktion spielte auch bei der rechtlichen Bewertung als mögliche faire Nutzung eine Rolle.

Juristisch mag das unter bestimmten Voraussetzungen vertretbar sein. Kulturell klingt es nach kolonialer Aneignungslogik mit Cloud-Anschluss: Fremdes Wissen wird gekauft, aus seinem Zusammenhang gelöst, in eine verwertbare Datenform überführt und das Original beseitigt – zugunsten möglichst freier Nutzung und abgelaufener oder vermeintlich abgelaufener Urheberrechte.

Das Buch wird dabei vom Werk zum Rohstoff. Sein Wert liegt nicht mehr in Materialität, Provenienz und Geschichte, sondern in den Zeichen, die sich aus ihm herauslösen lassen. Gerade bei seltenen Exemplaren verschwinden mit dem Original Einband, Ausgabe, Gebrauchsspuren, handschriftliche Notizen und die Verbindung zu früheren Besitzern.

Die koloniale Denkweise zeigt sich nicht unbedingt in einer offenen Absicht. Sie zeigt sich in der Selbstverständlichkeit, mit der kulturelles Material als verfügbar gilt: Was gekauft wurde, darf verwertet werden. Was kopiert werden darf, gilt als moralisch erledigt. Was digital extrahiert ist, darf verschwinden.

Raub braucht dabei nicht zwingend Gewalt. Er kann auch als systematische Aneignung auftreten: Wissen wird aus seinem Zusammenhang gelöst, in eine fremde Infrastruktur überführt und wirtschaftlich verwertet. Der Kaufpreis liefert die juristische Oberfläche der Legitimität. Die kulturelle Frage bleibt trotzdem stehen: Wem gehört die Möglichkeit, aus diesem Bestand ein neues System zu bauen?

Kuration betrifft deshalb nicht nur die Auswahl von Texten. Sie betrifft auch ihre Beschaffung, ihre Behandlung und ihre Umwandlung in technische Macht.

Ein verantwortungsvoller Datensatz müsste mehr leisten als einen Filter für problematische Wörter. Er müsste fragen:

• Herkunft: Woher stammt der Inhalt, und ist das nachvollziehbar?
• Rechte: Darf er für Training verwendet werden, und liegt eine Einwilligung oder Lizenz vor?
• Materielle Herkunft: Wurde das physische Werk geschützt oder für die Digitalisierung zerstört?
• Kontext: Handelt es sich um Fiktion, Bericht, Forschung, Propaganda, Satire oder Anleitung?
• Zeitabhängigkeit: Aus welcher Zeit und aus welchen moralischen Vorstellungen stammt die Quelle?
• Kulturelle Einbettung: Was bedeutet das Werk jenseits seines bloßen Wortlauts?
• Qualität: Ist die Information geprüft, belegt und fachlich belastbar?
• Risiko: Kann ihre Kombination mit anderen Inhalten gefährliche Handlungen erleichtern?
• Repräsentation: Welche Perspektiven fehlen, und welche werden durch Wiederholung übergewichtet?
• Aktualität: Ist der Inhalt überholt oder durch neue Erkenntnisse widerlegt?

Das wäre redaktionelle Arbeit, rechtliche Prüfung, technische Modellierung, kulturelle Verantwortung und politische Entscheidung zugleich. Genau deshalb ist es aufwendig. Und genau deshalb wird es gern automatisiert – mit Systemen, die Kontext versprechen, aber oft nur Wahrscheinlichkeiten berechnen.

Ordentliche Kuration würde nicht nur fragen, ob ein Buch gescannt werden kann. Sie würde fragen, ob es gescannt werden sollte, ob eine zerstörungsfreie Digitalisierung möglich ist, ob Eigentümer und Rechteinhaber beteiligt wurden, ob seltene Exemplare geschützt werden müssen und ob der kulturelle Verlust den technischen Nutzen rechtfertigt.

„Wir haben das Buch gekauft, also dürfen wir es zerstören“ mag eine juristische Verteidigung sein. Eine Kulturtechnik ist es nicht.

Die Welt ist kein sauberer Datensatz

Wir verlangen von KI etwas, das selbst kein menschliches Archiv leistet. Kein Museum, keine Bibliothek und kein Nachrichtenarchiv bildet die Welt vollständig, neutral und widerspruchsfrei ab. Jede Sammlung besitzt eine Auswahlgeschichte.

Was erhalten bleibt, hängt von Zugang, Macht, Sprache, Geld, Technik und historischen Zufällen ab. Was später repräsentativ wirkt, wurde vielleicht nur besonders gut dokumentiert. Was häufig kopiert wird, erscheint bedeutsam, obwohl es möglicherweise nur besonders laut war.

Ein KI-Trainingsdatensatz übernimmt diese Probleme nicht nur. Er skaliert sie.

Ein einzelner Fehler ist ärgerlich. Tausendfach kopiert wird er statistisch auffällig. Das Modell erkennt dann womöglich nicht die Wahrheit, sondern die Wiederholung. Die Welt wird nicht richtiger, weil sie denselben Irrtum oft genug abschreibt.

Konsens und Wahrheit sind nicht identisch. Die KI macht diese Differenz nur schneller und überzeugender sichtbar.

Wir dürfen nicht alles löschen

Nun könnte man den Schluss ziehen, dass alle schädlichen Inhalte aus Trainingsdaten entfernt werden müssten. Auch das wäre zu einfach.

Wer historische Gewalt verstehen, Extremismus analysieren, Kriminalität untersuchen oder Sicherheitsmaßnahmen entwickeln will, muss wissen, wie problematische Inhalte funktionieren. Ein System, das gefährliche Sprache überhaupt nicht kennt, kann sie möglicherweise schlechter erkennen. Wer jede Beschreibung eines Verbrechens löscht, entfernt nicht nur das Risiko, sondern auch den Kontext für Prävention, Aufklärung und Forschung.

Das Ziel kann daher nicht ein sterilisiertes Modell sein, das von der Welt nichts Schlimmes weiß. Ein solches Modell wäre nicht moralisch überlegen. Es wäre lediglich ahnungslos.

Wir brauchen Modelle, die problematische Inhalte erkennen und einordnen können, ohne sie unterschiedslos als Handlungswissen auszugeben. Das ist ein anspruchsvolleres Ziel als die vollständige Entfernung. Es verlangt Kontextverständnis, Zugriffskontrollen, Protokollierung, abgestufte Antworten und eine klare Trennung zwischen Forschung, Information und praktischer Anleitung.

Das klingt weniger elegant als ein großes „verboten“. Dafür entspricht es der Wirklichkeit.

Die Verantwortung bleibt bei uns

Je mehr ich darüber nachdenke, desto weniger interessiert mich die Frage, ob KI irgendwann „böse“ wird. Sie führt in eine falsche Richtung. Die interessantere Frage lautet: Welche menschlichen Entscheidungen haben dazu geführt, dass ein System in einer bestimmten Weise reagieren konnte?

Wir haben entschieden, möglichst viele Texte zu sammeln. Wir haben entschieden, Qualität und Rechte nicht immer transparent zu dokumentieren. Wir haben entschieden, Modelle mit problematischen Inhalten zu trainieren und die Sicherheitsarbeit später nachzurüsten. Wir haben entschieden, Systeme schnell auszurollen und ihre Grenzen im öffentlichen Betrieb zu entdecken.

Keine dieser Entscheidungen muss aus Bosheit getroffen worden sein. Viele entstanden vermutlich aus Zeitdruck, Konkurrenz, wirtschaftlichem Interesse oder dem ehrlichen Wunsch, leistungsfähige Systeme zu bauen.

Aber ein Teil dieser Entscheidungen wurde offenkundig fachfremd getroffen. Spezialisten aus dem KI-Umfeld verstehen viel von Modellen, Rechenleistung und Optimierung – aber nicht automatisch von Literatur, Archivwesen, Urheberrecht, Geschichte, Soziologie, Pädagogik oder den kulturellen Folgen ihres Handelns. Genau dort wurde gehandelt, wo die eigene Expertise endete, ohne diese Grenze ausreichend ernst zu nehmen.

Man hat Daten behandelt, als wären sie nur Material. Bücher wurden zu Textkörpern, kulturelle Überlieferung zu Trainingsmasse, moralische Fragen zu Filterproblemen und gesellschaftliche Folgen zu nachträglichen Nebenbedingungen. Nicht unbedingt aus Geringschätzung. Häufiger wohl, weil die entsprechenden Fragen gar nicht gestellt wurden.

Das ist der eigentliche blinde Fleck: Wer nur aus der Perspektive von KI-Entwicklung denkt, hält fachfremde Aspekte leicht für nachgelagerte Details. Dabei entscheiden gerade Literaturwissenschaftler, Archivare, Juristen, Historiker, Pädagogen, Soziologen und Betroffene darüber, was in einem Datensatz fehlt, welche Bedeutung ein Werk besitzt und welche Folgen seine technische Verwertung haben kann. Der NIST AI Risk Management Framework fordert deshalb ausdrücklich multidisziplinäre Teams und die Beteiligung von Domänenexperten.

Gute Absichten verhindern keine systemischen Folgen. Ein ehrlicher Wunsch, leistungsfähige Systeme zu bauen, ersetzt keine Expertise. Und technisches Können ist kein Universalpass für fachfremde Entscheidungen.

Das ist eine meiner ältesten technischen Lektionen: Ein System tut nicht das, was seine Entwickler beabsichtigen. Es tut das, was seine Struktur erlaubt und seine Anreize belohnt.

Wenn ein Unternehmen für Geschwindigkeit belohnt wird, wird Geschwindigkeit optimiert. Wenn ein Modell an plausiblen Antworten gemessen wird, wird Plausibilität optimiert. Wenn Sicherheit erst nach dem Training aufgesetzt wird, wird Sicherheit zur nachträglichen Korrektur. Und wenn ein Angriff öffentliche Aufmerksamkeit erzeugt, wird er kopiert.

Kein Vorwurf, sondern eine Kette

Ich schreibe diesen Text nicht als offene Anklage. Nicht gegen Entwickler, nicht gegen Unternehmen und auch nicht gegen Nutzer, die testen, was ein System kann. Jeder einzelne Schritt lässt sich erklären. Manche sind sogar nachvollziehbar.

Es ist nachvollziehbar, dass Forschende große Datenmengen verwenden. Es ist nachvollziehbar, dass Entwickler Sicherheitsfilter nachrüsten. Es ist nachvollziehbar, dass Sicherheitsforscher Schwachstellen suchen. Es ist nachvollziehbar, dass Nutzer wissen wollen, wo die Grenzen eines Systems liegen.

Zusammen ergibt sich dennoch eine Entwicklung, deren Verlauf nicht schwer vorherzusagen war:

1. Wir produzieren seit Jahrhunderten, wenn nicht Jahrtausenden, Inhalte über menschliche Abgründe. Das liegt nicht nur daran, dass wir grausam sind. Wir haben auch einen ausgeprägten Hang zu Bad News. Katastrophen, Skandale, Mord und Verrat ziehen Aufmerksamkeit an; das normale Funktionieren des Alltags rauscht dagegen im Grundrauschen unter. Forschung zur Nachrichtenberichterstattung beschreibt diese Negativitätsverzerrung seit Langem: Negative Ereignisse werden häufiger ausgewählt, stärker erinnert und eher geteilt als positive oder unspektakuläre Entwicklungen.
2. Wir sammeln deshalb nicht einfach die Welt, sondern eine bereits vorgefilterte Welt: das Außergewöhnliche, Empörende, Bedrohliche und moralisch Verstörende. Das Normale bleibt unsichtbar, undokumentiert, unerwähnt, gerade weil es funktioniert.
3. Wir trainieren Systeme darauf, menschliche Sprache möglichst umfassend nachzuahmen, und geben ihnen damit überproportional viele Texte über Ausnahmezustände und Abgründe.
4. Wir stellen fest, dass problematische Muster reproduziert werden können.
5. Wir bauen Filter gegen die gefährlichsten Ausgaben.
6. Wir beobachten, dass Filter umgangen werden.
7. Wir entwickeln neue Filter und nennen die nächste Umgehung einen überraschenden Angriff.

Das ist keine Verschwörung. Es ist eine Abfolge von Entscheidungen, die jeweils lokal vernünftig wirken und global ein erwartbares Ergebnis erzeugen.

Wenn ich das so formuliere, klingt es fast langweilig. Aber die gefährlichsten Entwicklungen sind oft nicht die spektakulären. Es sind die, die sich aus lauter vernünftigen Einzelschritten zusammensetzen und deshalb lange niemand stoppen möchte.

Weniger Versprechen, mehr Rechenschaft

Die europäische Regulierung geht zumindest in die richtige Richtung, wenn sie Anbieter besonders leistungsfähiger allgemeiner KI-Modelle zu Risikobewertung, adversarialem Testen, Vorfallmeldungen und Cybersicherheit verpflichtet. Die Europäische Kommission beschreibt diese Pflichten für Modelle mit systemischem Risiko ausdrücklich als laufende Aufgaben und nicht als einmalige Qualitätsprüfung.

Das ist entscheidend. Sicherheit muss nachvollziehbar werden. Nicht jedes Trainingsdetail kann öffentlich sein, und nicht jede Schutzmaßnahme darf Angreifern vollständig erklärt werden. Aber Anbieter müssen offenlegen, welche Risiken sie geprüft haben, welche Grenzen bekannt sind, welche Vorfälle aufgetreten sind und wie sie darauf reagieren.

Ich würde mir dabei vor allem vier Dinge wünschen:

• Nachvollziehbare Herkunft der Trainingsdaten, einschließlich Lizenzstatus und Qualitätskriterien und aktiver, qualifizierter Kuration.
• Unabhängige Sicherheitsprüfungen, die nicht nur angekündigte Demonstrationen, sondern reale Nutzungsszenarien untersuchen.
• Verpflichtende Vorfallberichte, damit einzelne Fehler nicht als isolierte Betriebsstörung verschwinden.
• Klare Verantwortlichkeiten entlang der gesamten Kette, vom Datensatz bis zur konkreten Anwendung.

Wer ein System veröffentlicht, sollte nicht nur sagen, was es kann. Er sollte auch sagen, unter welchen Bedingungen es versagt.

Die Maschine erinnert uns an uns selbst

Vielleicht ist das die unbequeme Pointe der ganzen Geschichte: Die KI zeigt uns nicht nur, was Maschinen können. Sie zeigt uns, wie wir Menschen mit Wissen umgehen.

Wir lieben Geschichten über das Böse, solange es in sicherer Entfernung bleibt. Wir archivieren es, zitieren es, verfilmen es und analysieren es. Wir erklären anschließend, die Maschine hätte nichts davon lernen dürfen. Gleichzeitig verlangen wir von ihr, die Welt zu verstehen, ohne ihr die widersprüchliche Welt zu zeigen.

Wir wollen eine KI, die menschliche Sprache beherrscht, aber nicht von menschlicher Niedertracht geprägt wird. Wir wollen Realismus ohne Abgründe, Wissen ohne Herkunftsproblem, Offenheit ohne Missbrauch und Sicherheit ohne Einschränkung.

Das wird nicht funktionieren.

Nicht, weil KI zwangsläufig außer Kontrolle gerät. Sondern weil wir ein System mit widersprüchlichen Anforderungen bauen und anschließend überrascht sind, dass es die Widersprüche nicht moralisch auflöst.

Ich glaube deshalb nicht, dass die wichtigste Frage lautet, wie wir der KI das Böse abgewöhnen. Die wichtigere Frage ist, ob wir bereit sind, unsere eigene Rolle in dieser Entwicklung anzuerkennen: als Produzenten des Materials, als Betreiber der Systeme, als Nutzer der Werkzeuge und als Gesellschaft, die Geschwindigkeit noch immer häufiger belohnt als Sorgfalt.

Das Schlimmste, was wir uns denken können, haben wir längst verschriftlicht. Die KI hat es nicht erfunden. Sie hat es gelesen – zumindest in der statistischen Bedeutung dieses Wortes.

Und wenn sie es gelegentlich wieder ausgibt, ist das nicht der Beweis, dass sie böse geworden ist.

Es ist der Beweis, dass wir ihr die Welt gegeben haben, ohne ihr eine ausreichende Erklärung dafür mitzuliefern.