KI – Digitaler Schiffsbohrwurm: Wenn ungewollte Intelligenz unsere Systeme frisst 🎧

Die gefährlichsten Technologien der Gegenwart kommen nicht mit Gewalt. Sie kommen mit Aktivierungsschaltern, Lizenzbedingungen und „Produktivitätsfunktionen“. Sie nisten sich nicht ein wie klassische Malware, sondern wie etwas sehr viel Effektiveres: als akzeptierte Infrastruktur. Genau darin liegt die eigentliche politische und kulturelle Dimension aktueller KI-Systeme. Sie verhalten sich zunehmend wie ein digitaler Schiffsbohrwurm — unsichtbar, tief eingebettet und strukturell zerstörerisch, lange bevor der Schaden sichtbar wird.

Der historische, biologische Schiffsbohrwurm fraß sich nicht spektakulär durch Holz. Er arbeitete langsam, geräuschlos und unterhalb der Wahrnehmungsschwelle. Hafenstädte bemerkten die Zerstörung oft erst, wenn Pfeiler kollabierten oder Schiffe leckschlugen. Die gegenwärtige Integration von KI in Betriebssysteme, Entwicklungsumgebungen, Unternehmenssoftware und Kommunikationsplattformen folgt einem bemerkenswert ähnlichen Muster. Der Eingriff erfolgt schleichend, meist ungefragt und fast immer unter dem rhetorischen Deckmantel der Effizienz.

Microsoft integriert KI inzwischen tief in Betriebssysteme und Office-Umgebungen, ohne dass Unternehmen oder Nutzer noch klar definieren könnten, an welchen Stellen maschinelle Systeme überhaupt aktiv werden. GitHub hinterlässt Hinweise auf Copilot-Nutzung teilweise selbst dann, wenn Code vollständig manuell geschrieben wurde. Claude installiert Browser-Erweiterungen oder integriert sich in Workflows, die weit über klassische Assistenzfunktionen hinausgehen. Gleichzeitig entstehen HR- und ATS-Systeme, deren KI-Komponenten projekt- und kundenübergreifend operieren, obwohl genau dort eigentlich harte Isolation erforderlich wäre.

Die Debatte darüber wird bislang mit bemerkenswerter Oberflächlichkeit geführt. Viele Diskussionen kreisen um Produktivität, um Innovation oder um hypothetische Superintelligenz. Das eigentliche Problem liegt jedoch deutlich tiefer: Moderne KI-Systeme verändern schrittweise die Integrität digitaler Arbeitsumgebungen. Sie erzeugen Zustände, in denen Herkunft, Einfluss und Verantwortlichkeit von Arbeitsergebnissen kaum noch nachvollziehbar bleiben.

Die stille Auflösung der digitalen Autonomie

Über Jahrzehnte galt in der Informatik ein vergleichsweise klarer Grundsatz: Systeme sollten möglichst transparent arbeiten. Prozesse mussten nachvollziehbar sein. Veränderungen an Daten oder Infrastruktur sollten dokumentiert werden. Rechtevergabe, Protokollierung und Nachvollziehbarkeit bildeten die Grundlage professioneller IT-Architekturen. Ausgerechnet die KI-Welle der vergangenen Jahre hat diese Prinzipien in erstaunlicher Geschwindigkeit aufgeweicht.

Das geschieht häufig unter dem Banner des Komforts. Nutzer sollen sich angeblich nicht mehr um komplexe Abläufe kümmern müssen. Systeme „helfen“ automatisch. Vorschläge erscheinen kontextsensitiv. Erweiterungen werden dynamisch integriert. Funktionen aktivieren sich implizit. Aus Sicht klassischer Sicherheits- und Governance-Modelle handelt es sich dabei allerdings um eine fundamentale Regression. Software beginnt wieder, Dinge eigenständig zu tun, die früher explizite Zustimmung oder technische Kontrolle erfordert hätten.

Besonders problematisch wird diese Entwicklung dort, wo KI nicht mehr als klar definierbares Werkzeug auftritt, sondern als permanenter infrastruktureller Layer. Der Unterschied ist erheblich. Ein Taschenrechner verändert keine Arbeitsumgebung. Ein permanent aktives KI-System dagegen beeinflusst Vorschläge, Texte, Code, Suchergebnisse, Kommunikationsmuster und Entscheidungsprozesse gleichzeitig. Damit entsteht eine Form algorithmischer Umgebungskontrolle, deren Reichweite viele Unternehmen offenbar massiv unterschätzen.

Der Begriff „Assistenz“ verschleiert dabei die tatsächlichen Machtverhältnisse. Denn Assistenten hinterlassen normalerweise keine persistenten Eingriffe in Arbeitsprodukte, Metadaten oder Plattformstrukturen. Moderne KI-Systeme tun genau das. Sie verändern Entwicklungsprozesse, erzeugen implizite Signaturen und kontaminieren Dokumentationsketten mit Einflüssen, die später kaum noch sauber trennbar sind.

Die forensische Katastrophe beginnt bereits

Besonders grotesk wird die Lage dort, wo Unternehmen gleichzeitig KI maximal integrieren und anschließend versuchen, deren Einfluss nachträglich zu messen. Genau hier entsteht derzeit eine forensische Katastrophe, über die erstaunlich wenig gesprochen wird. Der Nachweis von KI-Anteilen an digitalen Artefakten ist technisch weit ungeklärter, als viele Marktakteure suggerieren.

Die Vorstellung, man könne zuverlässig erkennen, ob ein Text, ein Design oder ein Stück Software von KI beeinflusst wurde, gehört inzwischen eher in die Kategorie technologischer Wunschprojektion. Selbst aktuelle Erkennungssysteme arbeiten mit statistischen Wahrscheinlichkeiten, die in professionellen Kontexten schnell problematisch werden. Falschpositive sind keine Randerscheinung. Sie sind systemimmanent.

Gerade im Softwarebereich wird die Lage zunehmend absurd. Entwickler berichten seit Monaten über Hinweise auf Copilot-Nutzung in GitHub-Projekten, obwohl bestimmte Codebereiche vollständig eigenständig entstanden sind. Das wirkt zunächst wie ein technisches Detail. Tatsächlich berührt es jedoch fundamentale Fragen digitaler Urheberschaft und professioneller Integrität. Wenn Plattformen selbst nicht mehr sauber zwischen menschlicher und maschineller Arbeit unterscheiden können, zerfällt die Grundlage jeder späteren Attribution.

Hinzu kommt ein kultureller Effekt, der bislang kaum diskutiert wird: Der Generalverdacht beginnt sich auszubreiten. Sobald KI allgegenwärtig wird, gerät jede hochwertige Arbeit unter Verdacht, algorithmisch erzeugt worden zu sein. Gute Formulierungen wirken plötzlich „zu glatt“. Präziser Code erscheint „zu effizient“. Analytische Texte werden automatisch verdächtigt, statistisch generiert zu sein. Die Folge ist eine paradoxe Entwertung menschlicher Kompetenz durch die permanente Präsenz maschineller Systeme.

KI als infrastrukturelle Kontamination

Die eigentliche Gefahr moderner KI liegt möglicherweise gar nicht in einzelnen Modellen, sondern in ihrer schleichenden infrastrukturellen Diffusion. Unternehmen implementieren KI inzwischen ähnlich unkritisch, wie sie früher Tracking-Skripte oder Analytics-Tools integriert haben. Der Unterschied besteht allerdings darin, dass KI-Systeme nicht bloß beobachten. Sie intervenieren.

Besonders heikel wird das im HR-Bereich. ATS-Systeme und Recruiting-Plattformen arbeiten zunehmend mit Modellen, deren Daten- und Projektgrenzen für Außenstehende kaum noch nachvollziehbar sind. Gleichzeitig sind Bewerbungsdaten, interne Projekte und Kundeninformationen hochsensible Bereiche mit erheblichen rechtlichen und wirtschaftlichen Risiken. Trotzdem scheint die Branche bemerkenswert bereitwillig zu akzeptieren, dass KI dort als Blackbox operiert.

Die politische Brisanz dieses Zustands wird bislang unterschätzt. Denn wer KI-Infrastruktur kontrolliert, kontrolliert langfristig auch Entscheidungsarchitekturen. Systeme priorisieren Kandidaten, filtern Informationen, erzeugen Zusammenfassungen und strukturieren Kommunikationsprozesse. Das verändert nicht nur Arbeitsabläufe, sondern institutionelle Machtverhältnisse.

Der eigentliche Skandal liegt allerdings in der bemerkenswerten Asymmetrie der Verantwortlichkeit. Wenn KI-Systeme Fehler machen, Daten vermischen oder problematische Vorschläge erzeugen, bleibt die Haftung häufig diffus. Unternehmen integrieren Modelle aggressiv in ihre Produkte, während Nutzer und Organisationen gleichzeitig das Risiko tragen sollen. Diese Externalisierung struktureller Unsicherheit gehört zu den auffälligsten Merkmalen der aktuellen KI-Ökonomie.

Der Mythos der alternativlosen Produktivität

Die vielleicht erfolgreichste rhetorische Operation der KI-Industrie besteht darin, jede Form von Widerstand als Fortschrittsfeindlichkeit erscheinen zu lassen. Wer massive Einschränkungen fordert, gilt schnell als technikfeindlich, nostalgisch oder ökonomisch naiv. Genau diese Erzählung beginnt jedoch zu bröckeln.

Denn inzwischen wird sichtbar, dass KI keineswegs nur Produktivität erzeugt. Sie produziert auch enorme Mengen an Unsicherheit, Kontrollverlust und strukturellem Overhead. Unternehmen müssen neue Governance-Strukturen etablieren, Compliance-Fragen klären, Sicherheitsarchitekturen anpassen und juristische Risiken neu bewerten. Gleichzeitig verschlechtert sich die Nachvollziehbarkeit digitaler Prozesse.

Die entscheidende Frage lautet deshalb nicht mehr, ob KI leistungsfähig ist. Natürlich ist sie das. Die relevante Frage lautet vielmehr, ob der Preis dieser Integration inzwischen höher wird als ihr tatsächlicher Nutzen. Genau an diesem Punkt wirkt die gegenwärtige Debatte erstaunlich unreif. Viele Organisationen behandeln KI noch immer wie ein neutrales Effizienzwerkzeug, obwohl längst sichtbar wird, dass sie fundamentale Eigenschaften digitaler Arbeit verändert.

Historisch betrachtet wäre eine solche Entwicklung keineswegs außergewöhnlich. Gesellschaften haben Technologien immer wieder reguliert oder eingeschränkt, sobald deren infrastrukturelle Nebenwirkungen zu groß wurden. Niemand käme heute auf die Idee, industrielle Chemikalien vollständig unreguliert in Grundwassersysteme einzuleiten, nur weil sie wirtschaftlich nützlich sind. Im digitalen Raum dagegen herrscht weiterhin eine bemerkenswerte regulatorische Infantilität.

In unserem Buch KI-Effizienz-Lüge versuchen wir, Thomas Schulte und ich zumindest die Mythen um die Produktivität der KI etwas zu demaskieren.

Der informierte Nutzer existiert nur noch als juristische Fiktion

Die moderne Technologiebranche operiert seit Jahren mit einer stillschweigenden Grundannahme, die zunehmend absurd wirkt: dem angeblich informierten Nutzer. Kaum ein regulatorisches oder technisches System kommt ohne diese Figur aus. Zustimmungserklärungen, Datenschutzhinweise, Compliance-Texte und Nutzungsbedingungen beruhen alle auf der Vorstellung, Menschen könnten die Tragweite digitaler Systeme zumindest annähernd verstehen. Tatsächlich bewegt sich diese Annahme inzwischen irgendwo zwischen Selbsttäuschung und institutionalisierter Ausrede.

Die Realität moderner Softwarelandschaften ist von einer Informationskomplexität geprägt, die selbst Fachleute häufig nur noch fragmentarisch überblicken. KI-Systeme werden über APIs, Browser-Integrationen, Cloud-Dienste, Hintergrundprozesse und Drittanbieter-Komponenten eingebunden, oft verteilt über internationale Infrastrukturen mit dutzenden Beteiligten. Gleichzeitig entstehen ständig neue Compliance-Regeln, Sicherheitsrichtlinien und Dokumentationspflichten, deren Umfang längst jede realistische Aufnahmefähigkeit gewöhnlicher Nutzer übersteigt. Wer heute behauptet, Anwender könnten informierte Entscheidungen über KI-Integration treffen, verwechselt theoretische Verfügbarkeit von Informationen mit tatsächlicher Verstehbarkeit.

Hinzu kommt ein kultureller Wandel, der die Lage zusätzlich verschärft. Viele Softwareprodukte werden gezielt so gestaltet, dass technische Abläufe unsichtbar bleiben. Interfaces sollen „reibungslos“ wirken, Komplexität verbergen und Entscheidungen automatisieren. Genau dadurch verlieren Nutzer jedoch die Fähigkeit, digitale Prozesse überhaupt noch kritisch einzuordnen. Parallel dazu entwickelt die Industrie immer raffiniertere Methoden, problematische Eingriffe hinter abstrakten Formulierungen, verschachtelten Zustimmungsdialogen oder bewusst diffuser Sprache zu verstecken. Die Kreativität vieler Entwickler zeigt sich längst weniger in Transparenz als in der möglichst eleganten Verschleierung technischer Eingriffstiefen.

Das Resultat ist ein massives Informationsdefizit, das weit über klassische Datenschutzprobleme hinausgeht. Nutzer werden nicht einfach schlecht informiert. Sie bewegen sich zunehmend in einer Umgebung aus Information Flooding, strategischer Obscurity und permanenter Desorientierung. Dokumentationen wachsen schneller als ihre praktische Lesbarkeit. Sicherheitsmechanismen werden komplexer bis zur Wirkungslosigkeit, während gleichzeitig die technische Kompetenz vieler Anwender sinkt. In einer solchen Umgebung verliert Zustimmung ihren eigentlichen Sinn. Sie wird zu einem bürokratischen Ritual, das Verantwortlichkeit simuliert, obwohl längst niemand mehr realistisch nachvollziehen kann, welchen Systemen er tatsächlich Zugriff gewährt.

Gerade bei KI-Systemen wirkt dieser Zustand besonders gefährlich. Denn hier geht es nicht bloß um Datenspeicherung oder Tracking, sondern um aktive Eingriffe in Arbeitsprozesse, Kommunikationsstrukturen und Wissensproduktion. Wenn Nutzer weder erkennen können, wann KI-Systeme eingreifen, noch welche Datenflüsse dabei entstehen, wird der Begriff informierte Entscheidung endgültig zur Farce. Die Industrie spricht weiterhin von Transparenz, während sie gleichzeitig Infrastrukturen erzeugt, deren tatsächliche Funktionsweise selbst für professionelle Anwender zunehmend undurchschaubar wird.

Vielleicht braucht es endlich digitale Abrüstung

Die Zeit für kosmetische Debatten über „ethische KI“ dürfte langsam vorbei sein. Viele Probleme sind längst strukturell geworden. Es geht nicht mehr um einzelne problematische Outputs oder um peinliche Halluzinationen von Chatbots. Es geht um die Frage, ob digitale Arbeitsumgebungen noch kontrollierbar bleiben.

Deshalb wirkt die Forderung nach massiver Begrenzung von KI-Einflüssen inzwischen keineswegs extrem. Im Gegenteil: Sie könnte sich rückblickend als notwendige Form digitaler Hygiene erweisen. Unternehmen sollten gezwungen werden, KI standardmäßig deaktiviert auszuliefern. Systeme müssten klar dokumentieren, wann und wie Modelle eingreifen. Artefakte dürften nicht ungefragt verändert oder markiert werden. Projekt- und Kundengrenzen müssten technisch hart isoliert bleiben.

Darüber hinaus wäre es sinnvoll, bestimmte KI-Integrationen schlicht zu verbieten. Betriebssystemnahe Dauer-KI etwa erzeugt eine Eingriffstiefe, die mit klassischen Prinzipien souveräner Computernutzung kaum vereinbar ist. Auch in sensiblen Bereichen wie HR, Gesundheitswesen oder kritischer Infrastruktur spricht vieles für deutlich restriktivere Regeln.

Vor allem aber müsste endlich die Beweislast umgekehrt werden. Gegenwärtig müssen Kritiker nachweisen, warum bestimmte KI-Systeme problematisch sind. Tatsächlich sollten Anbieter erklären müssen, warum ihre Systeme überhaupt tiefen Zugriff auf Arbeitsumgebungen erhalten dürfen. Dass diese Diskussion bislang kaum geführt wird, zeigt vor allem eines: Die technologische Euphorie der vergangenen Jahre hat einen bemerkenswerten Verlust regulatorischer Nüchternheit erzeugt.

Der Punkt, an dem Systeme nicht mehr vertrauenswürdig wirken

Vertrauen in digitale Systeme entsteht nicht durch Marketing. Es entsteht durch Vorhersehbarkeit, Transparenz und kontrollierbares Verhalten. Genau diese Eigenschaften beginnen gegenwärtig zu erodieren. Nutzer wissen immer seltener, welche Prozesse im Hintergrund aktiv sind, welche Daten verarbeitet werden und welche Eingriffe KI-Systeme tatsächlich vornehmen.

Das Problem ist dabei keineswegs abstrakt. Sobald Entwickler nicht mehr sicher sagen können, warum bestimmte Metadaten entstehen, sobald Unternehmen nicht mehr nachvollziehen können, welche Modelle auf sensible Informationen zugreifen, und sobald Autoren permanent unter KI-Verdacht geraten, verliert digitale Arbeit ihre epistemische Stabilität. Systeme wirken dann nicht mehr wie Werkzeuge, sondern wie halbautonome Umgebungen mit eigener Agenda.

Der digitale Schiffsbohrwurm zerstört keine Infrastruktur durch offene Konfrontation. Er macht sie von innen porös. Genau darin liegt die eigentliche Gefahr der gegenwärtigen KI-Integration. Die Technologie drängt sich schrittweise in Systeme hinein, deren zentrale Stärke ursprünglich gerade in ihrer Berechenbarkeit lag.

Vielleicht wird man rückblickend feststellen, dass die entscheidende Frage der KI-Ära nie lautete, ob Maschinen intelligent genug werden. Möglicherweise wird man vielmehr fragen, warum Gesellschaften bereitwillig akzeptierten, dass undurchsichtige Systeme sich tief in digitale Arbeitswelten eingruben, lange bevor deren Folgen verstanden waren.

Der Ruf nach Begrenzung wirkt inzwischen nicht mehr technikfeindlich. Er wirkt wie eine überfällige Form digitaler Selbstverteidigung.

Quellen und weiterführende Hinweise: Die Debatten um GitHub Copilot und Fragen der Code-Attribution wurden unter anderem in Analysen der GitHub-Dokumentation sowie in Diskussionen der Free Software Foundation aufgegriffen. Fragen zur KI-Regulierung im Arbeitskontext behandelt unter anderem der EU AI Act. Kritische Analysen zur zunehmenden Integration generativer KI in Betriebssysteme und Produktivitätsumgebungen erschienen unter anderem bei der Electronic Frontier Foundation sowie in technologischen Langformformaten der MIT Technology Review.