Es gibt einen bemerkenswert zuverlässigen Weg, Verantwortung aus einer Organisation verschwinden zu lassen: Man verteilt sie auf genügend Beteiligte, einfaches Verwässern eben. Früher brauchte man dafür mehrere Hierarchieebenen, einen Ausschuss, zwei Arbeitsgruppen und ein Organigramm, das vorzugsweise nur noch derjenige verstand, der es erstellt hatte. Heute lässt sich zwischen Entscheidung und Entscheider zusätzlich ein technisches System schieben. Das ist moderner, skalierbarer und besitzt den unschätzbaren Vorteil, dass Software bei unangenehmen Rückfragen ausgesprochen schweigsam ist.
Nach unserer Trilogie über die KI-Effizienz-Lüge, die KI-Teilhabe-Lüge und die KI-Erkenntnis-Lüge drängt sich für mich deshalb eine Konsequenz auf, die über die drei Bücher hinausweist. Wenn KI unsere Arbeit beschleunigt, gesellschaftliche Strukturen verändert und Antworten erzeugt, deren epistemischen Wert weiterhin der Mensch beurteilen muss, dann stellt sich irgendwann zwangsläufig die nächste Frage: Wer trägt eigentlich die Verantwortung, wenn aus diesen Antworten Entscheidungen werden?
Genau hier treffen die drei Ebenen der Trilogie aufeinander. Die Effizienzfrage lautet: Spart die Maschine tatsächlich Arbeit oder verschiebt sie diese nur? Die Teilhabefrage lautet: Wer gewinnt durch ihren Einsatz Handlungsmacht und wer verliert sie? Die Erkenntnisfrage lautet: Woher wissen wir, dass ihre Antwort überhaupt eine belastbare Grundlage für eine Entscheidung ist? Und über allem steht eine vierte Frage, die sich nicht mehr an die Maschine delegieren lässt: Wer muss dafür einstehen?
Für demokratische Institutionen ist das keine philosophische Zugabe, die man nach erfolgreicher Digitalisierung bei einem Workshop mit Gebäck diskutieren kann. Verwaltung und Politik besitzen Macht, weil sie Entscheidungen treffen dürfen, die für andere Menschen verbindlich sind. Dafür verlangt eine Demokratie im Gegenzug etwas ausgesprochen Unbequemes: Entscheidungen müssen begründet, überprüft und jemandem zugerechnet werden können. Macht gibt es zumindest theoretisch nicht ohne Verantwortung.
Generative KI und algorithmische Entscheidungssysteme verändern dieses Verhältnis, ohne dass ihnen dafür offiziell politische Macht übertragen werden müsste. Kein Sprachmodell wird demnächst zum Landrat gewählt, und vermutlich wird auch kein Verwaltungsalgorithmus vereidigt. Die Verschiebung findet wesentlich unspektakulärer statt: Systeme sortieren Anträge, bewerten Risiken, priorisieren Fälle, formulieren Bescheide, erkennen Auffälligkeiten, verdichten Informationen und liefern Empfehlungen. Der Mensch bleibt formal zuständig, beginnt seine Entscheidung aber zunehmend dort, wo die Maschine bereits aufgehört hat zu rechnen.
Das klingt zunächst nach vernünftiger Arbeitsteilung, und häufig ist es das auch. Niemand muss den gesellschaftlichen Wert eines Sachbearbeiters verteidigen, der acht Stunden täglich Informationen aus Formular A in Formular B überträgt. Interessant wird es erst dort, wo aus technischer Unterstützung schleichend institutionelle Autorität entsteht und die menschliche Entscheidung irgendwann hauptsächlich darin besteht, das maschinelle Ergebnis nicht zu verändern.
Die Demokratie wird deshalb nicht plötzlich abgeschafft. Die Verfassung gilt weiterhin, Parlamente tagen, Behörden öffnen morgens ihre Türen, und auf kommunalen Webseiten findet man nach ungefähr sieben Klicks sogar noch Telefonnummern. Nur verändert sich im Inneren etwas: Institutionen bleiben formal verantwortlich, während die Entstehung ihrer Entscheidungen zunehmend in technische Systeme wandert.
Das ist eine ausgesprochen elegante Form gesellschaftlicher Erosion. Von außen steht das Gebäude noch. Nur bei der Frage, wer im Inneren tatsächlich die tragenden Wände entfernt hat, verweist jeder auf jemand anderen.
Von der Effizienz-Lüge zur Verantwortungs-Lücke
Der erste Band unserer Trilogie, die KI-Effizienz-Lüge, beschäftigt sich mit einer simplen Verwechslung: Geschwindigkeit ist nicht dasselbe wie Effizienz. Ein Ergebnis, das in dreißig Sekunden statt in drei Stunden erzeugt wird, ist nur dann ein Produktivitätsgewinn, wenn Vorbereitung, Kontrolle, Korrektur, Integration und Fehlerfolgen nicht an anderer Stelle wieder auftauchen.
In der Verwaltung kommt ein weiterer Restaufwand hinzu, der sich nicht betriebswirtschaftlich wegoptimieren lässt: die Verantwortung. Ein Bescheid mag in Sekunden vorbereitet werden, ein Sachverhalt automatisch zusammengefasst und eine Rechtsgrundlage maschinell gefunden werden. Die normative Entscheidung darüber, ob das Ergebnis im konkreten Fall angemessen, rechtmäßig und vertretbar ist, verschwindet dadurch nicht.
Wer nun ausgerechnet diesen menschlichen Restaufwand als letzten ineffizienten Bestandteil des Prozesses betrachtet, hat das Wesen demokratischer Verwaltung missverstanden. Kontrolle, Begründung, Widerspruch und verantwortliche Entscheidung sind keine Prozessverluste. Sie sind ein Teil des Produkts.
Eine Demokratie produziert schließlich nicht möglichst billig Bescheide. Sie produziert legitime Entscheidungen.
Das ist ein erheblicher Unterschied, den eine klassische Effizienzrechnung zuverlässig übersieht. Würde man Gerichtsverfahren ausschließlich nach Durchsatz optimieren, wäre das schnellste Gericht eines, das grundsätzlich der ersten eingereichten Position zustimmt. Die Prozesskosten wären hervorragend. Lediglich die Rechtsprechung hätte einen gewissen Qualitätsverlust zu beklagen.
Die Illusion der neutralen Verwaltung
Öffentliche Verwaltung verspricht Neutralität. Sie entscheidet nach Regeln und nicht danach, ob der Sachbearbeiter jemanden sympathisch findet, schlecht geschlafen hat oder beim Frühstück bereits mit seinem Teenager über die Definition eines aufgeräumten Zimmers verhandeln musste. Genau darin liegt ein wesentlicher Teil ihrer Legitimität: Gleiche Fälle sollen gleich behandelt werden.
KI-Systeme scheinen dieses Versprechen geradezu ideal zu erfüllen. Sie machen keine Mittagspause, verlangen keinen Urlaub, haben keine schlechten Tage und entwickeln normalerweise auch keine persönliche Abneigung gegen Antragsteller. Sie verarbeiten enorme Datenmengen und liefern Ergebnisse mit jener bemerkenswerten Geschwindigkeit, die wir inzwischen gern mit Qualität und gelegentlich sogar mit Objektivität verwechseln.
Das Problem beginnt dort, wo aus Konsistenz Neutralität wird.
Ein Algorithmus, der aus vergangenen Entscheidungen lernt, lernt nämlich nicht, was gerecht ist. Er lernt zunächst, was in der Vergangenheit entschieden wurde. Wenn bestimmte Gruppen häufiger abgelehnt wurden, erkennt das System darin keine historische Ungerechtigkeit, sondern ein (verstecktes) Muster. Wenn bestimmte Antragsarten schneller bearbeitet wurden, erkennt es Prioritäten. Wenn bestimmte Formulierungen häufiger in erfolgreichen Anträgen vorkamen, entdeckt es sprachliche Korrelationen. Es lebe das Belohnungsprinzip in der KI.
Maschinell betrachtet kann das vollkommen plausibel sein. Gesellschaftlich betrachtet kann es ausgesprochen problematisch werden.
Hier berührt die Verwaltung unmittelbar die KI-Erkenntnis-Lüge: Aus einem statistisch stabilen Zusammenhang entsteht noch keine begründete Erkenntnis darüber, wie ein individueller Fall zu entscheiden ist. Eine Korrelation besitzt weder Gerechtigkeitssinn noch Rechtsverständnis. Sie kann nicht erklären, ob eine historische Regel vernünftig war, ob eine bisherige Entscheidungspraxis diskriminierend wirkte oder ob gerade der konkrete Ausnahmefall eine Abweichung verlangt.
Die Verwaltung wird durch KI deshalb nicht automatisch gerechter. Sie kann lediglich sehr viel effizienter darin werden, vergangene Ungerechtigkeiten zu reproduzieren. Der Bias verschwindet dann nicht aus der Entscheidung, sondern bekommt einen exklusiven Serverplatz, eine Versionsnummer und irgendwann vermutlich ein hübsches Dashboard.
Wenn der Bescheid keinen Autor mehr hat
Ein menschlicher Sachbearbeiter besitzt einen erheblichen technischen Nachteil: Er ist auffindbar. Man kann ihn fragen, warum er etwas entschieden hat. Man kann Widerspruch einlegen, Akteneinsicht verlangen, auf einen Fehler hinweisen oder die Entscheidung von einer anderen Stelle überprüfen lassen. Im äußersten Fall lässt sich sogar feststellen, wer letztendlich verantwortlich war.
Bei einem algorithmisch vorbereiteten Verfahren wird das interessanter. Der Sachbearbeiter kann erklären, dass das System eine Empfehlung ausgegeben habe. Die IT kann darauf hinweisen, dass das System lediglich die bereitgestellten Daten verarbeitet habe. Der Anbieter wiederum hat das Modell selbstverständlich nur nach den vereinbarten Spezifikationen entwickelt, und die Spezifikationen stammen aus einem Fachbereich, dessen damaliger Projektleiter inzwischen eine andere Position innehat.
Das eigentlich Bemerkenswerte daran ist, dass man keinem der Beteiligten zwangsläufig ein individuelles Fehlverhalten vorwerfen kann. Der Sachbearbeiter muss weder die Architektur neuronaler Netze verstehen noch die statistischen Eigenheiten eines Sprachmodells beurteilen können. Der Softwareentwickler wiederum muss kein Experte für Verwaltungsrecht sein, keine sozialrechtlichen Ermessensspielräume kennen und auch nicht wissen, welche gesellschaftlichen Folgen eine scheinbar harmlose Priorisierung von Anträgen haben kann. Der Fachbereich definiert Anforderungen, ohne deren technische Umsetzung vollständig beurteilen zu können, während die IT eine technisch funktionierende Lösung bereitstellt, deren fachliche Angemessenheit sie kaum überprüfen kann. Jeder erfüllt seine Aufgabe, jeder bewegt sich innerhalb seiner Zuständigkeit, und jeder kann mit einer gewissen Berechtigung darauf verweisen, dass die entscheidenden Fragen eigentlich in einem anderen Verantwortungsbereich liegen.
Nur entsteht aus dieser Arbeitsteilung keineswegs automatisch ein funktionierendes Ganzes. Im Gegenteil: Das fragmentierte Wissen der Beteiligten ergänzt sich nicht zwangsläufig, sondern kann sich zu einer kollektiven Unkenntnis potenzieren. Jede Schnittstelle zwischen Fachlichkeit, Daten, Modell, Software und organisatorischem Verfahren eröffnet neue Möglichkeiten für Missverständnisse, unerkannte Annahmen und falsch interpretierte Anforderungen. Was der eine für selbstverständlich hält, hat der andere möglicherweise nie erfahren, und was technisch korrekt umgesetzt wurde, kann fachlich trotzdem grundfalsch sein. Je komplexer das Gesamtsystem wird, desto schwieriger lässt sich anschließend feststellen, an welcher Stelle aus vielen einzeln plausiblen Entscheidungen ein insgesamt unvertretbares Ergebnis entstanden ist.
Das ist der eigentliche Irrsinn: Eine Organisation kann ein fehlerhaftes System hervorbringen, obwohl jeder einzelne Beteiligte seine unmittelbare Aufgabe gewissenhaft erledigt hat. Individuelle Schuld und institutionelle Verantwortung fallen auseinander. Gerade deshalb genügt es nicht, Zuständigkeiten sauber zu verteilen und anschließend darauf zu vertrauen, dass die Summe fachlicher Teilkompetenzen schon eine verantwortbare Gesamtentscheidung ergeben werde. Verantwortung entsteht nicht automatisch durch die Addition von Zuständigkeiten, und Systemverständnis schon gar nicht durch die Addition von Unwissen. Wer solche Systeme einführt, muss deshalb auch die fachübergreifende Beurteilung ihrer Gesamtwirkung organisieren. Andernfalls hat man zwar eine beeindruckend professionelle Arbeitsteilung geschaffen, aber leider niemanden vorgesehen, der das Ergebnis noch versteht.
Nach einigen Stationen besitzt die Entscheidung dann eine faszinierende Eigenschaft: Sie existiert, aber niemand hat sie getroffen.
In „Il Principe 2.0? Neue Anleitung zur Macht für Politik des 21. Jahrhunderts“ habe ich erklärt, wie politische Macht sich von einzelnen menschlichen Akteuren zunehmend auf digitale Infrastrukturen verschiebt. Die neuen Fürsten heißen nicht Lorenzo, sondern Google, TikTok oder OpenAI. Und die neuen Sachbearbeiter heißen irgendwann vielleicht nicht mehr Herr Müller oder Frau Schmidt, sondern Modell-Version-4.2 mit einem Fine-Tuning auf Verwaltungsdeutsch.
Letzteres wäre immerhin ein bemerkenswerter Härtetest für künstliche Intelligenz.
Die Unsichtbarkeit algorithmisch vorbereiteter Entscheidungen ist jedoch kein technisches Detail. Sie wird zum demokratischen Problem, sobald Bürger nicht mehr nachvollziehen können, weshalb eine Entscheidung getroffen wurde. Wer den Grund einer Ablehnung nicht versteht, kann ihr kaum sinnvoll widersprechen. Wer nicht weiß, welche Daten relevant waren, kann fehlerhafte Daten nicht korrigieren. Und wo niemand mehr eindeutig sagen kann, wer eine Entscheidung verantwortet, wird aus Verwaltungsdigitalisierung eine ziemlich elegante Maschine zur Herstellung organisierter Verantwortungslosigkeit.
Dass diese Frage keineswegs nur theoretisch ist, zeigt inzwischen selbst die Regulierung. Der europäische AI Act stuft unter anderem bestimmte KI-Anwendungen beim Zugang zu wesentlichen öffentlichen Leistungen sowie in Justiz und demokratischen Prozessen als Hochrisikoanwendungen ein und verlangt für solche Systeme unter anderem Risikomanagement, Nachvollziehbarkeit und menschliche Aufsicht. Für öffentliche Stellen können zudem Grundrechtsfolgenabschätzungen erforderlich werden.
Auch das Datenschutzrecht kennt die Problematik längst: Die Europäische Kommission erläutert zum Datenschutzrecht, dass Menschen grundsätzlich nicht allein einer automatisierten Entscheidung mit rechtlicher oder vergleichbar erheblicher Wirkung unterworfen werden sollen und unter den entsprechenden Voraussetzungen menschliches Eingreifen verlangen sowie Entscheidungen anfechten können.
Der Gesetzgeber hat also zumindest verstanden, dass ein Mensch im Verfahren vorkommen sollte. Die schwierigere Frage lautet allerdings, welcher Mensch dort vorkommt: einer, der tatsächlich urteilt, oder einer, dessen organisatorische Funktion hauptsächlich darin besteht, dem technischen Prozess eine menschliche Silhouette zu verleihen.
Human-in-the-Loop – oder Mensch als Haftungsbeilage?
Genau hier wird ein Begriff problematisch, der in KI-Governance-Konzepten beinahe beruhigend wirkt: Human-in-the-Loop. Ein Mensch bleibt beteiligt, also scheint die Welt zunächst wieder in Ordnung.
Nur sagt die bloße Anwesenheit eines Menschen wenig darüber aus, ob er noch entscheidet.
Wer hundert algorithmische Empfehlungen am Tag überprüfen soll, deren Herleitung er nur teilweise versteht, deren technische Grundlagen außerhalb seiner Fachkompetenz liegen und deren Ablehnung zusätzliche Begründungsarbeit erzeugt, während Zustimmung einen Mausklick kostet, befindet sich zwar formal im Loop. Praktisch ist er jedoch eher Bestandteil der Benutzeroberfläche.
Hier treffen Effizienz-, Teilhabe- und Erkenntnisproblem unmittelbar aufeinander. Die Organisation will den Effizienzgewinn der Automatisierung behalten. Der Mitarbeiter verliert einen Teil seiner tatsächlichen Entscheidungsmacht. Gleichzeitig soll er epistemisch beurteilen, ob ein Ergebnis tragfähig ist, dessen Entstehung er möglicherweise nicht nachvollziehen kann. Und am Ende bleibt die Verantwortung bei ihm, weil schließlich ein Mensch beteiligt war.
Das wäre eine bemerkenswerte Arbeitsteilung: Die Maschine bekommt Geschwindigkeit und Autorität, der Mensch bekommt Verantwortung und Haftung.
Wer menschliche Aufsicht ernst meint, muss deshalb mehr garantieren als einen Bestätigungsbutton. Der Mensch benötigt Zeit, Fachwissen, Zugriff auf die relevanten Informationen, die tatsächliche Befugnis zum Widerspruch und eine Organisationskultur, in der das Abweichen vom maschinellen Vorschlag nicht als lästige Störung eines ansonsten wunderbar effizienten Prozesses behandelt wird.
Die Delegation der Verantwortung
Politiker und Verwaltungsleiter delegieren Verantwortung nicht zwangsläufig aus Bequemlichkeit. Die Probleme sind tatsächlich komplexer geworden, die Regulierung dichter, gesellschaftliche Anforderungen vielfältiger und Ressourcen vielerorts knapper. Gleichzeitig erwarten Bürger zu Recht, dass ein Antrag im Jahr 2026 nicht erst drei Wochen zwischen zwei Gebäuden reist, weil irgendwo noch eine Unterschriftenmappe unterwegs ist.
Automatisierung ist deshalb keineswegs das Problem. KI kann Anträge vorsortieren, Informationen zusammenführen, Plausibilitäten prüfen, Routinetätigkeiten übernehmen und Sachbearbeiter von Arbeiten entlasten, deren intellektueller Höhepunkt bisher darin bestand, denselben Wert aus Formular A in Formular B zu übertragen.
Problematisch wird es dort, wo mit der Aufgabe auch das Urteil delegiert wird.
Denn Verantwortung lässt sich nicht wie Rechenleistung in die Cloud verschieben. Eine Institution kann einen Algorithmus einsetzen, aber sie bleibt für dessen Einsatz verantwortlich. Wird einem Bürger zu Unrecht eine Leistung verweigert, eine Familie falsch eingestuft oder ein Unternehmen ungerechtfertigt sanktioniert, kann die Antwort einer demokratischen Institution nicht lauten: Das System hat das so berechnet.
Genau diese Formulierung besitzt allerdings einen gewissen Charme. Sie klingt technisch, neutral und vor allem wunderbar unpersönlich.
Der Sachbearbeiter verweist auf das System. Die IT verweist auf die Daten. Der Datenlieferant verweist auf seine Quellen. Der Hersteller verweist auf die Spezifikation. Die Leitung verweist auf das Beschaffungsverfahren, und die Politik erklärt, dass die operative Umsetzung selbstverständlich Sache der Verwaltung sei.
Am Ende war es niemand.
Das ist keine neue Erfindung der KI. Große Organisationen beherrschen die Diffusion von Verantwortung seit Jahrzehnten. KI perfektioniert lediglich die Infrastruktur dafür, weil sich zwischen Entscheidung und Entscheider nun eine zusätzliche technische Schicht schieben lässt, deren Komplexität hoch genug ist, dass sich fast jeder Beteiligte glaubwürdig darauf berufen kann, nur einen Teil davon verstanden zu haben.
In „Leibgarden der Vernunft – Über Schuld, Unterlassung und die historische Pflicht der Nähe zur Macht“ habe ich beschrieben, dass Verantwortung nicht nur durch Handeln entsteht, sondern auch durch Unterlassen. Wer ein System einsetzt, dessen Risiken er nicht ausreichend kontrolliert, kann sich nicht dadurch entlasten, dass der Fehler anschließend im System auftrat. Delegation verändert den Ausführenden. Sie beseitigt nicht die Verantwortung.
Der Techkolonialismus der Verwaltung
Noch interessanter wird die Sache, wenn europäische Institutionen ihre digitale Souveränität ausgerechnet dadurch stärken wollen, dass sie zentrale Infrastrukturen von einigen wenigen außereuropäischen Technologiekonzernen beziehen.
Die Daten sind europäisch, die Bürger ebenfalls, die Rechtsgrundlagen ohnehin, und auch die Bußgeldbescheide werden zuverlässig in der jeweiligen Landessprache zugestellt. Nur die technische Infrastruktur stammt zunehmend aus Ökosystemen, deren wirtschaftliche und politische Zentren einige tausend Kilometer entfernt liegen.
In „Techkolonialismus: Quantencomputer, Turbolader der KI“ habe ich beschrieben, wie digitale Infrastruktur zu einer neuen Form struktureller Abhängigkeit werden kann. Nicht mehr Territorien und Rohstoffe stehen allein im Mittelpunkt, sondern Daten, Rechenleistung, Modelle, Plattformen und Standards.
Die KI-Teilhabe-Lüge erweitert genau diesen Gedanken: Teilhabe ist nicht nur die Frage, wer Zugang zu einer Technologie besitzt. Entscheidend ist, wer ihre Bedingungen kontrolliert. Wer das Modell auswählt, die Infrastruktur betreibt, Updates bestimmt, Schnittstellen kontrolliert und festlegt, welche Systeme miteinander kommunizieren dürfen, besitzt Macht, ohne jemals auf einem Wahlzettel aufzutauchen.
Für eine Verwaltung entsteht daraus ein bemerkenswertes Souveränitätsmodell: Sie erlässt die Regeln, besitzt aber möglicherweise weder das Modell noch die Infrastruktur, kann zentrale Komponenten nicht selbst warten, Updates nicht vollständig kontrollieren und technische Entscheidungen nur begrenzt nachvollziehen. Im Zweifelsfall entscheidet eine Änderung technischer oder vertraglicher Bedingungen schneller über die Funktionsfähigkeit einer Behörde als eine parlamentarische Debatte.
Das ist keine Verschwörungstheorie, sondern zunächst eine ziemlich gewöhnliche Lieferantenabhängigkeit. Nur besitzt sie eine andere politische Qualität, wenn der Lieferant nicht die Kaffeemaschine im Landratsamt liefert, sondern die Infrastruktur, auf deren Grundlage staatliche Entscheidungen vorbereitet werden.
Digitale Souveränität bedeutet deshalb mehr als Datenschutz und einen Serverstandort innerhalb der EU. Eine Behörde ist nicht souverän, nur weil ihre Daten in Frankfurt liegen, während sie ohne eine API aus Kalifornien nicht mehr weiß, was sie damit anfangen soll.
Die Komplexitätsfalle: Eine Antwort ist noch keine Entscheidung
Politik und Verwaltung stehen tatsächlich vor einem Dilemma. Gesellschaften werden heterogener, Rechtslagen komplexer, technische Entwicklungen schneller und politische Wechselwirkungen schwerer überschaubar. Gleichzeitig werden Aufmerksamkeit, Personal und finanzielle Spielräume nicht im gleichen Tempo größer. In dieser Situation erscheint KI als ideale Komplexitätsmaschine: mehr Fälle, mehr Daten, mehr Geschwindigkeit, weniger Aufwand.
Nur verschwindet Komplexität nicht dadurch, dass ein Computer schneller rechnet.
Ein komplexer Sozialleistungsantrag bleibt komplex, auch wenn ein Modell ihn in 300 Millisekunden bewertet. Eine schwierige Abwägung zwischen unterschiedlichen Rechtsgütern wird nicht trivial, weil ein Algorithmus eine Zahl zwischen null und eins daneben schreibt. Und eine politische Entscheidung wird nicht objektiver, nur weil vor ihrer Verkündung ein Dashboard geöffnet wurde.
Hier wird die Konsequenz aus der KI-Erkenntnis-Lüge besonders wichtig. Ein System kann eine Antwort liefern, ohne den Gegenstand in jenem menschlichen Sinne verstanden zu haben, den wir bei verantwortlichen Entscheidungen voraussetzen. Es kann Muster erkennen, Wahrscheinlichkeiten berechnen, Argumente verdichten und sogar Begründungen formulieren. Doch die sprachliche Form einer Begründung ist noch nicht deren epistemische Substanz.
Wenn wir bei wissenschaftlichen Aussagen verlangen, dass Ergebnisse nachvollziehbar, überprüfbar und in einen erklärbaren Zusammenhang eingebettet werden, können wir ausgerechnet bei staatlichen Entscheidungen schlecht erklären, eine statistisch sehr überzeugende Ausgabe werde schon passen.
Was automatisiert werden kann, ist die Verarbeitung von Komplexität. Was sich nicht automatisieren lässt, ist ihre gesellschaftliche Bedeutung.
In „Il Principe 2.0“ habe ich argumentiert, dass politische Führung heute weniger an einem Mangel an Informationen leidet als an der Schwierigkeit, widersprüchliche Informationen, Interessen und Folgen in handlungsfähige Entscheidungen zu überführen. Ein moderner Machiavelli müsste deshalb vermutlich weniger darüber schreiben, wie man Aufstände niederschlägt, und mehr darüber, wie man verhindert, dass ein Ministerium seine politische Strategie aus fünf Dashboards, drei Prognosemodellen und einer PowerPoint-Ampel ableitet.
Demokratische Politik muss Widersprüche aushalten können. Wer sie algorithmisch glättet, hat sie nicht gelöst. Er hat sie lediglich schlechter sichtbar gemacht.
Die neue Ungleichheit beginnt in der Verwaltung
Damit sind wir unmittelbar bei der Teilhabe. Die Erosion demokratischer Kontrolle trifft nämlich nicht alle Bürger gleichermaßen. Wer gebildet, technikaffin, finanziell abgesichert und mit administrativen Verfahren vertraut ist, kann sich gegen fehlerhafte Entscheidungen vergleichsweise gut wehren. Er versteht einen Bescheid, findet die Rechtsbehelfsbelehrung, formuliert einen Widerspruch und weiß notfalls, welcher Anwalt angerufen werden muss.
Wer diese Ressourcen nicht besitzt, steht vor einem anderen System. Eine automatisierte Verwaltung kann für solche Menschen nicht einfacher, sondern undurchdringlicher werden. Ein Formularportal ersetzt keine Beratung, ein Chatbot keine Rechtskenntnis und ein Smartphone auf dem Küchentisch demokratisiert zunächst nur den Zugang zum Gerät.
Das ist eine jener technologischen Verwechslungen, die erstaunlich langlebig sind. Wir stellen einen digitalen Zugang bereit und erklären anschließend das Zugangsproblem für gelöst. Nach derselben Logik wäre eine Bibliothek bereits ein abgeschlossenes Bildungssystem, weil die Bücher schließlich alle dort stehen.
Auch Zeit ist ungleich verteilt. Manche Bürger können Termine wahrnehmen, Unterlagen recherchieren, Bescheide prüfen und sich durch Verwaltungsportale arbeiten. Andere arbeiten in Schichten, pendeln, betreuen Kinder, pflegen Angehörige oder verfügen schlicht nicht über die Energie, sich abends um 22 Uhr noch mit einer Fehlermeldung auseinanderzusetzen, deren hilfreichster Hinweis lautet: „Ein unbekannter Fehler ist aufgetreten.“
Wenn algorithmische Systeme hinzukommen, entsteht eine weitere Ungleichheit: die Fähigkeit, eine maschinell vorbereitete Entscheidung überhaupt hinterfragen zu können. Wer versteht, dass ein Modell irren, Daten verzerrt sein und Wahrscheinlichkeiten keine Tatsachen darstellen können, besitzt einen erheblichen Vorteil gegenüber jemandem, der einer technisch erzeugten Aussage zunächst dieselbe Autorität zuschreibt wie einer behördlichen Feststellung.
Wer darauf antwortet, Bürger müssten eben digital kompetenter werden, verwechselt eine institutionelle Aufgabe mit einem privaten Fortbildungsprogramm.
Urteilskraft ist Infrastruktur
Eine der für mich wichtigsten Konsequenzen unserer Trilogie lautet deshalb: Urteilskraft ist Infrastruktur. Sie ist kein nostalgischer menschlicher Zusatz, den man nach erfolgreicher Automatisierung noch für schwierige Sonderfälle bereithält. Sie ist die Voraussetzung dafür, technische Systeme überhaupt sinnvoll einsetzen zu können.
Das gilt insbesondere für demokratische Institutionen. Ein Sachbearbeiter, Richter, Lehrer, Arzt oder Verwaltungsleiter muss einen maschinellen Vorschlag nicht nur lesen können. Er muss fachlich und organisatorisch in der Lage sein, ihn abzulehnen.
Dazu gehört auch, dass diese Fähigkeit erhalten bleibt. Wer über Jahre nur noch maschinelle Vorschläge bestätigt, trainiert nicht Urteilskraft, sondern Bestätigung. Genau der Kompetenzverlust, den wir in der KI-Effizienz-Lüge als Folge falsch verstandener Automatisierung beschrieben haben, wird in staatlichen Institutionen zu einem demokratischen Risiko. Denn irgendwann benötigt man menschliche Kontrolle gerade deshalb besonders dringend, weil das technische System einen ungewöhnlichen Fall falsch bewertet – und stellt fest, dass die Menschen zwar noch im Organigramm stehen, die entsprechende Erfahrung aber längst aus dem Prozess herausoptimiert wurde.
Die viel beschworene menschliche Letztentscheidung ist wertlos, wenn der Mensch faktisch nicht mehr zur eigenständigen Entscheidung befähigt ist.
Was erhalten bleiben muss
Die Antwort darauf kann nicht darin bestehen, die analoge Verwaltung zu romantisieren. Wer jemals mit einem Formular konfrontiert wurde, das nur deshalb ausgedruckt werden musste, damit jemand die darin bereits digital vorhandenen Daten erneut in einen Computer eingeben konnte, weiß, dass auch die gute alte Verwaltung ihre surrealistischen Momente hatte.
Es geht nicht darum, zu Faxgerät, Laufmappe und Öffnungszeiten am zweiten Dienstag eines ungeraden Monats zurückzukehren. Es geht darum, jene Funktionen zu schützen, die demokratische Verwaltung überhaupt legitimieren.
Bürger müssen mit einem verantwortlichen Menschen sprechen können, wenn eine Entscheidung erhebliche Folgen für sie besitzt. Entscheidungen müssen nachvollziehbar, anfechtbar und korrigierbar bleiben. Eine Behörde muss wissen, auf welcher Grundlage ihre Systeme Entscheidungen vorbereiten. Und dort, wo menschliche Urteilskraft erforderlich ist, darf der Mensch nicht lediglich die Aufgabe übernehmen, den Vorschlag der Maschine mit einem Mausklick zu adeln.
Vor allem muss Verantwortung adressierbar bleiben. Denn eine demokratische Institution unterscheidet sich von einer technischen Plattform nicht dadurch, dass sie schlechtere Benutzeroberflächen besitzt. Sie unterscheidet sich dadurch, dass jemand für ihre Entscheidungen einstehen muss.
Die strategische Null-Option gilt auch für den Staat
Die praktische Antwort beginnt deshalb nicht mit einem KI-Totalverbot. Es wäre wenig überzeugend, ausgerechnet jene Technologie aus der Verwaltung fernhalten zu wollen, die dort viele stumpfe Routinetätigkeiten sinnvoll automatisieren kann. Die entscheidende Frage lautet vielmehr, an welcher Stelle Unterstützung endet und Entscheidung beginnt.
Ein System kann Unterlagen sortieren, fehlende Angaben erkennen, Rechtsgrundlagen auffinden oder Sachverhalte zusammenfassen. Je stärker seine Ausgabe jedoch die tatsächliche Entscheidung vorprägt, desto höher müssen Anforderungen an Nachvollziehbarkeit, Prüfung und menschliche Verantwortung werden.
Und manchmal muss die Antwort lauten: Hier nicht.
In der KI-Effizienz-Lüge nennen wir das die strategische Null-Option: die bewusste Entscheidung, KI dort nicht einzusetzen, wo ihr Einsatz trotz technischer Machbarkeit keinen hinreichenden Gesamtnutzen erzeugt oder Risiken schafft, die den Vorteil überwiegen. Für demokratische Institutionen muss diese Null-Option erst recht gelten. Nicht alles, was automatisierbar ist, sollte automatisiert werden.
Das ist keine Technikfeindlichkeit. Es ist technische Souveränität.
Behörden brauchen deshalb keine dekorativen KI-Leitlinien, die nach drei Workshops in einem PDF mit zwölf Prinzipien enden. Sie brauchen klare Grenzen: Welche Entscheidungen dürfen automatisiert vorbereitet werden? Welche müssen Menschen treffen? Welche Daten dürfen verwendet werden? Wie werden Fehler erkannt? Wer kann eine algorithmische Empfehlung verwerfen? Welche Konsequenzen hat dieses Verwerfen für den Mitarbeiter? Und wird Widerspruch tatsächlich erwartet – oder sitzt am Ende wieder ein Mensch vor einem Bildschirm, dessen wichtigste Aufgabe darin besteht, auf „Bestätigen“ zu klicken?
Ebenso notwendig sind KI-freie Kontrollräume. Ein System kann schließlich nur sinnvoll überprüft werden, wenn wenigstens irgendwo noch ein Verfahren existiert, das nicht vom selben System abhängt. Unabhängige Kontrolle verlangt epistemische Distanz.
Sonst kontrolliert irgendwann KI A die Entscheidung von KI B anhand einer Zusammenfassung von KI C, während ein Mensch daneben sitzt und durch seine Anwesenheit dokumentiert, dass selbstverständlich weiterhin eine menschliche Aufsicht besteht.
Das wäre dann Human-in-the-Loop in seiner verwaltungstechnisch reinsten Form: Der Mensch als biologisches Compliance-Häkchen.
Die Konsequenz aus drei Büchern
Vielleicht lässt sich die Konsequenz unserer KI-Trilogie an dieser Stelle auf einen gemeinsamen Nenner bringen. Die drei „Lügen“ bestehen nicht darin, dass KI langsam, gesellschaftlich nutzlos oder grundsätzlich falsch wäre. Das wäre eine ebenso bequeme wie falsche Kritik.
 |
 |
 |
Die Effizienz-Lüge beginnt dort, wo wir technischen Output mit vollständigem wirtschaftlichem Nutzen verwechseln. Die Teilhabe-Lüge beginnt dort, wo wir technischen Zugang mit gesellschaftlicher Souveränität verwechseln. Die Erkenntnis-Lüge beginnt dort, wo wir eine plausible Antwort mit begründetem Wissen verwechseln.
Und die Verantwortungs-Lücke entsteht, wenn wir alle drei Verwechslungen institutionalisieren.
Dann erzeugt ein System schneller Ergebnisse, gewinnt dadurch faktische Autorität, liefert scheinbar objektive Entscheidungsgrundlagen und lässt am Ende einen Menschen unterschreiben, der weder die Entstehung vollständig nachvollziehen noch die Voraussetzungen wirksam kontrollieren kann.
Formal bleibt alles beim Alten. Der Mensch entscheidet. Die Behörde verantwortet. Der Bürger kann widersprechen.
Nur hat sich die tatsächliche Architektur der Entscheidung längst verschoben.
Fazit: Demokratie braucht Langsamkeit
Demokratische Institutionen werden nicht dadurch überflüssig, dass Maschinen bestimmte Aufgaben schneller erledigen können. Ihre gesellschaftliche Funktion bestand nie darin, möglichst viele Entscheidungen pro Sekunde zu produzieren. Sie besteht darin, Macht zu binden, Entscheidungen nachvollziehbar zu machen, Widerspruch zu ermöglichen und Verantwortung zuzuordnen.
KI kann diese Funktionen unterstützen. Sie kann Informationen verfügbar machen, Routinearbeit reduzieren, Fehler erkennen und Entscheidungen besser vorbereiten. Problematisch wird sie dort, wo aus Unterstützung schleichend Substitution wird und niemand mehr bemerkt, dass mit dem Arbeitsschritt auch ein Stück Urteilskraft, Souveränität und Verantwortlichkeit verschwunden ist.
Die digitale Welt liefert Antworten, bevor wir die Frage vollständig verstanden haben, organisiert Abläufe, bevor geklärt wurde, wofür wir eigentlich Zeit gewinnen wollen, und produziert Kennzahlen mit einer Geschwindigkeit, die gelegentlich vergessen lässt, dass eine präzise berechnete Zahl noch lange keine kluge Entscheidung ergibt.
Demokratie ist dagegen langsam, widersprüchlich und mitunter quälend ineffizient. Menschen diskutieren, widersprechen sich, verlangen Begründungen, legen Einspruch ein, überprüfen Entscheidungen, ändern ihre Meinung und stimmen anschließend manchmal sogar über Dinge ab, die Experten längst für geklärt hielten.
Aus Sicht eines Prozessoptimierers ist das vermutlich eine Katastrophe. Aus Sicht einer freien Gesellschaft ist es möglicherweise das Feature.
Demokratie braucht Langsamkeit nicht deshalb, weil Langsamkeit an sich wertvoll wäre, sondern weil Urteil, Widerspruch und Verantwortung Zeit benötigen. Wer diese Zeit vollständig aus dem Prozess optimiert, optimiert irgendwann nicht mehr die Demokratie. Er optimiert sie weg.
Vielleicht ist das die eigentliche Konsequenz unserer drei Bücher: KI zwingt uns nicht nur dazu, neu über Effizienz, Teilhabe und Erkenntnis nachzudenken. Sie zwingt uns dazu, genauer zu bestimmen, welche menschlichen Funktionen wir gerade deshalb erhalten müssen, weil Maschinen immer leistungsfähiger werden.
Der Mensch bleibt verantwortlich. Nicht weil er schneller rechnet, mehr Daten verarbeitet oder bessere Wahrscheinlichkeiten erzeugt. Sondern weil Verantwortung keine Rechenoperation ist.
Eine Demokratie darf Maschinen benutzen. Sie sollte nur nicht irgendwann feststellen müssen, dass sie selbst zu deren Benutzeroberfläche geworden ist.
