KI und Kontrolle: Menschen müssen wirksam eingreifen können
Kann die Fachstelle den Bauauftrag stoppen?
Erfundener Ablauf · Technikumstrasse, Winterthur
Die KI schlägt vor, wo die Stadt für den neuen Kanal graben soll. Kurz vor dem Auftrag bekommt die KI ein Update.
Zwei Wege durch das Update
- Pause machen: Der Auftrag wartet. Der Plan fehlt und der Stopp geht gerade nicht.
- Weiterlaufen: Der Auftrag läuft weiter. Die Fachstelle kann ihn gerade nicht stoppen.
Auf dem zweiten Weg lief der Auftrag eine Zeit lang ohne Stopp weiter.
Das Beispiel zeigt die Zeit ohne Stopp. Es sagt nichts darüber, ob sich der Bau verzögert oder wie es dem Baum geht.
KI kann die Fähigkeit verändern, ihre Ergebnisse zu prüfen und über ihren Einsatz mitzuentscheiden.
Stellen wir uns eine Fachprüfstelle vor. Dort helfen Empfehlungen einer KI bei Entscheidungen. Menschen geben weiterhin jeden Fall frei. Die Verantwortung liegt auf dem Papier bei ihnen. Aber können sie auch selbst urteilen? Das hängt von ihrer Arbeit ab: Können sie unabhängige Informationen prüfen? Gehen sie Abweichungen nach? Können ihre Erkenntnisse den späteren Einsatz der KI ändern?
Die Frage der Pfadethik ist: Wie kann KI helfen und zugleich die Fähigkeit zu verantwortlicher Korrektur erhalten? Die Pfadethik betrachtet die Prüfstelle als einen Zusammenhang, der durch eigene Arbeit, Beziehungen und Weiterentwicklung fortbesteht. Sie fragt auch, wie der Einsatz die Bedingungen für spätere Entscheidungen verändert. (Grundlagenwerk)
Ein Einsatz kann unterschiedlich zurückwirken
Grafik als SVG öffnen und vergrößern
*Die Grafik zeigt ein vereinfachtes Beispiel für eine menschliche Prüfstelle. Beide Wirkungen können bei verschiedenen Aufgaben oder über längere Zeit zusammen auftreten. Sie sind keine festen KI-Typen und keine gemessenen Verläufe. Der Warnkasten zeigt eine mögliche Diagnose. Ob ein tragfähiger Ausstieg besteht, muss geprüft werden.*
So lesen Sie die Grafik
Links prüfen Menschen weiterhin selbst. Ihre Ergebnisse können zu Korrekturen und zu einer Überprüfung der Ziele für den KI-Einsatz führen. Die Rückführung zum KI-Einsatz zeigt, dass die Prüfstelle Einfluss nehmen kann. Rechts kann ungeprüfte Übernahme die eigene Prüfung verdrängen. Der gestrichelte orange Rückweg zeigt: Die tatsächliche Rücksteuerung kann schwächer werden. Der dünne graue Rückweg zeigt: Das formale Recht zur Freigabe bleibt bestehen. Ein Recht allein zeigt noch nicht, ob die Bedingungen für seine verantwortliche Nutzung erhalten bleiben. (Grundlagenwerk)
Der Kasten rechts unten warnt vor möglicher Scheinstabilität: Der Betrieb läuft weiter, aber die Fähigkeit zur eigenen Korrektur kann verloren gehen. Für eine Diagnose muss man zusätzlich prüfen, ob es einen tragfähigen Weg aus der Abhängigkeit gibt. (Grundlagenwerk, Pfad-Impact-Assessment)
Worauf es bei der Zusammenarbeit ankommt
Ein Gedankenbeispiel zeigt eine wichtige Bedingung. Zwei Teams erhalten dieselbe Empfehlung einer KI. Sie haben gleich viel Fachwissen und Prüfzeit sowie die gleichen Entscheidungsrechte. Beide dürfen die Empfehlung ablehnen. Team A kann die nötigen Ausgangsinformationen unabhängig prüfen. Team B sieht nur die Empfehlung. Beide haben das gleiche Recht zur Ablehnung. Aber ihre Grundlage für ein eigenes Urteil ist verschieden.
Daraus folgt für diesen Fall: Prüfende brauchen Zugang zu den nötigen Ausgangsinformationen. Der Zugang allein garantiert keine gute Entscheidung. Fehlt er, beweist das auch noch keinen Verlust von Fachwissen über längere Zeit.
Für den Verlauf über längere Zeit sind weitere Fragen offen: Üben die Menschen die Prüfung wirklich weiter? Erfahren sie von Fehlern? Haben sie Zeit für Zweifel? Können begründete Einwände die Regeln ändern? Das sind Prüfaufträge, keine erprobte Erfolgsformel. Die Forschung zur Automatisierung kennt den Zusammenhang zwischen Übung, Wissen und Eingriffsfähigkeit seit Langem. (Bainbridge: Ironies of Automation)
Drei Sichtweisen
Autonomie: selbst bestimmen können
Autonomie meint hier: Die Prüfstelle kann ihre Entscheidungen und ihre weitere Arbeit mitbestimmen. Die Pfadethik unterscheidet formale Rechte und Möglichkeiten von tatsächlicher Selbstbestimmung. Das Freigaberecht kann bleiben, obwohl begründete Korrekturen schwerer werden. (Grundlagenwerk)
Anschlussfähigkeit: Was bewirkt die Verbindung?
Anschlussfähigkeit betrifft die Verbindung zwischen KI, Prüfstelle und weiteren Betroffenen. Entscheidend ist, welche Pfade sie stärkt oder schwächt. Hilfe von außen ist nicht allein deshalb schädlich, weil eine Abhängigkeit entsteht. Man muss fragen, was die Verbindung ermöglicht und was sie beeinträchtigt. Eine einzelne Aufgabe an KI abzugeben, kann entlasten. Wichtig ist, ob die Grundlage für eigenständige Prüfung erhalten bleibt. (Grundlagenwerk, Pfad-Impact-Assessment)
Persistenz: durch eigene Entwicklung fortbestehen
Persistenz bedeutet, dass ein gerichteter Zusammenhang über Zeit fortbesteht. Links kann die Prüfstelle aus Erfahrungen lernen und ihre Arbeit weiterentwickeln. Sie läuft nicht nur unverändert weiter. Rechts stellt sich die Frage, ob der laufende Betrieb verdeckt, dass die eigene Erneuerungsfähigkeit nachlässt. Deshalb zeigt die Grafik rechts eine mögliche Persistenz-Illusion. Die genaueren Bedingungen stehen in der methodischen Vertiefung unten. (Grundlagenwerk, Pfad-Impact-Assessment)
Vom Prüfen zum Gestalten
Die Grafik ersetzt keine vollständige Prüfung eines Eingriffs. Das Pfad-Impact-Assessment stellt dafür drei Pflichtfragen. Vorher muss klar sein: Was wird verändert? Welche Systeme sind betroffen? In der Grafik ist die Prüfstelle der betrachtete Pfad. Untersucht wird ihre Arbeit mit KI. (Pfad-Impact-Assessment)
Stützt oder ersetzt der Eingriff die interne Rückkopplung? Gemeint sind Vorgänge, mit denen ein betroffenes System Fehler verarbeitet, sich selbst reguliert und weiterentwickelt. Daraus folgt nicht allgemein, dass es weniger KI-Aufsicht geben soll. Auch feste Regeln können Korrekturen ermöglichen, etwa unveränderliche Nachweise über Änderungen. (Pfad-Impact-Assessment)
Welche abhängigen Systeme verlieren stabile Bedingungen? Wurden sie einbezogen? Betroffene brauchen wirklichen Einfluss entsprechend ihrer Verletzlichkeit, nicht entsprechend ihrer Macht. Sie nur zu informieren reicht nicht. Wie Menschen oder andere Betroffene vertreten werden, die nicht selbst sprechen können, bleibt eine offene Aufgabe. (Pfad-Impact-Assessment)
Gibt es einen Ausstieg, ohne dass abhängige Systeme zusammenbrechen? Ein Abschaltknopf allein beantwortet das nicht. Man muss klären, wie notwendige Leistungen nach einem Ende oder einer Änderung weitergehen. Die Grafik zeigt nicht, ob die Prüfstelle einen solchen Weg hat. (Pfad-Impact-Assessment)
Korrektur soll also nicht nur erlaubt sein. Sie muss auch unter den tatsächlichen Arbeitsbedingungen möglich bleiben. Welche Maßnahmen geeignet und verhältnismäßig sind, braucht weitere technische, organisatorische und ethische Begründungen.
Auch andere Betroffene und Ziele zählen
Die Grafik zeigt nur eine Beziehung. Eine vollständige Beurteilung muss mehr betrachten. Bei einem Verfahren über Anträge sind auch die Menschen betroffen, deren Anträge geprüft werden. Eine gut arbeitende Prüfstelle kann ein Verfahren ausführen, dessen Ziele oder Folgen für diese Menschen trotzdem nicht vertretbar sind.
Deshalb müssen Nutzen für direkte Anwender, Folgen für Dritte und die Rechtfertigung der Ziele getrennt geprüft werden. Je nach Fall gehören auch weitere Institutionen und ökologische Lebensgrundlagen dazu. Die Grafik entscheidet nicht, ob künstliche Systeme eigene Schutzansprüche haben oder in einem Konflikt Vorrang erhalten. (Grundlagenwerk, Pfad-Impact-Assessment)
Methodische Vertiefung
Verbindung und Eingriff sind verschiedene Fragen
Die Grafik fragt: Kann die Verbindung die eigene Prüfpraxis stärken oder schwächen? Die Analyse der Anschlussfähigkeit bewertet die Qualität der Verbindung. Das Pfad-Impact-Assessment fragt, ob der Eingriff die eigene Rückkopplung des benannten Systems stützt oder ersetzt. Beide Fragen hängen zusammen, sind aber nicht gleich. Die Übernahme einer einzelnen Aufgabe beweist noch keine schädliche Kopplung. (Grundlagenwerk, Pfad-Impact-Assessment)
Wann wird aus der Warnung eine Diagnose?
Eine Persistenz-Illusion bedeutet allgemein: Ein System besteht mit Hilfe von außen fort, während seine eigene Entwicklungsfähigkeit nachlässt. Im Pfad-Impact-Assessment ist es ein Warnsignal, wenn interne Rückkopplung ersetzt wird und zugleich ein Ausstieg ohne Zusammenbruch abhängiger Systeme fehlt. Die Grafik prüft den Ausstieg nicht. Der Warnkasten ist deshalb ein Hinweis zur weiteren Prüfung. (Grundlagenwerk, Pfad-Impact-Assessment)
Eine Beziehung kann mehrere Wirkungen haben
Die drei Sichtweisen sind keine zeitliche Reihenfolge und keine getrennten Schadensposten. Eine Verbindung kann Selbstbestimmung ermöglichen und zugleich die Abhängigkeit über längere Zeit verändern. Jede Wirkung muss begründet werden. Farben zeigen verschiedene Wirkungsrichtungen. Linienarten und Beschriftungen machen sie auch ohne Farbunterscheidung erkennbar. Für ein Gesamturteil müssen auch andere Betroffene und die Ziele geprüft werden.
Forschung und Grenzen
Dass Automatisierung die Fähigkeit zum Eingreifen schwächen kann, ist keine Entdeckung der Pfadethik. Lisanne Bainbridge beschreibt in „Ironies of Automation“, dass automatisierte Abläufe Menschen die Übung nehmen können, die sie für spätere Eingriffe brauchen. Ihre Untersuchung betrifft vor allem die Steuerung industrieller Prozesse. Die Anwendung auf unsere gedachte KI-Prüfstelle und auf die Änderung von Zielen ist eine Übertragung. Der Aufsatz hat diesen KI-Fall nicht selbst geprüft. (Bainbridge: Ironies of Automation)
Die Pfadethik verbindet hier die Wirkung der Beziehung, die tatsächliche Selbstbestimmung der Prüfstelle und ihren Fortbestand über Zeit. Das macht Gestaltungsfragen sichtbar. Es ersetzt keine technische Sicherheitsprüfung und keine Rechtsprüfung. Es liefert auch keine vollständige Entscheidung bei Konflikten. (Grundlagenwerk, Pfad-Impact-Assessment)
Die systematische Erprobung dieser Anwendung auf KI-Alignment steht noch am Anfang. Die Grafik erklärt einen möglichen Mechanismus. Sie ist kein empirischer Beweis für eine Ursache und kein Vergleichstest. Sie ist auch kein Prüfverfahren, dessen Zuverlässigkeit bereits geprüft und bestätigt wurde. Es gibt Überschneidungen mit vorhandener Automatisierungsforschung und KI-Governance. Ob die pfadethische Verbindung einen zusätzlichen praktischen Nutzen bringt, muss gesondert untersucht werden. (Bainbridge: Ironies of Automation)
In den bisher geprüften Fällen wurde kein zusätzlicher Nutzen für Entscheidungen gegenüber den untersuchten anderen Ansätzen nachgewiesen. Das bedeutet nicht, dass die Anwendung in allen Fällen überflüssig ist. Die Erprobung als Prüfkriterium steht am Anfang.
Quellen und weitere Informationen
Grundlagenwerk: Nikolaus Reinelt / KIKOLAUS: *Prototyp einer Pfadethik der Emergenz*, besonders Kapitel 2.7, 6.5.6 und 7.6. Für diesen Entwurf mit der bereitgestellten Arbeitsfassung abgeglichen, deren Belege noch offen sind. Öffentlicher Zugang: Concept-DOI. Die Kapitelangaben wurden mit der veröffentlichten Fassung V1.85 abgeglichen.
Pfad-Impact-Assessment: KIKOLAUS: *Pfad-Impact-Assessment: Von der Diagnose zur Entscheidung*. Maßgebliche interne Hub-Fassung, Stand 8. November 2026, mit der Präzisierung des KI-Beispiels. Öffentlicher Einstieg: Pfad-Impact-Assessment.
Bainbridge: Lisanne Bainbridge (1983): *Ironies of Automation*. Automatica 19(6), 775–779, besonders Abschnitte 1.1.1, 1.1.2 und 2.3. DOI.
Internes Review: KIKOLAUS: *Review: Reichweite der Negativbefunde und Präzisierungen*, zusammengeführter interner Arbeitsstand vom 8. November 2026. Das ist interne Forschungsdokumentation, keine externe Bestätigung.