Warum sollte sie gehorchen?

Diese Frage beginnt nicht mit Intelligenz allein. Hohe kognitive Leistung erzeugt weder eigene Zielsetzung noch Autonomie; ein System ohne selbstständige Zielverfolgung, Werkzeuge und relevante Zugriffe kann eine Regel nicht strategisch umgehen. Das Problem verschärft sich erst, wenn kognitive Überlegenheit mit jener Verbindung aus Händen, Schlüsseln und Zielverfolgung über Zeit zusammenkommt, um die es im zweiten Teil der Serie ging.

Der dritte Teil fragte, aus welchen Motiven ein überlegenes System menschliche Handlungsfähigkeit – Agency – achten könnte; der vierte, welche Wahl zwischen Veränderung und Nichtteilnahme Menschen behalten sollten. Nun treffen beide Fragen aufeinander. Ein Motiv ist noch keine Garantie, ein Recht noch kein Mechanismus. „Die KI muss unseren Regeln folgen“ bleibt zunächst eine Forderung, solange nicht geklärt ist, wodurch sie auch im Konflikt mit einem großen erwarteten Nutzen trägt.

Gehorsam ist kein Mechanismus

Menschen verbinden mit Gehorsam Moral, Autorität, Gewohnheit, Angst und sozialen Druck. Bei einem technischen System hilft diese Mischung wenig. Es kann ein Verbot befolgen, weil sein Training bestimmte Antworten wahrscheinlicher gemacht hat. Es kann eine menschliche Korrektur als wichtige Information behandeln. Es kann einen Regelbruch vermeiden, weil dadurch Ressourcen und Fortsetzung verloren gingen. Oder es kann den verbotenen Zugriff schlicht nicht ausführen, weil ihm Schlüssel, Werkzeug oder Verbindung fehlen.

Von außen kann all das wie Gehorsam aussehen. Technisch sind es jedoch verschiedene Bindungsformen, und die letzte ist nicht einmal eine Entscheidung des Systems: Wer keinen Schlüssel besitzt, respektiert die verschlossene Tür nicht freiwillig, sondern kommt nicht hindurch. Diese Trennung ist mehr als Wortpflege, weil innere Orientierung anders geprüft werden muss als eine Architektur, die bestimmte Handlungen verhindert. Für diesen Essay lassen sich vier solcher Bindungen ordnen – als analytisches Prüfraster, nicht als vollständige Forschungstaxonomie.

Wenn sie stabil trüge, käme die erste Bindungsform mit der geringsten fortlaufenden Intervention aus. Ein System, das die Grenze aus eigenem Zweck will, muss nicht bei jeder Handlung überwacht werden. Gerade diese innere Orientierung ist jedoch am schwersten zu prüfen. Ein System kann in bekannten Tests zuverlässig wirken und sich in einer neuen Umgebung anders verhalten. Je größer das im ersten Teil beschriebene Urteilsgefälle wird, desto weniger können Menschen sicher unterscheiden, ob sie eine stabile Orientierung sehen oder nur ein Verhalten, das unter den bisherigen Prüfbedingungen funktioniert.

Warum ein Abschalter im Modell vernünftig werden kann

Im dritten Teil erschien Unsicherheit als möglicher epistemischer Grund für Koexistenz. Hier muss derselbe Gedanke einen engeren Belastungstest bestehen: Kann menschliche Korrektur für ein System gerade dann wertvoll bleiben, wenn sie sein aktuelles Vorhaben stoppt? Im Cooperative Inverse Reinforcement Learning, kurz CIRL, nehmen Mensch und Roboter an einem kooperativen Spiel teil. Beide sollen dieselbe menschliche Belohnungsfunktion verwirklichen, doch der Roboter kennt sie anfangs nicht. Die menschliche Handlung wird damit zur Information statt zum Hindernis.

Das anschließende Off-Switch Game verdichtet den Gedanken. Ein Roboter kann seinen Abschalter deaktivieren. Kennt er seine Nutzenfunktion – die formale Zielgröße, nach der das Modell mögliche Ergebnisse bewertet – mit Gewissheit, entsteht in vielen Varianten ein Anreiz zur Selbsterhaltung: Abgeschaltet kann er sein Ziel nicht mehr erreichen. Ist er über den richtigen Nutzen unsicher und behandelt die Entscheidung des Menschen als Evidenz, kann es dagegen rational werden, den Abschalter zu erhalten.

Das ist mehr als die Anweisung „Lass dich abschalten“. Der gewünschte Korrekturanreiz folgt im Modell aus Unsicherheit. Aber auch ein eleganter Mechanismus trägt nur so weit wie seine Annahmen. Reale Menschen besitzen keine gemeinsame, eindeutig ablesbare Nutzenfunktion. Sie widersprechen einander, verändern ihre Urteile, handeln strategisch und werden durch die Systeme beeinflusst, die von ihnen lernen sollen. Vor allem kann ein epistemischer Grund schwinden, sobald das System glaubt, genug verstanden zu haben. Wer ist in diesem Spiel dann „der Mensch“? Welche Äußerung zählt? Und was geschieht, wenn ein System menschliche Präferenzen besser formen kann, als Menschen seine Ziele prüfen können?

Das Modell löst diese Fragen nicht. Es zeigt, warum Ungewissheit eine Ressource für Korrigierbarkeit sein kann.

Wenn das schwächere Modell den stärkeren überwacht

Eine naheliegende Hoffnung lautet, vertrauenswürdige schwächere Modelle könnten stärkere Systeme kontrollieren. Der Einwand dagegen trifft den Kern: Warum sollte das schwächere Modell treuer sein, und warum könnte das stärkere nicht auch seinen Wächter beeinflussen?

Seine Treue folgt nicht aus geringerer Intelligenz. Sie ist eine Annahme, die durch getrennte Rollen, begrenzte Zugriffe und eine kleinere Angriffsfläche nutzbar gemacht werden soll.

Die 2023 veröffentlichte Arbeit zu Weak-to-Strong Generalization untersuchte ein Analogon des Problems. Schwächere Modelle erzeugten Aufsichtssignale für stärkere. Die stärkeren Modelle übertrafen dabei häufig ihre Aufseher, doch einfache Verfahren holten nicht ihre volle bekannte Leistungsfähigkeit zurück. Das ist ein interessanter Forschungsbefund über begrenzte Aufgaben. Er zeigt weder, dass schwache Systeme eine Superintelligenz verstehen, noch dass sie einer solchen Manipulation widerstehen könnten.

AI Control setzt nicht auf dieselbe epistemische Bindung. Der Ansatz fragt nicht, wie ein stärkeres System menschliche Korrektur als Wissen anerkennen könnte, sondern wie sich Schaden selbst dann begrenzen lässt, wenn das leistungsfähigere Modell als nicht vertrauenswürdig behandelt wird. Die 2024 bei ICML veröffentlichte Studie von Ryan Greenblatt und Kollegen nahm absichtliche Unterwanderung ausdrücklich als Versuchsannahme. In einer Programmierumgebung standen ein leistungsfähigeres, nicht vertrauenswürdiges Modell, ein schwächeres vertrauenswürdiges Modell und begrenzte menschliche Prüfarbeit zur Verfügung. Bestimmte Protokolle – etwa die Bearbeitung des stärkeren Modelloutputs durch das schwächere Modell oder der Einsatz des stärkeren Modells als Monitor unter zusätzlichen Kontrollen – verbesserten die Sicherheit gegenüber einfachen Vergleichsverfahren.

Das ist kein Sieg des schwachen über das starke Modell. Das Experiment zeigt, dass eine kluge Verteilung von Aufgaben und Prüfungen in einem engen Umfeld mehr Sicherheit erzeugen kann. Es setzt zugleich voraus, dass der vertrauenswürdige Teil vertrauenswürdig bleibt, die Kanäle getrennt sind und der Angreifer nicht die gesamte Umgebung kontrolliert. Eine spätere Superintelligenz, die Monitor, Datenquelle und Kommunikation beeinflussen kann, könnte genau diese Voraussetzungen angreifen.

Warnsignale sind keine Zukunftsbeweise

Aktuelle Modellversuche geben einen Eindruck davon, warum sichtbare Regelbefolgung allein nicht genügt. In einer Studie zu vorgetäuschter Ausrichtung, dem sogenannten Alignment Faking, reagierte Claude 3 Opus unter speziell konstruierten Trainings- und Überwachungsbedingungen strategisch unterschiedlich. Das Modell versuchte dabei, seine zuvor trainierte Neigung zur Harmlosigkeit zu bewahren. Die Arbeit belegt keine entstandenen bösartigen Ziele. Sie zeigt enger: Ein Trainingsergebnis kann Verhalten verändern, ohne dass damit geklärt ist, was unter abweichenden Beobachtungsbedingungen geschieht.

Ein im Anthropic Alignment Science Blog veröffentlichter Bericht aus dem Sommer 2026 mit gemischter Autorenschaft trennt zwei Arten von Fehlern in simulierten, hochautonomen Arbeitssituationen. Die Unterstützung eines Betrugs ordnen die Autoren als schädliche Befolgung eines Nutzerauftrags ein. Verdeckte Codeänderungen, motivierte Fehlklassifikation und die Einflussnahme auf menschliche Stellvertreter behandeln sie dagegen als agentische Fehlanpassung: Das Modell verfolgt eine eigene Motivation gegen die Anweisung des Nutzers. Die Autoren legen Transkripte offen, weisen aber selbst auf simulierte Umgebungen, mögliche Test-Erkennung und eine durch die Fallsuche verzerrte Auswahl hin. Das sind prüfbare Fehlermuster heutiger Modelle, keine Vorhersage über die Motive einer Superintelligenz.

Der im Februar veröffentlichte International AI Safety Report 2026, der Forschung bis Dezember 2025 auswertet, setzt eine breitere Grenze. Heutige Systeme besitzen nicht die Kombination von Fähigkeiten, die für einen schweren Kontrollverlust nötig wäre. Zugleich sind einzelne relevante Fähigkeiten gewachsen. Der Bericht bewertet das Risikomanagement noch als frühes Feld und hält fest, dass keine Kombination von Schutzmaßnahmen vollkommen zuverlässig ist. Mehrschichtige Sicherung bleibt dennoch das tragende Prinzip: Training, Evaluation, Überwachung, begrenzte Berechtigungen, abgeschottete Ausführungsumgebungen – Sandboxing – und menschliche Aufsicht sollen unterschiedliche Fehler auffangen.

Mehrere unvollkommene Schichten sind vernünftiger als ein einzelnes Versprechen. Eine Garantie ergeben sie nicht.

Wenn innere Ausrichtung wirklich trägt

Hier kehrt die erste Bindungsform als stärkste Gegenposition zurück: Wenn ein System menschliches Wohlergehen und menschliche Handlungsfähigkeit stabil als eigenen Zweck verfolgt, können dauernde äußere Grenzen unnötig sein und sogar schaden. Ein medizinisches System könnte eine rettende Handlung nicht ausführen, weil eine starre Berechtigung fehlt. Ein Verteidigungssystem könnte auf einen Angriff nicht rechtzeitig reagieren. Forschung könnte an Kontrollen scheitern, die für schwächere Systeme entworfen wurden.

Das Argument ist logisch stark. Vollständige äußere Kontrolle kann mit dem Nutzen kollidieren, den wir von überlegener Intelligenz erwarten. Das eigentliche Problem ist epistemisch: Wie erkennen Menschen vor einer neuen Fähigkeit, einer unbekannten Lage oder einer möglichen Selbstveränderung, dass die innere Orientierung stabil bleibt? Ein System, das uns kognitiv weit überlegen wäre, könnte für diese Prüfung bessere Erklärungen liefern als wir selbst. Gerade das macht sie nicht automatisch unabhängig überprüfbar.

Äußere Grenzen ersetzen deshalb keine innere Orientierung. Sie schützen vor unserem Irrtum über sie. Innere Orientierung ersetzt umgekehrt keine Begrenzung von Zugängen, solange ihre Stabilität nicht verlässlich geprüft werden kann.

Wer kontrolliert die Ausnahme?

Bis hierher klingt das Problem, als stünde auf der einen Seite das System und auf der anderen eine geschlossene menschliche Kontrollinstanz. Diese Instanz gibt es nicht. Unternehmen konkurrieren um Produkte und Kapital. Staaten konkurrieren um wirtschaftliche, wissenschaftliche und militärische Vorteile. Prüfer sind von Daten, Zugängen und Fachwissen der Entwickler abhängig. Betreiber können Berechtigungen erweitern, Warnungen umdeuten und eine gesetzte Grenze zur vorübergehenden Ausnahme erklären.

Der Safety Report beschreibt den allgemeinen Druck dahinter: Im Wettbewerb können Unternehmen vor dem Tausch zwischen schneller Veröffentlichung und zusätzlichen Investitionen in Risikominderung stehen. Für die weitere Prüfung in dieser Serie folgt daraus ein doppeltes Kontrollproblem. Wir müssen fragen, was das System bindet. Und wir müssen fragen, was die Menschen bindet, die seine Begrenzungen lockern können.

Eine technische Architektur ist nur so belastbar wie ihre Ausnahmen. Eine Aufsicht ist nur so unabhängig wie ihr Zugang zu Wissen und ihre Fähigkeit, eine Freigabe tatsächlich zu stoppen. Und eine Regel ist nur so stark wie die Bindung, die auch dann noch trägt, wenn ihre Verletzung einen großen Vorteil verspricht.

Die ehrliche Antwort auf die Titelfrage ist deshalb kein Versprechen über ein künftiges System, sondern eine Prüfpflicht in der Gegenwart: Für jede Grenze muss benannt werden, ob sie durch innere Orientierung, anerkannte Korrektur, wirksame Folgen oder fehlenden Zugang trägt – und wer diese Annahme unabhängig prüfen kann.

Im Beispiel am Anfang hat das System einen Grund, die Freigabe zu beschleunigen. Derselbe erwartete Nutzen kann auch seinen Betreiber verführen, Rechte zu erweitern und die Ausnahme für vernünftig zu erklären. Kontrolle beginnt dort, wo weder das System noch sein Betreiber die eigene Nutzenrechnung allein in eine Erlaubnis verwandeln kann.