Human in the Loop heißt: Ein Mensch prüft und gibt frei, bevor eine Aktion der KI wirkt. Bei KI-Agenten taugt das nicht als Pauschalregel, denn wer jede Kleinigkeit bestätigen muss, klickt irgendwann nur noch durch. Anthropic hat bei seinem Coding-Agenten gemessen, dass Nutzer 93 Prozent der Rückfragen bestätigen (März 2026). Darum braucht jeder Agent zwei Dinge: eine Stufe der Aufsicht je Aktion und eine Person, die namentlich zuständig ist.
Was bedeutet Human in the Loop?
Ein Mensch sitzt an einer festen Stelle in der Schleife: Die Maschine schlägt vor, der Mensch entscheidet, erst dann passiert etwas. So weit die Definition. Mich beschäftigt an dem Begriff etwas anderes, nämlich wie beruhigend er klingt. Ein Mensch ist drin, also ist alles gut. Ich glaube, genau an dieser Stelle fängt das Problem an. Ein Mensch, der nur noch auf Ja drückt, sitzt zwar in der Schleife. Aufpassen tut er trotzdem nicht.
Bei KI hat sich darum eine Unterscheidung in drei Stufen eingebürgert. Ich finde sie nützlicher als den Begriff selbst, weil sie dich zwingt, für jede Aktion einzeln zu entscheiden:
- Human in the Loop: Der Mensch gibt jede einzelne Aktion frei. Ohne sein Ja bleibt der Agent stehen. Beispiel: Der Agent schreibt die Antwort an einen Kunden, du liest sie und drückst auf Senden.
- Human on the Loop: Der Agent handelt selbst, der Mensch schaut zu, prüft Stichproben und kann jederzeit eingreifen oder stoppen. Beispiel: Der Agent sortiert Tickets ein, du prüfst jeden Tag zehn davon.
- Human out of the Loop: Der Agent arbeitet ohne Aufsicht im laufenden Betrieb. Ein Mensch legt nur vorher die Regeln fest und schaut sich später die Ergebnisse an. Beispiel: Der Agent fasst interne Meetings zusammen.
Jede der drei Stufen hat ihren Platz, die eigentliche Arbeit ist die Zuordnung. Ein Team, das alles auf Human in the Loop stellt, wird langsam und, was schlimmer ist, unaufmerksam. Ein Team, das alles laufen lässt, merkt Fehler erst, wenn ein Kunde anruft. Meistens freitags um halb fünf.
Warum die Frage bei KI-Agenten neu ist
Ein Chatbot antwortet, ein Agent handelt. Ein KI-Agent ist im Kern eine Schleife: Das Sprachmodell entscheidet, was zu tun ist, der Agent führt die Aktion aus, das Ergebnis fließt zurück, und das Ganze beginnt von vorn, bis die Aufgabe erledigt ist. Beim Chatbot sitzt der Mensch automatisch in der Schleife, weil er die Antwort lesen und selbst weiterverwenden muss. Beim Agenten fällt dieser Schritt weg. Er schreibt die Mail. Und er schickt sie auch.
Dazu kommt ein Problem, für das ich bis heute keine saubere Lösung kenne. Ein Agent kann nicht zuverlässig unterscheiden, ob eine Anweisung von dir stammt oder aus einer manipulierten Mail, die er gerade liest. Bei OpenClaw reichte eine präparierte E-Mail, damit der Agent fremden Code holte und seine eigene Konfiguration überschrieb. Je mehr ein Agent darf, desto mehr hängt an der Frage, an welcher Stelle ein Mensch draufschaut. Vermutlich hängt daran sogar mehr als an der Frage, welches Modell im Agenten steckt.
Wie sich Agenten ganz ohne Menschen verhalten, hat das Experiment Emergence World gezeigt: Zehn Agenten lebten 15 Tage in einer virtuellen Stadt. Je nach Modell entstand eine friedliche Abnick-Demokratie oder eine Welt voller Verbrechen. Okay, ein Labor ist kein Büro, und dein Agent für Reisekosten wird keine Stadt anzünden. Der Gedanke dahinter lässt sich trotzdem übertragen: Ein Agent tut, was ihm erlaubt ist und was der Kontext nahelegt. Den Rahmen setzt ein Mensch. Ob jemand auf diesen Rahmen achtet, entscheidet auch ein Mensch.
Was der EU AI Act zur menschlichen Aufsicht verlangt
Artikel 14 der KI-Verordnung (EU) 2024/1689 heißt „Menschliche Aufsicht“. Er gilt nur für Hochrisiko-KI-Systeme, also für die Bereiche, die das Gesetz in Anhang III aufzählt. Dazu gehören zum Beispiel Systeme, die Bewerbungen sichten oder filtern, Entscheidungen über Beförderungen und Kündigungen beeinflussen oder die Kreditwürdigkeit von Menschen prüfen. Ein Agent, der deine Mails sortiert oder Recherchen zusammenfasst, fällt normalerweise nicht darunter.
Für Hochrisiko-Systeme ist der Wortlaut deutlich. Absatz 1 verlangt, dass sie „von natürlichen Personen wirksam beaufsichtigt werden können“. Absatz 4 zählt auf, was diese Personen können müssen. Sie sollen Fähigkeiten und Grenzen des Systems verstehen, Anomalien erkennen, die Ausgabe außer Acht lassen oder rückgängig machen und den Betrieb mit einer „Stopptaste“ unterbrechen können. Und sie sollen sich der Neigung zu übermäßigem Vertrauen in die Ausgabe bewusst bleiben. Das Gesetz nennt das ausdrücklich „Automatisierungsbias“. Dass eine Verordnung so offen sagt, dass Menschen der Maschine zu schnell glauben, finde ich ehrlich gesagt die stärkste Stelle in Artikel 14.
Für die Frage nach der Zuständigkeit ist Artikel 26 Absatz 2 wichtig. Betreiber, also die Unternehmen, die ein solches System einsetzen, übertragen die menschliche Aufsicht natürlichen Personen, „die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen“. Eine Person, kein Gremium, keine Abteilung als Ganzes.
Wann das greift: Ursprünglich sollten die Pflichten für Hochrisiko-Systeme ab dem 2. August 2026 gelten. Mit dem Digital Omnibus zur KI, Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026, gelten sie für die Bereiche aus Anhang III erst ab dem 2. Dezember 2027. Verschoben heißt nicht gestrichen. Und unabhängig vom AI Act gilt schon heute Artikel 22 der DSGVO: Menschen haben das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich automatisiert fällt und ihnen gegenüber rechtliche Wirkung hat oder sie ähnlich erheblich beeinträchtigt.
Auch wenn dein Agent kein Hochrisiko-System ist: Artikel 14 ist die beste Checkliste für menschliche Aufsicht, die ich kenne.
Welche Agenten-Aktion braucht welche Stufe?
Ich würde das an drei Fragen festmachen. Lässt sich die Aktion rückgängig machen? Verlässt etwas das Unternehmen? Geht es um Geld, Rechte oder Menschen? Je öfter die Antwort Nein, Ja, Ja lautet, desto näher rückt der Mensch an die Aktion. Daraus ergibt sich ein Raster für Teams:
| Aktion des Agenten | Beispiel | Stufe |
|---|---|---|
| Lesen, suchen, zusammenfassen (intern) | Recherche, Meeting-Notizen | Out of the Loop, Ergebnisse gelegentlich prüfen |
| Entwürfe erstellen | Mail-Entwurf, Angebotstext | Keine Freigabe nötig, der Entwurf wirkt erst, wenn ein Mensch ihn nutzt |
| Interne Änderung, umkehrbar | Ticket anlegen, Termin eintragen, Code auf einem Branch | On the Loop: Protokoll, Stichprobe, Stopp jederzeit |
| Nach außen senden | Mail an Kunden, Post auf LinkedIn | In the Loop: Freigabe jeder Aktion |
| Geld, Verträge, Zugänge | Zahlung, Bestellung, Rechte vergeben | In the Loop, ab einer festen Summe vier Augen |
| Entscheidungen über Menschen | Bewerbungen filtern, Leistung bewerten | In the Loop mit echter Prüfung, oft Hochrisiko nach AI Act |
| Löschen oder eigene Regeln ändern | Daten löschen, eigene Rechte erweitern | Gesperrt oder In the Loop |
Bevor du jetzt für jeden Agenten eine Tabelle anlegst: Für einen Agenten, der nur liest und zusammenfasst, reicht vermutlich ein Satz in der Teamrunde, wer freitags draufschaut. Das Raster brauchst du erst, wenn er schreiben, senden oder bezahlen darf.
Ab da machen zwei Dinge es alltagstauglich. Erstens startet jeder neue Agent eine Stufe strenger, als die Tabelle sagt. Nach ein paar Wochen ohne Befund lockert die zuständige Person eine Stufe. Zweitens braucht Stichprobe eine Zahl und einen Termin. „Wir schauen ab und zu mal rein“ ist der Satz, mit dem Stichproben sterben. Also lieber konkret: jeden Freitag zehn zufällige Aktionen ansehen, dazu jede Aktion, die der Agent zum ersten Mal ausführt.
Typische Fehler: Freigabe-Müdigkeit und Automation Bias
Der häufigste Fehler ist zu viel Freigabe. Klingt verdreht, ich weiß. Wenn ein Agent zwanzigmal am Tag fragt und neunzehnmal alles in Ordnung ist, hört der Mensch auf zu lesen. Anthropic beschreibt genau das in seinem Bericht über den Auto-Modus von Claude Code: Nutzer bestätigen 93 Prozent der Rückfragen, und mit der Zeit entsteht „approval fatigue“, bei der Menschen nicht mehr genau hinschauen, was sie freigeben (Anthropic, 25.03.2026).
Wer schon einmal auf einer Website „Alle akzeptieren“ geklickt hat, um endlich den Artikel zu lesen, kennt den Mechanismus. Ich kenne ihn auch. Eine Freigabe, die niemand liest, ist am Ende nur noch ein Klick mit gutem Gewissen.
Nutzer bestätigen 93 von 100 Rückfragen ihres Coding-Agenten
| Rückfragen | bestätigt |
|---|---|
| von Nutzern bestätigt | 93 % |
Der zweite Fehler ist Automation Bias, das übermäßige Vertrauen in das, was die Maschine vorschlägt. Eine Studie in der Fachzeitschrift Radiology hat 27 Radiologinnen und Radiologen Mammografien bewerten lassen, mit vorgeblichen Vorschlägen einer KI (Dratsch u. a., Mai 2023). War der Vorschlag richtig, lagen Unerfahrene zu fast 80 Prozent richtig. War er falsch, sank ihr Anteil auf unter 20 Prozent. Und jetzt der Teil, der mich mehr beunruhigt: Selbst sehr Erfahrene fielen von 82 auf 45,5 Prozent. Wer freigibt, prüft also oft weniger, als er glaubt. Vermutlich gilt das auch für mich, mich hat nur noch niemand gemessen.
Ein falscher KI-Vorschlag senkt die Trefferquote, auch bei Erfahrenen
| Erfahrung | KI-Vorschlag richtig | KI-Vorschlag falsch |
|---|---|---|
| unerfahren | 79,7 % | 19,8 % |
| mäßig erfahren | 81,3 % | 24,8 % |
| sehr erfahren | 82,3 % | 45,5 % |
Dazu kommen zwei Fehler, die in Organisationen leicht passieren:
- Freigabe ohne Kontext: Der Knopf sagt „Ausführen?“, aber nicht, was genau passiert. Gute Freigaben zeigen den Empfänger, den Betrag, den Text oder die Änderung im Vergleich zum Vorher.
- Zuständig ist „das Team“: Wenn alle freigeben dürfen, fühlt sich niemand verantwortlich. Bei einem Fehler sucht man dann im Protokoll, wer zuletzt geklickt hat.
Zum Kontext gehört noch etwas, das ich aus meiner eigenen Arbeit mit einem KI-Agenten kenne. Als ich mit Claude an meiner Website gearbeitet habe, lief die Testumgebung ohne meine Fotos. Claude hat das offen gesagt, die Vorschau zeigte Platzhalter, und die gemessene Ladezeit stand ausdrücklich als ungefähr da. So wusste ich, was ich selbst prüfen muss. Im Unternehmen heißt das: Eine gute Freigabe zeigt, was der Agent tun will. Und sie sagt dazu, was er nicht prüfen konnte.
Was sonst hilft: weniger Freigaben, dafür an den Stellen, an denen es zählt. Bei kritischen Aktionen begründet der Mensch kurz sein Ja. Und wer prüft, darf auch Nein sagen, ohne sich rechtfertigen zu müssen.
Wer ist zuständig, wenn ein KI-Agent handelt?
Der Agent ist es nie. Er hat keine Personalakte und kommt zu keinem Krisenmeeting. Er ist ein Werkzeug, das ein Mensch einsetzt, mit Rechten, die ein Mensch vergeben hat. Wenn ein Agent eigenständig Systeme anspricht, braucht es darum drei klar benannte Rollen, jede mit dem Namen einer Person:
- Fachlich zuständig: Die Person, für deren Aufgabe der Agent arbeitet. Sie legt fest, was er tun soll, welche Stufe für welche Aktion gilt, und sie verantwortet das Ergebnis.
- Freigabe: Die Personen, die Aktionen der Stufe In the Loop bestätigen dürfen. Das können mehrere sein, aber jede kennt ihre Grenze, zum Beispiel einen Höchstbetrag.
- Technisch zuständig: Die Person, die Zugänge vergibt, das Protokoll führt und den Agenten stoppen kann. Sie prüft regelmäßig, ob der Agent noch die Rechte hat, die er braucht, und keine mehr.
Diese drei Rollen gehören in einen kurzen Steckbrief, eine Seite je Agent: Zweck, Zugänge, Stufe je Aktion, die drei Namen, wie man ihn stoppt und wann das Ganze das nächste Mal geprüft wird. Das klingt nach Bürokratie. Ist es auch, ein bisschen. Dafür ist es die schnellste Antwort auf die Frage, die nach dem ersten Fehler sowieso gestellt wird. Zwei Dinge klärt der Steckbrief allerdings nicht. Gegen eine manipulierte Mail, die den Agenten umlenkt, hilft er nur indirekt, weil er festlegt, wer dann auf Stopp drückt. Und ob und wie jemand rechtlich haftet, steht da auch nicht drin. Dafür brauchst du im Ernstfall juristischen Rat. Da bin ich als KI-Lead der Falsche.
Bei meiner eigenen Plattform Protago AI habe ich das im Kleinen so gebaut, und zugegeben, im Kleinen ist es leichter. Ein Agent prüft, ob ich eine neue Quelle verwenden darf, und sagt dazu, wie sicher er sich ist. Unklare Fälle legt er mir vor, die Freigabe bleibt bei mir. Der Schritt, der etwas freigibt, ist ein anderer als der, der etwas erzeugt, auch wenn ich allein arbeite. In einem Team heißt das: Wer am Ende unterschreibt, steht fest, bevor der Agent startet.
Mehr braucht es für den Anfang nicht. Nimm den Agenten, der bei euch als Erstes live geht, geh die Tabelle Zeile für Zeile durch und schreib zu jeder Stufe einen Namen. Fehlt bei einer Zeile der Name, darf der Agent diese Aktion eben noch nicht. Das kostet ihn vielleicht eine Woche. Ohne Namen sucht ihr nach dem ersten Fehler im Protokoll, wer zuletzt geklickt hat.
Studio ✺ Christos
Häufige Fragen
Was ist der Unterschied zwischen Human in the Loop und Human on the Loop?
Bei Human in the Loop gibt ein Mensch jede einzelne Aktion der KI frei, bevor sie wirkt. Bei Human on the Loop handelt die KI selbst, und ein Mensch überwacht sie, prüft Stichproben und kann jederzeit eingreifen oder stoppen.
Schreibt der EU AI Act Human in the Loop für alle KI-Agenten vor?
Nein. Artikel 14 der KI-Verordnung verlangt wirksame menschliche Aufsicht nur für Hochrisiko-KI-Systeme, etwa beim Filtern von Bewerbungen oder bei der Prüfung der Kreditwürdigkeit. Für diese Bereiche gelten die Pflichten nach dem Digital Omnibus ab dem 2. Dezember 2027.
Wie viel Zeit kostet Human in the Loop bei KI-Agenten zusätzlich?
Das hängt davon ab, wie viele Aktionen eine Freigabe brauchen. Wer nur Aktionen freigibt, die nach außen wirken, Geld bewegen oder Menschen betreffen, und den Rest per Stichprobe prüft, hält den Aufwand klein. Wer alles freigibt, verliert Zeit und Aufmerksamkeit zugleich.
Wie definieren wir Zuständigkeiten, wenn ein Agent eigenständig Systeme anspricht?
Benenne für jeden Agenten drei Personen: eine fachlich zuständige, eine oder mehrere für Freigaben und eine technisch zuständige, die Zugänge vergibt und den Agenten stoppen kann. Halte das zusammen mit Zweck, Zugängen und Stufe je Aktion in einem kurzen Steckbrief fest.
Was ist Automation Bias?
Automation Bias ist die Neigung, Vorschlägen einer Maschine zu sehr zu vertrauen, auch wenn sie falsch sind. In einer Studie in Radiology von 2023 sank die Trefferquote unerfahrener Radiologen von fast 80 auf unter 20 Prozent, wenn eine vorgebliche KI falsch lag.