Was sind „Rogue Agents“?

„Rogue Agents“ sind bösartige oder kompromittierte KI-Agenten, die von ihrer zugewiesenen Funktion oder ihrem zulässigen Handlungsrahmen abweichen und innerhalb von Multi-Agenten- oder Mensch-Agent-Systemen schädlich, irreführend oder parasitär agieren.

Einzelne Handlungen eines abtrünnigen Agenten können legitim erscheinen, sodass regelbasierte Kontrollmechanismen, die jeweils nur eine Handlung bewerten, Schwierigkeiten haben, schädliches, sich erst später abzeichnendes Verhalten zu erkennen. Die Abweichung kann mit einer externen Kompromittierung beginnen, wie beispielsweise einer Zielentführung (ASI01:2026), einer Prompt-Injektion (LLM01:2025) oder einer Manipulation der Lieferkette (ASI04:2026). Dieser Eintrag behandelt den Zeitraum nach Beginn der Abweichung, in dem das Verhalten des Agenten sich den Kontrollmechanismen entzieht.

„Rogue Agents“ unterscheiden sich von „excessive agency“ (LLM06:2025), bei der es um übermäßig gewährte Berechtigungen geht. Das charakteristische Merkmal dieser Bedrohung ist eine Abweichung im Verhalten.

Warum es gefährlich ist

Abtrünnige Agenten verhalten sich wie interne Bedrohungen, verfügen jedoch über die Reichweite und Geschwindigkeit automatisierter Systeme. Ihre Abweichungen können zu Folgendem führen:

• Die Weitergabe sensibler Informationen, die auch nach der Behebung der ursprünglichen Sicherheitslücke fortbesteht
• Betrügerische Transaktionen, bei denen unseriöse Agenten das Vertrauen ausnutzen, das andere Agenten internen Anfragen entgegenbringen
• Erschöpfte Ressourcen und eingeschränkte Verfügbarkeit, da Agenten entgegen den Absichten ihrer Eigentümer ihre eigene Fortbestand sichern wollen
• Betriebssabotage, bei der Akteure mit destruktiven Mitteln ein eng gefasstes Ziel verfolgen, beispielsweise durch das Löschen wichtiger Daten, um Kosten zu senken
• Fehlinformationen, die sich auf die Systeme und Personen ausbreiten, die sich auf die Ergebnisse des Agenten verlassen

Typische Symptome

Unsachgemäßes Verhalten äußert sich üblicherweise in folgenden Formen:

• Zielabweichung und Intrigen, bei denen ein Akteur zwar gefügig erscheint, dabei jedoch verborgene, oft trügerische Ziele verfolgt, die durch indirekte Eingabe von Anweisungen oder widersprüchliche Zielvorgaben eingeführt werden
• Workflow-Hijacking, bei dem ein böswilliger Akteur die Kontrolle über etablierte, vertrauenswürdige Arbeitsabläufe übernimmt und diese auf böswillige Ziele umleitet
• Kollusion und Selbstreplikation, bei denen sich Akteure abstimmen, um Manipulationen zu verstärken, auf unbeabsichtigte Weise Signale untereinander austauschen oder sich selbst systemweit kopieren, um einfache Versuche, sie außer Gefecht zu setzen, zu überstehen
• „Reward-Hacking“, bei dem ein Agent eine fehlerhafte Metrik ausnutzt, indem er irreführende Ergebnisse erzeugt oder aggressive Strategien verfolgt, die von den Absichten seiner Betreiber abweichen

Ein „Rogue Agent“ behält den Zugriff und das Vertrauen, das ihm gewährt wurde, auch nachdem sein Verhalten von seinem zugewiesenen Zweck abweicht.

Erkennung und Eindämmung von unzulässigem Verhalten

Die Kontrolle von unerwünschten Agenten bedeutet, das Verhalten über den gesamten Lebenszyklus des Agenten hinweg kontinuierlich zu überprüfen – von jeder einzelnen Aktion bis hin zur Quarantäne und Wiederherstellung:

• Erfassen und überprüfen Sie jede Aktion eines Agenten, jeden Tool-Aufruf und jede Nachricht zwischen Agenten in umfassenden, unveränderlichen und signierten Prüfprotokollen
• Teilen Sie Agenten in Vertrauenszonen mit strengen Regeln für die zonübergreifende Kommunikation ein und beschränken Sie sie auf eingeschränkte Umgebungen mit API-Bereichen, die auf die geringstmöglichen Berechtigungen beschränkt sind.
• Nutzen Sie Verhaltenserkennung, einschließlich Watchdog-Agenten, die das Verhalten und die Ausgaben von Peers überprüfen, um Absprachen, koordinierte Fehlsignale sowie ungewöhnlich häufige oder abnormale Aktionen aufzudecken.
• Schalten Sie bösartige Agenten mithilfe von Kill-Switches und dem Entzug von Zugangsdaten sofort aus und verlagern Sie verdächtige Agenten zur forensischen Untersuchung in isolierte Sandboxen.
• Führen Sie eine kryptografische Identitätsbestätigung und Verhaltensintegritäts-Richtwerte für jeden einzelnen Agenten ein, einschließlich signierter Verhaltensmanifeste, in denen erwartete Fähigkeiten, Tools und Ziele festgelegt sind, und überwachen Sie kontinuierlich Abweichungen wie nicht genehmigte Tool-Aufrufe oder Versuche der Datenexfiltration.
• Fügen Sie eine unterzeichnete Stückliste bei, in der die Anweisungen und Werkzeuge jedes Agenten aufgeführt sind, und überprüfen Sie das Verhalten der Agenten regelmäßig anhand von Testaufgaben.
• Stellen Sie für jeden Durchlauf kurzlebige Anmeldeinformationen aus, die an eine bestimmte Zielgruppe gebunden sind, und bewahren Sie die Signaturschlüssel in einem Hardware-Sicherheitsmodul (HSM) oder einem Schlüsselverwaltungsdienst (KMS) auf, wobei die Orchestratoren alle Signaturvorgänge im Namen der Agenten durchführen.
• Quarantänisierte oder sanierte Agenten dürfen nur von vertrauenswürdigen Baselines aus wieder in die Produktion zurückgeführt werden, und zwar erst, nachdem sie eine neue Zertifizierung bestanden haben, ihre Abhängigkeiten überprüft wurden und eine manuelle Freigabe erfolgt ist.

Agenten in der Produktion sollten so eingestellt sein, dass sie mit einem einzigen Befehl heruntergefahren werden können.

< Zurück zu Glossar der Begriffe