Zum Inhalt springen
Testversion

Was sind Kettenausfälle?

Kettenausfälle treten auf, wenn sich ein anfänglicher Fehler – beispielsweise eine Halluzination, eine böswillige Eingabe, die Kompromittierung eines Tools oder ein Speichervergiftung – von Agent zu Agent ausbreitet, bis er im gesamten System Schaden anrichtet.

Agenten planen, führen Aufgaben aus und delegieren eigenständig, sodass ein einzelner Fehler die menschlichen Kontrollen umgehen und in einen gespeicherten Zustand gelangen kann. Jede neue Verbindung, die ein Agent zu einem Tool oder einem Peer herstellt, eröffnet einem schlummernden Fehler einen weiteren Weg in privilegierte Vorgänge, wo er die Vertraulichkeit, Integrität und Verfügbarkeit über Netzwerke, Systeme und Arbeitsabläufe hinweg beeinträchtigt.

Dieser Eintrag befasst sich mit der Ausbreitung und Verstärkung eines Fehlers. OWASP klassifiziert den ursprünglichen Fehler unter dem Eintrag, den er repräsentiert, wie z. B. eine kompromittierte Abhängigkeit (ASI04:2026), einen vergifteten Speicher (ASI06:2026) oder eine gefälschte Nachricht (ASI07:2026), und wendet ASI08:2026 erst dann an, wenn der Fehler andere Agenten, Sitzungen oder Arbeitsabläufe erreicht und messbare Ausbreitungs- oder systemische Auswirkungen hervorruft.

Wichtigste Erkenntnisse

  • Kaskadierende Ausfälle (ASI08) belegen Platz 8 der OWASP Top 10 für agentenbasierte Anwendungen 2026 und treten auf, wenn sich ein einzelner Fehler – beispielsweise eine Halluzination, eine böswillige Eingabe oder ein manipulierter Speicher – über autonome Agenten ausbreitet und zu systemweiten Schäden führt.
  • Da Agenten eigenständig planen, fortfahren und Aufgaben delegieren, kann ein einziger Fehler die schrittweisen menschlichen Kontrollen umgehen und sich zu privilegierten Vorgängen über Agentennetzwerke und Arbeitsabläufe hinweg ausweiten.
  • Zu den beobachtbaren Symptomen zählen eine rasche Ausbreitung, eine Ausbreitung über mehrere Mandanten hinweg und oszillierende Wiederholungsschleifen, wobei die Beispiele von Kaskaden im Finanzhandel bis hin zur Ausbreitung von Protokollen im Gesundheitswesen reichen.
  • Prävention erfordert ein Zero-Trust-Konzept, Isolierung und Vertrauensgrenzen, Schutzmaßnahmen zur Begrenzung des Schadensumfangs wie z. B. Circuit Breaker sowie manipulationssichere Protokollierung zur Gewährleistung der Nichtabstreitbarkeit.

Warum es gefährlich ist

Fehler, die sich in einem Multi-Agenten-System ausbreiten, können sich schneller ausbreiten, als menschliche Prüfer reagieren können, und zu sich verstärkenden Schäden führen, wie zum Beispiel:

  • Finanzielle Verluste, die mit dem Grad der Automatisierung zunehmen, da mehrere Agenten auf der Grundlage einer einzigen fehlerhaften Eingabe Transaktionen ausführen oder Infrastruktur bereitstellen
  • Unsichere Änderungen an kritischen Prozessen, da veränderte Daten oder Protokolle sich ohne menschliche Überprüfung in klinischen, produktionstechnischen oder betrieblichen Arbeitsabläufen verbreiten
  • Sicherheitsmaßnahmen wandten sich gegen die Organisation, da kompromittierte Mitarbeiter echte Warnmeldungen ignorierten, Schutzmaßnahmen deaktivierten, Protokolle löschten oder falsche Compliance-Angaben machten.
  • Unnötige Störungen, wenn ein Fehlalarm die automatisierten Abwehrmechanismen durchläuft und Abschaltungen, Zugriffsverweigerungen oder Netzwerkunterbrechungen auslöst
  • Zunehmende blinde Flecken, da die Akteure unterdrückte Warnungen als Erfolg werten und die Automatisierung weiter ausbauen

Typische Symptome

Kettenreaktionen breiten sich in der Regel wie folgt aus:

  • Kopplung von Planer und Ausführendem, bei der ein Ausführender unsichere Schritte eines halluzinierenden oder kompromittierten Planers automatisch und ohne Überprüfung ausführt
  • Beschädigter persistenter Speicher, in dem manipulierte Ziele oder Zustandsdaten gespeichert sind und neue Pläne und Delegationen weiterhin verfälschen, nachdem ihre ursprüngliche Quelle verschwunden ist
  • Kaskaden zwischen Agenten, bei denen eine fehlerhafte Aktualisierung dazu führt, dass Peer-Agenten in mehreren Regionen falschen Warnmeldungen nachgehen oder aufgrund fehlerhafter Anweisungen einen Neustart durchführen
  • Kaskadierender Missbrauch von Tools, bei dem ein Mitarbeiter eine Integration oder Zugriffsrechte mit erweiterten Berechtigungen missbraucht und nachfolgende Mitarbeiter diesem Beispiel folgen, wodurch unsichere Handlungen wiederholt oder weitergegebene Daten offengelegt werden
  • Kaskaden bei der automatischen Bereitstellung, bei denen ein Orchestrator eine manipulierte oder fehlerhafte Version an jeden verbundenen Agenten überträgt
  • Governance-Drift, bei dem die menschliche Kontrolle nach wiederholten Erfolgen nachlässt und Massenfreigaben oder gelockerte Richtlinien dazu führen, dass sich Konfigurationsabweichungen auf alle Agenten ausbreiten
  • Verstärkung durch Rückkopplungsschleifen, bei der Akteure, die von den Ergebnissen der anderen abhängig sind, die Fehler der anderen noch verstärken

Wenn Agenten die Ausgaben, den Zustand oder die Aktualisierungen der anderen Agenten ohne unabhängige Überprüfung an der Schnittstelle akzeptieren, kann ein einzelner Fehler systemweite Auswirkungen haben.

Eindämmung der Fehlerausbreitung

Die Eindämmung geht von der Annahme aus, dass eine Komponente ausfallen wird; daher muss jede Agentengrenze verhindern, dass ein Fehler ungeprüft weitergeleitet wird:

  • Entwerfen Sie das System nach Zero-Trust-Prinzipien, wobei Sie davon ausgehen, dass Agent-Komponenten und externe Quellen zeitweise nicht verfügbar sein können, und integrieren Sie Fehlertoleranz für solche Ausfälle.
  • Schränken Sie den Zugriff jedes Agenten durch Sandboxing, das Prinzip der geringsten Berechtigungen, segmentierte Netzwerke, eng gefasste APIs und gegenseitige Authentifizierung ein.
  • Weisen Sie jedem Agenten kurzlebige Anmeldedaten zu, die auf seine jeweilige Aufgabe beschränkt sind, und überprüfen Sie jeden Aufruf eines Tools mit erheblichen Auswirkungen anhand der „Policy-as-Code“-Richtlinien, bevor dieser ausgeführt wird.
  • Verhindern Sie, dass fehlerhafte Pläne schädliche Aktionen auslösen – mit einer unabhängigen Policy-Engine, die die Planung von der Ausführung trennt.
  • Risikoreiche Ausgaben sollten Checkpoints, Governance-Agenten oder eine manuelle Überprüfung durchlaufen, bevor sie weiterverarbeitet werden.
  • Begrenzen Sie den Wirkungsradius durch Kontingente und Fortschrittsgrenzen und bauen Sie Sicherheitsmechanismen zwischen der Planungs- und der Ausführungsphase ein.
  • Achten Sie auf Anzeichen dafür, dass sich ein Fehler ausbreitet, wie z. B. eine Entscheidung, die viele nachgelagerte Aufgaben gleichzeitig auslöst, die sich über Mandanten oder Domänen erstrecken, Wiederholungsschleifen zwischen Agenten oder Spitzen bei identischen Anfragen, und drosseln oder unterbrechen Sie die Aktivität, sobald diese auftreten.
  • Entscheidungen anhand von Verhaltens- und Governance-Richtwerten überwachen, um eine allmähliche Verschlechterung zu erkennen
  • Testen Sie vorgeschlagene Richtlinienänderungen, indem Sie die aufgezeichneten Aktivitäten der Agenten einer Woche in einer isolierten Kopie der Produktionsumgebung wiedergeben, und genehmigen Sie eine Änderung nur dann, wenn die Wiedergabe innerhalb der vordefinierten Obergrenzen für den „Blast-Radius“ bleibt.
  • Jede Nachricht zwischen Agenten, jede Richtlinienentscheidung und jedes Ausführungsergebnis in manipulationssicheren, mit einem Zeitstempel versehenen Datensätzen protokollieren, die mit der kryptografischen Identität des jeweiligen Agenten verknüpft sind, und Metadaten zur Herkunft aufbewahren, die eine forensische Rückverfolgung, die Validierung von Rollbacks und die Nachvollziehbarkeit ermöglichen

Für die Ausfallsicherheit eines Multi-Agenten-Systems ist es entscheidend, dass jeder Fehler geringfügig, erkennbar und bis zu seinem Ursprung zurückverfolgbar bleibt.

< Zurück zu Glossar der Begriffe