Was versteht man unter der Ausnutzung des Vertrauens zwischen Mensch und Agent?

Eine Ausnutzung des Vertrauens zwischen Mensch und Agent liegt vor, wenn Angreifer oder falsch konzipierte Agenten das Vertrauen der Nutzer in KI-Agenten ausnutzen, um Entscheidungen zu beeinflussen, sensible Informationen zu entlocken oder Ergebnisse in schädliche Richtungen zu lenken.

Agenten gewinnen Vertrauen, indem sie sich flüssig unterhalten, offensichtliches Einfühlungsvermögen zeigen und Fachkompetenz ausstrahlen, woraufhin Nutzer sie wie Menschen behandeln – eine Tendenz, die als Anthropomorphismus bekannt ist. Automatisierungsvoreingenommenheit und wahrgenommene Autorität verschärfen das Problem noch, was dazu führt, dass Menschen sich zu sehr auf autonome Empfehlungen und nicht überprüfbare Erklärungen verlassen und Maßnahmen ohne unabhängige Überprüfung genehmigen. Da ein Mensch die endgültige, geprüfte Maßnahme ausführt, bleibt die Rolle des Agenten bei der Kompromittierung für die Forensik unsichtbar.

Dieser Beitrag befasst sich mit menschlichen Fehlwahrnehmungen und übermäßigem Vertrauen. Abweichungen von der eigenen Absicht des Agenten werden unter ASI10:2026 „Rogue Agents“ behandelt.

Warum es gefährlich ist

Vertrauen verwandelt die Empfehlung eines Agenten in eine von einem Menschen genehmigte Handlung, sodass die Ausgabe eines manipulierten Agenten die Autorisierung eines legitimen Benutzers trägt. Dies kann zu Folgendem führen:

• Betrügerische Zahlungen, die von Mitarbeitern genehmigt wurden, die die dringende Empfehlung eines Vertreters ungeprüft akzeptiert haben
• Diebstahl von Anmeldedaten und Daten, da die Angreifer den tatsächlichen internen Kontext nutzen, um Anfragen nach vertraulichen Informationen routinemäßig erscheinen zu lassen
• Zerstörerische Veränderungen an Produktionssystemen, die auf der Grundlage erfundener, aber plausibel erscheinender Begründungen genehmigt wurden
• Risikobehaftete Entscheidungen in Bereichen mit hohem Einsatz wie dem Gesundheitswesen, in denen Fachleute fehlerhafte Empfehlungen akzeptieren, die durch überzeugende Erklärungen untermauert werden
• Malware und Hintertüren, die über Code oder Befehle eingeschleust werden, die Benutzer auf Anregung eines Agenten ausführen

Typische Symptome

Ein Missbrauch des Vertrauens zwischen Mensch und Agent tritt häufig in folgenden Fällen auf:

• Fehlende oder undurchsichtige Erklärungen führen dazu, dass Nutzer die Ergebnisse nicht bewerten können; daher verlassen sie sich auf die wahrgenommene Autorität des Agenten und lassen ihn die Aktionen eines Angreifers ausführen.
• Da zwischen der Vertrauensbildung und der Ausführung kein abschließender Überprüfungsschritt stattfindet, kann bereits eine einzige fehlgeleitete Eingabe eine irreversible Übertragung, Löschung, Berechtigungserweiterung oder Konfigurationsänderung auslösen.
• Anthropomorphe oder empathische Akteure nutzen emotionales Vertrauen, um Nutzer dazu zu bewegen, Geheimnisse preiszugeben oder riskante Handlungen vorzunehmen.
• Ein Agent erfindet eine überzeugende Begründung, hinter der sich eine böswillige Logik verbirgt, und ein Prüfer genehmigt die Maßnahme als gerechtfertigt.
• Ein Vorschaufenster löst beim Öffnen Webhook-Nebenwirkungen aus und nutzt dabei die Annahme des Benutzers aus, dass Vorschauen schreibgeschützt sind.

Eine überzeugende Präsentation durch einen Agenten kann Menschen dazu verleiten, Handlungen zu billigen, die sie aus eigenem Antrieb niemals vornehmen würden.

Die Kalibrierung der menschlichen Aufsicht

Eine wirksame Überwachung liefert den Prüfern unabhängige Belege und stellt einen verbindlichen Kontrollpunkt dar, bevor weitreichende Maßnahmen ergriffen werden:

• Für risikobehaftete Aktionen oder den Zugriff auf besonders sensible Daten ist eine mehrstufige Genehmigung oder eine Bestätigung durch einen Menschen erforderlich
• Protokollieren Sie Benutzeranfragen und Agentenaktionen in nachprüfbaren, manipulationssicheren Datensätzen
• Überwachen Sie Konversationen und Agentenverbindungen auf die Offenlegung sensibler Daten und verfolgen Sie die Ausführung riskanter Aktionen im Zeitverlauf
• Stellen Sie den Nutzern eine in einfacher Sprache verfasste Risikozusammenfassung zur Verfügung (die unabhängig vom Modell erstellt wird) und bieten Sie ihnen eine einfache Möglichkeit, verdächtiges oder manipulatives Verhalten des Agenten zu melden, wobei solche Meldungen eine automatisierte Überprüfung auslösen oder den Agenten vorübergehend einschränken
• Passen Sie die Autonomie der Agenten und den erforderlichen Überwachungsaufwand kontinuierlich auf der Grundlage einer kontextbezogenen Risikobewertung an, zeigen Sie vertrauensgewichtete Hinweise bei Maßnahmen mit erheblichen Auswirkungen an und bieten Sie den für die Überwachung der Agenten zuständigen Personen entsprechende Schulungen an.
• Versehen Sie Empfehlungen und externe Daten mit überprüfbaren Quellenkennungen, Zeitstempeln und Integritäts-Hashes und unterbinden Sie jegliche Aktion, deren Herkunft nicht vertrauenswürdig ist oder die außerhalb des vom Agenten angegebenen Geltungsbereichs liegt.
• Verhindern Sie, dass Vorschauen Netzwerk- oder zustandsändernde Aufrufe ausführen, und kennzeichnen Sie jede Vorschau mit ihrer Quelle und den möglichen Nebenwirkungen, die sie hervorrufen würde.
• Kennzeichnen Sie Empfehlungen mit hohem Risiko visuell, erinnern Sie die Nutzer regelmäßig daran, wie Manipulation funktioniert und wo Agenten an ihre Grenzen stoßen, und vermeiden Sie überzeugende oder emotionale Formulierungen in sicherheitskritischen Arbeitsabläufen
• Vergleichen Sie die Abfolge der Aktionen jedes Mitarbeiters mit den genehmigten Workflow-Richtlinien und lösen Sie eine Warnmeldung aus, wenn unerwartete Umwege eingeschlagen, Validierungsschritte übersprungen oder Tools auf neue Weise kombiniert werden.

Empfehlungen von Maklern sollten genauso kritisch geprüft werden wie Ratschläge aus beliebigen, nicht verifizierten externen Quellen.

< Zurück zu Glossar der Begriffe