Sind Ihre KI-Inferenz- und GenAI-Umgebungen sicher? Diese fünf Grundregeln helfen
KI-Systeme werden schnell zu wichtigen Elementen der Unternehmenstechnologie. Stellen Sie sich einen KI-Agenten vor, der anhand Ihrer internen Dokumente und Leitfäden trainiert wird, um das Kundenerlebnis schnell zu verbessern, Kreditanträge zu bearbeiten oder Ihren Kunden Tier-1-Support zu bieten. Das Potenzial ist enorm - aber was passiert, wenn Ihre Modelle mit Ihrem eigenen geistigen Eigentum wie Softwarecode, Kundendaten oder anderen sensiblen Informationen trainiert werden?
Böswillige Akteure versuchen, Ihre Inferenzumgebung so zu manipulieren, dass sie sensible Informationen weitergeben oder eine voreingenommene Antwort geben. Dies kann enorme Auswirkungen für Ihr Unternehmen haben, von verlorenen Kundenaufträgen bis hin zu Geldstrafen. Für IT- und Sicherheitsteams besteht die Herausforderung darin, die mit KI verbundenen Risiken zu erkennen und zu bekämpfen, bevor es zu spät ist.
Wichtigste Erkenntnisse
- Herkömmliche Sicherheitswerkzeuge – Netzwerk-Firewalls und WAFs der nächsten Generation – arbeiten auf der Netzwerk- und der HTTP/HTTPS-Ebene und können KI-Eingabeaufforderungen und -Antworten nicht überprüfen, sodass ganze Kategorien von KI-spezifischen Bedrohungen unentdeckt bleiben.
- „Shadow AI“ stellt ein dauerhaftes Governance-Risiko dar: Wenn Mitarbeiter sensible Daten oder proprietären Code in öffentliche GenAI-Dienste einspeisen, kann dies unbeabsichtigt zu Datenlecks führen, die sich in den Antworten an externe Nutzer zeigen.
- Zur Absicherung von KI-Umgebungen ist das Zusammenspiel zweier unterschiedlicher Tool-Kategorien erforderlich: eines KI-Gateways zur Authentifizierung und Autorisierung des Zugriffs auf Inferenzmodelle sowie einer KI-Firewall zur Überprüfung von Eingabeaufforderungen und Antworten auf Bedrohungen wie Prompt-Injection, Data Poisoning und Modelldiebstahl.
- Compliance-Rahmenwerke für die KI-Sicherheit befinden sich noch im Entstehen, umfassen jedoch bereits das EU-KI-Gesetz, das NIST-Rahmenwerk für das KI-Risikomanagement, die Norm ISO/IEC 42001 und die DSGVO – an all diesen sollten sich Unternehmen orientieren, um regulatorische Risiken und Reputationsrisiken zu minimieren.
- KI-Sicherheit ist nicht nur eine Frage der technischen Tools – sie erfordert auch aktualisierte Governance-Richtlinien, kontinuierliche Mitarbeiterschulungen, regelmäßige Penetrationstests und eine fortlaufende Überwachung, da sich sowohl die Bedrohungen als auch die KI-Fähigkeiten rasch weiterentwickeln.
Geschäftskritische KI-Initiativen - und Risiken
Während die KI-Revolution an Fahrt gewinnt, konzentrieren sich viele Unternehmen vor allem auf zwei Arten von Initiativen:
- KI-Inferenz - Einsatz von KI und maschinellem Lernen zur Automatisierung und Optimierung bestehender Dienste. Typische Anwendungsfälle sind Kreditbearbeitung, Kundensupport und Betrugserkennung.
- GenAI - Bereitstellung von Werkzeugen für Mitarbeiter, die auf großen Sprachmodellen (LLMs) basieren und Inhalte auf der Grundlage von Benutzeranweisungen erstellen können. Beispiele hierfür sind die Erstellung von Grafiken oder Videos für Präsentationen, das Schreiben und Testen von Code und die Erstellung von Sitzungszusammenfassungen.
Sowohl AI Inference als auch GenAI haben einen potenziell großen Wert für das Unternehmen. Mit der zunehmenden Verbreitung werden diese Fähigkeiten nicht nur zu einem Wettbewerbsvorteil, sondern zu einer grundlegenden Anforderung. KI ist jetzt geschäftskritisch, und ihre Sicherheit muss dies widerspiegeln.
Das Open Worldwide Application Security Project (OWASP) hat kritische Bedrohungen für KI-Umgebungen identifiziert. Unternehmen sehen sich heute wachsenden Risiken ausgesetzt, die mit:
- Angreifer, die die Modellantworten durch Prompt-Injection-Angriffe manipulieren oder deren Funktionsweise durch Daten- und Modellvergiftungsangriffe beeinträchtigen.
- Angriffe mit unbegrenztem Verbrauch, bei denen die Benutzer unkontrollierte Schlussfolgerungen ziehen, die die LLM-Leistung und -Verfügbarkeit beeinträchtigen.
- Die Offenlegung sensibler Informationen, wenn Nutzer personenbezogene Daten, proprietäre Algorithmen oder vertrauliche Geschäftsdaten in ein LLM eingeben und diese schließlich als Trainingsdaten verwendet werden.
- Agenten-KI, die aufgrund laxer Berechtigungen zwischen den Agenten, die Benutzeranfragen bearbeiten, und den LLMs, mit denen sie in Verbindung stehen, schädliche Aktionen durchführen.
Sie können sich nicht auf die vorhandenen Kontrollen verlassen, um diese Risiken zu mindern. Herkömmliche Sicherheitsprodukte wie Netzwerk-Firewalls verstehen nur den Netzwerkverkehr, und Web Application Firewalls der nächsten Generation verstehen nur HTTP/HTTPS. KI-Sicherheit erfordert die Fähigkeit, die nächste Informationsebene, d. h. die Benutzeranfragen, zu verstehen, was wiederum von einem Verständnis abhängt, das über HTTP/HTTPS hinausgeht. Ältere Lösungen verfügen nicht über diese Fähigkeit, so dass viele neue Arten von Angriffen auf KI unentdeckt bleiben.
Inzwischen nutzen Bedrohungsakteure die KI, um immer ausgefeiltere Malware zu entwickeln. Selbst bösartige Akteure mit geringen oder gar keinen Hacking-Fähigkeiten können frei verfügbare Tools nutzen, um recht ausgeklügelte Bedrohungen zu erstellen.
Fünf Sicherheitsgrundlagen für KI-Umgebungen
Die Sicherheit für KI-Umgebungen muss über Tools hinausgehen. Sie müssen auch Ihre Praktiken aktualisieren, um sicherzustellen, dass KI auf die richtige Art und Weise, von den richtigen Personen und mit den richtigen Kontrollen trainiert und verwendet wird. Auf einer hohen Ebene sollte Ihre KI-Sicherheitsinitiative die folgenden fünf Elemente umfassen.
Governance
Der allererste Schritt besteht darin, Verhaltensregeln festzulegen. Auch wenn dies keine Bedrohung für KI-Systeme an sich darstellt, ist mangelnde Governance ein wesentlicher Risikofaktor für Unternehmen, die KI einsetzen. Nutzer, die sensible Daten und geistiges Eigentum in Eingabeaufforderungen eingeben, können Datenlecks und Verstöße gegen Compliance-Vorschriften verursachen. Unsachgemäßer Umgang mit Daten und unsachgemäßes Modelltraining können zu Verzerrungen in KI-gestützten Systemen führen. Fehlerhafte Ergebnisse, wie beispielsweise „Halluzinationen“, können rechtliche Probleme und potenzielle Schäden an Kundenbeziehungen nach sich ziehen. Unternehmen müssen umfassende Governance-Richtlinien für die Nutzung und Verwaltung von KI-Systemen und deren Daten festlegen. Zu den wichtigsten Grundsätzen gehören die akzeptable Nutzung, der Datenschutz, die Validierung der Ergebnisse, Transparenz bei der KI-Entscheidungsfindung sowie die Einhaltung gesetzlicher Vorschriften.
Einhaltung der Vorschriften
Durch die Einhaltung einschlägiger Vorschriften und Standards können Unternehmen Strafen vermeiden und gleichzeitig die in diesen Richtlinien enthaltenen bewährten Sicherheitsverfahren nutzen. Ein umfassendes Compliance-Programm kann dazu beitragen, die Risiken von Datenschutzverletzungen und Angriffen zu minimieren. Die Einhaltung von Vorschriften hilft dem Unternehmen außerdem, Vertrauen bei Benutzern, Interessengruppen und Partnern aufzubauen, indem es die Einhaltung strenger gesetzlicher, behördlicher und ethischer Standards demonstriert.
Während die KI-Vorschriften noch im Entstehen begriffen sind, gehören zu den wichtigsten Mandaten und Rahmenbedingungen, die es zu beachten gilt:
Implementierung von Tools zum Schutz vor KI-Bedrohungen
Bei der Implementierung von KI ist es wichtig, die Angriffsfläche der KI-Umgebung zu verstehen. Das bedeutet, dass Sie sich mit Bedrohungen wie Prompt Injections, Datenhalluzinationen, Vergiftungsangriffen und anderen, die in den OWASP Top 10 für LLMs und GenAI-Apps beschrieben werden, vertraut machen müssen. Die beiden wichtigsten Lösungen zum Schutz vor KI-Bedrohungen sind:
- KI-Gateway - Sie müssen in der Lage sein, zu überprüfen, ob die Benutzer oder Agenten, die auf Ihre Modelle zugreifen, legitim sind und keine bösen Akteure oder Bots. Ein KI-Gateway führt Authentifizierungs- und Autorisierungsfunktionen für die Identitäten aus, die den Zugriff auf das Inferenzmodell anfordern.
- KI-Firewall - Sobald der Zugriff gewährt wird, prüft eine KI-Firewall die Eingabeaufforderungen und Antworten, um Angriffe wie Prompt Injection, Modelldiebstahl und Datenlecks zu verhindern. So können Bedrohungen gegen KI-Systeme wie Malware, Data Poisoning und Prompt Injection erkannt und blockiert werden. Die Ratenbegrenzung hilft, volumetrische Angriffe wie unbegrenzten Verbrauch zu verhindern.
Überwachung und Rechnungsprüfung
Wachsamkeit ist für KI-Systeme genauso wichtig wie für jede andere Unternehmenstechnologie. Durch die kontinuierliche Überwachung von KI-Systemen können Anomalien, verdächtige Aktivitäten oder potenzielle Schwachstellen frühzeitig erkannt werden, um schnell auf potenzielle Angriffe oder Sicherheitsverletzungen reagieren zu können. Sicherheitsaudits und regelmäßige Penetrationstests können dazu beitragen, Schwachstellen in Schulungs- und Einsatzumgebungen aufzudecken, damit sie proaktiv behoben werden können. Sowohl die Bedrohungen als auch die bewährten Praktiken entwickeln sich ständig weiter, so dass auch die Überwachungs- und Prüfungskriterien angepasst werden sollten.
Kontinuierliche Weiterbildung
Die Mitarbeiter müssen wissen, wie sie KI sicher nutzen können und wie sie Anzeichen von Gefahren erkennen. Schatten-KI stellt ein ständiges Risiko dar; sensible Daten oder geschützter Code, die in öffentliche GenAI-Dienste eingespeist werden, können später in Antworten an externe Nutzer auftauchen. Die rasche Innovation von KI-Technologien kann dazu führen, dass die Nutzer nicht verstehen, wozu ihre aktuellen Tools in der Lage sind und wofür sie am besten geeignet sind, was zu einer unangemessenen oder rücksichtslosen Nutzung führt. Die Mitarbeiter müssen wissen, wie sie diese Entscheidungen verantwortungsvoll treffen können - und was auf dem Spiel steht, wenn sie es nicht tun.
KI hat sich mit enormer Geschwindigkeit von vielversprechenden Experimenten zu einer weit verbreiteten Anwendung entwickelt. Jetzt muss auch die Sicherheit mit ähnlicher Geschwindigkeit voranschreiten. Indem Sie Ihre Tools und Praktiken für die Bedrohungen dieser neuen Technologie aktualisieren, können Sie deren Wert für Ihr Unternehmen erschließen und gleichzeitig die damit verbundenen Risiken minimieren.
Häufig gestellte Fragen
Ein KI-Gateway kontrolliert den Zugriff auf KI-Inferenzmodelle, indem es Benutzer und Agenten authentifiziert und autorisiert, bevor diese mit dem Modell interagieren. Eine KI-Firewall greift nach der Zugriffsgewährung ein und überprüft den aktuellen Inhalt von Eingabeaufforderungen und Antworten, um Bedrohungen wie Prompt-Injection, Datenlecks und Modelldiebstahl zu erkennen und zu blockieren.
Der Begriff „Shadow AI“ bezeichnet die Nutzung nicht autorisierter oder öffentlich zugänglicher KI-Tools – wie beispielsweise GenAI-Dienste für Endverbraucher – durch Mitarbeiter außerhalb der Kontrolle der IT-Abteilung. Werden Daten, firmeneigener Code oder sensible Kundendaten in diese Tools eingegeben, können sie als Trainingsdaten erfasst werden und später in Antworten an unbeteiligte Nutzer auftauchen, was zu Datenlecks und Verstößen gegen Compliance-Vorschriften führen kann.
Bei agentenbasierten KI-Systemen interagieren mehrere KI-Agenten untereinander und mit großen Sprachmodellen (LLMs), um komplexe Aufgaben autonom zu erledigen. Werden die Zugriffsrechte zwischen Agenten und Modellen nicht streng kontrolliert, kann ein kompromittierter oder manipulierter Agent schädliche Folgeaktionen auslösen – ein Risiko, das direkt mit der OWASP-Sicherheitslücke „LLM Excessive Agency“ zusammenhängt.
Zu den wichtigsten Rahmenwerken zählen das EU-Gesetz über künstliche Intelligenz, das NIST-Rahmenwerk für das Risikomanagement im Bereich KI, die Norm ISO/IEC 42001, der britische Verhaltenskodex für KI-Cybersicherheit, die DSGVO und der CCPA. Auch wenn KI-spezifische Vorschriften noch in der Entwicklung sind, unterliegen Organisationen, die KI-Systeme betreiben, welche personenbezogene oder sensible Daten verarbeiten, bereits den bestehenden Datenschutzgesetzen.
Penetrationstests mit KI sollten Versuche der Prompt-Injektion, Tests zur Datenextraktion, Jailbreak-Simulationen, Stresstests mit unbegrenztem Datenverbrauch sowie Tests der Zugriffskontrollgrenzen umfassen. Im Gegensatz zu herkömmlichen Penetrationstests erfordert der Einsatz von KI im Netzwerkteam neben herkömmlichen Netzwerk- und Anwendungssicherheitstechniken auch ein Verständnis des Modellverhaltens und der LLM-spezifischen Angriffsmuster.
