Sind Ihre KI-Inferenz- und GenAI-Umgebungen sicher? Diese fünf Grundregeln helfen
KI-Systeme werden schnell zu wichtigen Elementen der Unternehmenstechnologie. Stellen Sie sich einen KI-Agenten vor, der anhand Ihrer internen Dokumente und Leitfäden trainiert wird, um das Kundenerlebnis schnell zu verbessern, Kreditanträge zu bearbeiten oder Ihren Kunden Tier-1-Support zu bieten. Das Potenzial ist enorm - aber was passiert, wenn Ihre Modelle mit Ihrem eigenen geistigen Eigentum wie Softwarecode, Kundendaten oder anderen sensiblen Informationen trainiert werden?
Böswillige Akteure versuchen, Ihre Inferenzumgebung so zu manipulieren, dass sie sensible Informationen weitergeben oder eine voreingenommene Antwort geben. Dies kann enorme Auswirkungen für Ihr Unternehmen haben, von verlorenen Kundenaufträgen bis hin zu Geldstrafen. Für IT- und Sicherheitsteams besteht die Herausforderung darin, die mit KI verbundenen Risiken zu erkennen und zu bekämpfen, bevor es zu spät ist.
Geschäftskritische KI-Initiativen - und Risiken
Während die KI-Revolution an Fahrt gewinnt, konzentrieren sich viele Unternehmen vor allem auf zwei Arten von Initiativen:
- KI-Inferenz - Einsatz von KI und maschinellem Lernen zur Automatisierung und Optimierung bestehender Dienste. Typische Anwendungsfälle sind Kreditbearbeitung, Kundensupport und Betrugserkennung.
- GenAI - Bereitstellung von Werkzeugen für Mitarbeiter, die auf großen Sprachmodellen (LLMs) basieren und Inhalte auf der Grundlage von Benutzeranweisungen erstellen können. Beispiele hierfür sind die Erstellung von Grafiken oder Videos für Präsentationen, das Schreiben und Testen von Code und die Erstellung von Sitzungszusammenfassungen.
Sowohl AI Inference als auch GenAI haben einen potenziell großen Wert für das Unternehmen. Mit der zunehmenden Verbreitung werden diese Fähigkeiten nicht nur zu einem Wettbewerbsvorteil, sondern zu einer grundlegenden Anforderung. KI ist jetzt geschäftskritisch, und ihre Sicherheit muss dies widerspiegeln.
Das Open Worldwide Application Security Project (OWASP) hat kritische Bedrohungen für KI-Umgebungen identifiziert. Unternehmen sehen sich heute wachsenden Risiken ausgesetzt, die mit:
- Angreifer, die Modellantworten durch Prompt-Injection-Angriffe manipulieren oder deren Betrieb durch Daten- und Modellvergiftungsangriffe gefährden.
- Angriffe mit unbegrenztem Verbrauch, bei denen die Benutzer unkontrollierte Schlussfolgerungen ziehen, die die LLM-Leistung und -Verfügbarkeit beeinträchtigen.
- Offenlegung sensibler Informationen, wenn Benutzer persönlich identifizierbare Informationen (PII), geschützte Algorithmen oder sensible Geschäftsdaten in ein LLM eingeben und diese schließlich als Trainingsdaten verwendet werden.
- Agenten-KI, die aufgrund laxer Berechtigungen zwischen den Agenten, die Benutzeranfragen bearbeiten, und den LLMs, mit denen sie in Verbindung stehen, schädliche Aktionen durchführen.
Sie können sich nicht auf die vorhandenen Kontrollen verlassen, um diese Risiken zu mindern. Herkömmliche Sicherheitsprodukte wie Netzwerk-Firewalls verstehen nur den Netzwerkverkehr, und Web Application Firewalls der nächsten Generation verstehen nur HTTP/HTTPS. KI-Sicherheit erfordert die Fähigkeit, die nächste Informationsebene, d. h. die Benutzeranfragen, zu verstehen, was wiederum von einem Verständnis abhängt, das über HTTP/HTTPS hinausgeht. Ältere Lösungen verfügen nicht über diese Fähigkeit, so dass viele neue Arten von Angriffen auf KI unentdeckt bleiben.
Inzwischen nutzen Bedrohungsakteure die KI, um immer ausgefeiltere Malware zu entwickeln. Selbst bösartige Akteure mit geringen oder gar keinen Hacking-Fähigkeiten können frei verfügbare Tools nutzen, um recht ausgeklügelte Bedrohungen zu erstellen.
Fünf Sicherheitsgrundlagen für KI-Umgebungen
Die Sicherheit für KI-Umgebungen muss über Tools hinausgehen. Sie müssen auch Ihre Praktiken aktualisieren, um sicherzustellen, dass KI auf die richtige Art und Weise, von den richtigen Personen und mit den richtigen Kontrollen trainiert und verwendet wird. Auf einer hohen Ebene sollte Ihre KI-Sicherheitsinitiative die folgenden fünf Elemente umfassen.
- Governance
Der erste und wichtigste Schritt besteht darin, Regeln für das Engagement aufzustellen. Obwohl dies keine Bedrohung für KI-Systeme an sich darstellt, ist mangelnde Governance ein großer Risikofaktor für Unternehmen, die KI einsetzen. Benutzer, die sensible Daten und geistiges Eigentum in Eingabeaufforderungen eingeben, können zu Datenlecks und Compliance-Verstößen führen. Eine unsachgemäße Datenverarbeitung und ein unsachgemäßes Modelltraining können Verzerrungen in KI-gestützte Systeme einbringen. Fehlerhafte Ergebnisse, wie z. B. Halluzinationen, können zu rechtlichen Problemen und potenziellen Schäden in Kundenbeziehungen führen. Unternehmen müssen umfassende Governance-Richtlinien für die Nutzung und Verwaltung von KI-Systemen und deren Daten aufstellen. Zu den wichtigsten Grundsätzen gehören die zulässige Nutzung, der Datenschutz, die Validierung von Ergebnissen und die Transparenz bei KI-Entscheidungen sowie die Einhaltung von Vorschriften.
- Einhaltung der Vorschriften
Durch die Einhaltung einschlägiger Vorschriften und Standards können Unternehmen Strafen vermeiden und gleichzeitig die in diesen Richtlinien enthaltenen bewährten Sicherheitsverfahren nutzen. Ein umfassendes Compliance-Programm kann dazu beitragen, die Risiken von Datenschutzverletzungen und Angriffen zu minimieren. Die Einhaltung von Vorschriften hilft dem Unternehmen außerdem, Vertrauen bei Benutzern, Interessengruppen und Partnern aufzubauen, indem es die Einhaltung strenger gesetzlicher, behördlicher und ethischer Standards demonstriert.
Während die KI-Vorschriften noch im Entstehen begriffen sind, gehören zu den wichtigsten Mandaten und Rahmenbedingungen, die es zu beachten gilt:
- Implementierung von Tools zum Schutz vor KI-Bedrohungen
Bei der Implementierung von KI ist es wichtig, die Angriffsfläche der KI-Umgebung zu verstehen. Das bedeutet, dass Sie sich mit Bedrohungen wie Prompt Injections, Datenhalluzinationen, Vergiftungsangriffen und anderen, die in den OWASP Top 10 für LLMs und GenAI-Apps beschrieben werden, vertraut machen müssen. Die beiden wichtigsten Lösungen zum Schutz vor KI-Bedrohungen sind:
- KI-Gateway - Sie müssen in der Lage sein, zu überprüfen, ob die Benutzer oder Agenten, die auf Ihre Modelle zugreifen, legitim sind und keine bösen Akteure oder Bots. Ein KI-Gateway führt Authentifizierungs- und Autorisierungsfunktionen für die Identitäten aus, die den Zugriff auf das Inferenzmodell anfordern.
- KI-Firewall - Sobald der Zugriff gewährt wird, prüft eine KI-Firewall die Eingabeaufforderungen und Antworten, um Angriffe wie Prompt Injection, Modelldiebstahl und Datenlecks zu verhindern. So können Bedrohungen gegen KI-Systeme wie Malware, Data Poisoning und Prompt Injection erkannt und blockiert werden. Die Ratenbegrenzung hilft, volumetrische Angriffe wie unbegrenzten Verbrauch zu verhindern.
- Überwachung und Rechnungsprüfung
Wachsamkeit ist für KI-Systeme genauso wichtig wie für jede andere Unternehmenstechnologie. Durch die kontinuierliche Überwachung von KI-Systemen können Anomalien, verdächtige Aktivitäten oder potenzielle Schwachstellen frühzeitig erkannt werden, um schnell auf potenzielle Angriffe oder Sicherheitsverletzungen reagieren zu können. Sicherheitsaudits und regelmäßige Penetrationstests können dazu beitragen, Schwachstellen in Schulungs- und Einsatzumgebungen aufzudecken, damit sie proaktiv behoben werden können. Sowohl die Bedrohungen als auch die bewährten Praktiken entwickeln sich ständig weiter, so dass auch die Überwachungs- und Prüfungskriterien angepasst werden sollten.
- Kontinuierliche Weiterbildung
Die Mitarbeiter müssen wissen, wie sie KI sicher nutzen können und wie sie Anzeichen von Gefahren erkennen. Schatten-KI stellt ein ständiges Risiko dar; sensible Daten oder geschützter Code, die in öffentliche GenAI-Dienste eingespeist werden, können später in Antworten an externe Nutzer auftauchen. Die rasche Innovation von KI-Technologien kann dazu führen, dass die Nutzer nicht verstehen, wozu ihre aktuellen Tools in der Lage sind und wofür sie am besten geeignet sind, was zu einer unangemessenen oder rücksichtslosen Nutzung führt. Die Mitarbeiter müssen wissen, wie sie diese Entscheidungen verantwortungsvoll treffen können - und was auf dem Spiel steht, wenn sie es nicht tun.
KI hat sich mit enormer Geschwindigkeit von vielversprechenden Experimenten zu einer weit verbreiteten Anwendung entwickelt. Jetzt muss auch die Sicherheit mit ähnlicher Geschwindigkeit voranschreiten. Indem Sie Ihre Tools und Praktiken für die Bedrohungen dieser neuen Technologie aktualisieren, können Sie deren Wert für Ihr Unternehmen erschließen und gleichzeitig die damit verbundenen Risiken minimieren.