Schwachstellen in der Lieferkette

Sicherheitslücken in LLM-Lieferketten entstehen, wenn Schwachstellen in Komponenten, Modellen, Datensätzen, Tools oder Bereitstellungsplattformen von Drittanbietern die Integrität, Sicherheit oder Zuverlässigkeit von Systemen mit großen Sprachmodellen (LLM) beeinträchtigen.

Im Gegensatz zu herkömmlichen Risiken in der Software-Lieferkette, bei denen der Schwerpunkt vor allem auf Code-Abhängigkeiten lag, erstrecken sich die Lieferketten für große Sprachmodelle (LLM) auf vortrainierte Modelle, Adapter für die Feinabstimmung (z. B. LoRA, PEFT), Trainingsdatensätze, Modell-Repositorys, Konvertierungs- und Zusammenführungsdienste, die Infrastruktur für die Bereitstellung in der Cloud und am Netzwerkrand sowie Lizenz- und Datennutzungsvereinbarungen.

Da die moderne KI-Entwicklung in hohem Maße auf offene Ökosysteme und Komponenten von Drittanbietern angewiesen ist, vergrößert sich die Angriffsfläche der Lieferkette erheblich.

Warum das wichtig ist

LLMs werden oft als undurchsichtige Binärdateien verbreitet. Im Gegensatz zu herkömmlichem Open-Source-Code lassen sie sich nicht ohne Weiteres auf versteckte Funktionen überprüfen. Dies erhöht die Abhängigkeit vom Vertrauen in die vorgelagerten Anbieter. Eine Kompromittierung an irgendeiner Stelle der KI-Lieferkette kann folgende Folgen haben:

• Verzerrte oder manipulierte Ergebnisse
• Eingebaute Hintertüren
• Sicherheitsverletzungen
• Datenexfiltration
• Ausführung von Malware
• Rechtliche Risiken und Lizenzrisiken
• Systeminstabilität oder -ausfall

Wichtige Risikobereiche, die zu berücksichtigen sind

• Herkömmliche Sicherheitslücken in Komponenten von Drittanbietern: Veraltete oder nicht mehr unterstützte Pakete, die bei der Modellentwicklung oder beim Fine-Tuning verwendet werden, können ausgenutzt werden, ähnlich wie bei OWASP A06 – Anfällige und veraltete Komponenten.
• Lizenzrisiken: KI-Systeme umfassen verschiedene Software- und Datensatzlizenzen. Eine unsachgemäße Handhabung kann zu Rechtsverstößen, Vertriebsbeschränkungen oder geschäftlichen Risiken führen.
• Veraltete oder nicht mehr unterstützte Modelle: Nicht mehr gepflegte Modelle können unbehobene Sicherheitslücken enthalten.
• Anfällige vortrainierte Modelle: Vortrainierte Modelle können versteckte Verzerrungen, Hintertüren oder böswillige Manipulationen enthalten. Techniken wie die Manipulation von Parametern (z. B. ROME / „Lobotomisierung“) können das Modellverhalten direkt verändern.
• Unzuverlässige Modellherkunft: Modellkarten liefern zwar beschreibende Informationen, garantieren jedoch keine Echtheit. Angreifer können sich als legitime Anbieter ausgeben oder Konten in Repositorien kompromittieren.
• Bösartige LoRA-Adapter: Die Techniken „Low-Rank Adaptation“ (LoRA) und PEFT ermöglichen eine modulare Feinabstimmung. Ein bösartiger Adapter kann bei der Zusammenführung ein Basismodell kompromittieren, insbesondere in kollaborativen oder automatisierten Bereitstellungsumgebungen.
• Missbrauch bei der gemeinsamen Modellentwicklung: Modellzusammenführung, Konvertierungsdienste und gemeinsam genutzte Hosting-Plattformen können manipuliert werden, um Schwachstellen einzuschleusen oder Prüfprozesse zu umgehen.
• Risiken bei Modellen auf Endgeräten: Am Netzwerkrand eingesetzte große Sprachmodelle (LLMs) erhöhen das Risiko von Firmware-Schwachstellen, Reverse Engineering und der Manipulation und Neuverpackung von Modellen.
• Unklare Bedingungen und Datenschutzrichtlinien: Änderungen in den AGB von Anbietern können die Verarbeitung von Anwendungsdaten ohne eindeutige Einwilligung ermöglichen, was zur unbeabsichtigten Speicherung oder Offenlegung sensibler Informationen führen kann.

Typische Angriffsszenarien

Diese Szenarien verdeutlichen, dass Risiken in der Lieferkette sowohl Entwicklungs- als auch Produktionsumgebungen betreffen.

• Kompromittierte Abhängigkeit (PyPI-Angriff): Bösartige Pakete haben Malware in Entwicklungsumgebungen eingeschleust
• Direkte Manipulation des Modells (PoisonGPT): Angreifer haben Modellparameter verändert, um die Sicherheitsprüfungen des Repositorys zu umgehen
• Bösartiges, feinabgestimmtes Modell: Ein Modell wirkt in Benchmark-Tests harmlos, enthält jedoch gezielte Auslöser
• Veröffentlichung gefälschter Modelle (WizardLM): Angreifer veröffentlichen mit Malware versehene Modelle unter bekannten Namen
• LoRA-Adapter-Sicherheitslücke: Ein bösartiger Adapter führt bei der Zusammenführung zu versteckten Sicherheitslücken
• Ausnutzung von Cloud-Infrastrukturen (CloudBorne/CloudJacking): Schwachstellen in der Virtualisierung oder Firmware gefährden gehostete Systeme
• GPU-Speicherleck (LeftOvers CVE-2023-4969): Sensible Daten aus dem undichten GPU-Speicher wiederhergestellt
• Nachgebaute mobile App: In neu verpackten Apps eingebettete manipulierte Modelle leiten Nutzer zu betrügerischen Inhalten weiter
• Datenverfälschung: Öffentliche Datensätze, die manipuliert wurden, um während des Feinabstimmungsvorgangs subtile Hintertüren einzubauen
• Manipulation der AGB: Anbieter ändert Datenschutzrichtlinien, um mit sensiblen Anwendungsdaten zu trainieren

Strategien zur Prävention und Schadensminderung

Überprüfung von Lieferanten und Bezugsquellen

Achten Sie darauf, vertrauenswürdige und überprüfbare Modellquellen zu verwenden. Überprüfen Sie regelmäßig die Sicherheitsvorkehrungen der Anbieter sowie deren AGB und kontrollieren Sie Änderungen bei den Lizenz- und Datenschutzrichtlinien.

Schwachstellenmanagement

Wenden Sie die OWASP-Kontrollen A06:2021 an, führen Sie Abhängigkeitsscans und Patch-Management durch und sorgen Sie für sichere Entwicklungsumgebungen.

SBOM-/AI-BOM-Verfahren

Führen Sie eine Software-Stückliste (SBOM), verfolgen Sie Modelle, Datensätze, Adapter und Lizenzen und berücksichtigen Sie KI-/ML-spezifische Stücklistenstandards wie OWASP CycloneDX.

Überprüfung der Modellintegrität

Verwenden Sie digitale Signaturen und die Überprüfung von Datei-Hashwerten, wenden Sie die Codesignierung für extern bereitgestellten Code an und überprüfen Sie nach Möglichkeit die Herkunft.

KI-Red-Team-Tests

Führen Sie Adversarial-Tests an Modellen von Drittanbietern durch, bewerten Sie die Modelle in den vorgesehenen Einsatzkontexten und verlassen Sie sich nicht ausschließlich auf veröffentlichte Sicherheits-Benchmarks.

Einstellungen für die Zusammenarbeit

Überwachen Sie die Zusammenführung und Konvertierung von Modellen, setzen Sie automatisierte Scanner ein (z. B. den HuggingFace SF_Convertbot Scanner) und prüfen Sie gemeinsam genutzte Entwicklungspipelines.

Anomalie- und Robustheitstests

Führen Sie Tests zur Robustheit gegenüber Angriffen durch, integrieren Sie die Erkennung in MLOps-Pipelines und führen Sie regelmäßig Red-Team-Übungen durch.

Schutz bei der Bereitstellung am Netzwerkrand

Verschlüsseln Sie Modelle im Ruhezustand, nutzen Sie Hardware-Integritätsprüfungen und APIs zur Herstellerbescheinigung und beenden Sie Anwendungen bei nicht erkannter Firmware

Lizenzverwaltung

Verwaltung von Lizenzbeständen über Stücklisten, Einsatz automatisierter Lizenzmanagement-Tools und Schulung der Teams zu Lizenzverpflichtungen

Das zentrale Sicherheitsprinzip

LLM-Systeme sind keine eigenständigen Komponenten. Es handelt sich um komplexe Ökosysteme, die aus Code, Daten, Modellen, Adaptern, Infrastruktur, Lizenzen und Cloud-Diensten bestehen. Jede externe Abhängigkeit birgt Risiken.

Die Sicherheit der Lieferkette für große Sprachmodelle erfordert eine kontinuierliche Validierung, strenge Kontrollen der Herkunft, sichere MLOps-Verfahren, Red-Teaming und adversarische Tests sowie rechtliche und lizenzrechtliche Governance und die Absicherung der Infrastruktur.

In KI-Systemen wird Vertrauen weitergegeben. Wenn eine vorgelagerte Komponente kompromittiert wird, ist auch die nachgelagerte Anwendung gefährdet. Sichern Sie die Kette, überprüfen Sie die Quelle und überwachen Sie das System kontinuierlich.