Ermöglichung einer sicheren, leistungsstarken Infrastruktur für KI- und LLM-Umgebungen
Künstliche Intelligenz ist schon seit Jahrzehnten Teil der Technologielandschaft, aber die jüngsten Entwicklungen bei der GPU-Rechenleistung haben ihre Entwicklung und Übernahme in einem noch nie dagewesenen Tempo beschleunigt. Generative KI (GenAI) und große Sprachmodelle (LLMs) stehen jetzt an der Spitze dieses Wandels und definieren neu, wie Unternehmen arbeiten, innovieren und ihre Kunden bedienen. Diese Technologien sind nicht länger experimentell - sie werden in Produktionsumgebungen eingesetzt, um Echtzeit-Erlebnisse zu liefern, Abläufe zu automatisieren und neue Effizienzniveaus zu erschließen.
Doch mit der Einführung von KI in Unternehmen entstehen auch neue und komplexe Herausforderungen. Gerade die Fähigkeiten, die KI so leistungsfähig machen - ihre Fähigkeit zu lernen, sich anzupassen und zu generieren -, machen sie auch angreifbar. Die Angriffsfläche wird immer größer. Die Bedrohungen werden immer raffinierter. Herkömmliche Tools für die Cybersicherheit reichen nicht mehr aus. Und die Infrastruktur, die zur Unterstützung von KI-Workloads erforderlich ist, ist anspruchsvoll, sowohl in Bezug auf die Leistung als auch auf die betriebliche Komplexität.
Wichtigste Erkenntnisse
- Die drei wichtigsten infrastrukturellen Herausforderungen bei der Bereitstellung von KI und LLM sind die Latenz – Nutzer erwarten Antworten in Echtzeit –, die Sicherheit vor KI-spezifischen Bedrohungen sowie die betriebliche Komplexität, die durch GPU-intensive Workloads bedingt ist, welche sich grundlegend von der herkömmlichen IT unterscheiden.
- KI-Modelle, die auf firmeneigenen Geschäftsdaten und Kundendaten trainiert wurden, schaffen eine neue und eigenständige Angriffsfläche und setzen Unternehmen damit Gefahren wie Prompt-Injection, Model Poisoning und der Offenlegung sensibler Daten aus, denen herkömmliche Sicherheitstools nicht begegnen können
- Die KI-Firewall von A10 schützt LLM-Inferenzumgebungen, indem sie den Datenverkehr auf Prompt-Ebene überprüft, Sicherheitsrichtlinien durchsetzt und den SOC-Netzwerkteams einen integrierten Test-Workflow zur Verfügung stellt, mit dem Schwachstellen vor der Produktivbereitstellung identifiziert und behoben werden können.
- Die Vorhersagefunktionen von A10 nutzen fortschrittliche Analysemethoden, um eine Verschlechterung der Infrastruktur zu erkennen, bevor sie sich auf die Nutzer auswirkt, und liefern IT-Teams frühzeitig Warnsignale, um Engpässe in KI-Workload-Umgebungen proaktiv zu beheben.
- A10 versteht sich nicht als KI-Anbieter, sondern als Partner für KI-fähige Infrastruktur und nutzt dabei seine über 20-jährige Erfahrung in den Bereichen Anwendungsbereitstellung und Netzwerksicherheit, um Unternehmen beim Aufbau widerstandsfähiger, latenzarmer und sicherer Umgebungen für GenAI- und LLM-Workloads zu unterstützen.
A10 ist kein KI-Unternehmen. Wir entwickeln keine KI-Modelle und trainieren keine neuronalen Netze. Aber wir wissen, was es braucht, um eine sichere und leistungsstarke digitale Infrastruktur bereitzustellen. Seit mehr als 20 Jahren unterstützen wir Unternehmen auf der ganzen Welt dabei, die Verfügbarkeit, Sicherheit und Effizienz ihrer Anwendungen und Netzwerke zu gewährleisten. Heute setzen wir dieselbe Expertise ein, um Kunden beim Aufbau von KI-fähigen Umgebungen zu helfen, die belastbar, reaktionsschnell und sicher sind.
Da KI immer stärker in die Betriebsabläufe von Unternehmen und Dienstanbietern integriert wird, sind wir davon überzeugt, dass die Kunden vor drei wesentlichen Herausforderungen stehen werden:
- Latenz ist ein kritischer Faktor in KI- und LLM-Inferenzumgebungen. Benutzer erwarten Echtzeitantworten von KI- und LLM-Systemen, egal ob sie mit einem Chatbot interagieren, eine Wissensdatenbank abfragen oder automatisierte Empfehlungen erhalten. Jede Verzögerung bei der Verarbeitung kann das Benutzererlebnis beeinträchtigen und den Wert der KI-Anwendung mindern. Um diese Erwartungen zu erfüllen, sind leistungsstarke Netzwerke und Datenpfade mit geringer Latenz unerlässlich.
- Sicherheit ist ein zentrales Anliegen. KI-Modelle werden häufig anhand sensibler interner Daten trainiert, darunter geschützte Geschäftsinformationen, Kundendaten und geistiges Eigentum. Dies macht sie zu attraktiven Zielen für Cyberangreifer. Darüber hinaus bringt die Natur der KI neue Arten von Bedrohungen mit sich – wie Prompt-Injection, Model Poisoning und adversarische Manipulation –, die herkömmliche Sicherheitstools weder erkennen noch abwehren können. Daher müssen Unternehmen neue Ansätze verfolgen, um ihre KI-Ressourcen zu schützen und Datenlecks, Modellverfälschungen sowie Verstöße gegen gesetzliche Vorschriften zu verhindern.
- Die betriebliche Komplexität ist die dritte Herausforderung. Die KI-Infrastruktur ist nicht einfach eine Erweiterung der herkömmlichen IT - sie bringt neue Arbeitslasten, neue Leistungsanforderungen und neue architektonische Überlegungen mit sich. Viele IT-Teams müssen noch lernen, wie sie GPU-intensive Anwendungen verwalten, Datenflüsse optimieren und KI-spezifische Leistungskennzahlen überwachen können. Ohne die richtigen Tools und Erkenntnisse kann es schwierig sein, sicherzustellen, dass KI-Implementierungen skalierbar, zuverlässig und kostengünstig sind.
Mit der zunehmenden Integration von KI in die Abläufe von Unternehmen und Dienstleistern werden Kunden unserer Meinung nach vor allem drei Herausforderungen stehen:
- Bereitstellung von Echtzeit-Erlebnissen mit KI- und LLM-Inferenzumgebungen. A10 ermöglicht hohe Leistung für KI- und LLM-Inferenzumgebungen. Dies erreichen wir durch die Auslagerung prozessorintensiver Aufgaben wie TLS- und SSL-Entschlüsselung, Caching und Optimierung der Verkehrsführung.
- Bereitstellung von verwertbaren Erkenntnissen und Vorhersage von Problemen, bevor sie auftreten. So können Kunden die Verfügbarkeit und Leistung ihres Netzwerks maximieren.
- Verhinderung, Erkennung und Abwehr von Bedrohungen für KI- und LLM-Umgebungen. Dazu ermöglichen wir es unseren Kunden, ihre KI-Inferenzmodelle auf bekannte Schwachstellen zu testen, und unterstützen sie bei deren Beseitigung mithilfe der proprietären LLM-Sicherheitstechniken von A10. Wir erkennen Bedrohungen auf KI-Ebene wie Prompt-Injektionen und die Offenlegung sensibler Informationen, indem wir den Anfrage- und Antwortverkehr auf Prompt-Ebene überprüfen und die zur Abwehr dieser Bedrohungen erforderlichen Sicherheitsrichtlinien am Netzwerkrand durchsetzen.
A10 hat kürzlich neue Funktionen zur Unterstützung KI-fähiger Anwendungen und Infrastrukturen angekündigt . Diese Funktionen, die sich derzeit in der Alpha-Phase befinden, werden auf der Interop Tokyo 2025 demonstriert und im Rahmen unserer kontinuierlichen Zusammenarbeit mit Kunden und Partnern präsentiert.
Die erste dieser Funktionen ist eine KI-Firewall. Diese Lösung wurde entwickelt, um KI- und LLM-Inferenzumgebungen vor einer Reihe neu auftretender Bedrohungen zu schützen. Sie läuft auf einer GPU-fähigen A10-Appliance und bietet umfassenden Schutz vor Prompt-Injection, Daten- und Modellvergiftung sowie anderen KI-spezifischen Schwachstellen. Darüber hinaus umfasst sie einen Test-Workflow für Red Teams von Security Operations Centern (SOCs), der es ihnen ermöglicht, Angriffe zu simulieren, Schwachstellen zu identifizieren und Probleme mithilfe der proprietären LLM-Schutztechniken von A10 zu beheben. Dieser proaktive Ansatz hilft Unternehmen dabei, die Integrität und Zuverlässigkeit ihrer KI-Modelle sicherzustellen, bevor diese in der Produktion eingesetzt werden. Die Lösung kann in jeder Infrastruktur als zusätzliche Sicherheitsfunktion implementiert werden.
Die zweite Funktion ist Predictive Performance Insights, ein Frühwarnsystem für Leistungseinbußen und Probleme mit der Netzwerkkapazität. Diese Lösung, die ebenfalls auf einer GPU-fähigen A10-Appliance läuft, nutzt fortschrittliche Analysen, um Leistungseinbußen zu erkennen, bevor sie sich auf die Benutzer auswirken. Sie liefert verwertbare Erkenntnisse, die es IT-Teams ermöglichen, Engpässe proaktiv zu beheben, Ressourcen effektiver zuzuweisen und die Hochgeschwindigkeitsumgebung aufrechtzuerhalten, die für KI-Workloads erforderlich ist. Predictive Performance Insights sind so konzipiert, dass sie nahtlos mit den bestehenden A10 Produkten, einschließlich A10 Thunder ADC und A10 Thunder CGN, zusammenarbeiten und so eine einheitliche Plattform für Leistungsoptimierung und Infrastrukturresilienz bieten.
Diese Fähigkeiten sind auf die besonderen Anforderungen von KI-Umgebungen zugeschnitten. Sie spiegeln unser Engagement für Innovation und unser tiefes Verständnis für die sich entwickelnde Technologielandschaft wider. Während diese Fähigkeiten reifen, werden wir uns weiterhin mit Kunden austauschen, Feedback einholen und unseren Ansatz verfeinern, um sicherzustellen, dass wir einen sinnvollen Wert liefern.
Kunden, die mehr über unsere KI-Firewall oder unsere prädiktiven Leistungsfunktionen erfahren möchten, sollten sich direkt mit unserem Produktmanagement und unseren Entwicklungsteams in Verbindung setzen. Diese Gespräche sind wichtig, um sicherzustellen, dass unsere Lösungen den realen Anforderungen und Anwendungsfällen entsprechen. Wir stellen auch externe Ressourcen auf unserer Website zur Verfügung, darunter unseren Standpunkt zu KI, unsere Seite für Infrastrukturlösungen und unsere Seite für Sicherheitslösungen.
Sobald die Entwicklung dieser Funktionen voranschreitet, werden wir Sie über den Zeitplan, die Verfügbarkeit und die Möglichkeiten der Kundenbeteiligung informieren.
KI verändert die Art und Weise, wie Unternehmen arbeiten, aber sie bringt auch neue Risiken und Komplexitäten mit sich. Wir konzentrieren uns darauf, unsere Kunden dabei zu unterstützen, diesen Wandel mit Zuversicht zu meistern. Durch die Bereitstellung sicherer, leistungsstarker Infrastrukturlösungen ermöglichen wir es der nächsten Generation von KI-Anwendungen, schneller, sicherer und effektiver zu sein.
Wir freuen uns darauf, diese Reise mit unseren Kunden und Partnern fortzusetzen und die Zukunft der KI-Infrastruktur entscheidend mitzugestalten.
Häufig gestellte Fragen
KI-Umgebungen bringen Bedrohungsvektoren mit sich, die in der herkömmlichen IT nicht vorkommen. Bei „Prompt-Injection“-Angriffen wird das Modellverhalten durch speziell gestaltete Eingaben manipuliert. Durch „Model Poisoning“ werden Trainingsdaten verfälscht, und durch „adversarial inputs“ können Modelle dazu gebracht werden, schädliche oder falsche Ergebnisse zu liefern. Diese erfordern eine Überprüfung auf Anwendungs- und Prompt-Ebene und nicht nur Kontrollen am Netzwerkperimeter.
Bei einer „Prompt-Injection“ handelt es sich um einen Angriff, bei dem ein böswilliger Akteur Anweisungen in den Eingabetext einbettet, um das Verhalten eines LLM zu manipulieren und es dazu zu bringen, Sicherheitsvorkehrungen zu umgehen, sensible Daten preiszugeben oder unbeabsichtigte Aktionen auszuführen. Dies ist eine der häufigsten und am schwersten zu erkennenden Bedrohungen in LLM-Produktionsumgebungen, da der Angriff in Form einer legitim erscheinenden Benutzereingabe erfolgt.
LLM-Inferenz-Workloads sind von Natur aus rechenintensiv. Wenn die TLS/SSL-Entschlüsselung und -Neuverschlüsselung nicht vom Inferenzserver selbst, sondern von einem dedizierten ADC übernommen wird, werden GPU- und CPU-Ressourcen freigesetzt, sodass diese sich vollständig auf die Modellverarbeitung konzentrieren können. Dadurch werden die Latenz reduziert und der Durchsatz für Endnutzer verbessert, die in Echtzeit mit KI-Anwendungen interagieren.
Anstatt erst auf Leistungsprobleme zu reagieren, nachdem diese bereits Auswirkungen auf die Nutzer haben, überwacht die prädiktive Analyse kontinuierlich die Infrastrukturkennzahlen, um Frühindikatoren für Leistungseinbußen wie Netzwerküberlastung, Ressourcenauslastung oder ungewöhnliche Datenverkehrsmuster zu erkennen. So können IT-Teams eingreifen, bevor die Qualität der KI-Dienste beeinträchtigt wird.
Beim AI-Red-Teaming werden feindliche Angriffe simuliert, darunter die Einfügung von Prompts, Jailbreak-Versuche und Tests zur Datenextraktion, die vor der Inbetriebnahme von LLM-Systemen durchgeführt werden. Dieser Testansatz deckt Schwachstellen im Modellverhalten und bei der proaktiven Durchsetzung von Sicherheitsrichtlinien auf, sodass Unternehmen Schwachstellen in einer kontrollierten Umgebung beheben können, anstatt sie erst im Produktionsbetrieb zu entdecken.
