Umfrage: Tech-Unternehmen sind Vorreiter bei der Einführung von KI, haben jedoch Schwierigkeiten mit der Infrastruktur
Technologie- und Softwareunternehmen machen außerordentliche Fortschritte bei der Einführung generativer KI (GenAI) in ihren Unternehmen – doch es gibt nicht nur gute Nachrichten. Obwohl die weitverbreitete Einführung in Unternehmen dazu beiträgt, dass Technologieunternehmen im „State of AI Infrastructure Report 2025“ von A10 vor allen anderen Branchen liegen, hält ihre Infrastruktur nicht immer Schritt. Und mit zunehmender KI-Nutzung wird es immer schwieriger, die Erwartungen an schnelle und zuverlässige Reaktionszeiten zu erfüllen.
In diesem Blogbeitrag befassen wir uns mit den infrastrukturellen Herausforderungen und Einschränkungen, mit denen Technologieunternehmen derzeit konfrontiert sind, während sie ihre KI-Strategie im Unternehmensbereich vorantreiben.
Vielfältige Einbindung, ausgewogenes Hosting
Laut unserer Umfrage setzen mittlerweile 80 Prozent der Technologieunternehmen GenAI im betrieblichen Alltag ein, wobei Chatbots, die Erstellung von Inhalten und Programmierassistenten zu den beliebtesten Anwendungsfällen zählen. Der Einsatz von KI für prädiktive Analysen ist mit 71 Prozent fast ebenso verbreitet.
Während 38 Prozent der Technologieunternehmen ihre KI-Workloads in einer public cloud hosten, nutzen sogar 49 Prozent ein hybrid cloud . Dieser ausgewogene Hosting-Ansatz ermöglicht es Unternehmen, verschiedene Umgebungen strategisch einzusetzen, um den unterschiedlichen Anforderungen verschiedener Workloads hinsichtlich Latenz, Verfügbarkeit und Sicherheit gerecht zu werden. Die Gewährleistung einer konsistenten Leistung in dieser komplexeren Infrastruktur kann jedoch eine Herausforderung darstellen.
Leistungsengpässe reichen tiefer als nur die Rechenleistung
Angesichts der zunehmenden Verbreitung von KI überrascht es nicht, dass 39 Prozent der Technologieunternehmen Rechenkapazitätsengpässe – insbesondere die Rechenleistung von CPUs und GPUs – als ihren größten Leistungsengpass nennen; dieser Anteil liegt über den branchenübergreifenden 33 Prozent. Die I/O-Geschwindigkeiten von Arbeitsspeicher und Speicher werden von 18 Prozent der Befragten aus der Technologiebranche genannt, was ebenfalls über dem branchenübergreifenden Durchschnitt liegt. Zwanzig Prozent der Technologieunternehmen identifizieren eine ineffiziente Anwendungsarchitektur als Leistungsengpass.
Zwar sind solche Anlaufschwierigkeiten auf Systemebene zu erwarten, doch haben viele Technologieunternehmen zudem mit den Anforderungen zu kämpfen, die KI-Workloads an die Infrastruktur und das Management der Anwendungsbereitstellung stellen. Eine effiziente Datenverkehrsverarbeitung und eine geringe Latenz sind für die Zuverlässigkeit der Anwendungen unerlässlich, doch können dabei Herausforderungen auf allen Ebenen der Infrastruktur auftreten: von der Weiterleitung und Lastverteilung des Datenverkehrs über die Handhabung der TLS/SSL-Entschlüsselung bis hin zur Frage, ob Observability-Tools Engpässe aufdecken können, bevor sie sich auf die Endnutzer auswirken.
Unsere Umfragedaten bestätigen dies. Nur die Hälfte aller Befragten gibt an, dass ihre derzeitige ADC- und Load-Balancing-Infrastruktur die für KI-Workloads erforderliche Leistung und Verfügbarkeit „größtenteils“ gewährleisten kann, dabei jedoch gelegentlich an ihre Grenzen stößt. Nur 17 Prozent sagen, dass die Infrastruktur die KI-Anforderungen mit ausreichender Kapazitätsreserve erfüllt. Für Technologieunternehmen mit anspruchsvollen Anwendern und geschäftskritischen KI-Anwendungsfällen ist „größtenteils ausreichend“ bei weitem nicht gut genug.
Wie sich Sicherheits- und Skalierungsprobleme gegenseitig verstärken
Branchenübergreifend nennen 49 Prozent der Befragten Sicherheitsbeschränkungen als ihr größtes Infrastrukturproblem im Zusammenhang mit KI. Dieses Problem kann für Technologieunternehmen besonders gravierend sein, deren Nutzer auf KI-gestützte Programmierwerkzeuge angewiesen sind, durch die sensible geistige Eigentumsrechte unbeabsichtigt über APIs nach außen gelangen können. Die Befragten nannten drei immer wiederkehrende Befürchtungen: Datenlecks, unbefugter Zugriff auf Modelle und die Unfähigkeit bestehender Tools, Bedrohungen auf der Ebene der Eingabeaufforderung oder der Inferenz zu erkennen.
Das Skalierungsproblem verschärft das Sicherheitsproblem und umgekehrt. Nur 19 Prozent der Unternehmen aller Branchen verfügen über eine vollständig automatisierte Skalierung für KI-Workloads, obwohl 71 Prozent bereits KI einsetzen oder damit experimentieren. Der Rest ist auf eine teilweise Automatisierung oder manuelle Eingriffe angewiesen, was genau dann zu betrieblichen Verzögerungen führt, wenn die KI-Nachfrage sprunghaft ansteigt und die Sicherheitsüberwachung Schritt halten muss. Eine Infrastruktur, die sich nicht reibungslos skalieren lässt, erschwert es, die Sicherheit aufrechtzuerhalten, ohne unnötige Latenzzeiten zu verursachen oder die Benutzererfahrung zu beeinträchtigen.
Ein plattformbasierter Ansatz für die Modernisierung
Fast 80 Prozent aller Unternehmen planen, ihre Infrastruktur innerhalb der nächsten 18 Monate zu modernisieren, wobei die höchsten Prioritäten auf der Sicherheitsinfrastruktur (60 Prozent), der Rechenleistung (50 Prozent) sowie auf KI-optimierten Application Delivery Controllern und Load Balancern (32 Prozent) liegen. Von den Unternehmen, die bereits Maßnahmen ergriffen haben, implementieren 38 Prozent ein fortschrittliches Load-Balancing, das speziell für KI-Datenverkehr konfiguriert ist.
Zwar stellt das Budget ein häufiges Hindernis für diese Bemühungen dar und wird von 30 Prozent der Befragten genannt, doch fehlen derzeit nur 3 Prozent die Unterstützung durch die Führungsebene. Sobald Initiativen in Gang gesetzt sind, verlagert sich der Fokus auf die praktische Komplexität der Modernisierung der Infrastruktur bei gleichzeitiger Aufrechterhaltung des Betriebs der Produktionssysteme. Für Technologieteams, die bereits komplexe Umgebungen mit mehreren Anbietern verwalten, erhöht die Einführung weiterer spezialisierter Tools ohne Integration und zentralisierte Steuerung den betrieblichen Aufwand nur noch weiter. Vor diesem Hintergrund ist es nachvollziehbar, dass 62 Prozent der Befragten Anbieter mit einer Plattformstrategie gegenüber eigenständigen Einzelprodukten bevorzugen.
Um mehr darüber zu erfahren, wie Technologieunternehmen die Herausforderungen im Bereich der KI-Infrastruktur bewältigen – einschließlich der vollständigen Ergebnisse zu Leistung, Sicherheit, Skalierbarkeit und Modernisierung –, laden Sie den A10 Networks of AI Infrastructure Report 2025“ herunter.
