Vorteile des A10 AI Gateway
Leiten Sie LLM-Anfragen von Benutzern und Teams schnell und kosteneffizient weiter und koordinieren Sie diese
Einmal verbinden, jedes KI-Modell nutzen
Stellen Sie über einen einzigen API-Endpunkt und einen Anmeldedaten-Speicher eine Verbindung zu jedem Anbieter her und fügen Sie anschließend neue Modelle und Anbieter automatisch hinzu – ganz ohne Codeänderungen.
KI-Kosten senken, ohne Abstriche bei der Leistung zu machen
Leiten Sie jede Anfrage an das kostengünstigste und leistungsfähigste Modell weiter – und wechseln Sie bei sich änderndem Schwierigkeitsgrad sogar von Schritt zu Schritt –, damit Sie nicht länger zu viel bezahlen, ohne dabei Abstriche bei der Leistung machen zu müssen.
Integrierte Unternehmensführung
Jeder Aufrufer wird anhand eines bereichsgebundenen virtuellen Schlüssels mit eigenem Budget und eigenen Ratenbegrenzungen authentifiziert, sodass Administratoren die Ausgaben und Ratenbegrenzungen nach Modell, Team oder Benutzer nachverfolgen können.
Hauptmerkmale
Komplexitätsorientiertes Routing
Stuft jede Eingabe als einfach oder komplex ein und leitet sie automatisch an das am besten geeignete Modell weiter, ohne dass eine manuelle Modellauswahl erforderlich ist
Kaskadierung von Prioritätsketten
Wenn das Budget aufgebraucht ist, werden die Anfragen an das nächstbeste Modell in einer von Ihnen definierten Kette weitergeleitet, sodass der Datenverkehr ohne manuelles Eingreifen weiterfließt.
Virtuelle API-Schlüssel
Virtuelle Schlüssel ordnen Benutzernamen einer Abstraktionsschicht zu, die eine Verbindung zu beliebigen IAM-Systemen herstellt, wobei jedes System über ein eigenes Budget und eigene Ratenbegrenzungen verfügt.
Zugangsdaten-Tresor für Anbieter
Die Upstream-Anmeldedaten für OpenAI, Anthropic, Azure und weitere Dienste werden in einem von OpenBao unterstützten Tresor gespeichert, niemals in config .
Kostenverfolgung in Echtzeit
Die Ausgaben werden in Echtzeit während der Weiterleitung der Anfragen erfasst, sodass die Teams sofort einen Überblick über die Kosten haben und nicht erst am Monatsende eine Rechnung erhalten.
Token-Budgets
Legen Sie Ausgabenobergrenzen auf der Ebene einzelner Modelle sowie auf Benutzer- und Teamebene fest, damit Sie ungehindert mit kostengünstigen Modellen experimentieren können, während die Ausgaben für Premium-Modelle unter Kontrolle bleiben
Ratenbegrenzung auf Business-Ebene
Die pro Schlüssel oder Team durchgesetzten RPM- und TPM-Obergrenzen schützen die Kosten und die gemeinsam genutzte Anbieter-Kapazität vor einem einzelnen, ressourcenintensiven Nutzer
Ein-Mandanten-Bereitstellung
Die Bereitstellung erfolgt über Helm auf der Oracle Kubernetes Engine mit vollständiger Mandantenisolierung; eine GPU ist nicht erforderlich, es stehen jedoch GPU-gestützte Optionen zur Verfügung.
So durchläuft eine Anfrage das A10 AI Gateway
Komplexitäts- und budgetorientiertes intelligentes Routing
Jede Anfrage wird klassifiziert, geprüft und weitergeleitet, bevor sie ein Modell erreicht
Eine Anfrage wird mit einem virtuellen Schlüssel eingereicht, nach Komplexität eingestuft und anhand des Budgets geprüft. Anschließend wird sie an das kostengünstigste geeignete Modell im besten Pool weitergeleitet; bei Ausschöpfung des Budgets erfolgt automatisch ein Fallback, wobei jeder Schritt zur Kostenverfolgung und für Prüfungszwecke protokolliert wird.
Häufig gestellte Fragen
Ist Ihre Frage nicht dabei? Wenden Sie sich an einen Produktexperten, um Antworten zu erhalten.
Ein schlanker Klassifikator bewertet die Komplexität jeder Eingabe in Echtzeit und leitet sie an den am besten geeigneten Modellpool weiter: einfache Aufgaben an kleinere, schnellere Modelle, komplexe Aufgaben an leistungsfähigere – ohne dass die Nutzer ein Modell manuell auswählen müssen.
Nein. Das AI Gateway koordiniert den Kontext über alle Modelle hinweg, sodass selbst dann, wenn verschiedene Anfragen innerhalb derselben Konversation an unterschiedliche Modelle weitergeleitet werden, jedes Modell dennoch den vollständigen vorherigen Kontext sieht, der für eine präzise Antwort erforderlich ist.
Anfragen werden automatisch an das nächstgünstigste geeignete Modell in einer von Ihnen festgelegten Prioritätskette weitergeleitet, sodass der Datenverkehr ohne manuelles Eingreifen weiterfließt.
Nein. Die Klassifizierung und Weiterleitung erfolgen so schnell, dass das AI Gateway eine typische Anfrage mit geringer zusätzlicher Latenz verarbeitet.
Die Bereitstellung erfolgt über Helm auf der Oracle Kubernetes Engine mit Single-Tenant-Optionen, sodass jeder Kunde eine vollständig dedizierte, isolierte Bereitstellung nutzt.
Das A10 AI Gateway verfügt über eine schlanke, musterbasierte (Regex-)Filterfunktion, die Anfragen und Antworten anhand konfigurierbarer Regeln überprüft und dabei Spielraum für die Hinzufügung strengerer Sicherheitsvorkehrungen bietet, sobald sich Ihre Richtlinien weiterentwickeln.
Zugehöriges Produkt
TrojAI von A10 Networks
TrojAI von A10 Networks jeden KI-Agenten, jede Anwendung und jedes Modell von der Entwicklung bis zur Laufzeit durch agentengesteuertes, automatisiertes Red-Teaming sowie durch die Fähigkeit, MCP-Server, -Tools und -Agenten zu erkennen, zu identifizieren und zu kontrollieren.
Zusätzliche Ressourcen
A10 Networks TrojAI Inc. und erweitert seine KI-Strategie
Demo vereinbaren
