Octave ist laut einer AWS-Fallstudie in 180 Ländern tätig und bedient mehr als 60 % der Global Fortune 500. Das Qualitätsmanagementsystem Reliance unterstützt über 650 Unternehmenskunden mit mehr als 40 Anwendungen und beherbergt über zwei Milliarden Dokumente. Jeder Kunde bildet einen eigenen Mandanten, dessen Daten innerhalb seiner Grenze bleiben müssen.

Octave entwickelte zunächst eine gemeinsame KI-Basis und danach einzelne Funktionen. Als ersten Einsatz wählte das Unternehmen die Zusammenfassung und Priorisierung von Beschwerden. Der Entwurf berücksichtigte Mandantentrennung, Ausführung mit den Rechten des anfragenden Nutzers, nicht vertrauenswürdige Inhalte und die Dokumentenaufnahme in großem Umfang. Erklärtes Ziel war, selbst den größten Mandanten innerhalb eines Arbeitstags aufzunehmen.

Dokumente für die Suche vorbereiten

Die Basis verbindet Cohere Embed v4 auf Amazon Bedrock, Vektorspeicher je Mandant in Amazon OpenSearch Service, AgentCore und Amazon Bedrock Guardrails. Als Gründe für Bedrock nennt der Artikel eine gemeinsame API für mehrere Modelle, Datenhaltung in AWS-Regionen, IAM-Steuerung und verwaltete Inhaltskontrollen.

Octave prüfte Embedding-Modelle am eigenen Dokumentenbestand. Laut Artikel bildet Embed v4 Text und Bilder im selben Vektorraum ab und ermöglicht mehrsprachige Suche ohne vorherige Übersetzung. Im internen Test hielten Embeddings mit 512 Dimensionen die Zielgenauigkeit und benötigten rund 66 % weniger Speicher als solche mit 1.536 Dimensionen.

Dokumentereignisse gelangen über SNS und SQS zu Step Functions. Diese koordinieren Parsing, Aufteilung und Embeddings über parallele Lambda-Ausführungen in einer eigenen VPC. Die Verarbeitung bewahrt die semantische Struktur von Word-Dateien und Tabellen, nutzt OCR für gescannte PDFs ohne Textebene und erfasst eingebettete Bilder. Textabschnitte erhalten Metadaten zu Mandant, Dokumenttyp, Quellanwendung, Sprache und Inhalts-Hash.

Octave bündelte Abschnitte mit etwa 4.000 Token in Anfragen für das Kontextfenster mit 128.000 Token. Das Unternehmen berichtet über ungefähr zehnmal weniger API-Aufrufe und intern gemessene 28 Millionen Token pro Minute. Nach einer Abstimmung der Batchgrößen mit Cohere verarbeitete die Pipeline dauerhaft 1,4 Millionen Dokumente je 24 Stunden und Mandanten-Workload. Daraus folgt keine genaue Aufnahmezeit für jeden Kunden.

Berechtigungen und Inhaltskontrolle

Laut AWS erhält jede Nutzersitzung eine eigene microVM mit separater CPU, eigenem Speicher und Dateisystem. Danach wird sie gestoppt und bereinigt. Nutzerbezogene OAuth-Token-Tresore und auf Sitzung und Agent begrenzte Zugangsdaten führen die Identität mit. AgentCore Gateway autorisiert Werkzeuge, Operationen und Parameter; automatisiertes Schlussfolgern prüft definierte Regeln.

Die API ApplyGuardrail prüft Anhangstext vor dem Embedding, gefundene Dokumente und Werkzeugausgaben vor dem Agentenkontext sowie fertige Berichte vor der Zustellung. Anhänge werden als Daten markiert, personenbezogene Informationen bei der Aufnahme maskiert. Die Extraktion läuft in einer Code-Interpreter-Sandbox ohne ausgehenden Netzwerkzugriff oder Speicherung über die Sitzung hinaus. Erkennungs- und Maskierungsraten werden je Mandant erfasst.

Vom Anhang zur Empfehlung

Der Complaint Triage Assistant nutzt das Strands Agents SDK für graphbasierte Abläufe in isolierten AgentCore-Sitzungen. Code Interpreter strukturiert PDFs, Bilder, E-Mail-Anhänge und Videos. Eine von Claude erzeugte Zusammenfassung dient als Suchanfrage. Ein separater Modellaufruf bewertet Treffer und verwirft Fälle mit anderen Grundursachen. Claude Sonnet erstellt daraus Fakten, Stimmung, Dringlichkeitssignale, frühere Ergebnisse und eine Prioritätsempfehlung.

Fertige Berichte liegen mit umgebungsabhängiger Ablaufzeit in DynamoDB. Das Portal greift über private API Gateway und Lambda zu; Rollen und vorsignierte URLs regeln den Dokumentenzugriff, Anhänge bleiben in S3. Traces erfassen Modellaufrufe, Suche und Extraktion. Bedrock-Protokolle und CloudWatch ordnen Anfragen, Antworten und Kosten den Mandanten zu.

Von Octave gemeldete Ergebnisse

Nach Änderungen an Prompts, Modellen oder Suchparametern wiederholt AgentCore Evals die Abläufe anhand fachlich annotierter Referenzdaten. Gemessen werden Quellentreue der Zusammenfassung, Suchpräzision bei K Treffern und Vollständigkeit. Nach drei Monaten Produktivbetrieb übernahm der Assistent laut Artikel Aufgaben, die Octave mit vier bis sechs Stunden je Untersuchung beziffert. Die endgültige Entscheidung verbleibt beim Qualitätsverantwortlichen.

Octave meldet 50 % weniger Bereitstellungszeit je KI-Anwendungsfall und Entwicklungszyklen von Wochen statt Monaten. Die semantische Suche kam in Q2 statt wie geplant in Q4. Weitere Vorhaben betreffen Auditbereitschaft, Vorfallsbeschreibungen und die Vorhersage von Qualitätsrisiken. Die Messwerte stammen aus einer einzelnen Fallstudie und sind nicht unabhängig bestätigt.

Quelle: AWS-Fallstudie.