Według studium przypadku AWS Octave działa w 180 krajach i obsługuje ponad 60% firm Global Fortune 500. System zarządzania jakością Reliance wspiera ponad 650 klientów biznesowych za pomocą więcej niż 40 aplikacji i przechowuje ponad dwa miliardy dokumentów. Każdy klient jest osobnym tenantem, a jego dane muszą pozostawać w przypisanej mu granicy.

Octave najpierw stworzyło wspólną podstawę AI, a następnie poszczególne funkcje. Pierwszym zastosowaniem były podsumowania i wstępna ocena reklamacji. Projekt uwzględniał rozdzielenie klientów, działanie z uprawnieniami użytkownika, niezaufane treści oraz przetwarzanie dokumentów na dużą skalę. Firma zadeklarowała możliwość wdrożenia nawet największego tenanta w ciągu jednego dnia roboczego.

Przygotowanie dokumentów do wyszukiwania

Rozwiązanie łączy Cohere Embed v4 w Amazon Bedrock, osobne magazyny wektorowe Amazon OpenSearch Service dla tenantów, AgentCore i Amazon Bedrock Guardrails. Artykuł wskazuje wspólne API dla wielu modeli, lokalizację danych w regionie AWS, zarządzanie przez IAM i zarządzane kontrole treści jako powody wyboru Bedrock.

Octave oceniało modele embeddingowe na własnym zbiorze dokumentów. Według artykułu Embed v4 umieszcza tekst i obrazy w jednej przestrzeni wektorowej oraz obsługuje wyszukiwanie wielojęzyczne bez wcześniejszego tłumaczenia. W testach wewnętrznych embeddingi o 512 wymiarach zachowały docelową dokładność, zmniejszając zajętość pamięci o około 66% względem 1536 wymiarów.

Zdarzenia dotyczące dokumentów przechodzą przez SNS i SQS do Step Functions. Usługa koordynuje parsowanie, dzielenie i tworzenie embeddingów w równoległych wykonaniach Lambda w wydzielonej VPC. Przetwarzanie zachowuje strukturę semantyczną plików Word i arkuszy, stosuje OCR do skanowanych PDF bez warstwy tekstowej oraz obsługuje osadzone obrazy. Fragmenty mają metadane tenanta, typu dokumentu, aplikacji źródłowej, języka i skrótu treści.

Firma łączyła fragmenty po około 4 tys. tokenów w żądania wykorzystujące okno kontekstowe 128 tys. tokenów. Podaje około dziesięciokrotne ograniczenie liczby wywołań API i wewnętrzny wynik 28 mln tokenów na minutę. Po dostrojeniu partii z Cohere potok utrzymywał 1,4 mln dokumentów na 24 godziny dla obciążenia jednego tenanta. Nie wyznacza to czasu wdrożenia każdego klienta.

Uprawnienia i niezaufane treści

Według AWS każda sesja użytkownika otrzymuje osobną microVM z własnym CPU, pamięcią i systemem plików, zatrzymywaną i czyszczoną po zakończeniu. Tożsamość przekazują indywidualne skarbce tokenów OAuth oraz poświadczenia ograniczone do sesji i agenta. AgentCore Gateway autoryzuje narzędzia, operacje i parametry, a automatyczne rozumowanie sprawdza zdefiniowane reguły.

API ApplyGuardrail sprawdza tekst załączników przed embeddingiem, znalezione dokumenty i wyniki narzędzi przed dodaniem do kontekstu oraz gotowe raporty przed przekazaniem. Załączniki są oznaczane jako dane, a informacje osobowe maskowane podczas ingestii. Ekstrakcja działa w piaskownicy Code Interpreter bez wychodzącego dostępu do sieci i trwałości poza sesją. Wskaźniki wykrywania i maskowania są śledzone dla każdego tenanta.

Od załącznika do rekomendacji

Complaint Triage Assistant używa Strands Agents SDK do przepływów grafowych w izolowanych sesjach AgentCore. Code Interpreter przekształca PDF, obrazy, załączniki poczty i filmy w ustrukturyzowaną treść. Podsumowanie utworzone przez Claude staje się zapytaniem wyszukiwania. Osobne wywołanie modelu ocenia dopasowania i odrzuca przypadki o innych przyczynach źródłowych. Claude Sonnet zestawia fakty, wydźwięk, sygnały pilności, wcześniejsze wyniki i zalecany priorytet.

Gotowe raporty trafiają do pamięci podręcznej DynamoDB z czasem ważności zależnym od środowiska. Portal korzysta z prywatnej API Gateway i Lambda; dostęp do dokumentów opiera się na rolach i podpisanych adresach URL, a załączniki pozostają w S3. Ślady obejmują wywołania modeli, wyszukiwanie i ekstrakcję. Logi Bedrock i CloudWatch pozwalają przypisywać żądania, odpowiedzi i koszty do tenantów.

Wyniki podawane przez Octave

Po zmianach promptów, modeli lub parametrów wyszukiwania AgentCore Evals ponawia przepływy względem danych referencyjnych opisanych przez ekspertów. Mierzy wierność podsumowań, precyzję wyszukiwania przy K wynikach i kompletność. Po trzech miesiącach produkcji artykuł opisuje przejęcie zadań, które Octave wycenia na 4–6 godzin na postępowanie wyjaśniające. Ostateczna decyzja pozostaje u pracownika jakości.

Octave podaje skrócenie wdrożenia jednego zastosowania AI o 50% i cykli rozwoju z miesięcy do tygodni. Wyszukiwanie semantyczne dostarczono w Q2 zamiast planowanego Q4. Kolejne kierunki to gotowość do audytów, opisy incydentów i prognozowanie ryzyka jakości. Pomiary pochodzą z jednego studium przypadku i nie mają niezależnego potwierdzenia.

Źródło: studium przypadku AWS.