Octave podľa prípadovej štúdie AWS pôsobí v 180 krajinách a obsluhuje viac než 60 % spoločností Global Fortune 500. Jeho systém riadenia kvality Reliance podporuje vyše 650 podnikových zákazníkov cez viac než 40 aplikácií a uchováva viac než dve miliardy dokumentov. Každý zákazník predstavuje samostatného nájomcu, ktorého údaje musia zostať v príslušnej dátovej hranici.

Firma preto najprv vybudovala spoločný základ AI a až potom jednotlivé funkcie. Prvým použitím sa stalo sumarizovanie a triedenie sťažností. Návrh riešil oddelenie zákazníkov, vykonávanie úloh s oprávneniami žiadajúceho používateľa, nedôveryhodný obsah aj hromadné spracovanie dokumentov. Octave deklarovalo cieľ sprístupniť aj najväčšieho nájomcu do jedného pracovného dňa.

Vyhľadávanie a príprava dokumentov

Základ prepája Cohere Embed v4 na Amazon Bedrock, vektorové úložiská Amazon OpenSearch Service oddelené podľa nájomcov, vykonávanie cez AgentCore a Amazon Bedrock Guardrails. Článok medzi dôvodmi výberu Bedrock uvádza spoločné API pre viaceré modely, umiestnenie dát v regióne AWS, správu cez IAM a riadené kontroly obsahu.

Octave testovalo embeddingové modely na vlastných dokumentoch. Podľa článku Embed v4 spracúva text aj obrázky v spoločnom vektorovom priestore a umožňuje viacjazyčné vyhľadávanie bez predbežného prekladu. V internom teste zachovali 512-rozmerné embeddingy cieľovú presnosť pri približne o 66 % menšom úložisku oproti 1 536 rozmerom.

Udalosti dokumentov putujú cez SNS a SQS do Step Functions, ktoré koordinujú parsovanie, delenie a embeddingy v súbežných funkciách Lambda vo vyhradenej VPC. Spracovanie zachováva významovú štruktúru súborov Word a tabuliek, využíva OCR pre skenované PDF bez textovej vrstvy a spracúva vložené obrázky. Časti dokumentov nesú údaje o nájomcovi, type dokumentu, zdrojovej aplikácii, jazyku a hashi obsahu.

Firma spájala približne 4 000-tokenové časti do požiadaviek využívajúcich 128 000-tokenové kontextové okno modelu. Uvádza približne desaťnásobné zníženie počtu API volaní a interný výsledok 28 miliónov tokenov za minútu. Po ladení dávok s Cohere pipeline dosiahla 1,4 milióna dokumentov za 24 hodín na pracovnú záťaž jedného nájomcu. Tento údaj neurčuje čas zavedenia každého zákazníka.

Oprávnenia a nedôveryhodný obsah

Podľa AWS dostáva každá používateľská relácia vlastný microVM s oddeleným CPU, pamäťou a súborovým systémom; po skončení sa zastaví a vyčistí. Identitu prenášajú používateľské trezory OAuth tokenov a poverenia obmedzené na agenta a reláciu. AgentCore Gateway kontroluje prístup na úrovni nástroja, operácie aj parametra, pričom definované pravidlá preveruje automatizované uvažovanie.

API ApplyGuardrail kontroluje text príloh pred embeddingom, nájdené dokumenty a výstupy nástrojov pred vstupom do kontextu aj hotové súhrny pred doručením. Prílohy sú označené ako dáta a osobné údaje sa pri ingestovaní maskujú. Extrakcia prebieha v sandboxe Code Interpreter bez odchádzajúcej siete a uchovania dát po relácii. Miera detekcie a maskovania sa sleduje pre každého nájomcu.

Od prílohy k odporúčaniu

Complaint Triage Assistant používa Strands Agents SDK na grafové pracovné postupy v izolovaných reláciách AgentCore. Code Interpreter prevádza PDF, obrázky, e-mailové prílohy a videá na štruktúrovaný obsah. Súhrn vytvorený modelom Claude slúži ako vyhľadávací dotaz. Samostatné modelové volanie hodnotí výsledky a odmieta prípady s odlišnou koreňovou príčinou. Claude Sonnet potom zostaví fakty, sentiment, signály naliehavosti, historické výsledky a odporúčanú prioritu.

Hotové výstupy sa ukladajú do DynamoDB s platnosťou podľa prostredia. Portál pristupuje cez súkromné API Gateway a Lambda; dokumenty chránia roly a predpodpísané URL, prílohy zostávajú v S3. Trasovanie zachytáva modelové volania, vyhľadávanie a extrakciu. Logovanie Bedrock a CloudWatch umožňujú sledovať požiadavky, odpovede a náklady podľa nájomcu.

Výsledky podľa Octave

AgentCore Evals po zmenách promptov, modelov alebo vyhľadávania opakuje postupy voči podkladom označeným expertmi. Meria vernosť súhrnov, presnosť vyhľadávania pri K výsledkoch a úplnosť výstupu. Po troch mesiacoch produkcie článok uvádza prevzatie úloh, ktoré Octave vyčísľuje na 4 až 6 hodín na vyšetrovanie. Konečné rozhodnutie zostáva pracovníkovi kvality.

Octave hlási o 50 % kratšie nasadenie jedného prípadu použitia, vývoj skrátený z mesiacov na týždne a sémantické vyhľadávanie dodané v Q2 namiesto plánovaného Q4. Rozšírenia na pripravenosť na audity, incidentové opisy a predikciu rizík kvality sú ďalším smerovaním. Ide o údaje jedinej prípadovej štúdie bez nezávislého potvrdenia meraní.

Zdroj: prípadová štúdia AWS.