AWS predstavilo deväťstupňový rámec hodnotenia založený na Amazon Bedrock AgentCore. Vychádza z interného systému, ktorý cez Amazon Quick slúži obchodníkom a vedeniu; odpovede obmedzuje podľa obchodného územia a roly. Performance Insights poskytuje obchodné analýzy, Customer Insights sumarizuje informácie o zákazníkoch a Data Insights podporuje prevod textových požiadaviek na SQL.

Pred spustením hodnotenia zachytili sumu 410,08 USD uvedenú ako 410,08 milióna USD, zamenené metriky, nepodložený odhad opakovaných výnosov aj výpočty vydávané za údaje zo zdrojov. Prevádzkový monitoring pritom nehlásil problém. Príklady ukazujú, prečo AWS sleduje aj obsah odpovedí, nielen fungovanie služby.

Od obchodných cieľov k testom

Rámec tvorí deväť etáp: Foundation, Experiment, Merge (CI), Gate (CD), Canary, Adversary, Drift, Pulse a Feedback Loop. Pokrýva bezpečnosť, kvalitu, výkon, náklady a prevádzkové riadenie. Nástroje, jednotliví agenti a ich spolupráca majú vlastné referenčné testovacie súbory, hodnotiace mechanizmy a kritériá postupu. AWS uvádza, že nesúlad zmien dát, nástrojov a promptov pred produkciou znížil úspešnosť zo 78 % na 38 %.

Foundation prevádza obchodné výsledky na prahy hodnotenia, alarmy, bezpečnostné pravidlá, ciele latencie, rozpočty na otázku a prevádzkové SLA. Za nepresnú sa považuje odpoveď s ktoroukoľvek zo šiestich chýb: zámena metriky, nesprávne obdobie, nesprávny subjekt, čistá halucinácia, nesprávne symboly alebo nepovolený výpočet. Sledujú sa aj relevantnosť, vernosť podkladom, užitočnosť, dodržanie pokynov a výber nástroja.

AWS kombinuje zabudované hodnotiace mechanizmy AgentCore, šesť doménových mechanizmov, DeepEval, AutoEval a deterministické kontroly voči správnym výsledkom. Pri vlastnostiach bez jedinej správnej odpovede používa jazykový model ako hodnotiteľa. Verziovaný referenčný súbor čerpá z produkčných otázok, pozorovaných zlyhaní a syntetických hraničných prípadov. Zahŕňa nástroje, štyri typy otázok pre agentov, spoluprácu agentov, bezpečnosť, latenciu a náklady.

Experimenty a kontroly pred vydaním

Experiment porovnáva kandidátske zmeny cez AgentCore On-Demand Evaluation na rovnakých testoch a hodnotiacich mechanizmoch. Posudzuje kvalitu, latenciu, náklady aj tokenový kontext; vstupy, výstupy, získaný kontext, skóre a zdôvodnenia ukladá do S3 a dátového jazera. AWS po troch mesiacoch iterácií uvádza rast úspešnosti z 93 % na stabilných 96 %. Čisté halucinácie klesli zo 138 na menej než 52 na 10 000 odpovedí a nepovolené výpočty z 59 na menej než 44.

Merge pri každom nasadení do stagingu automaticky spúšťa 15 kontrolných prípadov. Bezpečnostné porušenia a pokles kvality nad toleranciu blokujú nasadenie; posudzujú sa aj latencia a tokenové náklady. Oddelené kontroly nástrojov, agentov a orchestrácie posielajú skóre do CloudWatch. Podľa AWS kontrola identifikácie subjektu zastavila zmenu normalizácie, ktorá by vrátila dáta nesprávneho zákazníka.

Gate preveruje celý referenčný súbor. Overené odpovede nástrojov sa pri opakovaných testoch nemenia, aby sa oddelilo uvažovanie agenta od variability nástrojov. Koncové hodnotenie jazykovým modelom zahŕňa 200 vyhradených otázok. Kandidáta zastaví zhoršenie oproti jeho predošlému behu, neprekonanie produkcie alebo priveľký podiel slabých odpovedí. AWS tak zachytilo odpoveď s výnosmi materskej firmy na otázku o dcérskej spoločnosti.

Kontroly v živej prevádzke

Canary používa dávkové hodnotenie v 30-minútových oknách, prejde celý súbor za 24 hodín a denne spúšťa aj úplný test s prahmi z Gate. Jedno zlyhanie je prevádzkový signál; privolanie pohotovosti vyžaduje tri prekročenia za sebou. AWS uvádza záchyt slabšieho ukotvenia odpovedí v získaných podkladoch už v prvom okne pri normálnej latencii a nulových chybách. Príčinou bol vyhľadávací nástroj.

Adversary rieši zneužitie, no bezpečnosť zasahuje všetkých deväť etáp. AWS podľa svojho opisu synchrónne kontroluje vstupy aj výstupy cez Amazon Bedrock Guardrails pri 100 % prevádzky ešte pred doručením odpovede. Kontroly zahŕňajú rozsah požiadaviek, prompt injection, neoprávnené sprístupnenie citlivých dát, škodlivý obsah aj obchádzanie pravidiel a únik promptov.

Drift priebežne hodnotí 10 % živej prevádzky. Skóre vstupuje do Quality-State Calculator spolu s latenciou a nákladmi. Burzové symboly a skratky podľa AWS odhalili medzery v identifikácii; rozšírenie testov a normalizácia vstupov obnovili presnosť v ďalšom cykle. Po kvalitatívnej kontrole AgentCore Gateway rozdelí časť prevádzky medzi súčasného a kandidátskeho agenta. Plné nasadenie vyžaduje víťazstvo alebo remízu v každom hodnotenom rozmere.

Spätná väzba a hranice výsledkov

Pulse spája hodnotenia s AgentCore Observability. Automatická inštrumentácia OpenTelemetry posiela prevádzkovú telemetriu do CloudWatch po zapnutí Transaction Search; skóre má samostatnú logovaciu cestu. S3 a dátové jazero podporujú konverzačné prehľady a panely Amazon Quick podľa rolí. AWS uvádza skrátenie priemerného času odhalenia problému z dní či týždňov na menej než štyri hodiny.

Feedback Loop využíva odporúčania AgentCore na úpravu systémových promptov a opisov nástrojov; slabé záznamy sa menia na regresné testy. Nahradenie pevných hodnôt v príkladoch zástupnými symbolmi podľa AWS znížilo halucinácie a zvýšilo ukotvenie v podkladoch z 93 % na 96 %. Iterácie promptov sa skrátili z dní na minúty. Tento ukazovateľ nemožno stotožniť s úspešnosťou testov. Hodnotenie datasetov článok označuje za verejnú ukážku. Výsledky pochádzajú od AWS, nie z nezávislého overenia; uvedené prahy a vzorky nie sú univerzálnymi predvolenými nastaveniami ani zárukami.