AWS opisało dziewięcioetapowy schemat oceny oparty na Amazon Bedrock AgentCore. Punktem wyjścia jest wewnętrzny system obsługujący sprzedawców i kierownictwo przez Amazon Quick. Zakres odpowiedzi zależy od obszaru sprzedaży i roli użytkownika. Performance Insights odpowiada za analizy sprzedażowe, Customer Insights syntetyzuje informacje o klientach, a Data Insights wspiera przekształcanie pytań tekstowych w SQL.

Przed uruchomieniem testy wykryły kwotę 410,08 USD przedstawioną jako 410,08 mln USD, błędne oznaczenia metryk, niepoparty danymi szacunek przychodów powtarzalnych oraz obliczenia podawane jako fakty ze źródeł. Monitoring operacyjny nie sygnalizował problemu. Przykłady wyjaśniają, dlaczego AWS bada treść odpowiedzi obok działania usługi.

Od celów biznesowych do testów

Etapy to Foundation, Experiment, Merge (CI), Gate (CD), Canary, Adversary, Drift, Pulse i Feedback Loop. Obejmują bezpieczeństwo, jakość, wydajność, koszty i kontrolę operacyjną. Narzędzia, pojedynczy agenci i współpraca agentów mają własne wzorcowe zestawy testów, mechanizmy oceny i kryteria przejścia dalej. AWS podaje, że niespójność zmian danych, narzędzi i promptów przed produkcją obniżyła odsetek zaliczonych testów z 78% do 38%.

Foundation przekłada cele biznesowe na progi oceny, alarmy, zasady bezpieczeństwa, cele opóźnień, budżety na zapytanie i operacyjne SLA. Każdy z sześciu błędów oznacza niepoprawną odpowiedź: zamiana metryki, niewłaściwy okres, niewłaściwy podmiot, czysta halucynacja, błędne symbole lub niedozwolone obliczenie. Oceniane są też trafność, wierność materiałom, użyteczność, przestrzeganie instrukcji i dobór narzędzia.

AWS łączy wbudowane mechanizmy AgentCore, sześć mechanizmów dziedzinowych, DeepEval, AutoEval i deterministyczne porównania z poprawnymi wynikami. Modele językowe oceniają cechy bez jednej właściwej odpowiedzi. Wersjonowany zestaw wzorcowy powstaje z zapytań produkcyjnych, zaobserwowanych błędów i syntetycznych przypadków brzegowych. Obejmuje narzędzia, cztery typy pytań do agentów, ich współpracę, bezpieczeństwo, opóźnienia i koszty.

Eksperymenty i kontrola wydań

Experiment porównuje zmiany przez AgentCore On-Demand Evaluation, używając tych samych testów i ocen. Uwzględnia jakość, opóźnienia, koszty i kontekst tokenów. Wejścia, wyjścia, pobrany kontekst, wyniki oraz uzasadnienia trafiają do S3 i jeziora danych. AWS informuje, że trzy miesiące iteracji zwiększyły odsetek zaliczeń z 93% do stabilnych 96%. Czyste halucynacje spadły ze 138 do poniżej 52 na 10 000 odpowiedzi, a niedozwolone obliczenia z 59 do poniżej 44.

Merge automatycznie uruchamia 15 przypadków kontrolnych przy każdym wdrożeniu do środowiska staging. Naruszenia bezpieczeństwa i spadki jakości przekraczające tolerancję blokują wdrożenie; badane są też opóźnienia i koszty tokenów. Osobne kontrole narzędzi, agentów i orkiestracji publikują wyniki w CloudWatch. Według AWS test identyfikacji podmiotu zatrzymał zmianę normalizacji, która zwróciłaby dane niewłaściwego klienta.

Gate sprawdza cały zestaw wzorcowy. Zweryfikowane odpowiedzi narzędzi są zamrażane do ponownego odtwarzania, aby oddzielić rozumowanie agenta od zmienności narzędzi. Całościowa ocena przez model językowy obejmuje 200 odłożonych pytań. Kandydat odpada przy pogorszeniu wobec poprzedniego przebiegu, braku przewagi nad produkcją lub nadmiernym udziale nisko ocenionych pytań. AWS opisuje wykrycie odpowiedzi o przychodach spółki dominującej na pytanie dotyczące spółki zależnej.

Kontrole podczas pracy systemu

Canary prowadzi oceny wsadowe w oknach 30-minutowych, przechodząc cały zestaw w ciągu 24 godzin, oraz pełny test codzienny z progami Gate. Jedno nieudane okno jest sygnałem operacyjnym; wezwanie dyżurnego wymaga trzech kolejnych przekroczeń. AWS wykryło słabsze oparcie odpowiedzi na pobranych materiałach już w pierwszym oknie, mimo zwykłych opóźnień i braku błędów. Przyczynę powiązano z narzędziem wyszukiwania.

Adversary zajmuje się nadużyciami, ale kontrole bezpieczeństwa obejmują wszystkie etapy. AWS deklaruje synchroniczne sprawdzanie wejść i wyjść przez Amazon Bedrock Guardrails dla 100% ruchu, zanim odpowiedź dotrze do użytkownika. Kontrole dotyczą zakresu pytań, prompt injection, nieuprawnionego ujawnienia danych wrażliwych, szkodliwych treści, naruszeń zasad, obchodzenia zabezpieczeń i wycieku promptów.

Drift stale ocenia próbkę 10% ruchu na żywo. Wyniki zasilają Quality-State Calculator śledzący jakość, opóźnienia i koszty. Według AWS symbole giełdowe i skróty ujawniły luki identyfikacyjne; rozszerzenie testów i normalizacja wejść przywróciły poprawność do następnego cyklu. Po kontroli jakości AgentCore Gateway dzieli część ruchu między obecnego agenta i kandydata. Pełne wdrożenie wymaga wygranej lub remisu w każdym wymiarze oceny.

Informacja zwrotna i granice wyników

Pulse łączy oceny z AgentCore Observability. Automatyczna instrumentacja OpenTelemetry przekazuje telemetrię wykonania do CloudWatch po włączeniu Transaction Search; wyniki ocen mają osobny potok logów. S3 i jezioro danych wspierają widoki konwersacyjne oraz pulpity Amazon Quick dostosowane do ról. AWS podaje spadek średniego czasu wykrycia z dni lub tygodni do poniżej czterech godzin.

Feedback Loop wykorzystuje rekomendacje AgentCore do zmian promptów systemowych i opisów narzędzi. Nisko ocenione ślady wykonania stają się testami regresji. Zastąpienie sztywnych wartości w przykładach symbolami zastępczymi miało zmniejszyć halucynacje i podnieść oparcie odpowiedzi na materiałach z 93% do 96%; iteracje promptów skróciły się z dni do minut. Tej miary nie należy utożsamiać z odsetkiem zaliczonych testów. Artykuł określa ocenę zbiorów danych jako publiczną wersję zapoznawczą. Wyniki są deklaracjami AWS bez niezależnego potwierdzenia w dostarczonym materiale. Progi i próbki opisują konkretne wdrożenie, nie uniwersalne ustawienia ani gwarancje.