Model decyzyjny podchodzi do oceny inaczej niż model generujący swobodny tekst. Wybiera odpowiedź ze stałego zestawu opcji i zwraca skalibrowane poziomy pewności albo rozkład prawdopodobieństwa dla wcześniej zdefiniowanych odpowiedzi. Taka struktura pasuje do wąskich, powtarzalnych pytań oceniających, ponieważ każdy wynik ma znane znaczenie i można go przekształcić w jednolitą miarę.

Wpis AWS pokazuje, jak wykorzystać to podejście w Amazon Bedrock AgentCore Evaluations. Usługa obsługuje ocenę na żądanie podczas rozwoju, ocenę wsadową zapisanych sesji oraz ocenę online ruchu produkcyjnego. Udostępnia 15 wbudowanych ewaluatorów, a także pozwala definiować własne ewaluatory typu LLM-as-a-judge lub ewaluatory oparte na kodzie.

Połączenie przez AWS Lambda

Ewaluator oparty na kodzie wykonuje niestandardową logikę w AWS Lambda. Może ona wywołać zewnętrzny system, model lub API, w tym model decyzyjny. Opisane rozwiązanie wykorzystuje ten mechanizm do podłączenia dwóch backendów: hostowanego modelu Jev firmy TypeSafe oraz samodzielnie hostowanego, otwartego modelu Strands Decider 2B.

Jev i Strands Decider obsługują pytania noul z odpowiedzią tak lub nie, pytania wyboru obejmujące do 255 opcji oraz pytania punktowe z dwiema do dziesięciu uporządkowanymi wartościami. Pozwala to zapisać kryterium oceny jako ograniczoną decyzję zamiast nieograniczonej odpowiedzi tekstowej.

Przykład HR Assistanta

Przykład ocenia HR Assistanta zbudowanego przy użyciu Strands Agents i wdrożonego w środowisku AgentCore runtime. Konfiguracja łączy kontrole deterministyczne, wbudowane ewaluatory LLM-as-a-judge oraz ewaluatory modeli decyzyjnych korzystające z Jev albo Strands Decider 2B.

Skrypt evaluate.py wdraża dwa deterministyczne ewaluatory Lambda i rejestruje je jako ewaluatory oparte na kodzie. Następnie przeprowadza ocenę na żądanie dla pięciu oznaczonych scenariuszy z trzema nazwanymi ewaluatorami wbudowanymi. Tworzy również konfigurację online, która próbkuje 100 procent aktywnych sesji.

Ewaluatory modeli decyzyjnych są dodatkiem opcjonalnym. Opcja --with-jev rejestruje kontrole JevGroundedness, JevHelpfulness oraz JevGoalCompletion. Opcja --with-decider rejestruje te same trzy role, ale z modelem Strands Decider 2B jako backendem.

Od telemetrii do wyniku AgentCore

Ewaluator oparty na kodzie odbiera spany OpenTelemetry, normalizuje je i formatuje odpowiedni materiał dla modelu decyzyjnego. W ocenie na poziomie śladu wysyła wskazaną turę oraz krótki fragment wcześniejszej historii. W ocenie na poziomie sesji przesyła całą rozmowę. Na końcu mapuje wyjście modelu na wynik AgentCore.

Sposób mapowania zależy od formatu pytania. W pytaniu noul wartością jest prawdopodobieństwo odpowiedzi prawda, a etykietą najbardziej prawdopodobna odpowiedź. W pytaniu punktowym obliczany jest ważony prawdopodobieństwami oczekiwany poziom, który następnie skaluje się do przedziału od zera do jednego. W pytaniu wyboru wynikiem jest średnia ważona wcześniej zdefiniowanych wartości opcji.

Takie przeliczenie uwzględnia więcej informacji niż sama zwycięska etykieta. Wartość liczbowa odzwierciedla rozkład zwrócony przez model decyzyjny, a jednocześnie odpowiada strukturze wyniku wymaganej przez AgentCore Evaluations.

Walidacja przed zablokowaniem wydania

Samo podłączenie ewaluatora nie wystarcza. Procedura walidacji rozpoczyna się od oznaczonej próbki utworzonej z rzeczywistego ruchu. Trzech niezależnych annotatorów ocenia próbkę, a etykiety referencyjne powstają przez głosowanie większościowe. Następnie ewaluator modelu decyzyjnego i odpowiadające mu ewaluatory wbudowane są uruchamiane na identycznych danych wejściowych.

Analiza obejmuje zgodność, kalibrację oraz konkretne przypadki rozbieżności. Kontrolę należy powtórzyć po zmianie treści pytania lub wersji modelu. Oznacza to, że zarówno brzmienie pytania, jak i wersja modelu są częścią zweryfikowanej konfiguracji.

Zalecany układ pozostawia wbudowane ewaluatory jako szeroką podstawę, a następnie dodaje zwalidowane kontrole modeli decyzyjnych i precyzyjne kontrole deterministyczne. Nieudane sesje oraz sesje bliskie progowi można analizować przez oceny wsadowe. Bramki wydania powinny opierać się wyłącznie na ewaluatorach wbudowanych oraz na tych ewaluatorach modeli decyzyjnych, które zwalidowano względem oznaczonych danych.