Rozhodovací model rieši úlohu inak než model generujúci voľný text. Vyberá z pevne stanovenej množiny možností a vracia kalibrované skóre istoty alebo rozdelenie pravdepodobnosti nad vopred definovanými odpoveďami. Takýto formát sa hodí na úzke a opakovateľné hodnotiace otázky, pretože výsledok má známy význam a dá sa previesť na jednotné skóre.

Príspevok AWS ukazuje, ako tento prístup zapojiť do Amazon Bedrock AgentCore Evaluations. Táto služba podporuje hodnotenie na požiadanie počas vývoja, dávkové hodnotenie uložených relácií aj online hodnotenie produkčnej prevádzky. Obsahuje 15 zabudovaných evaluátorov a umožňuje vytvárať vlastné evaluátory buď ako LLM-as-a-judge, alebo ako evaluátory založené na kóde.

Prepojenie cez AWS Lambda

Kódový evaluátor vykonáva vlastnú logiku v AWS Lambda a môže volať externý systém, model alebo API. V opísanom riešení sa týmto mechanizmom pripájajú dva backendy rozhodovacích modelov: hosťovaný model Jev od TypeSafe a samostatne hostovaný open-source model Strands Decider 2B.

Oba modely podporujú otázky typu noul s odpoveďou áno alebo nie, výberové otázky s najviac 255 možnosťami a bodovacie otázky s dvoma až desiatimi usporiadanými úrovňami. Tieto typy otázok umožňujú vyjadriť posudzovaný aspekt ako presne ohraničené rozhodnutie namiesto voľnej slovnej odpovede.

Ukážka s HR Assistantom

Príklad hodnotí HR Assistanta vytvoreného pomocou Strands Agents a nasadeného do AgentCore runtime. Kombinuje tri vrstvy kontrol: deterministické kontroly, zabudované evaluátory typu LLM-as-a-judge a evaluátory rozhodovacích modelov podporované modelom Jev alebo Strands Decider 2B.

Skript evaluate.py nasadí dva deterministické Lambda evaluátory a zaregistruje ich ako kódové evaluátory. Následne spustí hodnotenie na požiadanie nad piatimi označenými scenármi s tromi pomenovanými zabudovanými evaluátormi. Vytvorí tiež online konfiguráciu, ktorá vzorkuje 100 percent živých relácií.

Rozhodovacie evaluátory zostávajú voliteľné. Prepínač --with-jev registruje JevGroundedness, JevHelpfulness a JevGoalCompletion. Prepínač --with-decider zaregistruje rovnaké tri kontroly, ale ich backendom je Strands Decider 2B.

Od telemetrie k výsledku

Kódový evaluátor prijíma spany OpenTelemetry, normalizuje ich a pripravuje ich vo formáte vhodnom pre rozhodovací model. Pri hodnotení na úrovni stopy odosiela cieľový ťah spolu so stručnou predchádzajúcou históriou. Pri hodnotení celej relácie odosiela celý rozhovor. Výstup modelu potom mapuje späť na výsledok AgentCore.

Spôsob mapovania závisí od typu otázky. Pri otázke noul sa ako hodnota použije pravdepodobnosť odpovede pravda a ako štítok najpravdepodobnejšia odpoveď. Pri bodovacej otázke sa vypočíta pravdepodobnosťami vážená očakávaná úroveň a preškáluje sa do intervalu od 0 do 1. Pri výberovej otázke vznikne hodnota ako vážený priemer vopred definovaných hodnôt jednotlivých možností.

Validácia pred použitím v bráne vydania

Samotné pripojenie modelu nestačí. Opísaný validačný postup začína označenou vzorkou vytvorenou zo skutočnej prevádzky. Referenčné štítky majú vzniknúť väčšinovým hlasovaním troch nezávislých hodnotiteľov. Rozhodovací evaluátor aj zodpovedajúce zabudované evaluátory sa potom spustia nad totožnými vstupmi.

Analýza má sledovať zhodu, kalibráciu aj konkrétne prípady nezhody. Kontrolu treba zopakovať po zmene formulácie otázky alebo verzie modelu, pretože takáto zmena môže ovplyvniť význam či správanie hodnotenia.

Odporúčaná skladba ponecháva zabudované evaluátory ako široký základ. K nim pridáva validované kontroly rozhodovacích modelov a presné deterministické kontroly. Neúspešné relácie alebo relácie blízko prahu sa majú preskúmať dávkovým hodnotením. Rozhodovanie o vydaní sa má opierať iba o zabudované evaluátory a o tie rozhodovacie evaluátory, ktoré boli overené voči označeným dátam.