AWS beschreibt einen neunstufigen Bewertungsrahmen auf Basis von Amazon Bedrock AgentCore. Grundlage ist ein internes System für Vertrieb und Führungskräfte über Amazon Quick. Antworten sind auf Vertriebsgebiet und Rolle begrenzt. Performance Insights liefert Vertriebsanalysen, Customer Insights bündelt Kundeninformationen und Data Insights unterstützt die Übersetzung von Textanfragen in SQL.

Vor dem Start erkannten die Bewertungen einen Betrag von 410,08 US-Dollar, der als 410,08 Millionen US-Dollar erschien, falsch bezeichnete Kennzahlen, eine unbelegte Schätzung wiederkehrender Umsätze und Berechnungen, die als Quellenangaben ausgegeben wurden. Die Betriebsüberwachung blieb dabei unauffällig. Deshalb prüft AWS neben dem technischen Betrieb auch den Inhalt der Antworten.

Von Geschäftszielen zu Prüfkriterien

Die neun Stufen heißen Foundation, Experiment, Merge (CI), Gate (CD), Canary, Adversary, Drift, Pulse und Feedback Loop. Sie erfassen Sicherheit, Qualität, Leistung, Kosten und Betriebssteuerung. Werkzeuge, einzelne Agenten und ihr Zusammenspiel haben eigene Referenztests, Bewertungsverfahren und Freigabekriterien. Laut AWS senkte eine mangelnde Abstimmung zwischen Daten-, Werkzeug- und Prompt-Änderungen vor dem Produktivbetrieb die Bestehensquote von 78 auf 38 Prozent.

Foundation übersetzt Geschäftsziele in Schwellenwerte, Alarme, Sicherheitsregeln, Latenzziele, Budgets je Anfrage und betriebliche SLAs. Bereits einer von sechs Fehlern macht eine Antwort ungenau: vertauschte Kennzahl, falscher Zeitraum, falsche Entität, reine Halluzination, falsche Symbole oder unerlaubte Berechnung. Hinzu kommen Relevanz, Quellentreue, Nützlichkeit, Befolgung von Anweisungen und Werkzeugauswahl.

AWS kombiniert integrierte AgentCore-Prüfer, sechs domänenspezifische Prüfer, DeepEval, AutoEval und deterministische Sollwertvergleiche. Sprachmodelle beurteilen Eigenschaften ohne eindeutig richtige Antwort. Der versionierte Referenzdatensatz enthält Produktionsanfragen, beobachtete Fehler und synthetische Grenzfälle. Er deckt Werkzeuge, vier Fragetypen für Agenten, deren Zusammenspiel sowie Sicherheit, Latenz und Kosten ab.

Experimente und Freigaben

Experiment vergleicht Änderungen mit AgentCore On-Demand Evaluation anhand derselben Tests und Prüfer. Bewertet werden Qualität, Latenz, Kosten und Token-Kontext. Eingaben, Ausgaben, abgerufener Kontext, Bewertungen und Begründungen bleiben in S3 und einem Data Lake gespeichert. AWS meldet nach drei Monaten Iteration eine Steigerung der Bestehensquote von 93 auf stabile 96 Prozent. Reine Halluzinationen sanken von 138 auf unter 52 je 10.000 Antworten, unerlaubte Berechnungen von 59 auf unter 44.

Merge führt bei jeder Bereitstellung in der Staging-Umgebung automatisch 15 Kontrollfälle aus. Sicherheitsverstöße und Qualitätsverluste oberhalb der Toleranz blockieren die Bereitstellung; Latenz und Token-Kosten werden ebenfalls geprüft. Separate Kontrollen für Werkzeuge, Agenten und Orchestrierung melden Werte an CloudWatch. Laut AWS verhinderte eine Entitätsprüfung eine Normalisierungsänderung, die Daten des falschen Kunden geliefert hätte.

Gate prüft den gesamten Referenzdatensatz. Validierte Werkzeugantworten werden für Wiederholungen eingefroren, um die Agentenlogik von Schwankungen der Werkzeuge zu trennen. Eine durchgängige Bewertung durch ein Sprachmodell umfasst 200 zurückgehaltene Fragen. Rückschritte gegenüber dem vorherigen Lauf, fehlende Verbesserung gegenüber der Produktion oder zu viele schwache Antworten verhindern die Freigabe. AWS erkannte so eine Antwort mit Konzernumsatz auf eine Frage zu einer Tochtergesellschaft.

Bewertung im laufenden Betrieb

Canary nutzt Stapelbewertungen in 30-Minuten-Fenstern und deckt den Referenzdatensatz innerhalb von 24 Stunden ab. Täglich folgt zusätzlich ein vollständiger Lauf mit den Gate-Schwellenwerten. Ein gescheitertes Fenster ist ein Betriebssignal; erst drei aufeinanderfolgende Überschreitungen alarmieren den Bereitschaftsdienst. AWS erkannte eine schwächere Verankerung in abgerufenen Quellen im ersten Fenster, trotz normaler Latenz und ohne Fehler. Die Ursache lag im Abrufwerkzeug.

Adversary behandelt Missbrauch; Sicherheitsprüfungen erstrecken sich jedoch über alle neun Stufen. Laut AWS prüft Amazon Bedrock Guardrails synchron sämtliche Ein- und Ausgaben, bevor Antworten Nutzer erreichen. Die Kontrollen erfassen den zulässigen Anfrageumfang, Prompt Injection, unbefugte Weitergabe sensibler Daten, schädliche Inhalte, Regelverstöße, Jailbreaks und die Offenlegung von Prompts.

Drift bewertet kontinuierlich zehn Prozent des Live-Verkehrs. Die Ergebnisse fließen in einen Quality-State Calculator für Qualität, Latenz und Kosten. Börsenkürzel und Kurzformen deckten laut AWS Identifikationslücken auf; erweiterte Tests und normalisierte Eingaben stellten die Genauigkeit bis zum nächsten Zyklus wieder her. Nach einer Qualitätsprüfung verteilt AgentCore Gateway einen Verkehrsanteil zwischen aktuellem und neuem Agenten. Die vollständige Einführung verlangt in jeder Bewertungsdimension einen Sieg oder Gleichstand.

Rückkopplung und Aussagegrenzen

Pulse verbindet Bewertungen mit AgentCore Observability. Automatische OpenTelemetry-Instrumentierung übermittelt nach Aktivierung von Transaction Search Ausführungstelemetrie an CloudWatch. Bewertungsergebnisse nutzen einen separaten Protokollpfad. S3 und Data Lake ermöglichen dialogbasierte Auswertungen und rollenbezogene Amazon-Quick-Dashboards. AWS meldet eine Verkürzung der mittleren Erkennungszeit von Tagen oder Wochen auf unter vier Stunden.

Feedback Loop nutzt AgentCore-Empfehlungen zur Überarbeitung von System-Prompts und Werkzeugbeschreibungen. Schwach bewertete Ablaufspuren werden zu Regressionstests. Platzhalter statt fest eingetragener Beispielwerte verringerten laut AWS Halluzinationen und erhöhten die Quellenverankerung von 93 auf 96 Prozent; Prompt-Iterationen verkürzten sich von Tagen auf Minuten. Quellenverankerung und Bestehensquote sind nicht gleichzusetzen. Dataset Evaluation bezeichnet der Artikel als öffentliche Vorschau. Die Ergebnisse stammen von AWS und sind im vorliegenden Material nicht unabhängig bestätigt. Schwellenwerte und Stichproben sind keine allgemeinen Standardeinstellungen oder Garantien.