Eine AWS-Anleitung demonstriert Multi-Turn Reinforcement Learning, kurz MTRL, auf Amazon SageMaker AI anhand von Wordle. Das Modell lernt aus Belohnungen für mehrstufige Episoden. Die Autoren berichten über höhere Erfolgsquoten von GPT-OSS-20B bei zurückgehaltenen Testwörtern und über Erfahrungen mit Belohnungen und Laufzeitfehlern. Ergebnisse und Kosten gelten für diesen Versuch; sie belegen keine Leistung bei anderen Aufgaben.

Zusammenspiel von Modell und Agent

Bei Wordle hat der Agent sechs Versuche, ein verborgenes Wort mit fünf Buchstaben zu erraten. SageMaker AI verwaltet Training und Modell. Amazon Bedrock AgentCore beherbergt den Strands-Agenten, die Umgebung und die Belohnungsfunktion. Der Agent ruft den OpenAI-kompatiblen Endpunkt der SageMaker Job Runtime auf und erhält über guess_word Rückmeldungen. GRPO vergleicht Belohnungen mehrerer Durchläufe desselben Wortes und aktualisiert einen LoRA-Adapter.

Das Beispiel liefert eine Belohnung je Episode. MTRL akzeptiert über UpdateReward auch Belohnungen je Zug. Agenten können auf AgentCore oder auf Kundeninfrastruktur wie EKS, EC2 oder Fargate laufen, die über eine weiterleitende AWS-Lambda-Funktion erreichbar ist. Die Anleitung beschreibt den Dienst als serverlos: Er stellt die Trainings- und Sampling-Infrastruktur bereit.

Aufgaben ohne Musterantworten

Die Datensätze enthalten Aufgaben ohne Zielantworten, Gesprächsprotokolle oder Labels. Der Dienst übergibt die Prompt-Spalte oder die erste Spalte unverändert an den Agenten. Das Beispiel enthält eine Anweisung, die geheime Lösung und eine Kennung zur Ablaufverfolgung; das Modell sieht die Lösung jedoch nie. Verwendet werden 640 Trainingswörter und 128 davon getrennte Validierungswörter. Laut AWS bleiben Daten, Agenten und trainierte Modelle im Kundenkonto und dienen nicht zum Training von Basismodellen.

Der Startcode nutzt MultiTurnRLTrainer und benötigt eine MLflow-App. Er begrenzt das Sampling auf 8.192 Token und das Training auf höchstens 20 Epochen und 100 Schritte. Bei 128 Aufgaben je Batch und acht Durchläufen je Aufgabe umfasst eine Epoche fünf Schritte; jeder Schritt spielt 1.024 Partien. Eine erneute Bereitstellung des Agenten während des Trainings startet laut Anleitung die Runtime neu und kann den gesamten Job scheitern lassen.

Belohnungen müssen Ergebnisse richtig ordnen

Die erste Belohnungsfunktion summierte Boni für einzelne Versuche. Dadurch konnte eine verlorene Partie etwa +0,49 erreichen und ein Erfolg im dritten Versuch einen Erfolg im ersten übertreffen. Die überarbeitete Funktion kombiniert einen dominanten Ergebnisanteil mit einer begrenzten zusätzlichen Komponente. Diese wird auf −1 bis 1 begrenzt und bei Erfolgen mit 0,04, bei Niederlagen mit 0,15 gewichtet.

Nach Angaben der Autoren bleibt damit die Reihenfolge erhalten: schnellere Erfolge, langsamere Erfolge, Niederlagen und Partien ohne gültigen Tipp. Selbst der am niedrigsten bewertete Erfolg erreicht +1,01 und liegt damit über der Erfolgsschwelle des Dienstes von 1,0. Die Belohnung muss folglich das Ziel der gesamten Partie ebenso ausdrücken wie mögliche Zwischenschritte.

Die Auswertung hängt von den Einstellungen ab

Bei mittlerem Denkaufwand und Temperatur 1,0 stieg die Erfolgsquote laut Autoren von 61 auf 84 Prozent. Die 84 Prozent sind der Mittelwert zweier Läufe mit 80 und 88 Prozent. Bei niedrigem Denkaufwand stieg die Quote von 15 auf 69 Prozent. Die Validierung während des Trainings bei Temperatur 0 erreichte dagegen höchstens 48 Prozent und endete bei 37 Prozent. Die Zahlen beschreiben somit unterschiedliche Auswertungsbedingungen.

Ob weitere Trainingsschritte die Ergebnisse unter den Einstellungen für die spätere Nutzung verbessern, haben die Autoren nicht getestet. Niedriger Denkaufwand benötigte ihren Angaben zufolge je ausgewerteter Partie 63 bis 83 Prozent weniger Sampling-Token als mittlerer Aufwand. MLflow erfasst Belohnungen, Token und Zugstatistiken; OpenTelemetry-Traces in CloudWatch dokumentieren Modellzüge und Werkzeugaufrufe.

Betriebserfahrungen und ausgewiesene Kosten

Bei 32 parallelen Durchläufen traten Engpässe beim Anbieter der Zugangsdaten auf; eine einstündige Token-Zwischenspeicherung verursachte zudem Authentifizierungsfehler. Die Lösung nutzt eine sich selbst erneuernde Sitzung, einen kurzen Cache und erneutes Signieren nach einer 403-Antwort. Partien ohne gültigen Tipp erhalten −1,5; davon gab es 51 im Lauf mit 100 Schritten. Zu hohe Lernraten wandelten Werkzeugaufrufe außerdem in Klartext um. Darauf reagierten die Autoren mit einer Wiedergewinnung der Tipps samt Formatierungsstrafe.

Der Lauf mit 100 Schritten umfasste 105.486 Durchläufe in zwölf Stunden und 40 Minuten. Er verbrauchte 491,6 Millionen Prefill-, 159,7 Millionen Sampling- und 643,3 Millionen Trainings-Token. Die Autoren nennen etwa 339 US-Dollar für Trainings-Token und 79 US-Dollar für AgentCore anhand damaliger Listenpreise in us-east-1. Die Auswertungsserie kostete rund 1,20 US-Dollar an Token und dauerte etwa eine Stunde; einzelne Auswertungen mit 128 Wörtern benötigten vier bis sieben Minuten.

Nach Abschluss endet die Abrechnung der Trainings- und Auswertungsjobs. AgentCore-Runtime, zugehörige IAM-Rolle, MLflow-App und S3-Objekte bleiben bestehen. Trainingsrolle und Modellpakete werden laut Anleitung nicht berechnet. Grundlage ist die AWS-Anleitung, keine unabhängige Überprüfung. Die genannten Preise sind keine aktuelle Kostenschätzung.