# SageMaker pozwala sterować treningiem z Pythona na zarządzanych GPU

- Source: MechNext — https://mechnext.eu/pl/article/53-sagemaker-training-sessions-put-custom-python-loops-on-managed-gpus
- Published: 2026-10-26
- Updated: 2026-10-26
- Category: Industry News
- Language: pl (Markdown in other languages: ?lang=en, ?lang=de, ?lang=sk, ?lang=zh, ?lang=ru)

> AWS opisuje stanowe sesje treningowe do SFT, uczenia ze wzmocnieniem i własnych celów. Kod lokalny steruje pętlą, a usługa obsługuje wykonanie na GPU.

Interfejsy sesji treningowych Amazon SageMaker AI pozwalają według AWS tworzyć własne pętle treningowe w Pythonie. Operacje takie jak `forward_backward`, `optim_step` i `sample` działają na aktywnej sesji zachowującej stan i model załadowany na GPU między krokami. Usługa obsługuje środowisko wykonawcze, wykonanie rozproszone, synchronizację gradientów, odtwarzanie po awarii oraz izolację najemców.

### Lokalny kod steruje sesją

Sesję można prowadzić z lokalnego procesu Pythona, gdy wybrany model bazowy i adapter LoRA znajdują się na zarządzanych akceleratorach. Nie trzeba tworzyć klastra ani przygotowywać pliku konfiguracji opisującego całe zadanie z góry.

SDK wykorzystuje kolejno trzy klienty. `ServiceClient` przechowuje ustawienia platformy i uruchamia sesję, `TrainingClient` udostępnia trening oraz zapis punktów kontrolnych, a `SamplingClient` zapewnia `sample` i `compute_logprobs`. Aktywne sesje mają także endpoint chat completions zgodny z OpenAI.

W pokazanej pętli RL zarządzane GPU generują odpowiedzi, a lokalny Python je ocenia. `forward_backward` i `optim_step` aktualizują model; następnie `save_weights_and_get_sampling_client` odświeża sampler. Przy nadzorowanym dostrajaniu pomija się generowanie i obliczanie nagród, stosując stratę `cross_entropy` do oznaczonych przykładów.

### Kolejność operacji i rozliczenia

Wywołania związane z GPU natychmiast zwracają obiekty `APIFuture`. Żądania trafiają do kolejki i są wysyłane w tle, a `result()` czeka na zakończenie. Generowanie może odbywać się równolegle, lecz operacje treningowe zachowują kolejność zgłoszenia. Przykładowy rekord zawiera tokeny polecenia i odpowiedzi, logarytmy prawdopodobieństw tokenów, przewagę oraz maskę wyłączającą tokeny polecenia z obliczania straty.

AWS podaje, że opłaty zależą od tokenów przetworzonych podczas operacji na GPU. Czas GPU nie jest naliczany podczas lokalnego obliczania nagród, ładowania danych, logowania i debugowania. Dostępne są SFT, straty RL `ppo`, `importance_sampling` i `cispo` oraz własne cele, w tym optymalizacja preferencji i destylacja. AWS pozycjonuje sesje jako zapewniające większą kontrolę algorytmu niż Serverless Model Customization i mniej obowiązków operacyjnych niż Training Jobs lub HyperPod.

### Punkty kontrolne i przepisy

Każdy zapis punktu kontrolnego rejestruje wersję pakietu modelu. Przykład zapisuje model scalony do wdrożenia oraz wagi i stan optymalizatora do wznowienia przez `create_training_client_from_state_with_optimizer`. Scalone punkty kontrolne można wdrażać na endpointach czasu rzeczywistego. Sesje zajmują limit współbieżności aż do zatrzymania lub wygaśnięcia.

Towarzyszący zbiór przepisów obsługuje partie danych, szablony czatu, estymację przewagi, nakładanie generowania i treningu, walidację, wznawianie, metryki kroków i zapis konfiguracji. Obejmuje chatowe SFT z Tulu 3 i UltraChat, pełny trening RL na GSM8K oraz dopasowanie preferencji KTO z binarnych ocen.

### Wyniki zgłoszone przez AWS

Przykład GSM8K trenuje adapter LoRA dla GPT-OSS 20B metodą GRPO, wzmacniając odpowiedzi o poprawności powyżej średniej grupy. AWS podaje, że dziesięć kroków na 40 zadaniach zwiększyło trafność na wydzielonych danych testowych z 56% do 75%.

Przepis `code_rl` korzysta z zadań programistycznych DeepCoder i ocenia wygenerowane rozwiązania w Pythonie testami w lokalnym kontenerze SandboxFusion. Przyznaje 1 za zaliczenie wszystkich testów i 0 w innym przypadku, z karą 0,1 za brak bloku kodu. Dwie tury pozwalają wywołać `check_solution`, sprawdzić wyniki i poprawić odpowiedź.

Przepis nakłada generowanie na trening, ogranicza nieaktualność odpowiedzi, stosuje `cispo` do korekty różnic polityk i liczy gradienty w podpartiach. AWS opisuje adapter LoRA rangi 32, 50 kroków, 128 zadań, osiem odpowiedzi na zadanie, dwie tury i limit opóźnienia trzech kroków. Nagroda treningowa wzrosła z 0,46 do 0,60, a trafność na 200 wydzielonych zadaniach z 40% do 50,5%. Metryki można opcjonalnie publikować w zarządzanym MLflow SageMaker.

To wyniki konkretnych przebiegów raportowane przez AWS, bez gwarancji dla innych zastosowań. Materiał nie podaje listy obsługiwanych modeli, regionów, liczbowych limitów ani cen za token.