
GS Caltex prepája bezkódové modelovanie s plánovanou dávkovou inferenciou
GS Caltex podľa prípadovej štúdie AWS rozdelil prácu s modelmi medzi procesných a ML inžinierov. Procesní inžinieri môžu v Amazon SageMaker Canvas vytvárať a overovať modely bez písania kódu. ML inžinieri následne konfigurujú Amazon SageMaker Pipelines, aby sa overené modely dali nasadiť a používať pri plánovanej inferencii.
Prepojenie týchto dvoch častí je automatizované a využíva aktíva vytvorené v Canvas. Neznamená to však, že produkčné nasadenie prebieha bez technickej konfigurácie. ML inžinieri naďalej určujú produkčné dátové cesty, nastavenia modelu, kroky predspracovania a inferenčné úlohy. Automatizácia teda zjednodušuje odovzdanie už vytvorenej práce, pričom zodpovednosť za produkčnú konfiguráciu zostáva jasne oddelená.
Od overeného modelu k produkčnému zdroju
Proces nasadenia registruje overenú verziu modelu z Canvas v Model Registry. Následne kontroluje, či je balík modelu schválený, a vytvorí zdroj modelu SageMaker, na ktorý sa môže odvolávať Batch Transform. Model Registry pritom slúži na prácu s verziami modelov.
Referenčná implementácia opätovne používa aj tok predspracovania z Data Wrangler. Tok sa exportuje prostredníctvom SageMaker Processing a krok pipeline sa nakonfiguruje pomocou výsledných nastavení spracovateľskej úlohy a príslušného súboru .flow. Takýto postup zachováva väzbu medzi overeným predspracovaním a produkčným pracovným tokom.
Päť krokov plánovanej inferencie
Vzorový inferenčný pracovný tok pozostáva z piatich krokov:
- príprava vstupných údajov,
- aplikovanie predspracovania,
- odstránenie cieľového stĺpca,
- spustenie dávkovej inferencie,
- zostavenie výsledkov.
Pri každom plánovanom spustení sa vstupné údaje pripravia z Amazon S3, vykoná sa predspracovanie, spustí sa SageMaker Batch Transform a výsledky sa opäť uložia do S3. Stav jednotlivých krokov a protokoly Amazon CloudWatch možno kontrolovať na účely monitorovania.
Osobitnú pozornosť si vyžaduje rozdiel medzi trénovacími a inferenčnými dátami. Inferenčné dáta nemajú cieľový stĺpec používaný pri trénovaní. Referenčné riešenie preto pred predspracovaním dočasne pridá zástupnú cieľovú hodnotu s kompatibilným typom a pozíciou a po spracovaní tento stĺpec odstráni. Tento postup nie je bez ďalšej úpravy vhodný vtedy, keď cieľ ovplyvňuje hodnoty príznakov alebo transformácie.
Plánovanie a prevádzkové hranice
Amazon EventBridge môže pomocou výrazu frekvencie spustiť pipeline každých 30 minút. Takéto nastavenie vytvorí 48 plánovaných behov denne. Samotný plán však nezaručuje, že jeden beh skončí skôr, než začne nasledujúci. Pri produkčnom návrhu preto treba osobitne preveriť runtime a možné prekrývanie vykonaní.
GS Caltex uvádza, že nasadenie modelu po tejto zmene trvá niekoľko hodín namiesto približne jedného týždňa. Organizácia zároveň prevádzkuje dávkovú inferenciu každých 30 minút a hlási podstatné zníženie nákladov na inferenciu vďaka tomu, že nemusí udržiavať nepretržite bežiace endpointy. Ide o výsledky uvádzané spoločnosťou GS Caltex, nie o nezávisle overené meranie.
Čo overiť pred produkčným plánovaním
Pred aktivovaním pravidelných produkčných behov má byť celý pracovný tok overený z viacerých strán. Kontrola má pokryť konzistentnosť schémy a výstupu, správne priradenie zdrojového záznamu k predikcii, správanie pri zlyhaní, trvanie vykonania a náklady.
Rovnako treba preveriť súbežné alebo prekrývajúce sa spustenia a riziko opakovaného spracovania rovnakého vstupného okna. Tridsaťminútová frekvencia určuje okamihy spustenia; sama osebe nepotvrdzuje dokončenie v rámci tridsiatich minút ani nevylučuje duplicitu. Referenčná architektúra tak spája bezkódovú tvorbu modelov, riadenú registráciu verzií, opätovné využitie predspracovania, dávkové spracovanie a plánovanie, ale produkčná spoľahlivosť naďalej závisí od dôslednej konfigurácie a validácie uvedených podmienok.