
GS Caltex verbindet No-Code-Modelle mit geplanter Batch-Inferenz
Laut der AWS-Fallstudie verteilt GS Caltex die Modellarbeit auf Prozessingenieure und ML-Ingenieure. Die Prozessingenieure erstellen und validieren Modelle ohne Programmierung in Amazon SageMaker Canvas. Anschließend konfigurieren die ML-Ingenieure Amazon SageMaker Pipelines, damit die validierten Modelle bereitgestellt und für eine geplante Inferenz verwendet werden können.
Die Übergabe zwischen beiden Rollen ist automatisiert und verwendet die in Canvas erzeugten Artefakte weiter. Die notwendige Produktionskonfiguration entfällt dadurch jedoch nicht. ML-Ingenieure legen weiterhin die produktiven Datenpfade, Modelleinstellungen, Vorverarbeitungsschritte und Inferenzaufträge fest. Automatisiert wird somit die Weitergabe der bereits erstellten Arbeit, während die technische Verantwortung für die Produktionsausführung bestehen bleibt.
Vom validierten Modell zur Produktionsressource
Im Bereitstellungsprozess wird eine validierte Canvas-Modellversion in der Model Registry registriert. Danach wird geprüft, ob das Modellpaket genehmigt ist, und eine SageMaker-Modellressource erstellt, auf die Batch Transform verweisen kann. In der Referenzarchitektur dient die Model Registry außerdem der Verwaltung von Modellversionen.
Auch ein Vorverarbeitungsablauf aus Data Wrangler wird wiederverwendet. Die Referenzimplementierung exportiert ihn über SageMaker Processing und konfiguriert einen Pipeline-Schritt mit den daraus hervorgehenden Einstellungen des Verarbeitungsauftrags sowie der zugehörigen .flow-Datei. Dadurch wird der validierte Vorverarbeitungsablauf in den geplanten Produktionsprozess übernommen.
Fünf Schritte der Inferenz
Der beispielhafte Inferenzablauf umfasst fünf festgelegte Schritte:
- Eingabedaten vorbereiten,
- Vorverarbeitung anwenden,
- Zielspalte entfernen,
- Batch-Inferenz ausführen,
- Ergebnisse zusammensetzen.
Bei jeder geplanten Ausführung bereitet der Workflow Eingabedaten aus Amazon S3 vor, führt die Vorverarbeitung aus, startet SageMaker Batch Transform und speichert die Ergebnisse wieder in S3. Zur Überwachung können der Status der einzelnen Schritte und die Protokolle in Amazon CloudWatch geprüft werden.
Eine Besonderheit ergibt sich daraus, dass Inferenzdaten die beim Training vorhandene Zielspalte nicht enthalten. Die Referenzimplementierung fügt deshalb vorübergehend ein Platzhalterziel mit kompatiblem Typ und kompatibler Position hinzu und entfernt es nach der Vorverarbeitung wieder. Ohne zusätzliche Behandlung eignet sich dieses Verfahren nicht, wenn das Ziel Merkmalswerte oder Transformationen beeinflusst.
Zeitplanung und betriebliche Grenzen
Amazon EventBridge kann die Pipeline über einen Ratenausdruck alle 30 Minuten starten. Daraus ergeben sich 48 geplante Ausführungen pro Tag. Der Zeitplan garantiert allerdings nicht, dass eine Ausführung abgeschlossen ist, bevor die nächste beginnt. Laufzeit und mögliche Überschneidungen müssen deshalb für den Produktionsbetrieb gesondert bewertet werden.
GS Caltex berichtet, dass die Modellbereitstellung nun wenige Stunden statt ungefähr einer Woche dauert. Das Unternehmen führt außerdem alle 30 Minuten eine Batch-Inferenz aus und meldet deutlich niedrigere Inferenzkosten, weil keine ständig laufenden Endpunkte erforderlich sind. Dabei handelt es sich um von GS Caltex angegebene Ergebnisse und nicht um unabhängig bestätigte Messwerte.
Prüfungen vor dem Produktionsbetrieb
Vor der Aktivierung wiederkehrender Produktionsläufe sollte der gesamte Workflow auf ein konsistentes Schema und konsistente Ausgaben geprüft werden. Ebenso ist zu bestätigen, dass jeder Quelldatensatz korrekt mit seiner Vorhersage verknüpft bleibt.
Die Validierung sollte das Verhalten bei Fehlern, die Laufzeit und die Kosten umfassen. Hinzu kommen mögliche parallele oder überlappende Ausführungen sowie das Risiko, dass dasselbe Eingabezeitfenster doppelt verarbeitet wird. Ein 30-Minuten-Takt bestimmt die Startzeitpunkte, beweist aber weder einen Abschluss innerhalb von 30 Minuten noch verhindert er selbstständig doppelte Verarbeitung.
Die Referenzarchitektur verbindet damit die No-Code-Erstellung von Modellen, verwaltete Modellversionen, wiederverwendete Vorverarbeitung, Batch-Ausführung, Ein- und Ausgaben in S3 und die Planung über EventBridge. Der zuverlässige Produktionsbetrieb hängt weiterhin von der Konfiguration durch ML-Ingenieure, der Genehmigung des registrierten Modellpakets und der Prüfung des Workflows unter dem vorgesehenen Zeitplan ab.