
GS Caltex将无代码建模接入定时批量推理流程
根据AWS发布的案例,GS Caltex把模型工作划分给流程工程师和机器学习工程师。流程工程师在Amazon SageMaker Canvas中构建并验证模型,无须编写代码;机器学习工程师则配置Amazon SageMaker Pipelines,使已经验证的模型能够进入部署流程,并用于按计划执行的推理任务。这种分工把业务流程相关的模型构建工作与生产环境中的工程配置连接起来,同时保留了两类人员各自明确的职责。
Canvas与Pipelines之间的交接已经实现自动化,而且会复用Canvas中创建的资产。不过,自动化交接并不意味着生产配置可以省略。机器学习工程师仍然需要设置生产数据路径、模型参数、预处理步骤以及推理作业。换言之,自动化处理的是经过验证的资产如何被继续利用,而生产数据从哪里读取、模型如何被引用、预处理如何运行以及推理任务如何执行,仍属于机器学习工程师的配置范围。
从已验证模型到可供批量任务引用的资源
在部署过程中,系统先把经过验证的Canvas模型版本注册到Model Registry。随后,流程会检查模型包是否已经获得批准,并创建一个SageMaker模型资源,供Batch Transform引用。Model Registry在参考架构中还承担模型版本管理的作用,因此,进入后续任务的并不是一个脱离版本记录的模型,而是注册流程中已经过检查的模型版本。
参考实现也会复用Data Wrangler中的预处理流程。具体做法是通过SageMaker Processing导出该流程,再使用由此得到的处理作业设置和相应的.flow文件配置管道步骤。这样,模型工作阶段已经使用的预处理流程便能进入计划执行的生产工作流。复用的对象不仅包括模型本身,也包括与输入数据处理有关的既有资产。
由五个步骤组成的推理工作流
示例推理工作流包含五个明确的步骤:
- 准备输入数据;
- 应用预处理;
- 移除目标列;
- 运行批量推理;
- 组装结果。
每次计划任务开始后,工作流会从Amazon S3准备输入数据,执行预处理,运行SageMaker Batch Transform,然后把结果存回S3。机器学习工程师可以检查各个步骤的状态,也可以查看Amazon CloudWatch日志,用于监控工作流的执行情况。S3由此承载工作流中的输入与输出,Batch Transform负责批量推理,而步骤状态和日志则提供检查执行过程的入口。
训练数据与推理数据之间还有一个需要专门处理的差异:推理数据通常没有训练时使用的目标列。参考实现会在预处理之前临时加入一个占位目标。这个占位目标需要在类型和位置上与预处理流程的要求兼容;完成预处理后,工作流再将该目标列移除,之后才进入批量推理步骤。
这一办法存在清楚的适用边界。如果目标本身会影响特征值或转换过程,那么仅仅临时加入占位目标并在之后删除,并不足以保证同样的处理结果。在这种情况下,该方法必须经过额外处理才能使用。因此,在复用预处理流程时,不能只确认文件和作业设置能够被导出,还需要确认目标列在原有转换中的作用是否允许采用这种占位方式。
每30分钟启动一次并不等于每30分钟完成一次
参考架构使用Amazon EventBridge安排管道执行。EventBridge的频率表达式可以每30分钟启动一次管道,按这一频率计算,每天会产生48次计划运行。这里的“每30分钟”描述的是启动频率,而不是单次运行的完成时限。
计划服务不会保证前一次运行一定能在下一次开始之前结束。如果一个工作流的实际运行时间接近或超过计划间隔,就可能出现执行重叠。因此,在生产环境启用该频率之前,需要实际验证总运行时间以及重叠执行的情况,不能把30分钟的计划间隔解释为工作流必然会在30分钟内完成,也不能据此认定多个执行绝不会同时存在。
GS Caltex报告称,采用这一交接与部署方式后,模型部署所需时间由大约一周缩短为数小时。该公司还表示,其批量推理每30分钟运行一次;由于无需维持持续运行的端点,推理成本得到了显著降低。这些部署时间和成本效果均为GS Caltex所报告的结果,所提供的单一主要来源并未把它们表述为经过独立验证的测量结论。
生产调度前需要验证的内容
在开启周期性的生产运行之前,工作流应当接受多方面验证。首先,需要检查输入架构与输出的一致性,确认预处理步骤、推理步骤和结果组装步骤对数据结构的处理能够保持一致。其次,需要验证源记录与预测结果之间的对应关系,使组装后的每项预测仍能正确关联到相应的输入记录。
验证还应覆盖失败时的行为。工作流由多个步骤组成,因此需要确认某一步骤失败时整体流程会呈现怎样的状态,并结合步骤状态与CloudWatch日志检查执行情况。总运行时间和成本也属于必须在计划生产运行前评估的项目,因为计划频率、单次执行时间与每次执行所产生的成本共同构成实际运行条件。
另外两个重点是执行重叠与重复处理。由于EventBridge按频率启动管道,而不保证上一个执行已经结束,因此必须检查同时存在多个执行时的行为。还要验证同一个输入时间窗口是否可能被处理不止一次。仅设置每30分钟一次的频率,不会自动排除重复读取或重复处理某一批输入数据。
从整体上看,这套参考架构把Canvas中的无代码模型构建与验证、Model Registry中的模型版本、Data Wrangler预处理流程的复用、SageMaker Processing、Batch Transform、S3输入输出以及EventBridge调度连接成一个生产工作流。其价值在于让已经验证的Canvas资产能够通过自动化交接继续使用,但生产化仍然包含具体而必要的工程工作。
机器学习工程师需要配置生产数据路径、模型设置、预处理和推理作业;部署流程需要确认注册的模型包已经批准,并创建可供Batch Transform引用的模型资源;计划运行之前,还要验证数据架构、输出一致性、记录与预测的关联、失败行为、运行时间、成本、执行重叠和输入窗口重复处理。因而,GS Caltex所报告的部署提速与成本下降,应与这些持续存在的配置和验证要求一并理解。
这一案例所展示的核心并不是取消生产工程环节,而是让流程工程师创建并验证的模型资产能够更直接地进入由机器学习工程师管理的管道。自动化缩短了资产交接路径,批量模式避免了持续运行端点的需要,而清晰的五步工作流、模型包批准检查、日志监控和生产前验证,则界定了定时推理能够稳定运行所需关注的范围。