
Amazon Marketplace如何借助SageMaker AI评估A+内容质量
Amazon在其技术文章中介绍了一套用于大规模评估商品详情页A+内容质量的方法。A+内容是Amazon商品详情页上的富媒体组件,品牌可以在其中使用视觉素材来传达产品价值与品牌价值。来源称,与不使用A+内容的销售伙伴相比,使用高质量A+内容的销售伙伴可将销售额提高8%至20%。这一背景说明,质量评估的对象并非单纯的装饰元素,而是承担产品与品牌信息表达任务的页面内容。
把完整页面作为一个评价对象
该方法没有把图片、文字或模块完全拆开后分别判断,而是先将整张商品详情页渲染成一幅快照。视觉语言模型随后按照顾客实际看到的形式,同时考察页面中的图片、文字与布局。这样一来,评价保留了不同元素之间的组合关系:文字是否与视觉表达相互配合、各部分在整体布局中如何呈现,都属于模型面对的同一页面语境。
视觉语言模型采用固定的评价规则,覆盖四个维度:视觉叙事、功能特点呈现、A+布局以及转化优化。对于每一个维度,模型都会返回0至10分的评分、一个置信度数值以及自然语言形式的理由。评分给出结构化程度,理由则保留模型对页面表现的文字说明,而置信度是同一结构化输出的一部分。
在整个方案中,视觉语言模型与评价提示保持固定。系统并不直接把四项分数简单平均后作为最终判断,而是把这些结构化输出作为特征,训练CatBoost分类器来预测专家质量标签。由于模型与规则固定,需要更新时只需调整分类器。按照来源的描述,仅更新分类器是一项耗时较短、只使用CPU的任务。
用OCR信号补充文字可读性
完整页面的视觉理解之外,系统还加入了由OCR产生的信号。一个托管在SageMaker AI Inference上的OCR模型提取文字块及其位置,并计算四项指标:文字密度、字符密度、间距以及整体可读性。这些指标从页面中文字的数量、集中程度、空间关系和阅读表现等方面形成结构化信号。
四项OCR信号与视觉语言模型给出的四项维度分数合并,构成CatBoost的八项输入特征。两类信息在同一个分类器中汇合:视觉语言模型负责依据完整快照评价图片、文字与布局的综合呈现,OCR部分则提供从文字块与位置计算得到的可读性指标。因此,最终分类所使用的信息既包含页面整体表达,也包含文字呈现方面的量化信号。
专家与标注人员如何形成训练标签
训练标签来自一名电子商务营销专家和四名专业标注人员的独立评分。他们共评价了5478张商品详情页,页面覆盖10个产品类别。系统通过多数投票得到共识标签,其中49.6%的页面被标记为高质量。这个比例意味着训练数据中的高质量页面接近一半,但来源给出的确切数值是49.6%。
每名标注人员相对于共识标签的Cohen’s kappa介于0.845和0.915之间。这些数值描述的是各标注人员的判断与多数投票所形成共识之间的一致程度。训练阶段使用的目标因此不是由单次模型输出自行产生,而是建立在五位评价者独立判断并经多数投票汇总的标签之上。
同一留出集上的模型比较
文章在相同的20%留出集上比较了不同方案。将评分取平均的基线方案取得0.80的准确率和0.84的F1值。只使用视觉语言模型特征的CatBoost取得0.89的准确率和0.90的F1值。只使用OCR特征的CatBoost取得0.82的准确率和0.83的F1值。
将OCR与视觉语言模型特征融合后,OCR–VLM–CatBoost模型取得0.94的准确率和0.95的F1值,是这组比较中最高的报告结果。由于所有数值都来自同一个20%留出集,比较呈现了平均分基线、单独使用视觉语言特征、单独使用OCR特征以及融合八项特征这四种配置在同一评估条件下的表现。
这些结果也显示了各部分在方案中的不同作用。仅使用视觉语言特征的分类器高于平均分基线;仅使用OCR的分类器也提供了独立的质量预测结果;将两者合并后,报告的准确率与F1值进一步提高。来源据此呈现的是一套特征融合分类方法,而不是只依靠某一个分数直接决定页面质量。
SHAP揭示哪些特征影响判断
系统使用SHAP解释分类器的特征贡献。在整个留出集上,平均绝对SHAP值最高的是OCR字符密度,数值为1.1。OCR整体可读性与视觉语言模型的视觉叙事均为1.0。其后依次是A+布局0.8、功能特点呈现0.6,以及转化优化0.4。
这些数值反映的是各特征在该留出集上的平均绝对归因大小。它们把分类结果与分类器所使用的具体信号联系起来:既有来自OCR的字符密度和整体可读性,也有来自视觉语言模型的视觉叙事、A+布局、功能特点呈现与转化优化。SHAP在此不仅用于总结整体特征归因,也用于处理单个低质量页面。
把低质量分类转化为修改建议
当一张页面被分类为低质量时,系统会按照SHAP值对全部八项特征进行排序,并找出负面影响最大的特征。随后,它把这些最负面的特征、产品类别、电子商务最佳实践以及视觉语言模型给出的自然语言理由一并发送给语言模型。语言模型据此生成有优先级、内容具体的行动建议。
这一流程使输出不再停留于“高质量”或“低质量”的标签。页面被判为低质量之后,销售伙伴还能看到应该优先处理哪些方面,以及建议所依据的负面特征和模型理由。产品类别与电子商务最佳实践也作为生成建议时的输入,使最终行动项围绕当前页面的问题进行组织。
销售伙伴依据这些解释型建议修改内容后,在一个具有统计显著性的样本中,修改后的平均质量评分在10分制上提高了1.4分。来源报告的是内容修改前后质量评分的变化:建议由负面特征、类别、最佳实践与模型理由产生,销售伙伴按照建议修订页面,随后平均评分出现上述提升。
SageMaker AI中的实施与持续监控
文章描述的SageMaker AI实施方案把多个环节映射到托管能力,包括内容渲染、视觉语言模型评分、OCR提取、特征聚合、CatBoost训练、SHAP可解释性以及生产监控。由此,完整页面快照的生成、八项特征的形成、质量分类与解释都被纳入同一实施流程。
生产监控关注三类事项:数据质量、模型质量与特征归因漂移。这里的监控不仅查看输入数据或最终分类器表现,也跟踪特征贡献关系是否发生漂移。当漂移超过设定阈值时,SageMaker Pipelines会自动执行重新训练流程。
固定视觉语言模型和评价提示、只更新CatBoost分类器的设计,使评分维度与结构化输出能够保持一致,同时允许预测专家标签的部分重新训练。来源把这一更新描述为短时间、仅需CPU的作业。整体方案由此形成一条连贯链路:先以完整页面保留顾客看到的组合效果,再用四项视觉语言评分和四项OCR指标进行分类,随后借助SHAP解释结果,并针对低质量页面生成有优先顺序的具体行动,最后通过质量与漂移监控支持后续重新训练。