# AWS如何演示将购物智能体蒸馏到一个4B模型中

- Source: MechNext — https://mechnext.eu/zh/article/60-how-aws-demonstrated-distilling-a-shopping-agent-into-a-4b-model
- Published: 2026-11-03
- Updated: 2026-11-03
- Category: Industry News
- Language: zh (Markdown in other languages: ?lang=en, ?lang=de, ?lang=sk, ?lang=pl, ?lang=ru)

> AWS的案例使用序列级知识蒸馏，把GLM-5.3的智能体行为转移给Qwen3.5-4B。在一次ShoppingBench运行中，学生模型取得0.541，但其IFEval分数有所下降。

AWS博客介绍了一项序列级知识蒸馏实践。其基本方式是由教师模型生成回答，再通过监督微调，让较小的学生模型学习这些回答。这个方法需要教师产生的文本，但不需要获得教师模型的权重、logits或梯度。因此，案例所转移的是教师在任务中表现出来的文本行为，而不是教师模型内部的参数信息。

在这项实践中，教师模型是通过Amazon Bedrock使用的GLM-5.3，学生模型则是Qwen3.5-4B。学生模型的训练采用SageMaker AI模型定制所提供的无服务器监督微调。这里报告的模型、平台和配置共同构成了这一特定案例的范围，不能据此推断其他模型、任务或工作负载会得到同样的结果。

### 从购物问题构造训练与评估集合

数据来自ShoppingBench，其中包含750个合成的购物问题。问题覆盖三类意图：产品、商店和优惠券，每一类各有250个问题。案例把其中426个问题用于训练，并把另外324个互不重叠的问题留作评估。训练问题与评估问题没有重叠，这使最终分数反映学生模型在留出问题上的表现，而不是对同一批训练问题的直接重复。

按完整问题进行划分也是后续数据处理的基础。一个购物问题可以展开为包含多个步骤的智能体轨迹，如果只在步骤行的层面随机划分，同一个问题中高度相似的上下文就可能同时进入训练集和验证集。案例因此把整个问题作为划分单位，使属于同一问题的各个步骤留在同一侧，避免近乎相同的上下文泄漏到训练和验证两边。

### 教师如何产生候选轨迹

对于每一个训练问题，教师都在温度1.0下采样两次。426个问题由此产生了850条轨迹。使用两次采样意味着一个问题可以获得不止一条候选解决过程，但这些候选过程不会全部直接用于训练。ShoppingBench的评分器会检查任务是否得到解决，只有成功解决任务的轨迹才会被保留。

每条保留下来的轨迹都包含购物者的请求、教师的推理和工具调用，以及环境返回的观察结果。这种数据不只是一个最终答案，而是一次成功交互的连续记录：请求构成任务起点，教师的推理与工具调用描述处理过程，环境观察则为后续步骤提供反馈。学生因此能够从完整的成功轨迹中学习，而不是仅看到脱离过程的结论。

这种筛选方式所表达的训练目标很明确：教师可以通过采样产生多种轨迹，但学生训练数据只收录已经完成任务的轨迹。这里能确认的是评分器保留成功轨迹；不能把这一过程解释为对所有可能行为的全面验证，也不能从这些数据推断学生会在任何其他环境中稳定复现相同能力。

### 把多步轨迹编码为训练数据

训练编码为轨迹中的每一个步骤创建一行。过滤后的轨迹经过按步骤展开，形成大约2600个训练行和130个验证行。虽然一条轨迹可以贡献多个数据行，但训练与验证仍按完整问题划分，而不是把同一问题产生的各行随机拆散。这样既能利用多步轨迹中的训练信号，也能控制相似上下文跨集合泄漏的问题。

损失只应用于助手轮次。购物者请求、此前的工具交互和环境观察可以作为模型生成当前助手行为时的上下文，但训练目标集中在助手需要产生的内容上。这个设计与轨迹数据的结构相配合：模型读取已经发生的交互，再学习教师在对应步骤给出的助手行为。

具体的微调运行使用16384个token的最大序列长度、64的LoRA秩以及三个训练轮次。这些数字准确描述了案例中的一次配置，但它们不是对其他场景的通用参数建议。证据没有比较其他序列长度、LoRA秩或训练轮次，因此不能据此判断不同配置会带来怎样的变化。

### 留出问题上的评估方法

评估覆盖全部324个留出问题，指标为绝对成功率，也就是Absolute Success Rate。报告的平均值综合了产品、商店和优惠券三类意图。如果某个问题缺少轨迹，则按失败计算。这样的计分规则意味着没有产生可用轨迹不会被从分母中排除，而会直接降低最终成功率。

在报告的单次运行中，蒸馏后的4B学生模型取得0.541的平均绝对成功率。采用采样方式的教师模型得分为0.511，采用贪心方式的教师模型得分为0.540。在这一次特定的ShoppingBench评估里，学生分数与贪心教师非常接近，并略高于列出的两个教师分数。

不过，这组数字的含义必须严格限定在案例范围之内。它们来自一次LoRA学生模型运行，来源还指出，不同运行之间可能出现几个百分点的波动。因此，0.541不能被视为不随运行变化的固定结果，也不能证明学生模型在一般情况下能够匹配或超过前沿教师模型。比较只涉及指定模型、指定数据划分、指定指标以及这一次报告的运行。

### 教师推理为何是重要的训练信号

案例还进行了一个消融对比：去掉教师的推理，只使用工具调用来训练学生。这样处理后，学生的平均绝对成功率从0.541下降到0.415。这个差异说明，在本实验范围内，单独保留成功的工具调用，并没有提供与包含教师推理的完整轨迹相同的训练信号。

该结果也帮助解释为什么原始训练数据同时保存请求、推理、工具调用和环境观察。多步智能体需要根据已经获得的信息决定下一步行为，而完整轨迹记录了这些要素如何依次出现。消融结果支持在此案例中保留教师推理的设计，但不能被扩大解释为所有任务、所有教师或所有学生模型都必然需要完全相同的数据形式。

### 任务专门化伴随可测量的退步

ShoppingBench并不是报告中唯一的评估。案例还使用IFEval检查学生模型的一般指令遵循表现。与基础模型相比，蒸馏学生的prompt-strict分数从0.819下降到0.741，instruction-strict分数从0.872下降到0.813。两项严格指标都出现下降，因此ShoppingBench上的结果不能被描述为没有代价的全面提升。

这项对比呈现了一个具体的权衡：学生在目标购物任务的单次评估中取得0.541，但相对于基础模型，其IFEval严格分数有所降低。现有证据只能确认这些已测量的变化，不能进一步断言下降会在其他通用能力测试中以同样方式出现，也不能声称调整训练后一定可以消除这种变化。

### 这项实践能够说明什么

整个流程展示了一条清晰的序列级蒸馏路径：先把问题分为训练与互不重叠的评估集合；对每个训练问题多次采样教师；用任务评分器保留成功轨迹；在轨迹中保存教师推理、工具调用和环境观察；按步骤创建训练行，同时按完整问题划分训练与验证；最后在留出问题上衡量目标能力，并用IFEval观察可能的能力退步。

这项实践还表明，评估设计与数据设计同样重要。按完整问题划分减少了近似上下文在训练和验证间的泄漏；把缺失轨迹计为失败则明确了成功率的计算边界；工具调用消融展示了教师推理对本次结果的关联；IFEval对比则防止只关注目标任务分数而忽略一般指令遵循的变化。

与此同时，来源没有提供与工作负载无关的单任务成本或延迟数据，也没有给出可据以计算吞吐量、具体节省额度或投资回报的测量结果。因此，不能从0.541的成功率推导成本优势、延迟改善或生产收益。可靠的结论应限于这里实际报告的训练流程、ShoppingBench评估、消融结果以及IFEval分数变化。

综合来看，该案例不是一个关于所有蒸馏系统的普遍结论，而是一个边界明确的实验记录。它显示Qwen3.5-4B学生如何从GLM-5.3产生并经筛选的成功轨迹中学习，也显示完整教师推理相较仅有工具调用带来的结果差异。它同时保留了必要的限制：任务质量数字来自单次运行，运行之间可能波动，而且目标任务表现必须与IFEval上的下降一并解读。