开源|推理预填充实验：Qwen3.8 A95B在GPT-5.5 Pro轨迹注入下重叠增幅最大
talkingdev • 2026-09-10
3196 views
一项针对开源模型推理通道的预填充实验引发关注。研究者将GPT-5.5 Pro推理轨迹的开头部分作为预填充内容，注入多个开源模型的推理过程，再测量模型输出与教师模型可见答案的重叠程度。结果显示，Qwen3.8 A95B的重叠增幅最大，这一异常信号暗示其可能在训练阶段接触过GPT-5.5 Pro或与之高度相关的模型输出。该实验并非直接证明数据蒸馏，但为开源模型与前沿闭源系统之间的能力迁移提供了可观测线索。若此类推理轨迹被用于合成训练数据，可能涉及数据来源合规与模型溯源问题。在开源社区越来越依赖强模型生成数据进行微调的趋势下，这类分析有助于识别模型间的隐性依赖，推动更透明的模型训练与评估规范。
核心要点
- 实验将GPT-5.5 Pro推理轨迹开头作为预填充，注入开源模型推理通道并测量答案重叠度。
- Qwen3.8 A95B的重叠增幅在多个开源模型中最大，显示其可能学习过GPT-5.5 Pro相关输出。
- 该结果引发对开源模型训练数据溯源及强模型推理轨迹蒸馏合规性的讨论。