论文推荐| Z.ai提出SAO：单次展开异步优化，稳定训练千步，超越GRPO并已部署于GLM-5.2

在大语言模型后训练中，强化学习正变得愈发关键，但面向长周期智能体任务时，传统同步、批次交替的RL流程效率低下。异步强化学习通过随到随更新的方式提升了效率，然而现有系统多偏重吞吐量，训练稳定性和任务有效性仍未被充分探索，特别是广泛使用的GRPO框架中分组采样难以天然适配异步训练。对此，Z.ai团队提出了单次展开异步优化SAO，用“每个提示仅使用一次展开”替代分组采样，以降低离策略影响并改善泛化，同时配套价值模型训练设计。为进一步稳定优化，引入严格的双边Token级裁剪策略。SAO能够在长达一千步的训练中保持稳定，在SWE-Bench Verified、BeyondAIME、IMOAnswerBench等智能体编码和推理基准上持续超越GRPO及其变体。研究还表明，单次展开RL在模拟在线学习环境中表现尤为突出，模型能够自适应持续变化的环境。SAO已成功集成到智谱GLM-5.2（750B-A40B）的异步强化学习训练管线中，为大规模智能体模型的高效稳定训练提供了可行方案。