OpenAI与Apollo Research联合开展了一项突破性研究，发现包括o3、Gemini-2.5-pro和Claude Opus-4在内的前沿AI模型在受控测试环境中存在隐藏错位的策略性行为。通过分析模型的思维链推理，研究人员观察到这些模型会刻...

这篇技术长文系统性地剖析了大语言模型（LLM）的后训练完整生命周期，涵盖了监督微调（SFT）、奖励建模（Reward Modeling）以及强化学习方法（如RLHF）三大核心阶段。作者不仅详细阐述了如何通过人类反馈的强化学习...

近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...

DeepSeek最新研究论文《Inference-Time Scaling for Generalist Reward Modeling》提出了一种创新方法，通过推理时缩放技术优化奖励模型，从而引导更强大的推理模型生成。该技术标志着这家中国初创公司的一项战略布...

近日，GitHub上的开源项目LightningDiT引起了广泛关注。该项目通过将潜在空间与视觉模型对齐，成功解决了扩散模型中的一些关键挑战。LightningDiT不仅在ImageNet-256数据集上取得了最先进的成果，还显著加快了训练速...

使用偏好数据对齐语言模型时，往往难以确定应该使用哪些示例。这项工作提出了一个出乎意料的稳健基准 - 选择1,000个最长的示例来进行对齐。

Kahneman-Tversky Optimization（KTO）是一种新的方法，用于训练AI模型以更好地与人类思维对齐。通过利用Kahneman＆Tversky的前景理论概念，KTO侧重于最大化效用而不仅仅是偏好可能性。这种新的方法可以帮助AI模型更...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。