DeepSeek最新研究论文《Inference-Time Scaling for Generalist Reward Modeling》提出了一种创新方法，通过推理时缩放技术优化奖励模型，从而引导更强大的推理模型生成。该技术标志着这家中国初创公司的一项战略布...

近期，一项名为reWordBench的研究揭示了当前流行的奖励模型在面对提示词（prompt）的简单重述时表现出的脆弱性。该研究不仅提出了一个基准测试，还探讨了一种潜在的策略，以增强这些模型的鲁棒性。奖励模型在人工智...

近日，一项关于LLM（大语言模型）自我奖励推理的研究引起了广泛关注。该研究提出了一种创新的两阶段训练框架，使模型能够独立生成推理步骤、自我评估正确性，并在无需外部反馈的情况下迭代优化输出。这一框架结合了...

Distilabel是为AI工程师设计的框架，使用人类反馈的强化学习方法（例如奖励模型和DPO）对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集，清洗和训练。

奖励模型在RLHF中用于表示人类偏好，尽管被对齐的模型通常“破解奖励”并实现不利的性能。通过合并多个奖励模型，这些模型保持线性模式连接，得到的对齐模型被79％的人更喜欢，而不是一个对齐单一奖励模型的模型。模型...

伯克利的一组研究人员使用合成偏好数据训练了一个新的最先进的7B参数模型。本文讨论了训练奖励模型的新挑战（例如，示例在列表中的位置会改变其排名）以及他们如何克服这些挑战。结果模型可与经过训练的奖励模型一起...

利用RL调整语言模型正逐渐成为模型部署流程中的标准步骤。现在，这将通过扩散模型以及DRLX的发布变得更加容易，DRLX允许用户指定奖励模型或使用预定义的模型。扩散模型通过简化了RL在语言模型调整中的实现，为AI技术...

人类反馈在改善语言模型对齐和整体性能方面扮演着关键角色。然而，使用近端策略优化进行训练的过程中存在一些挑战。最近的研究表明，可以直接针对人类偏好进行优化，从而绕过奖励模型。借助基于文本的强化学习，你可...