强化学习预训练（Reinforcement Pre-Training, RPT）作为大语言模型（LLM）与强化学习（RL）协同进化的前沿技术，提出了一种革命性的规模化训练范式。该技术通过创新性地利用海量文本数据进行通用强化学习预训练，在...

Open Hands团队最新发布的32B参数代码模型（Open Hands LM-32B）在强化学习（RL）训练框架下，基于Qwen架构实现了突破性进展。该模型在代理编码任务（agentic coding tasks）中的表现已超越许多参数规模更大的竞品，...

ReaLHF是一个创新的系统，通过在训练过程中动态重新分配参数并优化并行化，提升了人类反馈的强化学习（RLHF）的效率。这一技术的主要特点在于，它可以根据训练的实际需求，灵活调整系统参数和并行化优化策略，从而实...

ReaLHF是一种全新的系统，它通过在训练过程中动态地重新分配参数和优化并行化，以提高来自人类反馈的强化学习（RLHF）的效率。ReaLHF通过创新的技术手段，实现了动态参数分配和并行化优化，从而达到了提高训练效率的...

近日，GitHub上有一个新的仓库OpenRLHF发布了。这是一个基于Ray的RLHF实现，专为Llama样式模型设计。该仓库集成了多种PPO稳定技巧，以提高性能。Ray是一款新型的分布式计算框架，它具有高效、易用等特点，支持快速构...

奖励模型在RLHF中用于表示人类偏好，尽管被对齐的模型通常“破解奖励”并实现不利的性能。通过合并多个奖励模型，这些模型保持线性模式连接，得到的对齐模型被79％的人更喜欢，而不是一个对齐单一奖励模型的模型。模型...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。

Pykoi是一个开源的Python库，旨在通过RLHF（Reinforcement Learning with Hamiltonian Flows）提高LLMs（Latent Linear Models）的性能。Pykoi是一个基于TensorFlow 2的库，提供了一系列的LLMs和RLHF的实现，可以直...