最新发表于arXiv的研究表明,通过在训练前随机剪除固定比例的权重参数,稀疏深度强化学习(DRL)网络展现出显著的参数效率优势。该方法不仅减少了模型复杂度,还成功规避了传统训练过程中常见的优化陷阱。这种一次性剪...
Read More强化学习(RL)作为一种让AI模型通过试错而非简单模仿人类示例进行学习的技术,正展现出其在复杂任务处理中的独特优势。最新行业动态显示,科技公司正在采用两种创新方法大幅扩展训练数据规模:一是利用AI模型相互评...
Read More近日,Moonshot AI推出的Kimi-Dev-72B开源模型在SWE-bench Verified测试中取得了60.4%的优异成绩,成为当前开源模型中的新标杆。这一突破性成果得益于其采用的大规模强化学习技术,该技术通过在Docker环境中直接修补...
Read MoreTreeRL是一种创新的语言模型训练方法,通过结合on-policy树搜索和中间监督机制,实现了无需单独奖励模型的LLM训练。这一技术突破来自最新arXiv论文,相比传统的ChainRL方法,TreeRL在数学推理和代码生成等复杂任务上...
Read More斯坦福大学研究团队提出突破性框架SEAL(Self-Adapting LLMs),首次实现大型语言模型的自主适应性进化。传统LLM虽功能强大但参数固化,SEAL通过生成自我微调数据和更新指令,使模型能根据新任务、知识或案例动态调...
Read More强化学习预训练(Reinforcement Pre-Training, RPT)作为大语言模型(LLM)与强化学习(RL)协同进化的前沿技术,提出了一种革命性的规模化训练范式。该技术通过创新性地利用海量文本数据进行通用强化学习预训练,在...
Read MoreOpenAI最新发布的Cookbook教程详细介绍了如何通过强化微调技术(RFT)提升o4-mini模型在医疗任务中的表现。该教程不仅涵盖了技术实现步骤,还重点探讨了如何应对奖励机制滥用(reward hacking)和模型评分不准确等关...
Read MoreGitHub开源项目ConvSearch-R1提出了一种创新的自监督对话搜索技术,通过强化学习和基于检索的奖励机制,实现了无需外部监督的对话查询重构。该技术利用强化学习框架,将用户对话中的模糊查询自动转化为精准的搜索语...
Read More