Midjourney近期发布了一项重要工作,旨在提升创意写作模型的多样性表现。该团队通过对一个较小的7B模型进行后训练,使其在创意写作任务中的表现超越了更大规模的开放和封闭模型。这一突破不仅展示了模型优化技术的潜...
Read MoreHugging Face 团队近日发布了其 DeepSeek 推理模型的开源复制项目 OpenR1 的最新更新。此次更新揭示了一个有趣的发现:当针对竞争性编程进行专门调优时,小型模型的表现可以超越更大规模的模型。这一发现不仅挑战了...
Read More近日,GitHub开源项目LM-Implicit-Reasoning引发了广泛关注。该研究深入探讨了语言模型在逐步隐式推理方面的表现,揭示了其在处理包含变量作为减数的表达式时的泛化能力不足的问题。语言模型在自然语言处理(NLP)领...
Read More近日,L-MAP技术在离线强化学习(Offline RL)领域取得了显著进展,特别是在处理随机、高维连续动作空间中的序列决策问题。L-MAP通过结合VQ-VAE模型,成功学习并优化了宏动作(macro-actions),从而显著提升了决策...
Read More近日,DeepSeek在GitHub上发布了名为DualPipe的开源项目,展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略,旨在优化模型的计算与通信重叠,从而显著提升整体性能。这一策略通过高效的...
Read More近期,DeepScaleR的研究成果引起了广泛关注。该研究通过扩展强化学习(RL)训练,成功开发出一款1.5B参数的模型,其性能超越了O1-Preview。研究团队采用了一种独特的方法,即在RL训练过程中逐步增加上下文长度,从而...
Read More近日,一项研究提出了一种创新方法,通过无数据余弦相似度技术追踪稀疏自编码器在大型语言模型(LLM)连续层中发现的特征演化过程。该方法能够映射特征的持久性、转换和涌现,生成跨层特征图。研究表明,这些特征图...
Read More近日,GitHub Gist上发布了一个关于Llama推理模型的最小化工作复现版本。该模型最初由OpenAI提出,并由DeepSeek发布。该模型通过数学问题的格式和正确性奖励进行训练,展示了在长时间训练后出现的“顿悟”时刻。这一进...
Read More