Hugging Face 团队近日发布了其 DeepSeek 推理模型的开源复制项目 OpenR1 的最新更新。此次更新揭示了一个有趣的发现：当针对竞争性编程进行专门调优时，小型模型的表现可以超越更大规模的模型。这一发现不仅挑战了...

Qwen团队近日发布了一款名为QwQ 32B的开源推理模型，该模型基于Apache 2.0许可证，性能与DeepSeek R1相当，甚至优于许多更大的蒸馏模型。团队通过结合基于结果的奖励机制、形式化验证和测试用例检查，使模型在数学和...

近日，DeepSeek在GitHub上发布了名为DualPipe的开源项目，展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略，旨在优化模型的计算与通信重叠，从而显著提升整体性能。这一策略通过高效的...

近期，一项针对OpenAI的o1/o3和DeepSeek的R1等推理型LLM的研究揭示了这些模型在逐步逻辑推理能力方面的表现。研究通过对比人类认知能力，对这些模型进行了基准测试。结果显示，尽管LLM在复杂任务中表现出色，但在需...

科技界瞩目的人工智能公司DeepSeek正加快步伐，提前推出其备受期待的R2模型。原先计划于5月初发布R2模型的DeepSeek，现决定提前发布日期。新一代R2模型有望在编码技能上有所提升，并且能够处理除英语外的其他语言。...

近日，DeepSeek宣布开源其内部基础设施的一部分，首推MLA（机器学习加速）核心框架FlashMLA。这一开源项目已在GitHub上发布，旨在为开发者提供高效、灵活的机器学习加速工具。FlashMLA通过优化计算资源分配和任务调...

近日，DeepSeek NSA论文因其可扩展且高效的长上下文注意力算法引发了广泛关注。然而，该论文并未提供相关代码。为此，一项基于Triton的实现应运而生，该实现可无缝集成到任何PyTorch代码库中。Triton作为一种高效的G...

近日，首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练，架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性，显著提升了训练效...