近日，DeepSeek在GitHub上发布了名为DualPipe的开源项目，展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略，旨在优化模型的计算与通信重叠，从而显著提升整体性能。这一策略通过高效的...

近期，DeepScaleR的研究成果引起了广泛关注。该研究通过扩展强化学习（RL）训练，成功开发出一款1.5B参数的模型，其性能超越了O1-Preview。研究团队采用了一种独特的方法，即在RL训练过程中逐步增加上下文长度，从而...

近日，一项研究提出了一种创新方法，通过无数据余弦相似度技术追踪稀疏自编码器在大型语言模型（LLM）连续层中发现的特征演化过程。该方法能够映射特征的持久性、转换和涌现，生成跨层特征图。研究表明，这些特征图...

近日，GitHub Gist上发布了一个关于Llama推理模型的最小化工作复现版本。该模型最初由OpenAI提出，并由DeepSeek发布。该模型通过数学问题的格式和正确性奖励进行训练，展示了在长时间训练后出现的“顿悟”时刻。这一进...

近日，一项新的LLM（大型语言模型）优化技术在人工智能领域引起了广泛关注。这项技术通过在模型架构和训练算法上的创新，实现了对LLM内存消耗的显著降低，从而大幅度减少了模型部署和运行的成本。具体来说，这项技术...

近期研究表明，通过强化学习可以有效地训练语言模型，使其具备自我纠错的能力。这一方法不仅提升了模型的准确性，还增强了其处理复杂任务的灵活性。强化学习的应用使得语言模型在面对错误时能够自我识别并进行调整，...

在众多的模型中，大多数都不能遵循长度要求，例如少于40个词。然而，最近的研究显示，我们可以通过调优使它们达到这样的要求。这项工作的关键在于调整模型的参数，使其能够根据要求生成特定长度的输出。这一发现可能...

DeepSeek-VL 是一个专注于现实世界应用的全新开源视觉语言模型。该模型特别针对多样化的数据进行了优化，包括来自网页截图、图表以及 OCR（光学字符识别）数据的处理。DeepSeek-VL 的设计目标是提高在复杂和多样化数...