近日,FlexPrefill技术通过动态调整稀疏注意力模式和计算预算,显著提升了大型语言模型(LLM)的推理效率。该技术通过查询感知模式确定和累积注意力索引选择,优化了长序列处理的速度和准确性。FlexPrefill的核心在...
Read More大多数文本到图像生成模型依赖于从网络上抓取的大量自定义数据。然而,一项最新研究探讨了仅使用ImageNet数据集训练图像生成模型的可能性。研究发现,通过合成生成的密集标注(dense captions)能够显著提升模型性能...
Read More近日,DeepSeek在GitHub上发布了名为DualPipe的开源项目,展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略,旨在优化模型的计算与通信重叠,从而显著提升整体性能。这一策略通过高效的...
Read More微软近日发布了两款全新的开源语言模型Phi-4-mini和Phi-4-multimodal,这两款模型在硬件效率和多模态处理方面表现出色。其中,Phi-4-mini拥有38亿参数,专注于文本任务;而Phi-4-multimodal则具备56亿参数,能够处理...
Read MoreAllen AI近日宣布,其通过持续微调Qwen VL模型,成功训练出一款强大的PDF文本提取工具——OlmOCR。该模型基于超过20万份PDF文档进行训练,能够高效、精准地提取PDF中的文本内容。OlmOCR的推出标志着PDF文本提取技术的...
Read More近日,一项名为Light Thinker的技术引起了广泛关注。该技术旨在将冗长的推理轨迹压缩为更小、更紧凑的表示形式,从而节省上下文空间,同时仍能有效引导模型。这一创新不仅提升了模型的效率,还为处理复杂任务时的资...
Read More近日,OmniServe发布了一个全新的统一框架,旨在优化大规模LLM(大语言模型)的部署效率。该框架结合了低比特量化和稀疏注意力机制等创新技术,显著提升了模型推理速度并降低了成本。通过低比特量化,OmniServe能够...
Read More近日,首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练,架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性,显著提升了训练效...
Read More