漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-03-04 talkingdev

FlexPrefill推出动态稀疏注意力机制,提升LLM长序列处理效率

近日,FlexPrefill技术通过动态调整稀疏注意力模式和计算预算,显著提升了大型语言模型(LLM)的推理效率。该技术通过查询感知模式确定和累积注意力索引选择,优化了长序列处理的速度和准确性。FlexPrefill的核心在...

Read More
2025-03-04 talkingdev

ImageNet在文本到图像生成中的潜力探索

大多数文本到图像生成模型依赖于从网络上抓取的大量自定义数据。然而,一项最新研究探讨了仅使用ImageNet数据集训练图像生成模型的可能性。研究发现,通过合成生成的密集标注(dense captions)能够显著提升模型性能...

Read More
2025-02-28 talkingdev

DeepSeek开源DualPipe:创新并行策略提升模型计算与通信效率

近日,DeepSeek在GitHub上发布了名为DualPipe的开源项目,展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略,旨在优化模型的计算与通信重叠,从而显著提升整体性能。这一策略通过高效的...

Read More
2025-02-27 talkingdev

微软发布全新Phi模型,专为多模态处理优化

微软近日发布了两款全新的开源语言模型Phi-4-mini和Phi-4-multimodal,这两款模型在硬件效率和多模态处理方面表现出色。其中,Phi-4-mini拥有38亿参数,专注于文本任务;而Phi-4-multimodal则具备56亿参数,能够处理...

Read More
2025-02-27 talkingdev

Allen AI推出OlmOCR:基于Qwen VL的PDF文本提取新突破

Allen AI近日宣布,其通过持续微调Qwen VL模型,成功训练出一款强大的PDF文本提取工具——OlmOCR。该模型基于超过20万份PDF文档进行训练,能够高效、精准地提取PDF中的文本内容。OlmOCR的推出标志着PDF文本提取技术的...

Read More
2025-02-25 talkingdev

Light Thinker:压缩推理轨迹以节省上下文空间

近日,一项名为Light Thinker的技术引起了广泛关注。该技术旨在将冗长的推理轨迹压缩为更小、更紧凑的表示形式,从而节省上下文空间,同时仍能有效引导模型。这一创新不仅提升了模型的效率,还为处理复杂任务时的资...

Read More
2025-02-24 talkingdev

OmniServe框架开源,助力大规模LLM高效部署

近日,OmniServe发布了一个全新的统一框架,旨在优化大规模LLM(大语言模型)的部署效率。该框架结合了低比特量化和稀疏注意力机制等创新技术,显著提升了模型推理速度并降低了成本。通过低比特量化,OmniServe能够...

Read More
2025-02-24 talkingdev

首个基于Muon优化器训练的大规模模型Moonlight 16B发布

近日,首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练,架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性,显著提升了训练效...

Read More
  1. Prev Page
  2. 7
  3. 8
  4. 9
  5. Next Page