Meta Superintelligence Labs于arXiv发布编号2509.01092的首篇论文，引发学术社区高度关注。该研究并未延续当前大模型参数规模竞赛的常规路径，而是聚焦于注意力机制的基础架构创新。论文提出了一种名为"动态稀疏注...

深度求索公司最新推出的DeepSeek-V3.2-Exp模型引入了创新的稀疏注意力机制，这一技术突破专门针对长上下文序列的训练和推理效率进行了深度优化。该机制通过智能选择关键注意力区域，显著降低了计算复杂度，使得模型...

人工智能公司MiniMax在GitHub开源了其4560亿参数规模的推理模型M1，该模型采用创新的混合专家架构（MoE）并引入'闪电注意力'技术，实现百万token级别的超长上下文处理能力（相当于DeepSeek R1的8倍）。特别值得注意...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

LLaVA-STF项目通过创新的相邻令牌合并技术和多区块令牌融合模块，成功将视觉令牌序列压缩75%，显著提升了多模态推理效率。该技术突破性地解决了视觉语言模型中长序列处理带来的计算资源消耗问题，通过动态合并语义相...

Nebius近日开源了Kvax项目，这是一个基于JAX框架的Flash Attention实现，专门针对长上下文训练场景进行了优化。Kvax通过创新的上下文并行技术和高效的文档掩码计算，实现了更快的训练速度和更高的数据密度压缩，在性...

近日，FlexPrefill技术通过动态调整稀疏注意力模式和计算预算，显著提升了大型语言模型（LLM）的推理效率。该技术通过查询感知模式确定和累积注意力索引选择，优化了长序列处理的速度和准确性。FlexPrefill的核心在...