Meta Superintelligence Labs于arXiv发布编号2509.01092的首篇论文，引发学术社区高度关注。该研究并未延续当前大模型参数规模竞赛的常规路径，而是聚焦于注意力机制的基础架构创新。论文提出了一种名为"动态稀疏注...

近日，信息检索领域迎来突破性进展——基于生成式模型的上下文排序（ICR）技术实现规模化应用。传统ICR方法通过将任务描述、候选文档和查询直接输入大语言模型（LLM）来识别相关文档，虽效果显著但存在计算效率瓶颈：...

深度求索公司最新推出的DeepSeek-V3.2-Exp模型引入了创新的稀疏注意力机制，这一技术突破专门针对长上下文序列的训练和推理效率进行了深度优化。该机制通过智能选择关键注意力区域，显著降低了计算复杂度，使得模型...

阿里巴巴正式推出通义千问Qwen3-Omni系列开源人工智能模型，该模型实现了对文本、音频、图像和视频四类模态数据的统一处理能力，并能同步生成文本与语音输出。作为中国科技企业对抗美国科技巨头的重要技术突破，Qwen...

RustGPT是一项具有里程碑意义的开源项目，它首次实现了完全基于Rust编程语言的大型语言模型（LLM）开发，不依赖任何外部机器学习框架。该项目采用纯Rust代码构建，仅使用ndarray库进行矩阵运算，彻底摆脱了对PyTorch...

作为图神经网络（GNN）的共同创建者，斯坦福大学背景的专家最新指出，图Transformer正在成为结构化数据处理的新范式。该技术通过注意力机制替代传统消息传递方式，能够更有效地建模关系型数据中隐含的图结构。企业核...

近日，一项名为《Writing Speed-of-Light Flash Attention for 5090 in CUDA C++》的技术研究引发广泛关注。该研究通过CUDA C++实现了针对5090硬件的光速级Flash Attention算法，显著提升了注意力机制的计算效率。Fl...

一项名为“Power”注意力的创新技术通过引入超参数p，实现了对状态大小的独立控制，有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力，并支持定制GPU内核，在64k上下文长度下速度...