人工智能公司Thinking Machines正式发布了其首个开放权重模型Inkling。这是一个参数规模高达9750亿的混合专家（Mixture-of-Experts）Transformer模型，原生支持文本、图像和音频的多模态输入与理解。Inkling最引人注...

近日，AI2研究团队在Hugging Face博客上发布了DiScoFormer模型，这是一种基于Transformer架构的创新方法，能够在单次前向传播中同时完成数据的密度估计和得分函数估计，而无需针对新分布进行重新训练。与经典的核密...

人工智能领域正经历一场深刻的架构变革，从封闭的垂直集成系统向由标准化接口（如Transformer架构和推理API）支撑的模块化生态系统演进。这种架构上的解构使得开源权重模型能够与封闭系统有效竞争，大幅降低成本，同...

近日，Liquid AI宣布推出其最新基础模型LFM2.5-230M，这是一款参数规模仅为2.3亿的非Transformer架构模型。与当前主流的Transformer模型不同，LFM2.5-230M基于状态空间模型与液态神经网络连续时间公式构建。尽管体积...

大型语言模型（LLM）的核心架构是Transformer，它通过引入自注意力机制，从根本上解决了传统循环神经网络（RNN）在处理长序列数据时面临的顺序计算瓶颈与长距离信息衰减问题。本文深入剖析了Transformer的各个关键组...

在人工智能顶级会议ICLR 2026上，一篇题为《Transformer are inherently succinct》的论文被评选为三篇杰出论文之一。该研究从理论层面深入论证了Transformer架构在本质上具有简洁性（succinctness），即模型能够在...

在处理长文本或长时间序列时，标准Transformer模型的内存占用和计算复杂度会随序列长度平方级增长，并面临信息稀释问题。GitHub上最新开源的“Wall Attention”项目提出了一种极具创新性的注意力变体机制：通过引入带...

英伟达今日正式发布Cosmos 3，这是一款面向物理AI的开源世界基础模型，标志着AI在理解与生成物理世界能力上的重大突破。Cosmos 3采用了创新的混合专家变换器（Mixture-of-Transformers）架构，将视觉推理、世界生成...