英伟达实验室（NVIDIA Research）正式推出SANA-Video 2.0，一套面向长视频和高分辨率生成的最新模型方案。该方法在架构上融合了线性注意力（linear attention）与周期性softmax层，一改传统自注意力机制在长序列下的...

专攻 AI 编码的初创公司 Poolside 在 Hugging Face 上正式发布了其最新大型语言模型 Laguna S 2.1。该模型采用混合专家架构，总参数量高达 1180 亿，但每个 token 仅激活其中 80 亿个参数，在保持强大能力的同时实现...

近日，AI2研究团队在Hugging Face博客上发布了DiScoFormer模型，这是一种基于Transformer架构的创新方法，能够在单次前向传播中同时完成数据的密度估计和得分函数估计，而无需针对新分布进行重新训练。与经典的核密...

大型语言模型（LLM）的核心架构是Transformer，它通过引入自注意力机制，从根本上解决了传统循环神经网络（RNN）在处理长序列数据时面临的顺序计算瓶颈与长距离信息衰减问题。本文深入剖析了Transformer的各个关键组...

在处理长文本或长时间序列时，标准Transformer模型的内存占用和计算复杂度会随序列长度平方级增长，并面临信息稀释问题。GitHub上最新开源的“Wall Attention”项目提出了一种极具创新性的注意力变体机制：通过引入带...

Anthropic发布了其名为“Project Glasswing”的最新研究进展，旨在提升人工智能系统的透明度和可解释性。该项目名称引用了一种蝴蝶的透明翅膀，象征着让AI模型内部运作变得更加清晰可见。此次更新是项目初期的阶段性汇...

艾伦人工智能研究所（Ai2）最新发布的OlmoEarth v1.1模型家族，在遥感智能分析领域实现了显著的成本突破。该系列模型通过创新的序列长度优化技术，将处理遥感数据的计算成本最高降低至原来的三分之一（即3倍效率提升...

上下文窗口的大小一直是大型语言模型在处理长文本任务时的关键瓶颈。近日，初创公司Subquadratic宣布推出一款全新的AI模型，其上下文窗口达到了惊人的1200万token（约合1200万个单词或代码标记），远超过当前主流模...