12百万token上下文窗口被打破：Subquadratic发布超长上下文AI模型

上下文窗口的大小一直是大型语言模型在处理长文本任务时的关键瓶颈。近日，初创公司Subquadratic宣布推出一款全新的AI模型，其上下文窗口达到了惊人的1200万token（约合1200万个单词或代码标记），远超过当前主流模型。根据官方披露的基准测试结果，该模型在检索任务上的表现甚至超越了传闻中的GPT-5.5。传统Transformer架构中，注意力机制的计算复杂度与上下文长度呈二次方关系，意味着输入长度翻倍会导致计算量激增至四倍，这极大地限制了模型处理超长文档、代码库或历史对话的能力。Subquadratic声称已通过创新的算法优化解决了这一根本性问题，使得模型在维持高推理质量的同时，能够高效处理海量信息。更令人关注的是，该公司还计划在近期推出一个拥有5000万token上下文窗口的模型，如果实现，将有可能彻底改变AI在科学研究、法律文档分析、代码库管理以及长视频理解等领域的应用范式。这一突破性进展标志着AI技术在处理复杂、长序列任务方面迈出了关键一步。