注意力残差：重新思考深度聚合，Moonshot AI提出新架构提升模型性能

在深度学习领域，残差连接（Residual Connections）是构建深层神经网络的关键技术，它通过将浅层特征直接传递到深层，有效缓解了梯度消失问题。然而，传统的残差连接通常采用固定、均匀的累加方式，这可能限制了模型对复杂特征的表征能力。近日，来自Moonshot AI的研究者提出了一种名为“注意力残差”（Attention Residuals）的创新方法，旨在从根本上重新思考深度方向的聚合机制。该方法的核心思想是，用学习到的、依赖于输入的注意力机制，取代标准的深度递归累加。这使得网络能够根据当前输入，有选择性地检索和整合来自前面各层的表征，从而自然地缓解了信息在深度传递过程中的稀释问题，并控制了隐藏状态的过度增长。这一设计已在Kimi Linear架构上得到验证，实验结果表明，注意力残差能够为下游任务带来持续的性能提升。这项研究为神经网络架构设计提供了新的思路，有望推动更高效、更灵活的模型发展，在自然语言处理、计算机视觉等前沿领域具有潜在的应用价值。