英伟达实验室（NVIDIA Research）正式推出SANA-Video 2.0，一套面向长视频和高分辨率生成的最新模型方案。该方法在架构上融合了线性注意力（linear attention）与周期性softmax层，一改传统自注意力机制在长序列下的...

知名开发者Giles Thomas在其技术博客中发表了《从零构建大型语言模型》系列的第13篇文章，深入探讨了Transformer架构中注意力机制的核心原理。文章通过逆向工程视角指出，传统认知中复杂的注意力头（attention heads...

深度学习中的SiLU和SoftMax函数在许多任务中都是必不可少的，但它们的计算成本很高。为了改进这一点，来自华盛顿大学的研究人员提出了两个新的指数函数，可以将它们的速度提高2倍，同时完全保持准确性。这些函数分别...