一项名为“Power”注意力的创新技术通过引入超参数p，实现了对状态大小的独立控制，有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力，并支持定制GPU内核，在64k上下文长度下速度...

Google最新发布的Gemma 3n和MatFormer模型采用了创新的嵌套Transformer架构，通过Mix-n-Match技术实现弹性推理功能。该技术允许模型在运行时动态调整计算资源分配，显著提升推理效率并降低计算成本。本实践教程详细...

过去几年，AI行业一直遵循着类似摩尔定律的发展轨迹，即智能计算成本每年呈数量级下降，且每一代新模型不仅性能更强，运行成本也更低。然而，谷歌上周发布的Gemini 2.5 Flash模型打破了这一趋势——其输入token价格翻...

近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...

微软研究院最新提出的GUI-Actor技术，彻底改变了AI代理与图形用户界面（GUI）的交互方式。这项突破性技术摒弃了传统依赖像素坐标预测的方法，转而采用注意力机制直接解析屏幕截图内容，使AI能够像人类一样'理解'界面...

近日，一项名为Chain of Draft的创新推理策略在arXiv预印本平台引发关注。该技术通过精简推理路径设计，在保持与经典Chain-of-Thought方法相当甚至更高准确率的前提下，显著降低了大型语言模型的token消耗量。实验数...

近日，一项名为'Attention Distillation for Diffusion-Based Image Stylization'的技术在图像生成领域取得重要进展。该技术通过利用预训练扩散模型中的自注意力特征，创新性地引入了注意力蒸馏损失函数，有效优化了...

联邦学习领域迎来突破性进展，FUSED（Federated Unlearning with Sparse Efficient Deletion）系统通过创新的稀疏遗忘适配器技术，首次实现了联邦学习环境下的定向知识擦除与可逆操作。该技术通过在模型微调层植入轻...