DeepSeek研究团队以DeepSeek-V3为案例，分享了大型语言模型（LLM）训练中的硬件-模型协同设计创新成果。该研究通过多头部潜在注意力机制（Multi-head Latent Attention）、专家混合系统（Mixture of Experts）、FP8...

知名开发者Giles Thomas在其技术博客中发表了《从零构建大型语言模型》系列的第13篇文章，深入探讨了Transformer架构中注意力机制的核心原理。文章通过逆向工程视角指出，传统认知中复杂的注意力头（attention heads...

近日，一项名为'Attention Distillation for Diffusion-Based Image Stylization'的技术在图像生成领域取得重要进展。该技术通过利用预训练扩散模型中的自注意力特征，创新性地引入了注意力蒸馏损失函数，有效优化了...

清华大学知识工程组（KEG）与智谱AI联合推出的CogView 4最新一代生成式图像模型近日在Hugging Face平台正式发布。作为采用宽松许可协议的开源项目，该模型在图像质量、生成效率和多模态理解等核心指标上显著超越当前...

IBM研究院近日推出开源大语言模型Bamba，该模型创新性地结合了Transformer架构的序列建模能力和状态空间模型（SSM）的推理速度优势。作为IBM Granite系列模型的技术前导，Bamba通过注意力机制与状态空间方程的混合设...

随着人工智能模型复杂度呈指数级增长，可解释性研究已成为保障AI系统安全可靠的核心议题。斯坦福大学研究员Dario Amodei在最新论述中指出，当前Transformer架构的参数量已突破万亿级别，但决策黑箱问题导致医疗诊断...

本文深入探讨了图Transformer这一新兴技术架构，及其与图神经网络(GNN)的对比关系。作为图表示学习领域的最新进展，图Transformer通过自注意力机制直接建模图中节点间的全局依赖关系，突破了传统GNN基于局部邻域聚合...

GitHub开源项目Object Counting提出了一种突破性的全自动零样本物体计数方法，该方法通过融合深度特征图与自注意力机制，在FSC147数据集上实现了当前最先进的计数精度。该技术的核心创新在于：1）利用预训练视觉模型...