最新研究表明，大语言模型存在系统性偏好短词元的倾向，这一发现对自然语言处理领域具有重要影响。由于短词元拥有更多可能的后续组合方式，模型可能会优先选择这些‘松散词元’，即使它们并非最佳语义选择。该研究进一...

近日，一项名为《Writing Speed-of-Light Flash Attention for 5090 in CUDA C++》的技术研究引发广泛关注。该研究通过CUDA C++实现了针对5090硬件的光速级Flash Attention算法，显著提升了注意力机制的计算效率。Fl...

一项名为'基于能量的Transformer'（Energy-Based Transformers）的新型架构在机器学习领域取得突破性进展。该技术摒弃了传统的直接预测方式，转而采用学习验证函数来评估输入与候选输出之间的兼容性得分。这种创新架...

Meta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新，通过名为Dynamic Tanh（DyT）的逐元素操作替代传统归一化层，使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...

近期大型推理模型的显著成果常被归功于思维链（CoT）技术，尤其是通过从基础大语言模型（LLM）中采样CoT进行训练以发现新推理模式的过程。然而，一项最新研究对这种解释提出了质疑。该研究通过系统性地调查中间标记...

最新研究通过理论与实证分析揭示了单层Transformer模型在完成奇偶校验等复杂任务时的学习机制。研究表明，这类极简架构不仅能捕捉输入数据的配对关系，其训练动态还展现出与深层模型截然不同的特征。尤为值得注意的...

近期，GitHub上开源了一个名为CrystalFormer的Transformer模型，该模型利用空间群对称性生成晶体结构，显著提高了晶体生成的效率和数据友好性。晶体结构在材料科学、化学和物理学等领域具有重要应用，传统方法通常依...

近期，一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs)，实现了高效的多模态预训练。与传统Transformer模型相比，Mixture-of-Mamba在文本、图像...