近日，一项名为《Writing Speed-of-Light Flash Attention for 5090 in CUDA C++》的技术研究引发广泛关注。该研究通过CUDA C++实现了针对5090硬件的光速级Flash Attention算法，显著提升了注意力机制的计算效率。Fl...

一项名为“Power”注意力的创新技术通过引入超参数p，实现了对状态大小的独立控制，有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力，并支持定制GPU内核，在64k上下文长度下速度...

强化学习（RL）作为一种让AI模型通过试错而非简单模仿人类示例进行学习的技术，正展现出其在复杂任务处理中的独特优势。最新行业动态显示，科技公司正在采用两种创新方法大幅扩展训练数据规模：一是利用AI模型相互评...

上海科研团队最新发布的DiTorch和DiComm技术框架，突破了AI训练对同构硬件的依赖。该创新通过统一编程接口整合NVIDIA、AMD等异构芯片架构，在1,024块规格差异显著的芯片集群上训练千亿参数模型时实现116%的超线性效...

Meta研究团队最新提出的零样本嫁接（zero-shot grafting）方法，通过从大型语言模型（LLM）的浅层中提取小型代理模型来训练视觉编码器，实现了视觉语言模型（VLM）训练成本降低约45%的突破。该技术不仅显著降低了计...

Video-R1项目提出了一种创新的基于规则的强化学习（RL）方法，专门用于视频推理任务。该方法采用了GRPO（Generalized Reinforcement Learning with Policy Optimization）的时间变体，并引入了新的数据集来支持训练...

在最新的研究进展中，科学家提出了一种广义离散扩散方法，该方法显著改进了在文本等离散数据上的扩散过程。这一创新通过引入一种广义的去噪过程和略微改进的掩码方案，使得训练过程更加高效，并赋予了模型自我校正输...

近日，一项名为TREAD（Token Routing for Efficient Architecture-agnostic Diffusion Training）的新技术引起了广泛关注。该技术通过创新的Token Routing机制，显著提升了扩散模型（Diffusion Models）的样本效率，...