微软DeepSpeed团队在GitHub开源了DeepCompile项目，通过引入编译技术显著提升分布式训练性能。该项目针对训练过程中的瓶颈操作进行深度优化，采用改进版的torch compile实现算子融合与代码生成，实测可使关键操作获...

AllenAI最新推出的Data Decide工具为预训练过程中的数据筛选提供了创新解决方案。这一框架能够帮助研究人员和开发者更科学地评估和选择预训练数据，显著提升模型训练效率和质量。该工具通过系统化的评估指标，量化不...

DeepSeek最新发布的V3-0324模型在多个基准测试中表现优异，全面超越GPT 4.5，展现出显著的性能提升。这一新模型的推出不仅标志着DeepSeek在人工智能领域的技术突破，也为行业带来了新的技术标杆。V3-0324在自然语言...

MaTVLM是一个创新的混合视觉语言模型，通过将Mamba-2层集成到预训练的视觉语言模型（VLM）中，显著提升了其收敛速度与整体性能。这一技术突破不仅在学术界引起了广泛关注，也为工业界的应用带来了新的可能性。视觉语...

DeepMind近日发布了一篇详细介绍DiLoCo跨数据中心训练算法扩展定律的论文。DiLoCo是一种强大的训练算法，能够在全球范围内同步梯度，确保模型训练的稳定性。该算法通过在多个数据中心之间进行分布式训练，有效提升了...

Transformer模型在自然语言处理和其他领域取得了显著的成功，而其核心之一是层归一化（Layer Normalization）。然而，最新的研究提出了一种替代方案：通过精心设计的tanh函数，可以在不依赖层归一化的情况下保持模型...

近日，分布式计算公司Prime Intellect宣布成功完成1500万美元的融资。此次融资将用于进一步推动其分布式训练方案的发展。Prime Intellect致力于通过分布式计算技术优化大规模数据处理和模型训练的效率，其独特的分布...

Google Cloud近日发布了由Nvidia GB200 NVL72系统驱动的A4X虚拟机实例，该实例配备了72个B200 GPU和36个Grace CPU，专为大规模AI和高并发应用设计。A4X实例的训练效率是前代A3实例的四倍，并且与Google Cloud服务无...