Transformer模型在自然语言处理和其他领域取得了显著的成功，而其核心之一是层归一化（Layer Normalization）。然而，最新的研究提出了一种替代方案：通过精心设计的tanh函数，可以在不依赖层归一化的情况下保持模型...

近日，分布式计算公司Prime Intellect宣布成功完成1500万美元的融资。此次融资将用于进一步推动其分布式训练方案的发展。Prime Intellect致力于通过分布式计算技术优化大规模数据处理和模型训练的效率，其独特的分布...

Google Cloud近日发布了由Nvidia GB200 NVL72系统驱动的A4X虚拟机实例，该实例配备了72个B200 GPU和36个Grace CPU，专为大规模AI和高并发应用设计。A4X实例的训练效率是前代A3实例的四倍，并且与Google Cloud服务无...

近日，首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练，架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性，显著提升了训练效...

近日，一项名为Model-Guidance（MG）的技术在扩散模型训练领域取得了突破性进展。该技术通过引入后验概率优化目标，显著提升了扩散模型的训练速度和推理效率。实验结果显示，采用MG技术的扩散模型在ImageNet 256基准...

近日，一项创新的研究展示了使用3D Gaussian Splats渲染的逼真环境来训练端到端驾驶强化学习（RL）模型的潜力。该研究通过构建高度真实的虚拟驾驶场景，显著提升了模型的训练效果。实验结果表明，与传统方法相比，采...

AlphaProof自成立以来，一直致力于技术创新与突破。在近期发布的年度技术精选中，AlphaProof回顾了过去一年内最具代表性的技术成就。从人工智能领域的LLM（大型语言模型）到LoRA（低秩适应）技术，AlphaProof在多个...

研究人员提出了针对大型语言模型（LLMs）的补丁级别训练，以提高训练效率。补丁级别训练是一种新的技术，目的是优化大型语言模型的处理能力。这种方法通过在训练过程中引入更精细的补丁级别，提高了模型的训练效率，...