微软DeepSpeed团队在GitHub开源了DeepCompile项目，通过引入编译技术显著提升分布式训练性能。该项目针对训练过程中的瓶颈操作进行深度优化，采用改进版的torch compile实现算子融合与代码生成，实测可使关键操作获...

人工智能研究机构Prime Intellect近日取得重大突破，成功通过完全分布式的方式训练了一个参数量高达320亿（32B）的神经网络模型，并创新性地结合强化学习技术提升模型的推理能力。值得关注的是，该团队已将其核心训...

DeepMind近日发布了一篇详细介绍DiLoCo跨数据中心训练算法扩展定律的论文。DiLoCo是一种强大的训练算法，能够在全球范围内同步梯度，确保模型训练的稳定性。该算法通过在多个数据中心之间进行分布式训练，有效提升了...

近日，分布式计算公司Prime Intellect宣布成功完成1500万美元的融资。此次融资将用于进一步推动其分布式训练方案的发展。Prime Intellect致力于通过分布式计算技术优化大规模数据处理和模型训练的效率，其独特的分布...

Nvidia最近发布了一个新的工具包，可以对CUDA状态进行检查点设置，以便于传输和重启。这一工具包在GitHub上公开，对于大型AI模型的分布式训练非常有用。CUDA状态的检查点设置可以在训练过程中保存模型的状态，以便在...

苹果公司最近发布了一个名为CoreNet的库，用于训练深度神经网络。这个库旨在帮助开发者更快速、更方便地构建和训练深度学习模型，提高模型的准确性和性能。CoreNet提供了一系列的工具和接口，包括卷积神经网络、递归...

近日，GitHub上有一个新的仓库OpenRLHF发布了。这是一个基于Ray的RLHF实现，专为Llama样式模型设计。该仓库集成了多种PPO稳定技巧，以提高性能。Ray是一款新型的分布式计算框架，它具有高效、易用等特点，支持快速构...

本文提供了一份长而广泛的调查，介绍了让大型语言模型运行更快的不同方法。列表不是完全穷尽的，但可以用作学习有趣主题的跳板。在可能的情况下，它包括相关论文和博客文章的链接。本文介绍了不同的方法来优化大型语...