近日，Meta推出了全新的Llama模型预训练框架——Torchtitan。该框架是完全使用PyTorch编写的，具有高度的灵活性和易用性。对于广大的PyTorch用户和开发者来说，这是一个利好消息。Meta是全球最大的社交网络公司，其在...

Attorch项目旨在用Python和Triton重新编写PyTorch的nn模块部分代码，创建一个易于修改且性能卓越的神经网络实验库。这一尝试标志着以往成本过高的编写工作现在变得可行。Attorch的设计允许研究人员和开发者轻松进行...

近期，Andrei Karpathy推出了一个名为llm.c的项目，该项目展示了如何使用C和CUDA编程语言来训练大型语言模型（LLM）。这一创新方法避免了对PyTorch等大型深度学习框架的依赖，尤其是其所需的250MB以上的资源。这种训...

Cerebras公司近日推出了其最新款的CS3晶圆芯片，该芯片具备训练高达24T参数语言模型的能力。CS3芯片的发布，标志着在人工智能领域对高性能计算芯片的需求得到了进一步的满足。这款芯片原生支持PyTorch，使得开发者能...

Meta公司近日发布了一个名为Torchtune的原生PyTorch库，专门用于精细调整语言模型。该库旨在为开发者提供更为便捷的工具，以便在PyTorch框架中进行语言模型的微调工作。通过Torchtune，开发者可以更容易地实现模型性...

Meta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。

这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术，以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术，并详细讨论了它们的优缺点。...

AdamW通常用于解耦学习率和权重衰减。然而，Pytorch中的常见实现并没有明确地做到这一点。本文讨论了如何调整这些参数。 AdamW是一种优化算法，它在Adam的基础上加入了权重衰减。AdamW的优点之一是可以解决权重衰减...