使用较低精度的模型训练速度更快、更便宜，但不稳定。最近有很多关于量化训练的研究。这个代码库建立在这些基础上，提供易于阅读和可修改的代码，实现浮点8训练。

本文将提供一个使用Pytorch从零开始编写稀疏混合专家模型的教程，图文并茂地讲解了每一步骤并提供了代码。其中，对top-k路由的解释特别有见地。

RoMa是一个用于PyTorch的库，用于处理棘手的旋转问题。它非常高效，可以帮助处理任何使用3D数据的项目。

TensorDict是一个非常实用的小工具，它可以让你在PyTorch中使用字典和张量。使用TensorDict可以提高代码的可读性和可用性，同时保持良好的性能。 TensorDict提供了一种简单的方法来将张量转换为字典，并且可以像字...

近日，HuggingFace发布了一个名为Nanotron的小型而强大的库，用于训练具有3D并行性的模型。这意味着它将数据、模型和模型中的层/张量分割开来。前两种并行性在PyTorch等库中得到了很好的支持。然而，将模型张量分割...

本文介绍如何从PyTorch转向Jax。文章提出了9个简明扼要的概念，这些概念使Jax强大而不同，每个概念都附有一个很好的代码示例。

对于使用Pytorch的从业者来说，最大的挑战之一就是弄清楚为什么会出现内存不足的情况。在Pytorch 2.1中提供了一些令人惊叹的新工具，可以了解内存使用情况。甚至可以将使用情况分类为熟悉的桶（例如，激活，梯度）。

PyTorch 2是目前深度学习领域最为流行的框架之一，由Facebook AI Research开发维护。近日，一次有关PyTorch 2内部机制的精彩讲座引起了广泛关注。该讲座详细介绍了PyTorch 2的最新功能，如Dynamo、Instructor和Execu...

Stable Fast是HuggingFace扩散模型的推理引擎，通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能，包括CPU和GPU。此外，Stable Fast还兼容多个框架，包括PyTorch和TensorFlow。在GitHub...

我们可以通过使用Torch编译、稀疏化、与Triton一起使用自定义内核以及其他PyTorch性能特性，将分割任务的速度提高8倍。