Stable Fast是HuggingFace扩散模型的推理引擎，通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能，包括CPU和GPU。此外，Stable Fast还兼容多个框架，包括PyTorch和TensorFlow。在GitHub...

我们可以通过使用Torch编译、稀疏化、与Triton一起使用自定义内核以及其他PyTorch性能特性，将分割任务的速度提高8倍。

Meta的Llama 2被宣传为开源，但由于其有限的许可证未能符合所有开源倡议的要求而受到审查。尽管如此，Meta的人工智能研究副总裁Joelle Pineau强调了信息共享和商业成本之间的平衡，旨在实现类似于其先前的开源项目Py...

Polyfire是一个开源的后端管理平台，为AI应用提供一站式的解决方案。它包括数据管理、模型管理、部署和监控等功能，可以帮助开发团队快速搭建和管理AI应用的后端。Polyfire支持多种框架和语言，例如PyTorch、TensorF...

近日，PyTorch团队推出了一款新的轻量级运行时和模型转换工具，以支持在资源受限的边缘设备上运行。此次推出的PyTorch Lite运行时，具有轻量级、高效、低延迟等特点，可以在边缘设备上运行深度学习模型，解决传统云...

人工智能系统由架构、数据和训练方法三部分组成，优化器则是训练方法中的重要组成部分。目前，Adam优化器因其“即插即用”的特性而深受大众喜爱。然而，LION和Shampoo这两种优化器逐渐获得了人们的认可。来自Meta的Pyt...

模块化扩散是一种易于使用的模块化API，可用于设计和训练自定义扩散模型。这款API基于PyTorch构建，为用户提供了一种灵活的方式，可根据需要进行定制和优化，从而实现在各种需求场景下的模型训练。由于其模块化的设...

谷歌作为少数几个能够与Nvidia匹敌的大型组织之一，其硬件在过去一直面临挑战，尤其是其对PyTorch的支持相对较弱。然而，现在，随着更快的芯片和更好的软件支持的出现，谷歌的这一产品似乎变得非常吸引人。TPU v5和H...

近日，一篇深度解析如何使用PyTorch 2.0的torch.compile和Nvidia CUDA图表功能提升深度学习模型性能的文章引起了广泛关注。该文章详细介绍了借助CUDA图表在Llama 2上实现了2.3倍的速度提升。这对于对性能敏感的AI从...

英国的AI硬件公司Graphcore近日发布了一款优秀的Pytorch库，使得在fp8中进行训练变得异常简单且稳定。这只需要一个模型封装器和torch编译器。Graphcore以其创新的机器智能处理器（IPU）而闻名，现在他们在深度学习训...