研究人员发现，当前领先的开源文本图像模型SDXL在推理时间上有了显著的加速，其速度提升了60%，同时体积缩小了50%。研究人员声称，在使用中，图像质量只有轻微的降低。

IBM已经开发出一款大脑启发式的电脑芯片（NorthPole），它通过减少对外部记忆的访问，显著提高了AI的速度和效率。

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

近日，一篇深度解析如何使用PyTorch 2.0的torch.compile和Nvidia CUDA图表功能提升深度学习模型性能的文章引起了广泛关注。该文章详细介绍了借助CUDA图表在Llama 2上实现了2.3倍的速度提升。这对于对性能敏感的AI从...

AI模型包含许多参数，它们在计算机中以十进制数字的形式表示。这些数字的精度决定了它们的准确度和占用的空间大小。如果将精度从32位降低到16位，将会大幅提高运行速度。现在，我们可以将精度降低到4位，从而在一些...

- Whisper现已在Jax上运行，能够在短短几秒钟内转录1小时的音频。 - 该模型本身已经是最强大的语音转文本系统之一，现在加上了惊人的速度，使用起来几乎是不费吹灰之力。 - 尽管仍有缺点，但这是社区取得的卓越成果...