Spectral Compute公司近日推出了SCALE——一个通用并行图形处理单元（GPGPU）编程工具包。SCALE的主要创新之处在于它能够使得使用CUDA语言编写的程序原生编译运行在AMD的GPUs上。这个工具包接受现有的CUDA程序代码，作...

梯度提升强化学习（GBRL）成功地将梯度提升树（GBT）的优势引入到强化学习领域。GBT是一种迭代决策树算法，可以优化损失函数，GBRL将这种方法应用于强化学习中，以提升其性能和效率。通过使用GBT的优势，GBRL能够提...

近日，Meta在其机器学习推理服务的尾部利用率方面进行了优化，这些优化使得失败率减少了三分之二，计算效率提高了35%，并将p99延迟减半。这些增强功能确保Meta的广告投放系统可以在不需要额外资源的情况下处理增加的...

近日，一款名为AiEditor的全新产品正式发布。这是一款开源的AI驱动的富文本编辑器。它的出现将极大地改变文本编辑的方式，使用者可以利用它进行更高效、更精确的编辑工作。AI的加入使得这款富文本编辑器具有了前所未...

FlashAttention是现代快速语言模型的基础，而最新的FlashAttention 3版本则是其重要的升级。与以前的版本相比，新版本使用了75%的H100容量（相比之前的35%有了显著的提升）。这次的能力提升归因于一系列重要的系统改...

Tinygrad是一款用于训练深度学习模型的工具包。这套笔记是AI编译器的极佳入门读物，更是为深入了解Tinygrad内部机制做好准备。Tinygrad以其精简的设计和高效的性能，为AI领域带来了新的可能性。无论你是AI领域的专家...

MobileLLM 是一款新的技术工具，专为设备使用情景优化具有数亿参数的语言模型。这款工具的出现，将大大提高设备上语言模型的效率和性能。其优化能力强大，可以处理具有高达数十亿参数的语言模型，这对于需要在设备上...

系统2模型是一种使用类似于思维链的方法，通过更多的测试时间计算来提升推理的模型。最新的研究发现，我们可以将这种行为提炼为一个系统1模型，使其运行速度更快，而准确性相似。系统1模型的主要优势在于其高效的运...