FlashAttention是现代快速语言模型的基础，而最新的FlashAttention 3版本则是其重要的升级。与以前的版本相比，新版本使用了75%的H100容量（相比之前的35%有了显著的提升）。这次的能力提升归因于一系列重要的系统改...

Tinygrad是一款用于训练深度学习模型的工具包。这套笔记是AI编译器的极佳入门读物，更是为深入了解Tinygrad内部机制做好准备。Tinygrad以其精简的设计和高效的性能，为AI领域带来了新的可能性。无论你是AI领域的专家...

研究人员已经开发出一个新的框架，该框架将大型语言模型与强化学习相结合，以提高交通信号控制系统的性能。这种新的方法借助AI的能力，使交通信号控制系统能够更有效地管理交通流量，提高道路效率，降低交通拥挤，从...

MobileLLM 是一款新的技术工具，专为设备使用情景优化具有数亿参数的语言模型。这款工具的出现，将大大提高设备上语言模型的效率和性能。其优化能力强大，可以处理具有高达数十亿参数的语言模型，这对于需要在设备上...

最近，一种新型的循环神经网络（RNN）变体在多项任务中的表现超过了Mamba。这种新型的RNN变体的重要特点是其更新函数本身就是一个机器学习（ML）模型。这使得它可以处理长上下文和在上下文中进行学习。在现今的机器...

系统2模型是一种使用类似于思维链的方法，通过更多的测试时间计算来提升推理的模型。最新的研究发现，我们可以将这种行为提炼为一个系统1模型，使其运行速度更快，而准确性相似。系统1模型的主要优势在于其高效的运...

Video Self-Training with augmented Reasoning (Video-STaR)是一种新的方法，用于改进大型视觉语言模型（LVLMs）。通过自我训练和增强推理，Video-STaR能够提高模型的学习能力和预测准确性。这种方法的主要优势在于...

Meta推出了利用全新的多令牌预测方法的预训练模型，该方法可以同时预测多个未来的词汇，承诺提升性能并大幅度缩短训练时间。这种新颖的多令牌预测方法改变了我们对于未来词汇的预测方式，将其从单一的词汇预测转变为...

据报道，苹果将使用更先进的集成系统芯片（SoIC）技术为其M5芯片供电。该技术是一种新的创新方式，它将使苹果能够在单一的硅片上集成更多的功能和性能。这样的设计将使得苹果的M5芯片可以同时满足Mac电脑和AI服务器...

SDXL是一款出色且开放的扩散模型，其搭载了全套LLM嵌入器（Hugging Face Hub），能够展现出强大的文本理解能力。这款模型的训练过程是从零开始的，开发者们通过将LLM嵌入到模型中，来增强其对文本内容的理解和解析能...