Hazy研究团队最新推出一款名为ThunderKittens的CUDA DSL，旨在帮助开发者更简单、更高效地编写CUDA内核。据了解，该团队已经用这款新工具编写了flash attention模块，结果表明其运行速度比原版本快了30%，而且仅需10...

语言模型依赖于单独训练的标记生成器。这些标记生成器可能会产生在语言模型训练过程中从未见过的标记。即使在最强大的现代语言模型中，也存在许多此类标记。本文探讨了这种现象，并提出了识别和处理这些标记的方法。...

Altera正致力于创建数字化人类，首先从可以与你一起玩任何游戏的代理人开始。这家公司在一轮超额认购的种子轮中筹集了900万美元，由First Spark Ventures（Eric Schmidt的深度科技基金）和Patron（由Riot Games的成...

总部位于巴黎的Mistral AI正在以60亿美元的估值进行募资，这一估值是其去年12月的三倍。作为一家领先的人工智能公司，Mistral AI的估值增长迅猛，充分反映了投资者对其技术和市场前景的高度认可。这次融资活动也进一...

阿里巴巴云已经发布了其最新版的大语言模型 - Tongyi Qianwen Qwen2.5。这一新版本在推理、代码理解以及文本理解等方面相比于Qwen2.0有了显著的改进。Qwen2.5的推出标志着阿里巴巴在人工智能语言模型开发上取得了重...

近期，关于如何扩展语言模型的语境的讨论引起了业界的关注。这次讨论并未提供太多的评估方法，但却对语言模型领域的探索方向提供了深度剖析。语言模型的语境是机器学习和自然语言处理中的关键组成部分，对于提高模型...

Buzz是一个创新型的数据集，它在预训练中融合了偏好数据。该数据集的研究者们还发布了几个利用这些数据训练的模型。他们发现，这些模型在许多人类偏好任务上表现出色。Buzz数据集的出现，无疑为人工智能研究提供了新...

YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...