Meta最近发布了一种新型模型，该模型的工作原理与GPT系列的解码器仅Transformer相似，都是一次预测一个令牌。然而，如果你将交错的文本和图像视为令牌，这种模型就可以从文本生成图像，反之亦然。更令人惊奇的是，该...

聚焦变换器是一种有趣的检索策略，它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而，目前尚不清楚这种方法在大规模应用中的表现如何，或者是否受到其他长期上下文方...

该研究介绍了一种新的技术，专注变压器，这种技术可以帮助AI模型在处理大量数据的情况下，记住并专注于相关的信息。该方法改进了AI如何理解和使用长篇的文本，他们在OpenAI的模型上的测试显示了这一点。专注变压器的...

最近，状态空间模型引起了广泛关注。它们作为一种潜在有用的模型替代方案而出现，通过避开Transformer的一些挑战性方面，同时保持性能。在这项工作中，Hyena模型被应用于DNA序列建模，并在23个任务中取得了改进。

Audiocraft推出MusicGen，这是一种简化和增强音乐生成的模型。这种单阶段的自回归Transformer模型不需要像之前的方法那样进行自监督语义表示，通过并行预测所有码本，它更高效地生成音乐，从而每秒音频的步骤更少。

ExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目，但在使用量化权重时存在内存占用较高的问题。ExLl...

随着Transformer的不断流行，使用频率远远超过训练。这可能会非常慢和昂贵，但通过在GPU上进行一些巧妙的内存布局优化，它们可以获得多倍的加速。

## 新闻内容： GitHub开源社区发布了一款名为CodeTF的Python Transformer库，致力于提高代码智能化的水平，为使用者提供了一个训练与推理的平台，可以轻松实现代码智能化任务，如代码摘要、翻译、生成等。 CodeTF...

近日，谷歌通过基因搜索算法和海量TPU的使用，开发出了一种新的模型——Brainformer，其收敛速度比传统的Transformer模型快5倍，推理速度快2倍。这种模型使用了MoE模块和一些其他巧妙的技巧，充分发挥了TPU的强大性能...

最近，研究人员提出了一种新的模型，称为接受加权键值（RWKV），它将Transformer的高效并行训练和RNN的高效操作结合起来。RWKV采用线性注意机制的独特方法，可以在不同阶段像Transformer或RNN一样使用，证明了与Tran...