最近的研究表明，为ViTs注册器添加[reg]标记可以修复图像注意力映射的突增。这项工作表明，将一系列可学习的[pause]标记预置到序列中可以提高语言模型推理（仅解码器，最高可达10亿）的能力，最多可提高18%。直观上...

本文研究了LLMs（大型语言模型）如何像社会中的人们一样协同工作。研究人员制造了具有不同个性的计算机“社会”，并观察他们如何在任务中协作，发现他们有时会像人类一样行为，比如跟随多数人的意见或进行辩论。有些团...

AI生成技术正在重塑我们对大量数据收集的传统价值观。大型语言模型可以通过最小化的数据进行微调，甚至可以生成合成数据集，这使得专有数据的独特性和重要性可能正在逐渐减弱。在过去，我们通常认为数据量的大小和独...

多模态大型语言模型在许多任务中表现优秀，但在定位图像中的特定对象方面往往存在困难。为了改善这一问题，研究人员已经开发出一种新的方法：将物体的位置转化为文本，并通过特殊任务进行模型的训练。这种方法的出现...

视觉-语言模型如CLIP在许多任务中表现出色，但在图像修复方面却面临一些挑战。因此，一项新的项目引入了DA-CLIP模型，该模型优化了CLIP的工作方式，使其更好地处理这些任务，从而带来更清晰的图像重建。DA-CLIP模型...

Reka近日推出一款名为Yasa-1的多模态模型，该模型能处理音频、视频和文本，是极其受欢迎的T5语言模型的创造者带来的最新力作。Yasa-1在许多任务中都展示了优秀的表现，目前正处于私人预览阶段。Yasa-1继承了T5的精神...

研究人员已经开发出一种新的方法，仅通过自然语言提示就可以提高视觉-语言模型的性能。这些模型能够理解文本和图像，而研究人员的新方法将使它们在处理视觉和语言信息时更加精确。通过与模型进行对话，研究人员可以...

语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...