研究人员推出了一种名为FAVOR的新方法，该方法通过在帧级别精细融合音频和视觉细节，使大型语言模型能够理解视频。FAVOR方法的推出，为大型语言模型的视频理解能力提供了新的发展空间。这种新方法通过在帧级别精细融...

研究员们创造了一款名为AucArena的模拟平台，旨在在拍卖环境中测试大型语言模型。这些环境是动态的，需要策略性思考。初步测试显示，如果给出合适的提示，这些模型可以在拍卖中表现出色，表现出诸如预算和长期计划等...

近期的一项研究介绍了一种名为MAGVIT-v2的视频标记化工具，有效地将图像和视频输入转化为大型语言模型（LLM）的标记。使用MAGVIT-v2，LLM在视觉生成任务中的表现超过了扩散模型。视频标记化是一种将视觉内容（如图像...

在多GPU和多节点系统上训练语言模型存在多种挑战，且在这些场景下积累经验也非常困难。本篇博客文章详尽深入地研究了ZeRO，FSDP，以及在大规模训练或微调模型时可能遇到的问题。我们需要理解，进行分布式训练并不仅...

将大规模语言模型（LLMs）比作一个庞大且复杂的拼图，每一块拼图都代表一份知识。这篇论文研究了我们尝试改变其中一些知识碎片会发生什么情况。结果可能会导致整个拼图被破坏，或者使其变得模糊不清。知识编辑在LLMs...

最近的研究表明，为ViTs注册器添加[reg]标记可以修复图像注意力映射的突增。这项工作表明，将一系列可学习的[pause]标记预置到序列中可以提高语言模型推理（仅解码器，最高可达10亿）的能力，最多可提高18%。直观上...

本文研究了LLMs（大型语言模型）如何像社会中的人们一样协同工作。研究人员制造了具有不同个性的计算机“社会”，并观察他们如何在任务中协作，发现他们有时会像人类一样行为，比如跟随多数人的意见或进行辩论。有些团...

AI生成技术正在重塑我们对大量数据收集的传统价值观。大型语言模型可以通过最小化的数据进行微调，甚至可以生成合成数据集，这使得专有数据的独特性和重要性可能正在逐渐减弱。在过去，我们通常认为数据量的大小和独...