近日，一种名为ChartX的新工具发布在GitHub上，用于测试多模态大语言模型（MLLM）在解释和推理可视化图表方面的能力。ChartX通过评估模型对图表的理解能力来测试其多模态能力，包括语言和视觉。该工具可以评估多种不...

Meta的副总裁兼首席人工智能科学家Yann LeCun曾表示，我们需要更多的数据有效的自监督模型来实现通用智能。这项工作是朝着这个目标迈出的一步，通过对视频进行训练，让模型理解世界的方方面面。这些模型已经可以公开...

研究人员推出了一种名为FAVOR的新方法，该方法通过在帧级别精细融合音频和视觉细节，使大型语言模型能够理解视频。FAVOR方法的推出，为大型语言模型的视频理解能力提供了新的发展空间。这种新方法通过在帧级别精细融...

近期的一项研究介绍了一种名为MAGVIT-v2的视频标记化工具，有效地将图像和视频输入转化为大型语言模型（LLM）的标记。使用MAGVIT-v2，LLM在视觉生成任务中的表现超过了扩散模型。视频标记化是一种将视觉内容（如图像...

机械可解释性是通过将神经网络分解为更可解释的子部分来理解神经网络的过程。不幸的是，神经元本身往往不可解释。有一些深层次的原因，如叠加，导致了这个挑战。Anthropic公司的这项工作使用稀疏自编码器从一层Trans...

研究人员已经开发出一种新的方法，仅通过自然语言提示就可以提高视觉-语言模型的性能。这些模型能够理解文本和图像，而研究人员的新方法将使它们在处理视觉和语言信息时更加精确。通过与模型进行对话，研究人员可以...

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...

近日，GitHub发布了名为PointLLM的新工具，该工具的主要功能是帮助语言模型理解3D对象，而非仅限于文本和2D图像。这一工具的出现，标志着语言模型在处理和理解更为复杂的三维信息方面迈出了重要一步，这将极大地推动...