子对象标记化为视觉模型理解图像开辟了新的途径。不同于将图像划分为固定的方形片段，采用子对象标记化的模型会从有意义的段落，例如物体的部分来观察图像。这种新的视觉模型理解方式，相比传统的划分方案，可能更加...

随着人工智能产品的门槛降低，从演示到实现有效产品的转变依然充满挑战。这一系列文章将深入探讨过去一年中基于机器学习系统之上开发实际应用的人们，从大型语言模型（LLMs）产品开发中学到的关键教训和方法论。内容...

一项最新的研究揭示了一种能够显著扩展语言模型上下文长度至128K的方法。这项研究强调了大量和多样性的训练数据的重要性。语言模型的上下文长度是语言模型理解和生成连贯文本的能力的一个重要因素。此项新的研究方法...

近日，一种名为ChartX的新工具发布在GitHub上，用于测试多模态大语言模型（MLLM）在解释和推理可视化图表方面的能力。ChartX通过评估模型对图表的理解能力来测试其多模态能力，包括语言和视觉。该工具可以评估多种不...

Meta的副总裁兼首席人工智能科学家Yann LeCun曾表示，我们需要更多的数据有效的自监督模型来实现通用智能。这项工作是朝着这个目标迈出的一步，通过对视频进行训练，让模型理解世界的方方面面。这些模型已经可以公开...

研究人员推出了一种名为FAVOR的新方法，该方法通过在帧级别精细融合音频和视觉细节，使大型语言模型能够理解视频。FAVOR方法的推出，为大型语言模型的视频理解能力提供了新的发展空间。这种新方法通过在帧级别精细融...

近期的一项研究介绍了一种名为MAGVIT-v2的视频标记化工具，有效地将图像和视频输入转化为大型语言模型（LLM）的标记。使用MAGVIT-v2，LLM在视觉生成任务中的表现超过了扩散模型。视频标记化是一种将视觉内容（如图像...

机械可解释性是通过将神经网络分解为更可解释的子部分来理解神经网络的过程。不幸的是，神经元本身往往不可解释。有一些深层次的原因，如叠加，导致了这个挑战。Anthropic公司的这项工作使用稀疏自编码器从一层Trans...

研究人员已经开发出一种新的方法，仅通过自然语言提示就可以提高视觉-语言模型的性能。这些模型能够理解文本和图像，而研究人员的新方法将使它们在处理视觉和语言信息时更加精确。通过与模型进行对话，研究人员可以...

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...