这项研究介绍了一种名为Ex-MCR的新方法，该方法可以有效地学习多个模态的统一对比表示，而无需配对数据。通过对齐现有的多模态对比表示，Ex-MCR在音频-视频检索和3D物体分类等任务中实现了最佳性能。该方法在GitHub...

研究人员开发了一种新技术，将声音信息和语言数据结合起来，纠正自动语音识别系统中的错误。该技术基于交叉模态融合，使用视觉和语言信息来提供更准确的识别结果。此外，该技术还可以提供更好的语音合成能力。研究人...

本文深入探究了当前围绕多模态语言模型的研究活动。随着人工智能和自然语言处理领域的不断发展，多模态模型在语言理解、生成和预测等方面已经取得了很大的进展。本文介绍了多模态模型的基本原理，以及当前最先进的多...

多模态大型语言模型在许多任务中表现优秀，但在定位图像中的特定对象方面往往存在困难。为了改善这一问题，研究人员已经开发出一种新的方法：将物体的位置转化为文本，并通过特殊任务进行模型的训练。这种方法的出现...

Reka近日推出一款名为Yasa-1的多模态模型，该模型能处理音频、视频和文本，是极其受欢迎的T5语言模型的创造者带来的最新力作。Yasa-1在许多任务中都展示了优秀的表现，目前正处于私人预览阶段。Yasa-1继承了T5的精神...

模型通常针对特定任务（例如，语言生成和图像生成）进行单独训练。然而，最近提出的一种名为联合自回归混合（JAM）的算法，通过巧妙地交叉注意力和温和的微调，成功地将不同的模型结合在一起。这种新颖的方法在多种...

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...

原名为Adept的柿子科技公司，近期推出了其极其高效的8b参数模型——柿子-8B。同时，该公司也发布了推理代码。此次发布的模型和代码中包含了许多亮点，其中最引人注目的是具备70k未使用的嵌入功能，这为多模态扩展提供...

本研究公开了一个新的模型-DFER-CLIP，该模型对CLIP模型进行了改进，专门用于识别现实世界中变化的面部表情。CLIP模型是一个多模态的人工智能模型，它能够理解图像和文本之间的关系。这个新的DFER-CLIP模型，通过增...

近期的模型常常在处理复杂的视觉-语言任务上遇到困难，这主要是由于它们在理解混合的图像-文本上下文时存在限制。为了评估这些任务，研究人员引入了I4基准。结果显示，视觉提示生成器的注意力存在缺陷。为了解决这个...