LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

AMBER是一个新的基准，旨在评估和降低多模式大型语言模型（MLLM）中的幻觉，而不依赖其他高级语言模型。该项目已经发布开源库，旨在帮助研究者和开发人员更好地理解和应对多模式语言模型的幻觉问题。

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...

微软研究院已在其较小的语言模型Phi 1.5上增强了多模态能力，使其能够像OpenAI更大的GPT-4模型一样解释图像，但计算成本更低。Phi 1.5模型结合了文本和视觉信息，可以推断出对应的文本或图像。该模型在多个数据集上...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...

谷歌将用多模态AI模型Gemini取代PaLM 2，并将其引入Makersuite，提供图像和文本识别功能。该公司还拥有一个名为Stubbs的隐藏工具，使用户可以构建和启动AI生成的应用原型。Makersuite将很快完全支持语言翻译。

多模态语言模型（multimodal language models）的发展正日益成熟。最近，一种名为State of Mark prompting的方法在GitHub Repo上引起了广泛关注。该方法首先使用Segment Anything算法对图像进行处理，对检测到的类别...

HuggingFace 上现已推出 Fuyu-8B，这是一款专为数字代理设计的多模态模型。与其他多模态模型不同的是，它具有简化的架构，并支持任意图像分辨率，在不到 100 毫秒的时间内响应大图像。尽管针对特定应用程序，Fuyu-8B...

这项研究介绍了一种名为Ex-MCR的新方法，该方法可以有效地学习多个模态的统一对比表示，而无需配对数据。通过对齐现有的多模态对比表示，Ex-MCR在音频-视频检索和3D物体分类等任务中实现了最佳性能。该方法在GitHub...

研究人员开发了一种新技术，将声音信息和语言数据结合起来，纠正自动语音识别系统中的错误。该技术基于交叉模态融合，使用视觉和语言信息来提供更准确的识别结果。此外，该技术还可以提供更好的语音合成能力。研究人...