这个项目介绍了BenchLMM，一个专门设计用于测试GPT-4V和LLaVA等大型多模态模型对各种图像样式的鲁棒性的基准。

Google的旗舰机型Gemini是一款原生多模态模型，其文本能力达到了GPT4的水平，同时还能够处理许多其他数据序列。此外，它还训练了Alpha Code 2，这是一个在代码力量比赛中排名前15%的编码器。Alpha Code 2将在12月13...

标记提示集是一种聪明的方法，可以显着提高视觉+语言模型的性能。Roboflow的这个库为您提供类似的控制，并使使用这些模型构建强大的视觉管道变得更加容易。它甚至支持像LLaVa这样的开放模型。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

AMBER是一个新的基准，旨在评估和降低多模式大型语言模型（MLLM）中的幻觉，而不依赖其他高级语言模型。该项目已经发布开源库，旨在帮助研究者和开发人员更好地理解和应对多模式语言模型的幻觉问题。

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...

微软研究院已在其较小的语言模型Phi 1.5上增强了多模态能力，使其能够像OpenAI更大的GPT-4模型一样解释图像，但计算成本更低。Phi 1.5模型结合了文本和视觉信息，可以推断出对应的文本或图像。该模型在多个数据集上...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...