苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...

M3DBench是一个全新的广泛数据集，旨在改变AI的3D理解，填补多模态语言模型研究中的差距。它包括超过320,000个不同的指令响应对，集成了文本、图像和3D对象，为AI执行更广泛的现实3D任务铺平了道路。

Nous Research （Hugging Face Hub）发布了一种名为Capybara的新的语言基础模型和Obsidian的多模态扩展模型，该模型拥有30亿参数，可以在手机等边缘设备上运行。

Gemini在各种视觉任务中比许多开放模型表现更好。它在相同任务中似乎与GPT-V竞争力十足。

一种名为OneLLM的新型AI模型正在掀起波澜，它使用一种独特的方法将所有这些模态与语言对齐，理解包括图像、音频甚至脑活动在内的八种不同类型的数据。OneLLM的这种多模态理解方法可能会推动AI在语义理解方面的进一步...

这个项目介绍了BenchLMM，一个专门设计用于测试GPT-4V和LLaVA等大型多模态模型对各种图像样式的鲁棒性的基准。

Google的旗舰机型Gemini是一款原生多模态模型，其文本能力达到了GPT4的水平，同时还能够处理许多其他数据序列。此外，它还训练了Alpha Code 2，这是一个在代码力量比赛中排名前15%的编码器。Alpha Code 2将在12月13...

标记提示集是一种聪明的方法，可以显着提高视觉+语言模型的性能。Roboflow的这个库为您提供类似的控制，并使使用这些模型构建强大的视觉管道变得更加容易。它甚至支持像LLaVa这样的开放模型。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

AMBER是一个新的基准，旨在评估和降低多模式大型语言模型（MLLM）中的幻觉，而不依赖其他高级语言模型。该项目已经发布开源库，旨在帮助研究者和开发人员更好地理解和应对多模式语言模型的幻觉问题。