MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

针对多模态大语言模型（MLLM）中的幻觉问题，研究人员开发了MHaluBench，一个新的评估幻觉检测方法的基准。该工具可以帮助研究人员更好地评估语言模型的幻觉能力，从而有效提高模型的质量和准确性。目前，该工具已经...

本篇论文揭示了大型视觉语言模型（LVLMs）为什么有时会错误地描述图像的原因，这种现象被称为多模态幻觉。语义转移偏差，特别是在段落中断处，是一个关键因素。研究人员发现，模型可能会出现误导性的预测，这些预测...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。

最近，一款基于Phi-2和SigLIP训练的多模态模型Imp v1 3B发布了。该模型在性能上表现极为出色，并且体积小，足以在设备上运行。Imp v1 3B的发布，对于未来的多模态研究和应用具有重要意义。目前，该模型的开源代码已...

研究人员引入了“提示高亮器”方法，它革新了多模态语言模型中的文本生成技术，使用户能够突出提示的某些部分，从而更好地控制生成的文本。这种方法提供了一种更加灵活、直观和有效的交互式控制方式，使得文本生成的结...

机器学习工程开源书籍发布，该项目是一个开放的方法论集合，旨在帮助成功训练大型语言模型和多模态模型。该材料适用于LLM/VLM培训工程师和运营人员。书籍包含大量脚本和复制粘贴命令，以使读者能够快速解决问题。该...

本文探讨了当前主流的预训练语言模型加入多模态功能的范式。即，在编码器和文本模型之间对齐嵌入。该方法能够让语言模型更好地理解来自视觉和听觉等多个模态的信息，从而提高其自然语言处理的能力。近年来，语言模型...