近日，GitHub上出现了一个名为'awesome-multimodal-adaptation'的开源项目，该项目系统性地整理了多模态自适应领域的最新研究进展。该项目不仅涵盖了传统的领域自适应方法，还包括测试时自适应等新兴技术方向。多模...

近日，GitHub上开源了一个名为Mobile-VideoGPT的轻量级多模态视频模型，其参数量不足10亿（1B），却通过创新的双视觉编码器和令牌剪枝技术，实现了在边缘设备上的实时推理能力。这一突破性进展为移动端和物联网设备...

法国人工智能研究机构Kyutai最新推出突破性语音互译系统，该系统基于多流Transformer架构，可实现高保真度的实时语音到语音翻译。该技术突破传统文本中转翻译模式，直接在声学层面进行跨语言转换，并保持原说话者的...

近期，一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs)，实现了高效的多模态预训练。与传统Transformer模型相比，Mixture-of-Mamba在文本、图像...

近日，Qwen发布了一款名为Qwen Omni 7B的多模态模型，该模型能够原生理解多种不同的模态数据，并以文本或语音的形式进行响应。这一技术的推出标志着人工智能在多模态处理领域迈出了重要一步。Qwen Omni 7B不仅能够处...

近日，Qwen团队发布了一款名为Qwen 2.5 32B的视觉语言模型，该模型不仅具备强大的多模态处理能力，而且完全开源，能够在消费级硬件上高效运行。这一重大突破为AI领域的研究者和开发者提供了更加灵活和便捷的工具，尤...

Baichuan Omni 1.5 是一款支持文本、图像、视频和音频输入以及文本和音频输出的开源全模态基础模型。该模型采用任意到任意（any-to-any）的设计风格，属于原生多模态模型的一种典型代表。其核心技术在于使用了交错的...

LLaVA-MORE 是一项关于多模态大语言模型（Multimodal Large Language Models, MLLMs）的系统性研究，旨在评估不同语言模型和视觉骨干网络在 MLLMs 中的表现，并提供一个可复现的框架来比较这些架构。通过该研究，研...