腾讯ARC实验室最新发布的SEED-Bench-R1基准测试，为多模态大语言模型（MLLM）在复杂视频任务中的表现提供了系统评估框架。该研究重点关注强化学习（RL）和监督微调（SFT）等后训练方法，揭示了RL在视觉感知任务和数...

GitHub开源项目SAMWISE实现了计算机视觉领域的重大突破，通过扩展Segment Anything Model（SAM）的核心能力，使其具备开放词汇分割（open-vocabulary segmentation）和长视频精确语义追踪功能。该技术突破性地解决了...

GitHub热门项目Awesome Vision-to-Music Generation系统性地整理了视觉到音乐（V2M）生成领域的前沿进展，涵盖学术研究突破与工业级应用方案。该项目持续更新的资源库整合了三大核心要素：1）基于深度学习的跨模态生...

近日，GitHub上出现了一个名为'awesome-multimodal-adaptation'的开源项目，该项目系统性地整理了多模态自适应领域的最新研究进展。该项目不仅涵盖了传统的领域自适应方法，还包括测试时自适应等新兴技术方向。多模...

近日，GitHub上开源了一个名为Mobile-VideoGPT的轻量级多模态视频模型，其参数量不足10亿（1B），却通过创新的双视觉编码器和令牌剪枝技术，实现了在边缘设备上的实时推理能力。这一突破性进展为移动端和物联网设备...

法国人工智能研究机构Kyutai最新推出突破性语音互译系统，该系统基于多流Transformer架构，可实现高保真度的实时语音到语音翻译。该技术突破传统文本中转翻译模式，直接在声学层面进行跨语言转换，并保持原说话者的...

近期，一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs)，实现了高效的多模态预训练。与传统Transformer模型相比，Mixture-of-Mamba在文本、图像...

近日，Qwen发布了一款名为Qwen Omni 7B的多模态模型，该模型能够原生理解多种不同的模态数据，并以文本或语音的形式进行响应。这一技术的推出标志着人工智能在多模态处理领域迈出了重要一步。Qwen Omni 7B不仅能够处...