GitHub热门项目Awesome Vision-to-Music Generation系统性地整理了视觉到音乐（V2M）生成领域的前沿进展，涵盖学术研究突破与工业级应用方案。该项目持续更新的资源库整合了三大核心要素：1）基于深度学习的跨模态生...

Baichuan Omni 1.5 是一款支持文本、图像、视频和音频输入以及文本和音频输出的开源全模态基础模型。该模型采用任意到任意（any-to-any）的设计风格，属于原生多模态模型的一种典型代表。其核心技术在于使用了交错的...

近日，GitHub上发布了一个名为'Visual reasoning models'的开源工具包，旨在训练视觉语言模型（VLMs）以提升其基础逻辑和推理能力。该工具包由groundlight团队开发，主要专注于增强模型在处理复杂视觉数据时的理解和...

多模态表示学习（MMRL）技术通过引入一个共享的表示空间，显著提升了视觉-语言模型在处理多模态信息时的交互能力，同时保持了模型的泛化性能。这一技术不仅优化了多模态数据的融合与理解，还为小样本学习（few-shot...

Hugging Face与Yaak合作推出了L2D数据集，这是目前最大的开源多模态数据集，专为汽车人工智能（AI）领域设计。该数据集包含了从驾驶学校收集的专家和学生驾驶策略，并通过自然语言指令增强了空间智能模型的能力。这...

微软近日发布了两款全新的开源语言模型Phi-4-mini和Phi-4-multimodal，这两款模型在硬件效率和多模态处理方面表现出色。其中，Phi-4-mini拥有38亿参数，专注于文本任务；而Phi-4-multimodal则具备56亿参数，能够处理...

LOKI 是一个用于评估视觉语言模型（VLMs）在检测新颖和具有挑战性项目方面表现的合成基准测试工具。该基准测试通过生成复杂的多模态数据，帮助研究人员更好地理解模型在处理未知或复杂场景时的能力。LOKI 的设计旨在...

近日，UniAct作为一种全新的Embodied Foundation Model框架正式亮相，其独特之处在于能够在Universal Action Space中高效运作。这一技术的推出标志着人工智能在动作空间建模领域迈出了重要一步。UniAct通过整合多模...