Elon Musk的人工智能公司xAI正在提升其Grok聊天机器人的能力，使其能够支持多模态输入。此举将允许用户上传照片，并获得基于文本的回答。这一功能的加入不仅会拓宽Grok的应用场景，还将提高其在用户交互中的智能化水...

Xmodel-VLM是一种针对消费级GPU服务器优化的视觉语言模型。为解决高昂的服务成本限制了大规模多模态系统的应用，这个10亿规模的模型采用了LLaVA范式进行模态对齐。这是一种新的方法，它优化了视觉和语言之间的协同工...

近日，Google发布了新的轻量级模型Gemini Flash。此模型具有多模态推理和高达一百万个符号的长上下文窗口。Google利用其先进的技术，使Gemini Flash在处理大量数据时保持了高效与精确。这种新型的轻量级模型将有助于...

OpenAI的最新研究成果GPT-4o的多模态能力，整合了视觉和语音技术，预示着人工智能与世界互动方式的重大进步。这为人工智能在日常生活中的普遍存在铺平了道路。GPT-4o的多模态能力，不仅能够理解文本信息，还能够理解...

在2024年的Google I/O开发者大会上，Google发布了众多新功能，包括Gemini Flash、Veo视频生成、Imagen 3及其最新助手Project Astra。整体而言，这些改进数量惊人，包括扩大到2m的令牌上下文长度，大幅降低的模型价格...

Pipecat是一个构建语音和多模式对话代理的框架。这个框架使开发者能够更便捷地创建和管理语音交互系统。多模式对话代理则是指可以处理多种类型输入（如文字、语音、图像等）的人工智能系统。Pipecat不仅适用于创建语...

InternLM-XComposer2是一种在创建和理解复杂的文本-图像内容方面表现优异的视觉语言模型。该模型引入了一种名为Partial LoRA的新型方法，用以平衡视觉和文本的理解，其性能超越了现有的多模态内容创建和理解模型。通...

近日，一种新型的标签方法被研究者利用在了图片和文字的配对上，这种方法运用了两次的VLMs（视觉语言模型）扫描，产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细，能够帮助训练...

Vibe-Eval是一个新推出的基准测试，专为测试多模态聊天模型而设计。它包含了269项视觉理解提示，其中包括100项特别具有挑战性的提示。这些视觉理解提示的设计，力求能够全面、深入地评估和测试多模态聊天模型的性能...

多模态模型Bunny系列是一套强大的开放模型，尤其在MMMU基准测试中，其性能表现优秀。这是该团队基于Llama3 8B发布的首款开放模型。这个系列的模型采用了SigLIP与Llama3的技术，充分展示了其强大的性能和应用广泛性。...