Anthropic最近发布了Claude 3家族的三个新模型，其中最强的模型匹敌了GPT4的报告基准结果。此外，这是一个多模态模型，对视觉任务表现良好。值得注意的是，Claude的编码能力在此版本中得到了显著提高。

PromptMM是一种使用多模态知识蒸馏的在线购物推荐系统，可以改善像亚马逊和TikTok这样的平台上的推荐系统。它通过从各种内容类型（视觉、文本或声音）中蒸馏出重要特征，来解决用户偏好的不准确性，并简化系统，以防...

本研究致力于提高基于多模态的GPT-4V等模型在低级视觉感知任务中的表现。大规模实验从58,000名人类受试者中收集了18,973张图像的反馈，并创建了Q-Pathway数据集，以分析其清晰度、色彩和亮度。

众所周知，现代对话模型依赖于纯文本输入，因此在语言和视觉交互中，模型的表现力有限。为了克服这些限制，研究人员一直在探索多模态对话系统。在此背景下，ChatterBox是一种优秀的多模态对话模型，可在新建立的多模...

近日，一种名为ChartX的新工具发布在GitHub上，用于测试多模态大语言模型（MLLM）在解释和推理可视化图表方面的能力。ChartX通过评估模型对图表的理解能力来测试其多模态能力，包括语言和视觉。该工具可以评估多种不...

Contextual团队发布了一种能够同时生成文本和嵌入式编码的模型，名为生成式表征指导调整模型（Generative Representational Instruction Tuning）。该模型在多模态领域表现出色，远远超过了单一专家模型。这种模型的...

谷歌发布了一款新的 MoE 模型，命名为 Gemini 1.5 Pro，它的性能可以与 Gemini 1.0 Ultra 媲美。同时，它支持上下文1百万令牌，并且相比较于 Gemini 1.0 Ultra，使用更少的计算资源，因为它更小巧。这个模型是本地多...

苹果发布了一款新的代码，使用多模态语言模型来改进人类提供的自然语言图像编辑。这个新的代码的核心思想是使用大型语言模型来指导用户对图像进行编辑，从而提高编辑的质量和效率。该代码的具体实现是将图像与自然语...

AI初创公司Reka宣布推出了一个新的模型，该模型具备210亿个参数，完全从头开始训练。它是本地多模态的，胜过了Llama 70B和Mixtral在多项关键基准测试中。重要的是，考虑到该公司的创始人曾经工作的公司，它也匹配了G...

苹果推出了一款名为MGIE的开源AI模型，用于图像编辑，使用多模态大语言模型来解释文本指令并执行像素级编辑。这种模型可以将人类语言翻译成图像编辑操作，例如“使图像更亮”或“添加红色滤镜”。苹果表示，MGIE的目的是...