Anthropic最近发布了Claude 3家族的三个新模型，其中最强的模型匹敌了GPT4的报告基准结果。此外，这是一个多模态模型，对视觉任务表现良好。值得注意的是，Claude的编码能力在此版本中得到了显著提高。

Meta发布了MMCSG数据集，其中包含数千个通过Aria眼镜记录的双向对话，旨在鼓励在各种社交音频和视觉任务中的研究。

随着最近将扩散模型用于各种其他视觉任务的趋势，本研究改进了超分辨率的训练稳定性和缩放。

视觉Transformer (ViT)已经成为视觉领域的主要研究方向，然而在它们的嵌入中，仍然有时会出现网格状的伪影。这使得社区在将其应用于下游任务时持怀疑态度。本研究提出了一种更新位置嵌入的方法，消除了这一问题，并...

Gemini在各种视觉任务中比许多开放模型表现更好。它在相同任务中似乎与GPT-V竞争力十足。

视觉上下文提示（Visual In-Context Prompting）是一种创新的方法，能适应各种提示和上下文，极大地提高了分割任务的性能，并在开放式挑战中展示了令人印象深刻的结果。该方法为深度学习模型提供了更多的信息，从而...

研究人员发现，尽管大型语言模型是为文本设计的，但它们可以成为处理视觉任务的强大工具。使用文本训练的模型的部分来直接处理图像和视频，研究人员在各种视觉任务中取得了改进的结果。该研究结果表明，基于文本的AI...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...