近日，一项名为ViT-CoMer的神经网络模型问世，增强了Vision Transformers（ViT）在密集预测任务中的表现，而无需预训练。这项研究由卡内基梅隆大学的学者领导，他们在GitHub上公开了相关代码和数据集。ViT-CoMer能够...

MoAI是一种新型的大型语言和视觉模型，它通过整合专门的计算机视觉任务的辅助视觉信息来增强当前模型。该模型在 GitHub 上发布，旨在改善自然语言处理和计算机视觉任务之间的互动。MoAI使用了一种新的训练方法，可以...

Vision-RWKV将NLP中的RWKV架构应用于视觉任务，为高分辨率图像处理提供了一个高效的解决方案。RWKV是一种基于注意力机制的架构，它在处理序列数据时表现出色，而Vision-RWKV则将其成功地应用于图像领域。该模型的表...

Anthropic最近发布了Claude 3家族的三个新模型，其中最强的模型匹敌了GPT4的报告基准结果。此外，这是一个多模态模型，对视觉任务表现良好。值得注意的是，Claude的编码能力在此版本中得到了显著提高。

Meta发布了MMCSG数据集，其中包含数千个通过Aria眼镜记录的双向对话，旨在鼓励在各种社交音频和视觉任务中的研究。

随着最近将扩散模型用于各种其他视觉任务的趋势，本研究改进了超分辨率的训练稳定性和缩放。

视觉Transformer (ViT)已经成为视觉领域的主要研究方向，然而在它们的嵌入中，仍然有时会出现网格状的伪影。这使得社区在将其应用于下游任务时持怀疑态度。本研究提出了一种更新位置嵌入的方法，消除了这一问题，并...

Gemini在各种视觉任务中比许多开放模型表现更好。它在相同任务中似乎与GPT-V竞争力十足。

视觉上下文提示（Visual In-Context Prompting）是一种创新的方法，能适应各种提示和上下文，极大地提高了分割任务的性能，并在开放式挑战中展示了令人印象深刻的结果。该方法为深度学习模型提供了更多的信息，从而...

研究人员发现，尽管大型语言模型是为文本设计的，但它们可以成为处理视觉任务的强大工具。使用文本训练的模型的部分来直接处理图像和视频，研究人员在各种视觉任务中取得了改进的结果。该研究结果表明，基于文本的AI...