cheetah：开源的多模态语言模型，用于处理视觉-语言任务
talkingdev • 2023-08-25
1488339 views
近期的模型常常在处理复杂的视觉-语言任务上遇到困难，这主要是由于它们在理解混合的图像-文本上下文时存在限制。为了评估这些任务，研究人员引入了I4基准。结果显示，视觉提示生成器的注意力存在缺陷。为了解决这个问题，研究人员开发了一款名为“猎豹”的模型，它具有独特的模块和训练策略，能够优秀地理解复杂的交织指令。猎豹模型在I4基准上取得了最佳性能。