近日，计算机科学家们推出了一款名为Llama 3-V的新型人工智能模型，其与GPT4-V性能相当，但模型大小只有GPT4-V的1/100。与GPT4-V的高昂价格相比，Llama 3-V仅需500美元即可获得。这款新型模型可以应用于自然语言处理...

LoRA-Ensemble是一种面向自注意力网络的参数高效深度集成方法。该技术扩展了低秩适配（LoRA）的应用，通过隐式集成实现了在不增加传统集成方法高计算成本的情况下，仍能做出准确且校准良好的预测。这种方法不仅在精...

研究人员开发了一种新的方法——全局-局部语义一致学习（Global-Local Semantic Consistent Learning，简称GLSCL），以提升文本视频检索的效率。这一创新方法不仅提高了检索的准确性，还显著降低了计算成本。GLSCL通过...

LeMeViT是一种新的方法，通过使用可学习元令牌来降低视觉Transformer的计算成本。这些元令牌能够高效地捕捉关键信息，从而显著提高推理速度。与传统的视觉Transformer相比，LeMeViT在保持高精度的同时，大幅减少了计...

最近，一种名为LeMeViT的新方法用于降低视觉变换器中的计算成本，其核心策略是使用可学习的元令牌。这些令牌能够有效地捕获关键信息，从而提高推理速度。视觉变换器在计算机视觉领域有着广泛的应用，然而其计算成本...

深度学习中的SiLU和SoftMax函数在许多任务中都是必不可少的，但它们的计算成本很高。为了改进这一点，来自华盛顿大学的研究人员提出了两个新的指数函数，可以将它们的速度提高2倍，同时完全保持准确性。这些函数分别...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

该项目提出了一种改善大型视觉语言模型（例如LLaVA-1.5、QwenVL-Chat和Video-LLaVA）效率的方法，解决了“低效的注意力”问题。使用FastV这种新方法，通过修剪视觉令牌和学习自适应注意力模式来优化这些模型，从而显著...