最新研究发现，当前广泛应用的CLIP（Contrastive Language-Image Pretraining）多模态模型存在严重的安全隐患。根据arXiv最新论文披露，攻击者通过数据投毒（poisoning）方式植入后门，仅需污染0.5%的训练数据即可实...

SigLIP2作为SigLIP的升级版本，在多个方面实现了显著改进。SigLIP原本是一款广受欢迎的联合图像与文本编码模型，而SigLIP2在零样本分类性能上取得了重大突破，这一性能曾是CLIP模型的标志性成果。此次升级不仅提升了...

近日，一款名为Duoduo CLIP的3D表征学习模型引起了业界的广泛关注。与传统的3D表征学习模型不同，Duoduo CLIP采用多视图图像，而非点云数据作为输入。这种独特的设计，使得Duoduo CLIP在3D表征学习的效果上，可能会...

该研究探讨了如何利用CLIP（Contrastive Language-Image Pre-training）方法进行胸部X光片的异常检测。CLIP是一种新兴的多模态学习方法，它通过对图像和文本的联合训练，实现了在多个任务中的优异表现。在本研究中，...

近期，一项新项目在GitHub上发布，该框架通过结合多级残差适配器和视觉-语言对齐损失函数，将CLIP模型重新应用于医疗异常检测。CLIP模型原本是由OpenAI开发的一种多模态预训练模型，能够理解图像和文本之间的关系。...

MobileClip是一个快速的文本和图像模型，与OpenAI的原始CLIP模型性能相同，但运行速度提高了7倍。它可以在设备上用于各种视觉和语言任务。

这篇论文重新审视了经典的高斯判别分析（GDA）算法，以改善CLIP在图像分类任务中的性能，而不需要额外的训练或资源。GDA算法通过增加一个基于贝叶斯公式的先验，实现了对输入向量的加权处理，从而有效地降低了噪声对...

由于LAION等大规模数据集的删除，以及版权问题，使得训练大规模图像模型变得具有挑战性。但是，这项工作表明，使用3000万个全合成的图像可以训练出强大的CLIP模型。