研究人员已经开发出一种新的方法，叫做双聚合变换器（DAT），该方法通过空间和通道注意力来提升图像的超分辨率效果。DAT使用了诸如自适应交互模块和空间门前馈网络等特殊工具，其性能优于当前的其他方法。空间和通道...

研究人员已经开发出一种新型的轻量级神经网络，名为RepViT。该网络通过整合轻量级视觉变换器（Vision Transformers）和传统的卷积神经网络（Convolutional Neural Networks）的高效设计元素而形成。这项技术的开发，...

聚焦变换器是一种有趣的检索策略，它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而，目前尚不清楚这种方法在大规模应用中的表现如何，或者是否受到其他长期上下文方...

本文介绍了一个名为INT-FP-QSim的开源模拟器。这款模拟器的主要功能是测试大型语言模型和视觉变换器在不同数值精度级别下的运行效果。大型语言模型和视觉变换器在AI领域具有广泛的应用，然而，由于其复杂的计算需求...

近日，研究人员在GitHub上发布了一篇名为“Hiera：简化视觉变换器，加速和提高图像和视频识别准确性”的论文。以下是该论文的三个核心要点： - Hiera是一种简化的视觉变换器，通过使用一个强大的视觉预文本任务（MAE...