STL-开源自我涌现令牌标记的视觉转换器，提高稳定性

talkingdev • 2024-01-11

1087109 views

对于视觉转换器(ViTs)的显著进展，研究人员使用一种新的自我涌现令牌标记(STL)框架，提高了完全注意力网络(FAN)模型的鲁棒性。这种方法涉及训练FAN令牌标记器来创建有意义的补丁令牌标记，然后训练FAN学生模型。