提升计算机视觉学生网络的方法开源
talkingdev • 2023-08-10
1531490 views
深度神经网络在计算机视觉领域有着出色的表现，但是更快的推理时间是必要的。这篇论文介绍了一种新的Inter-Class Similarity Distillation方法和一种Adaptive Loss Weighting策略，能够更好地从老师网络向学生网络传递知识。Inter-Class Similarity Distillation方法的核心思想是通过比较不同类别之间的相似性，将知识从一个大的网络（即老师网络）传递到一个小的网络（即学生网络）。Adaptive Loss Weighting策略则是通过动态调整各个类别的损失权重，使得学生网络能够更好地吸收和理解老师网络的知识。这两种方法的组合，为提升学生网络的性能开辟了新的途径。
核心要点
- 论文介绍了一种新的Inter-Class Similarity Distillation方法
- 介绍了一种Adaptive Loss Weighting策略
- 这两种方法的组合可以提升学生网络的性能