深度神经网络在计算机视觉领域有着出色的表现,但是更快的推理时间是必要的。这篇论文介绍了一种新的Inter-Class Similarity Distillation方法和一种Adaptive Loss Weighting策略,能够更好地从老师网络向学生网络传...
Read More有没有想过深入了解新SDXL模型的实现细节?这个兼容扩散器的仓库只有几百行代码,非常适合学习。SDXL模型是一种新型的数据模型,它的实现过程充满了技术挑战。但是,这个GitHub仓库为我们提供了一个简洁而高效的实现...
Read MoreTorchScale是一款PyTorch库,让研究者和开发者能够更高效、更有效地扩展Transformers。它是为了满足对于大规模数据处理的需求而生的工具,通过使用TorchScale,我们可以在保持高性能的同时,实现Transformers的扩展...
Read More目前使用的语言模型有两大类:密集型和稀疏型。密集型模型就像传统的2017年的变压器模型,每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入,它使用一种路由机制(通常是学习到的),这意味着每个令牌只使...
Read More图像分割是一种将图像中属于对象的每个区域进行标记的过程,这比传统的分类问题要复杂得多。而且,如果没有预定义的对象列表,进行通用分割将是一项挑战。包含某些世界表示的语言模型可以为分割提供巨大的推动力。LI...
Read More此研究引入了一种名为“无需训练的实例分割”的全新方法,该方法无需进行繁琐的训练或详细的图像注释,就能在图像中分割实例。该方法通过使用现有的语义分割模型并通过可学习的对象边界分支对输出进行精炼,无需额外的...
Read MoreSoftMoE 是一种新的模型架构,它改进了稀疏的混合专家(MoE)模型。通过使用软分配方法,每个专家处理输入令牌的子集,SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中,SoftMoE的表现超过了标准的变压...
Read More