目前使用的语言模型有两大类:密集型和稀疏型。密集型模型就像传统的2017年的变压器模型,每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入,它使用一种路由机制(通常是学习到的),这意味着每个令牌只使...
Read MoreSoftMoE 是一种新的模型架构,它改进了稀疏的混合专家(MoE)模型。通过使用软分配方法,每个专家处理输入令牌的子集,SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中,SoftMoE的表现超过了标准的变压...
Read More近日,谷歌通过基因搜索算法和海量TPU的使用,开发出了一种新的模型——Brainformer,其收敛速度比传统的Transformer模型快5倍,推理速度快2倍。这种模型使用了MoE模块和一些其他巧妙的技巧,充分发挥了TPU的强大性能...
Read More