人工智能领域迎来重要开源进展。Mistral AI正式发布了其新一代Mistral 3系列模型，该系列包含两大技术路线：一是三款不同规模的密集模型（参数规模分别为140亿、80亿和30亿），二是备受瞩目的Mistral Large 3稀疏混...

本文将提供一个使用Pytorch从零开始编写稀疏混合专家模型的教程，图文并茂地讲解了每一步骤并提供了代码。其中，对top-k路由的解释特别有见地。

SoftMoE 是一种新的模型架构，它改进了稀疏的混合专家（MoE）模型。通过使用软分配方法，每个专家处理输入令牌的子集，SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中，SoftMoE的表现超过了标准的变压...