AI 初创公司 Magic 发布预训练研究更新，称其预训练方案的计算效率已比主流开源权重基础模型提升超过 10 倍，并正将规模扩展至万亿参数级别。团队认为，在缺乏大规模算力的情况下，小型实验室只能依靠算法效率参与竞...

近期，一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs)，实现了高效的多模态预训练。与传统Transformer模型相比，Mixture-of-Mamba在文本、图像...