IBM正式挑战语言模型领域，推出开源MoE模型

talkingdev • 2023-09-18

1418920 views

IBM近日发布了一系列混合专家模型（Mixture-of-Experts，MoE），并公开了它们的架构和部分代码。MoE模型是一种稀疏模型，意味着在不牺牲准确性的情况下，可以节省计算资源。然而，训练这种模型却颇具挑战性。这次IBM的公开发布，无疑是向语言模型领域投下了一颗重磅炸弹。