来自arXiv的最新研究论文提出SeLoRA（Spectral-efficient Low-Rank Adaptation）技术，通过将LoRA适配器重新参数化为稀疏谱子空间，在保持模型表达能力的前提下显著减少冗余参数。该技术在多模态任务测试中表现突出...

研究人员开发了一种新方法，通过采用专家级稀疏化方法来使LLMs更加高效和易于使用，该方法可以在不损失性能的情况下减少模型大小。这对于Mixture-of-Experts LLMs尤其有用，这种模型通常太大而不易处理。