微信扫码实时跟踪AI前沿
思维机器实验室最新研究揭示了低秩适配技术(LoRA)在大语言模型微调领域的突破性表现。这项发表于权威平台的研究表明,当LoRA应用于模型所有层(尤其是MLP层)且不受数据集规模限制时,其性能可完全媲美传统全参数...
GitHub最新开源项目展示了一种针对Qwen2.5B大语言模型的创新微调方案,该方案采用SFT(监督微调)结合GRPO(梯度反向传播优化)的混合训练框架,其技术路线受到DeepSeek R1架构启发,并针对AWS云平台进行了专项优化...