漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-10-06 talkingdev

LoRA无憾:低秩适配技术全面匹敌全参数微调,突破大模型高效训练瓶颈

思维机器实验室最新研究揭示了低秩适配技术(LoRA)在大语言模型微调领域的突破性表现。这项发表于权威平台的研究表明,当LoRA应用于模型所有层(尤其是MLP层)且不受数据集规模限制时,其性能可完全媲美传统全参数...

Read More
2025-05-20 talkingdev

[开源]基于AWS低成本微调Qwen2.5B模型实现推理能力突破

GitHub最新开源项目展示了一种针对Qwen2.5B大语言模型的创新微调方案,该方案采用SFT(监督微调)结合GRPO(梯度反向传播优化)的混合训练框架,其技术路线受到DeepSeek R1架构启发,并针对AWS云平台进行了专项优化...

Read More