McGill-NLP实验室推出的Nano Aha Moment项目在GitHub开源，该项目通过极简架构实现高性能深度学习训练——仅需单个文件和一块GPU即可完成从零开始的完整参数调优，并复现了DeepSeek R1-Zero模型的训练范式。这一突破性...

近日，研究人员通过优化技术展示了大型语言模型（LLMs）在减少非embedding参数的同时仍能保持学习能力。研究表明，通过用优化的子网络替换密集层，LLMs可以在减少高达77%的参数的情况下，依然保持与原有模型相当的性...