开源|大模型预训练的“模式跳跃”：语言模型如何从鹦鹉学舌到展现智能？

一项最新研究揭示了语言模型在预训练过程中的一个惊人现象：它们并非平稳地提升能力，而是在“模仿”和“智能行为”之间突然切换，研究人员将其称为“模式跳跃”。这种非连续性的行为转变无法通过标准的优化技术（如调整学...

Read More