Hugging Face平台最新发布的SIFT-50M（Speech Instruction Fine-Tuning）数据集，是一个包含5000万样本的大规模语音指令微调数据集，专为语音-文本大语言模型（LLMs）的指令微调和预训练而设计。该数据集基于公开可...

大规模训练中的不稳定性对于大多数研究人员来说很难复制。一项新论文展示了如何在小模型中重现这些不稳定性，并验证了许多常见的修复方法在这些小模型上同样有效。该论文的作者认为，这样做有助于提高大规模训练的可...