在知识蒸馏和初始化方面已经做了大量的工作，例如“彩票假设”。这项工作提供了一种简单的机制，可以从一个更大的模型中初始化一个更小的模型。这显著提高了较小模型的性能。

Orca模型是微软的一组小型模型，擅长推理任务。由于许多信息被保密，因此存在关于其有效性的担忧。现在发布了Orca 2，该模型可在HuggingFace上获得。它展现了良好的性能，超过了几个较大模型的推理基准。

跨视角训练（SCT）可以提高小型语言模型的性能，使其能够生成先前仅可由较大模型实现的句子嵌入，从而优化性能和计算效率。

大规模训练中的不稳定性对于大多数研究人员来说很难复制。一项新论文展示了如何在小模型中重现这些不稳定性，并验证了许多常见的修复方法在这些小模型上同样有效。该论文的作者认为，这样做有助于提高大规模训练的可...

OpenCompass是一款免费的工具，旨在快速有效地测试大型模型。它的开源特性意味着任何人都可以对其进行修改和优化，以满足特定的需求。OpenCompass的核心优势在于其能够处理大规模的模型，这使得它在处理复杂的机器学...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的...

HuggingFace发布了新的研究成果，使得在普通硬件上能够完成对65B参数模型的微调。这项研究使得量化技术不再局限于推理阶段，而是可以应用于训练过程中，从而大幅减少了模型所需空间。以下是该研究的三个核心点： -...