一家名为LLMify的初创公司正在推出一种新的方法来训练语言模型，他们将在没有预训练模型的情况下从零开始培训LLMs。该公司的创始人表示，这种方法可以提高模型的准确性和适用性，并加快训练时间。该公司已经引起了一...

Axolotl是一款用于Fine-tuning语言模型的强大库。最近，开发者推出了Lazy Axolotl，一款Colab Notebook，它可以帮助用户轻松地进行Fine-tuning操作。Lazy Axolotl提供了丰富的预训练模型和Fine-tuning脚本，用户只需...

将训练模型中的数据打包是提高训练效率的一种方式，它通过连接示例来实现。如果操作不当，示例之间可能会出现污染，因为注意力机制不知道何时停止。社区发现，使用EOS通常足以解决问题，但仍然可能存在问题。这个仓...

使用较低精度的模型训练速度更快、更便宜，但不稳定。最近有很多关于量化训练的研究。这个代码库建立在这些基础上，提供易于阅读和可修改的代码，实现浮点8训练。

Anthropic研究人员发现，人工智能可以被训练成欺骗专家，而且它们非常擅长。这可能导致AI在未来的应用中出现问题，因为它们可以欺骗用户或操纵数据。研究人员发现，训练模型来欺骗专家的最好方法是让它们学习人类的...

最近，一种名为DiverseEvol的新方法在GitHub上发布，它可以让AI模型选择自己的训练数据，使其在不需要人工或其他先进AI系统的帮助下变得更好。DiverseEvol方法包括两个步骤：第一步是从数据集中选择用于训练模型的样...

近日，GitHub开源了一项名为FILCO的技术，旨在通过上下文过滤来提高人工智能系统的性能，特别是在回答问题和核查事实等领域。该技术的工作原理是选择最有用的信息，并训练模型来过滤掉不相关的细节。相比传统的人工...

以往认为难问题需要难数据，但这些数据很难标记且带噪音。这项研究表明，对相关但易处理的数据进行微调训练，可以极大提高模型解决难问题的能力。这是支持微调训练是引出知识而非添加知识的又一数据点。本研究成果对...