自然语言处理（NLP）中，让语言模型生成自己的训练数据是一个具有挑战性但前景广阔的研究领域。SPIN是一种方法，已经显示出很大的前途。该代码已经发布，但据报道使用起来很有挑战性。

HelixML实现了一套qapair提示，从各种不同的角度提取内容，并为每个文档生成内容寻址哈希。这使得微调Mistral-7B模型的效果更好。

近期，人工智能研究的重点从单纯的准确性和广度转向了效率和深度。英伟达的H100销售和AI能源的不断增长凸显了该行业的规模。投资要求盈利，将研究重点转向了像Phi 2这样更小、更高效的模型，并强调从模型架构到部署...

AI2发布了一个完全开放的语言模型训练框架，名为OLMo。该模型提供全面的资源，包括完整的训练数据、模型权重、训练和评估代码、每个模型超过500个检查点，以及未来的微调代码，所有这些都遵循Apache 2.0许可证。这些...

WhisperKit是一个用Swift编写的开源库，它将OpenAI的Whisper语音识别模型与Apple的CoreML框架集成，以在Apple设备上进行高效的本地推理。它可以通过Swift Package Manager集成到Swift项目中。WhisperKit会自动下载推...

LoRA是一种低秩适配器，可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。

针对图像-文本训练中使用的视觉基础模型，研究人员提出了一种名为ViSFT的新方法，以提高其性能。ViSFT使用类似于语言模型中的微调的两阶段过程来增强视觉基础模型。首先，该模型使用大规模的无监督预训练来学习图像...

以往认为难问题需要难数据，但这些数据很难标记且带噪音。这项研究表明，对相关但易处理的数据进行微调训练，可以极大提高模型解决难问题的能力。这是支持微调训练是引出知识而非添加知识的又一数据点。本研究成果对...