Meta公司近日发布了一个名为Torchtune的原生PyTorch库，专门用于精细调整语言模型。该库旨在为开发者提供更为便捷的工具，以便在PyTorch框架中进行语言模型的微调工作。通过Torchtune，开发者可以更容易地实现模型性...

近日，GitHub上出现了一个新的项目LlamaGym，该项目专注于通过在线强化学习方法对大型语言模型（LLM）代理进行微调。大型语言模型在近年来取得了显著的进展，但如何进一步提升其性能，尤其是在特定任务上的表现，成...

谷歌正在为Gemini Web应用程序推出一项新功能，允许用户使用重新生成、更短、更长和删除等选项微调AI生成的响应，目的是提供对创意内容更大的控制。

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

HiGPT 是一种学习跨异构图谱的方法，不需要微调。它与新颖的图谱分词器和大量的图谱指令相结合，使其在适应各种数据分布方面表现出色。

Distilabel是为AI工程师设计的框架，使用人类反馈的强化学习方法（例如奖励模型和DPO）对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集，清洗和训练。

Axolotl是一款用于Fine-tuning语言模型的强大库。最近，开发者推出了Lazy Axolotl，一款Colab Notebook，它可以帮助用户轻松地进行Fine-tuning操作。Lazy Axolotl提供了丰富的预训练模型和Fine-tuning脚本，用户只需...

近日，一项新的研究挑战了结合监督微调和强化学习的训练方法的有效性。研究表明，在初始训练中使用更先进的模型（如GPT-4）可以优于更复杂的两步方法。这一研究的开源代码已经发布到GitHub上，供科研人员使用和参考...

近日，GitHub推出了一项新的方法，可以增强OpenFlamingo和LLaVA等多模型模型对视觉对抗攻击的防御能力。该方法通过无监督地微调CLIP视觉编码器，有效地保护这些模型免受恶意图像攻击，提高了它们在现实应用中的可靠...

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。