Cohere公司近日推出了其Command R的微调功能，该功能以极低的成本提供了业界领先的性能。在对企业最重要的关键性能指标上，具有微调功能的Command R始终优于更大的模型。该微调功能现已在Cohere的平台和亚马逊Sagema...

Unsloth.ai的创始人近期发布了一段视频，详述了他们的团队如何使用PyTorch，编写他们的内核，以及设计他们的API界面。Unsloth的框架和库功能强大，易于使用。Unsloth通过这种方式，使得大量的开发者能够更好地进行深...

Llama3是一种革命性的新技术，它通过使用Unsloth进行微调，可以在保持相同的计算效率的同时，显著降低VRAM的使用量。最近的研究表明，使用Unsloth微调Llama3可以使上下文长度增长六倍，这比HF的flash attention技术...

近期在GitHub上发布的ReFT（Representation Fine-Tuning）项目，为微调语言模型带来了一种新的参数高效方法。与传统的PeFT相比，ReFT在保持强大性能的同时，大大降低了成本。该方法通过精细化调整模型参数，使得在进...

OpenAI最近宣布扩大其定制模型计划，通过辅助微调和定制训练模型，帮助企业客户开发适合特定使用场景的生成式AI模型。这一服务的推出，意味着企业可以根据自己的特定需求，获得更加个性化和高效的AI解决方案。生成式...

YC支持的25家创业公司通过培训或微调自有的基础模型，打破了构建AI模型需要巨额资源的传统观念。这些公司在短时间内取得了显著成就，如创造专业音乐和设计新型蛋白质。这些公司利用YC的资金和技术支持，跨越不同领域...

Mistral公司近期举办了一场黑客马拉松活动，并在此期间宣布了其7B语言模型的v0.2版本。同时，Mistral还发布了如何对其语言模型进行微调的代码。这些代码编写得整洁而简明，易于理解和使用。微调代码的发布，将有助于...

近期，OpenAI推出了GPT-4的微调API，使用户能够创建一个定制版本的GPT-4。这一服务的优势在于，用户可以根据自己的特定需求调整模型，从而在性能上获得高达三倍的提升。不过，这一性能提升并非没有代价，相比于原版G...

Meta公司近日发布了一个名为Torchtune的原生PyTorch库，专门用于精细调整语言模型。该库旨在为开发者提供更为便捷的工具，以便在PyTorch框架中进行语言模型的微调工作。通过Torchtune，开发者可以更容易地实现模型性...

近日，GitHub上出现了一个新的项目LlamaGym，该项目专注于通过在线强化学习方法对大型语言模型（LLM）代理进行微调。大型语言模型在近年来取得了显著的进展，但如何进一步提升其性能，尤其是在特定任务上的表现，成...