Mistral近日宣布推出其官方模型微调仓库，这一举措将为开发者提供更方便的工具来优化和定制Mistral的模型。该官方仓库已经在GitHub上开放，用户可以通过访问该仓库获取相关资源和文档。Mistral的微调仓库支持多种机...

Google I/O开发者大会以一场为期两小时的快速连续的公告序列开始。这篇文章将这些公告总结为易于阅读的列表。这些公告包括Firebase Genkit，这是Firebase平台的一个新成员，旨在使开发者更容易用JavaScript/TypeScri...

现在，您可以使用GPT-Fast实时运行最新的Google VLM。这为我们打开了一扇强大的大门，因为该模型非常容易为特定任务进行微调。这意味着，我们可以轻松地将其应用到各种下游任务中。PaliGemma的实时运行不仅能够提高...

LoRA（Learning of Rate Adjustor）是一种被广泛应用于模型微调的方法，用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时，学习能力和遗忘之间的权衡关系。研究发现，LoRA相比于全面微调，虽然学习的...

Cohere公司近日推出了其Command R的微调功能，该功能以极低的成本提供了业界领先的性能。在对企业最重要的关键性能指标上，具有微调功能的Command R始终优于更大的模型。该微调功能现已在Cohere的平台和亚马逊Sagema...

Unsloth.ai的创始人近期发布了一段视频，详述了他们的团队如何使用PyTorch，编写他们的内核，以及设计他们的API界面。Unsloth的框架和库功能强大，易于使用。Unsloth通过这种方式，使得大量的开发者能够更好地进行深...

Llama3是一种革命性的新技术，它通过使用Unsloth进行微调，可以在保持相同的计算效率的同时，显著降低VRAM的使用量。最近的研究表明，使用Unsloth微调Llama3可以使上下文长度增长六倍，这比HF的flash attention技术...

近期在GitHub上发布的ReFT（Representation Fine-Tuning）项目，为微调语言模型带来了一种新的参数高效方法。与传统的PeFT相比，ReFT在保持强大性能的同时，大大降低了成本。该方法通过精细化调整模型参数，使得在进...