LLM Library是一款可扩展、便捷、高效的大型机器学习模型微调工具箱，旨在为整个社区提供用户友好、高速可靠、易于访问的解决方案。

这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24...

近日，研究人员推出了一种改进型的Low Rank Adaptation（LoRA）技术，可帮助研究和实践社区更有效地微调大型模型。以下是本次发布的主要内容： - LoRA被广泛应用于研究和实践社区，作为一种参数高效的微调大型模型...

近日，一项名为ViCo的新技术问世，其可以根据文本描述生成逼真的图像，并且能够从仅有的几个样本中捕捉到新概念的细节。与其他方法不同，ViCo对系统资源的消耗较小，不需要对原始模型的参数进行微调，但它仍然通过专...

本文介绍了一个名为"QLoRA"的开源代码库，旨在支持论文"QLoRA: Efficient Finetuning of Quantized LLMs"，该论文旨在民主化LLM研究的资源获取。 ## 三个核心要点： - QLoRA是一个开源代码库，支持LLM研究领域的民...

## 新闻内容: 最近的一项研究发现，小模型在算术方面甚至可以击败GPT4，这一发现令人惊喜。具体来说，已经有许多强大的基础模型被用于算术任务的微调，但是llama tokenizer（将数字分割成单个数字）在算术方面的优...

在本指南中，我们将介绍如何使用Lit-Parrot对自定义数据集进行LLMs的微调。Lit-Parrot是一个基于nanoGPT的实现GPT-NeoX模型的工具，支持StableLM、Pythia和RedPajama-INCITE模型权重。 下面是三个重点： - Lit-Par...

在技术领域中，微调是一种比完全微调更便宜的模型微调方式。它通过仅更新模型的一个小而精心选择的子集来工作。然而，即使如此，在普通硬件上微调大型（超过13B参数）模型的成本仍然太高。量化减少了模型中参数的精...