Hydra是一个基于列存储的Postgres数据库，可以在不更改代码的情况下瞬间查询数十亿行数据。它使用列存储、查询并行化、矢量化执行、列级缓存和经过调优的Postgres，以在几分钟内实现并行分析。Hydra适用于聚合、WHER...

最近一篇文献提出，GPT-4的性能降级问题已引起争议，人们将其性能下降归因于微调引起的行为改变，而非能力的丧失。这项研究强调了由于这些微调差异而导致量化评估语言模型的挑战性。虽然有研究暗示GPT-4性能出现退化...

ExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目，但在使用量化权重时存在内存占用较高的问题。ExLl...

近日，研究人员提出了一种名为Sparse-Quantized Representation（SpQR）的新技术，可以实现对大型语言模型（LLMs）的几乎无损压缩，克服了量化带来的精度损失。这项技术使得强大的LLMs可以在像笔记本电脑和手机这样...

本文介绍了一个名为"QLoRA"的开源代码库，旨在支持论文"QLoRA: Efficient Finetuning of Quantized LLMs"，该论文旨在民主化LLM研究的资源获取。 ## 三个核心要点： - QLoRA是一个开源代码库，支持LLM研究领域的民...

在技术领域中，微调是一种比完全微调更便宜的模型微调方式。它通过仅更新模型的一个小而精心选择的子集来工作。然而，即使如此，在普通硬件上微调大型（超过13B参数）模型的成本仍然太高。量化减少了模型中参数的精...

HuggingFace发布了新的研究成果，使得在普通硬件上能够完成对65B参数模型的微调。这项研究使得量化技术不再局限于推理阶段，而是可以应用于训练过程中，从而大幅减少了模型所需空间。以下是该研究的三个核心点： -...

微软推出了一款名为Semantic Kernel (SK) 的轻量级SDK，可将人工智能大型语言模型（LLMs）与传统编程语言集成。这款创新型模型将自然语言语义功能、本地代码功能和基于嵌入式内存的功能融合在一起，以增强应用程序的...