本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...

向量量化变分自编码器（VectorQuantized-VAEs）通常被视为在学习特定离散表示（例如，令牌或代码）时的最新技术。然而，它们通常复杂且脆弱。一篇新的论文提出了一种简单的量化方案，消除了代码本崩溃和复杂的设备，...

大多数数据库使用树遍历解释器，少数使用堆栈或寄存器虚拟机，有些使用即时编译器，还有一些进行矢量化解释。随着技术的不断进步，越来越多的数据库开始采用即时编译技术，以提高执行效率。不过，不同的数据库在表达...

Meta最近发布了一种新的人工智能基准，名为FACET。这种基准旨在评估AI模型在图像和视频中分类和检测物体，包括人物的“公平性”。公平性在AI领域是一个重要的话题，因为AI模型往往会复制并放大现实世界的偏见。通过FAC...

Hydra是一个基于列存储的Postgres数据库，可以在不更改代码的情况下瞬间查询数十亿行数据。它使用列存储、查询并行化、矢量化执行、列级缓存和经过调优的Postgres，以在几分钟内实现并行分析。Hydra适用于聚合、WHER...

最近一篇文献提出，GPT-4的性能降级问题已引起争议，人们将其性能下降归因于微调引起的行为改变，而非能力的丧失。这项研究强调了由于这些微调差异而导致量化评估语言模型的挑战性。虽然有研究暗示GPT-4性能出现退化...

ExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目，但在使用量化权重时存在内存占用较高的问题。ExLl...

近日，研究人员提出了一种名为Sparse-Quantized Representation（SpQR）的新技术，可以实现对大型语言模型（LLMs）的几乎无损压缩，克服了量化带来的精度损失。这项技术使得强大的LLMs可以在像笔记本电脑和手机这样...

本文介绍了一个名为"QLoRA"的开源代码库，旨在支持论文"QLoRA: Efficient Finetuning of Quantized LLMs"，该论文旨在民主化LLM研究的资源获取。 ## 三个核心要点： - QLoRA是一个开源代码库，支持LLM研究领域的民...

在技术领域中，微调是一种比完全微调更便宜的模型微调方式。它通过仅更新模型的一个小而精心选择的子集来工作。然而，即使如此，在普通硬件上微调大型（超过13B参数）模型的成本仍然太高。量化减少了模型中参数的精...