富士通研究院近日开源了名为“OneCompression”（简称OneComp）的Python库，这是一个专门用于大语言模型后训练量化的工具。该库集成了当前最先进的量化算法，包括GPTQ和DBF，旨在帮助开发者和研究人员高效地将庞大的LL...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...