PagedAttention：用虚拟内存破解KV缓存碎片化，大模型GPU并发推理提升2-4倍

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

Read More