开源|TriAttention：基于三角函数的KV缓存压缩技术，助力大模型长上下文推理在内存受限GPU上本地部署

近日，GitHub上开源了一个名为TriAttention的项目，其核心是一种创新的KV（键值）缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时，因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...

Read More