近日，一个名为LMCache的开源项目在GitHub上发布，旨在通过创新的键值（KV）缓存加速层，显著提升大型语言模型（LLM）的服务性能。该项目专为LLM推理服务设计，其核心在于能够跨GPU、CPU、本地磁盘和Redis等多种存储...

月之暗面（Moonshot AI）正式发布Kimi Linear技术报告，这项突破性架构通过创新设计实现了对传统全注意力机制的全面超越。该架构在保持同等性能水平下，将KV缓存使用量最高降低75%，在100万上下文长度场景中解码吞吐...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...

开发者Adi和Arnav在尝试让大语言模型（LLM）处理研究论文和说明书中的问题时，发现现有RAG（检索增强生成）系统无法有效解析PDF中的图像和图表内容，甚至GPT-4o和O3模型也表现不佳。为此，他们开发了开源项目Morphik...

近日，Character AI在其大规模推理系统中成功减少了KV缓存的使用，并在一个简化版的GPT模型中实现了这一优化。通过这一技术改进，内存使用量减少了40%。这一优化不仅提升了系统的运行效率，还为未来更大规模的AI模型...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

在MLX中实施批量并行KV缓存，导致合成数据生成和模型完成的推理时间显著提速。这种新的技术实现方式大大加快了处理速度，从而在Mac上每秒可以处理1300个Token。这一突破性的技术进步，不仅可以提高处理效率，同时也...