在大型语言模型领域，一种新的视角正在引发讨论：将上下文视为“软件”，而将权重视为“硬件”。这种比喻揭示了模型运作的本质差异。上下文（如KV缓存）动态地调节模型的激活值，为特定任务提供临时性的“编程”，从而实现...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...

近日，GitHub上开源了一个名为TriAttention的项目，其核心是一种创新的KV（键值）缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时，因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...

近日，一个名为LMCache的开源项目在GitHub上发布，旨在通过创新的键值（KV）缓存加速层，显著提升大型语言模型（LLM）的服务性能。该项目专为LLM推理服务设计，其核心在于能够跨GPU、CPU、本地磁盘和Redis等多种存储...

月之暗面（Moonshot AI）正式发布Kimi Linear技术报告，这项突破性架构通过创新设计实现了对传统全注意力机制的全面超越。该架构在保持同等性能水平下，将KV缓存使用量最高降低75%，在100万上下文长度场景中解码吞吐...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...

开发者Adi和Arnav在尝试让大语言模型（LLM）处理研究论文和说明书中的问题时，发现现有RAG（检索增强生成）系统无法有效解析PDF中的图像和图表内容，甚至GPT-4o和O3模型也表现不佳。为此，他们开发了开源项目Morphik...