链式思维（Chain-of-Thought, CoT）是当前监督和解读大模型推理过程的重要工具，但一些新型架构变化可能显著降低CoT的可监控性。针对这一问题，Redwood Research提出“不透明串行深度”的可操作化概念，将“文本瓶颈之...

Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

Salesforce AI Research 发布了 Random Attention 代码仓库，对应论文《Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning》。在大语言模型推理中，KV缓存占用大量显存，现有方法通常依赖学...

Three-LLM 项目展示了一种全新的浏览器端大模型推理路径：它将 GPT-2、SmolLM2、Qwen 和 Phi 等模型的推理图，直接翻译为 Three.js TSL 计算着色器，并借助 WebGPU 在本地完成计算。与常见方案不同，它不需要服务端...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

苹果生态中内存长期被认为是大模型本地推理的瓶颈，而TurboFieldfare项目提供了一个极具突破意义的解决方案。这个专门为Apple Silicon Mac设计的自定义运行时，让庞大的Gemma 4 26B-A4B模型（完整加载需约14.3 GB内...

谷歌云在Gemini企业智能体平台上正式推出Gemini蒸馏服务（Gemini Distillation Service），旨在通过大型“教师”模型的输出和推理路径，训练出更小、更高效的“学生”模型。该服务专门针对高吞吐量、低延迟严苛要求的应...