Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

Qwen团队在Hugging Face发布Qwen3.8-2.4T-A95B模型。该模型基于Qwen3.5架构演进而来，重点提升编码与长时程任务处理能力，并通过改进的智能体执行机制提高任务完成可靠性。它支持SGLang、vLLM等主流部署框架，可较顺...

英伟达NeMo团队近日在GitHub上开源了一个名为Molt的智能体强化学习框架。该框架采用PyTorch原生设计，核心理念是将智能体本身视为可执行的程序，而非传统强化学习中固定的策略网络。Molt支持高度灵活的自定义Python...

Netflix 近期公开了其内部自研的大语言模型（LLM）推理服务平台的设计与实践。与依赖外部托管 API 不同，该平台将模型部署和推理完全集成到 Netflix 现有的生产环境中，既保障了数据安全与低延迟，又实现了对模型的...

在大型语言模型（LLM）和视觉语言模型（VLM）部署中，模型量化是降低计算和存储成本的关键技术。然而，传统量化方法往往需要在模型大小和推理精度之间做出艰难取舍，尤其是在超低位宽（如2-bit、3-bit）下，精度损失...

随着大语言模型（LLM）应用场景的不断拓展，越来越多的现代工作负载，如大规模内容生成、数据清洗和批量分析等，其核心诉求已从追求单个请求的低延迟，转向了优先保障整体吞吐量。然而，当前许多LLM系统和部署方案仍...