在AI大模型推理成本与日俱增的背景下，测试时扩展（Test-Time Scaling）正成为提升模型性能的前沿方向之一。近日，来自开源社区的项目AutoTTS提出了一种全新的自动化策略发现框架，旨在通过编码Agent在回放环境中迭...

谷歌近期在Gemma大型语言模型上实现了令人瞩目的推理速度提升，成功将性能提升了三倍。这一突破性进展的核心在于采用了“投机解码”（Speculative Decoding）技术。该技术的工作原理是部署一个轻量级、速度极快的“草稿...

Google最新发布的Gemma 4模型通过引入多Token预测（Multi-Token Prediction, MTP）草案机制，显著降低了延迟瓶颈，提升了开发者的交互响应体验。该技术利用一种专门的投机性解码（Speculative Decoding）架构，在不...

近日，GitHub上开源了一个名为TriAttention的项目，其核心是一种创新的KV（键值）缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时，因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...

人工智能初创公司Inception Labs近日正式发布了其新一代大语言模型Mercury 2，并宣称该模型是“全球最快的推理语言模型”。其核心目标是让生产环境中的AI应用响应达到“瞬时”体验。Mercury 2的技术亮点在于其采用了创新...

近日，备受开发者关注的本地大语言模型运行平台LM Studio发布了其0.4.0版本更新。本次更新带来了多项关键性功能升级，核心聚焦于提升生产环境下的部署能力与推理性能。最引人注目的新特性是支持服务器部署模式，这使...

人工智能领域知名专家安德烈·卡帕西（Andrej Karpathy）近期发布了其对2025年大语言模型（LLM）发展的年度回顾，系统性地梳理了行业在过去一年中经历的深刻范式转变。报告指出，技术演进的核心驱动力已从单纯追求模...

在大型语言模型推理优化领域，Prompt缓存技术正成为提升服务效率、降低计算成本的关键前沿技术。本文深入解析了Prompt缓存的核心工作原理，特别聚焦于vLLM框架中创新的Paged Attention机制及其实现的自动前缀缓存。...