vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

来自Google的研究团队发布了DiffusionGemma技术报告，提出了一种实验性的开源权重语言模型，通过离散扩散生成文本，速度远超传统自回归模型。DiffusionGemma并未从零训练，而是在专家混合架构Gemma 4（激活参数38亿...

Baseten 为 GLM-5.2 模型构建的全新 API 在推理速度上取得了突破性进展，峰值速度高达 280 tokens/秒，平均速度约为 100 tokens/秒，整体性能达到发布日初版 API 的两倍以上。这一大幅提升得益于底层的系统级优化与...

预测多个令牌的同时生成是当前被积极研究的一个有趣的范式。如果成功，这将大大提高许多大型语言模型的生成速度。本篇文章中的方法，模仿了图像合成中的一致性模型，试图在精调的LLMs上使用并行解码策略来加快生成速...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...