近日，在GitHub上开源名为“ntransformer”的高效大语言模型推理引擎项目，其核心创新在于探索并实现了通过NVMe存储设备直接与GPU通信，绕过CPU和系统内存的传统数据路径，从而在消费级显卡RTX 3090上成功运行了参数量...

近日，多家领先的AI推理服务提供商，包括Baseten、DeepInfra、Fireworks AI和Together AI，宣布通过在其服务中部署基于NVIDIA Blackwell架构的GPU并运行开源模型，成功将每次推理的令牌成本大幅降低了高达10倍。这一...

近日，一个名为TTT-Discover的开源项目在GitHub上发布，其核心创新在于将强化学习（Reinforcement Learning）技术应用于大型语言模型（LLMs）的推理（Inference）阶段，而非传统的训练阶段。这一“测试时训练”（Test-...

近日，一个名为LMCache的开源项目在GitHub上发布，旨在通过创新的键值（KV）缓存加速层，显著提升大型语言模型（LLM）的服务性能。该项目专为LLM推理服务设计，其核心在于能够跨GPU、CPU、本地磁盘和Redis等多种存储...

人工智能领域知名专家安德烈·卡帕西（Andrej Karpathy）近期发布了其对2025年大语言模型（LLM）发展的年度回顾，系统性地梳理了行业在过去一年中经历的深刻范式转变。报告指出，技术演进的核心驱动力已从单纯追求模...

在大型语言模型推理优化领域，Prompt缓存技术正成为提升服务效率、降低计算成本的关键前沿技术。本文深入解析了Prompt缓存的核心工作原理，特别聚焦于vLLM框架中创新的Paged Attention机制及其实现的自动前缀缓存。...

大语言模型（LLM）作为基于Transformer架构的神经网络，通过并行分析完整序列并计算词语间的全局关联性，实现了自然语言处理的突破性进展。在推理过程中，模型首先将输入文本转化为数字化的词元嵌入向量，随后通过Tr...

Meta公司内部团队与vLLM、PyTorch展开深度技术合作，成功推出预填充/解码分离技术（prefill/decode disaggregation），这项突破性技术显著提升了大规模语言模型在生产环境中的推理性能。通过将推理过程分解为预填充...