KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

谷歌近日宣布其人工智能模型Gemini 2.5 Pro和Flash版本已全面开放使用，同时推出预览版Flash-Lite。此次更新最引人注目的是引入了可控的“思考预算”机制，该技术通过动态分配计算资源，在保证推理精度的同时为开发者...

知名数据压缩库bzip2的Rust实现版本（bzip2 crate）近日宣布完成从C语言到纯Rust代码的全面迁移，这一技术转型引发开发者社区广泛关注。该项目作为Rust语言在系统编程领域替代C语言的典型案例，其技术迁移过程涉及内...

OpenAI宣布将Prompts（提示词）正式升级为API原语，这一重大更新将允许开发者在Playground、API、Evals和Stored Completions等平台间实现提示词的集中管理、版本控制和优化。开发者现在可以预先配置提示词的工具、模...

TreeRL是一种创新的语言模型训练方法，通过结合on-policy树搜索和中间监督机制，实现了无需单独奖励模型的LLM训练。这一技术突破来自最新arXiv论文，相比传统的ChainRL方法，TreeRL在数学推理和代码生成等复杂任务上...

Together AI宣布在其Serverless Inference API和专用端点服务中集成两大前沿AI模型：DeepSeek R1-0528语言模型与FLUX.1 Kontext图像生成系统。DeepSeek R1-0528通过升级的推理能力、函数调用支持及代码生成优化，显...

人工智能领域迎来重要进展，Featherless AI近日正式成为Hugging Face平台的推理服务提供商。这一合作将为开发者带来革命性的无服务器（serverless）模型访问体验，用户无需管理底层基础设施即可直接调用包括Meta、Qw...

一项突破性研究提出让大语言模型通过生成"自我编辑指令"实现持续性参数更新的训练框架。该技术通过监督微调使模型自主产生训练材料，在较小参数量下性能超越GPT-4.1，为解决AI领域的"数据墙"瓶颈提供了新思路。研究...