KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

TreeRL是一种创新的语言模型训练方法，通过结合on-policy树搜索和中间监督机制，实现了无需单独奖励模型的LLM训练。这一技术突破来自最新arXiv论文，相比传统的ChainRL方法，TreeRL在数学推理和代码生成等复杂任务上...

SWE-Factory项目近日发布了一套自动化训练与评估管道，专门用于GitHub问题解决任务。该系统的核心创新在于采用了基于大语言模型（LLM）的多智能体系统架构，通过模拟人类开发者的协作模式，实现了软件开发问题的智能...

一项突破性研究提出让大语言模型通过生成"自我编辑指令"实现持续性参数更新的训练框架。该技术通过监督微调使模型自主产生训练材料，在较小参数量下性能超越GPT-4.1，为解决AI领域的"数据墙"瓶颈提供了新思路。研究...

开源情报研究团队近期对20个AI模型进行了500次地理定位挑战测试，采用未公开的旅行照片以防止模型依赖记忆数据。测试结果显示，OpenAI最新模型通过交叉参照建筑风格、植被特征及局部可见文本，表现超越Google Lens等...

PyTorch官方博客最新发布的ParetoQ训练算法在低比特量化领域取得重大突破。该技术首次实现了二元（1-bit）、三元（1.58-bit）和2至4位量化的统一框架，并在所有量化级别上均达到当前最优性能。这一突破性进展尤其适...

斯坦福大学研究团队提出突破性框架SEAL（Self-Adapting LLMs），首次实现大型语言模型的自主适应性进化。传统LLM虽功能强大但参数固化，SEAL通过生成自我微调数据和更新指令，使模型能根据新任务、知识或案例动态调...

近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...