近日，FlexPrefill技术通过动态调整稀疏注意力模式和计算预算，显著提升了大型语言模型（LLM）的推理效率。该技术通过查询感知模式确定和累积注意力索引选择，优化了长序列处理的速度和准确性。FlexPrefill的核心在...

近日，GitHub上发布了一个名为CoT-UQ的创新框架，该框架旨在为大型语言模型（LLM）提供响应层面的不确定性量化。CoT-UQ通过集成链式思维（Chain-of-Thought, CoT）推理，能够更精确地评估模型在生成响应时的置信度。...

ModelScope近日发布了Diffusion Studio，这是一个基于GitHub的开源平台和代码库，旨在为多种类型的扩散模型及其相关的自动编码器提供高效的抽象支持。Diffusion Studio通过简化复杂模型的开发流程，帮助研究人员和开...

近日，DeepSeek在GitHub上发布了名为DualPipe的开源项目，展示了其在模型并行计算领域的最新研究成果。DualPipe采用了一种新颖的并行策略，旨在优化模型的计算与通信重叠，从而显著提升整体性能。这一策略通过高效的...

近期，一项针对OpenAI的o1/o3和DeepSeek的R1等推理型LLM的研究揭示了这些模型在逐步逻辑推理能力方面的表现。研究通过对比人类认知能力，对这些模型进行了基准测试。结果显示，尽管LLM在复杂任务中表现出色，但在需...

近日，Qwen公司预览了一款全新的推理模型，该模型在数学和代码领域表现出色，取得了显著的成果。Qwen计划将这一模型与其强大的Max模型一同以开放权重的形式发布。这一举措不仅展示了Qwen在人工智能领域的技术实力，...

近日，R1-OneVision作为一种多功能的大型多模态模型，正式在GitHub上发布。该模型通过整合视觉与文本数据，在数学、科学、深度图像理解及逻辑推理等复杂任务中表现出色。R1-OneVision的设计旨在解决传统单一模态模型...

近日，Character AI在其大规模推理系统中成功减少了KV缓存的使用，并在一个简化版的GPT模型中实现了这一优化。通过这一技术改进，内存使用量减少了40%。这一优化不仅提升了系统的运行效率，还为未来更大规模的AI模型...