随着现代AI应用日益依赖大语言模型（LLM）生成结构化数据，如何高效流式传输这些输出成为技术挑战。全球AI平台推出的开源项目LangDiff提供了一种创新解决方案——这款Python库专为结构化LLM输出流式传输至前端而设计，...

OpenAI近日在GitHub上开源了Harmony响应格式的渲染器项目，该项目专为其gpt-oss系列开源权重模型设计，旨在实现对话输出的结构化处理。Harmony格式通过Rust编写的核心模块与Python绑定，提供了高效的格式解析与渲染...

CollabLLM是一个开源框架，旨在训练语言模型提出战略性问题和引导对话，而非做出假设。该框架采用了一种名为'多轮感知奖励'的创新机制，该机制基于对话结果的长期影响而非即时帮助性来评估响应。这一方法标志着对话...

Hugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型，支持六种语言，具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能，为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...

谷歌DeepMind推出的Gemini 2.5大模型近日通过开源工具mem0实现了突破性的长期记忆功能。该技术方案利用Gemini API与mem0的协同工作，使聊天机器人能够存储和调用历史交互数据，从而显著提升对话系统的上下文感知能力...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

本文深入探讨了长上下文问答系统的评估方法，包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战：信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...