Hugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型,支持六种语言,具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能,为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...
Read More谷歌DeepMind推出的Gemini 2.5大模型近日通过开源工具mem0实现了突破性的长期记忆功能。该技术方案利用Gemini API与mem0的协同工作,使聊天机器人能够存储和调用历史交互数据,从而显著提升对话系统的上下文感知能力...
Read MorePyTorch与vLLM近日宣布深化技术整合,新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型(LLM)推理性能方面取得重要突破:量化技术可降低模型计算资源消耗达4-8...
Read More本文深入探讨了长上下文问答系统的评估方法,包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战:信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...
Read More近日,一篇关于将大语言模型(LLMs)编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计,将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核,显著减少了内核启动...
Read MoreGroq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商,这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构,开发者能够以服务器无感知(serverless)方式极速调用Llama...
Read More近日,GitHub上开源了一项名为Weak-to-Strong Decoding(WSD)的创新技术,该方法通过让小型的对齐模型(aligned model)生成回答的开头部分,再由大型基础模型(base model)继续完成后续内容,从而在保持模型性能...
Read More人工智能研究公司DeepSeek近日宣布对其R1推理模型进行重大升级,并将最新版本发布于Hugging Face平台。这一进展标志着自然语言处理领域的重要突破,R1模型以其卓越的推理能力和高效的参数利用在业界备受关注。此次更...
Read More