Hugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型，支持六种语言，具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能，为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...

谷歌DeepMind推出的Gemini 2.5大模型近日通过开源工具mem0实现了突破性的长期记忆功能。该技术方案利用Gemini API与mem0的协同工作，使聊天机器人能够存储和调用历史交互数据，从而显著提升对话系统的上下文感知能力...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

本文深入探讨了长上下文问答系统的评估方法，包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战：信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...

人工智能研究公司DeepSeek近日宣布对其R1推理模型进行重大升级，并将最新版本发布于Hugging Face平台。这一进展标志着自然语言处理领域的重要突破，R1模型以其卓越的推理能力和高效的参数利用在业界备受关注。此次更...