PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

本文深入探讨了长上下文问答系统的评估方法，包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战：信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

近日，GitHub上开源了一项名为Weak-to-Strong Decoding（WSD）的创新技术，该方法通过让小型的对齐模型（aligned model）生成回答的开头部分，再由大型基础模型（base model）继续完成后续内容，从而在保持模型性能...

人工智能研究公司DeepSeek近日宣布对其R1推理模型进行重大升级，并将最新版本发布于Hugging Face平台。这一进展标志着自然语言处理领域的重要突破，R1模型以其卓越的推理能力和高效的参数利用在业界备受关注。此次更...

GitHub开源项目ConvSearch-R1提出了一种创新的自监督对话搜索技术，通过强化学习和基于检索的奖励机制，实现了无需外部监督的对话查询重构。该技术利用强化学习框架，将用户对话中的模糊查询自动转化为精准的搜索语...

来自arXiv的最新研究论文提出了一种名为WavReward的创新评估系统，该系统基于音频语言模型，专门用于评估语音对话系统在认知和情感指标上的表现。WavReward通过在ChatReward-30K数据集上进行训练，该数据集包含了大...