漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-07-09 talkingdev

Hugging Face发布SmolLM3:小型多语言长上下文推理模型

Hugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型,支持六种语言,具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能,为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...

Read More
2025-07-07 talkingdev

Gemini 2.5聊天机器人迎来长期记忆功能:开源工具mem0实现个性化对话

谷歌DeepMind推出的Gemini 2.5大模型近日通过开源工具mem0实现了突破性的长期记忆功能。该技术方案利用Gemini API与mem0的协同工作,使聊天机器人能够存储和调用历史交互数据,从而显著提升对话系统的上下文感知能力...

Read More
2025-06-30 talkingdev

PyTorch与vLLM深化集成,提升大语言模型推理效率

PyTorch与vLLM近日宣布深化技术整合,新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型(LLM)推理性能方面取得重要突破:量化技术可降低模型计算资源消耗达4-8...

Read More
2025-06-24 talkingdev

评估长上下文问答系统的挑战与方法

本文深入探讨了长上下文问答系统的评估方法,包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战:信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...

Read More
2025-06-20 talkingdev

将大语言模型编译为MegaKernel:低延迟推理的新路径

近日,一篇关于将大语言模型(LLMs)编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计,将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核,显著减少了内核启动...

Read More
2025-06-17 talkingdev

Groq低延迟硬件接入Hugging Face推理平台,支持Llama 4和Qwen 32B等模型

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商,这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构,开发者能够以服务器无感知(serverless)方式极速调用Llama...

Read More
2025-06-12 talkingdev

[开源]Weak-to-Strong Decoding:小模型引导大模型实现高效对齐的新方法

近日,GitHub上开源了一项名为Weak-to-Strong Decoding(WSD)的创新技术,该方法通过让小型的对齐模型(aligned model)生成回答的开头部分,再由大型基础模型(base model)继续完成后续内容,从而在保持模型性能...

Read More
2025-05-29 talkingdev

DeepSeek发布升级版R1推理AI模型,现已登陆Hugging Face平台

人工智能研究公司DeepSeek近日宣布对其R1推理模型进行重大升级,并将最新版本发布于Hugging Face平台。这一进展标志着自然语言处理领域的重要突破,R1模型以其卓越的推理能力和高效的参数利用在业界备受关注。此次更...

Read More
  1. 1
  2. 2
  3. 3
  4. Next Page