苹果公司近期在其机器学习研究官网发布了《Apple Intelligence Foundation Language Models Tech Report 2025》技术报告，正式公开了支撑Apple Intelligence功能的两大核心基础模型。报告显示，这两个模型具备多语言...

GitHub开源项目Uzu为Apple Silicon平台带来突破性AI推理解决方案。该项目采用混合GPU/MPSGraph架构，显著提升计算效率，同时提供简洁API和统一模型配置，支持Swift及命令行接口绑定。其核心创新在于实现可追踪的计算...

Mistral AI近日发布了其首个开源音频模型套件Voxtral，标志着开源语音理解技术迈入新阶段。该套件包含两个关键版本：24B参数的大规模应用模型和3B参数的边缘计算优化版本。24B模型凭借庞大参数规模，可处理复杂语音...

开发者Henry和Roman近日推出开源项目Cactus，这是一个专为智能手机设计的跨平台框架，支持本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型。与Ollama专注于笔记本和边缘服务器不同，Cactu...

Google最新发布的Gemma 3n和MatFormer模型采用了创新的嵌套Transformer架构，通过Mix-n-Match技术实现弹性推理功能。该技术允许模型在运行时动态调整计算资源分配，显著提升推理效率并降低计算成本。本实践教程详细...

Hugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型，支持六种语言，具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能，为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...

谷歌最新推出的Gemma 3N模型现可通过Dynamic GGUFs技术在本地环境中运行，技术社区已实现与llama.cpp、Ollama及Open WebUI生态的无缝集成。本文详解三种部署方案的技术要点：1）利用llama.cpp的量化推理优化实现低资...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...