研究人员通过前沿AI技术实现了重大突破:利用自主生成的Metal GPU内核,将PyTorch在苹果设备上的推理速度平均提升1.87倍。这项研究测试了215个PyTorch模型,其中部分工作负载甚至达到基线性能的数百倍加速。该技术采...
Read MoreGitHub开源项目Uzu为Apple Silicon平台带来突破性AI推理解决方案。该项目采用混合GPU/MPSGraph架构,显著提升计算效率,同时提供简洁API和统一模型配置,支持Swift及命令行接口绑定。其核心创新在于实现可追踪的计算...
Read More近日,GitHub上出现了一个名为`react-native-apple-llm`的开源插件,该插件允许React Native开发者直接调用苹果设备端的Foundation Models(基础模型)来完成AI任务。这一技术突破为移动应用开发者提供了更便捷的AI...
Read More开发者Henry和Roman近日推出开源项目Cactus,这是一个专为智能手机设计的跨平台框架,支持本地部署大型语言模型(LLM)、视觉语言模型(VLM)和文本转语音(TTS)模型。与Ollama专注于笔记本和边缘服务器不同,Cactu...
Read More谷歌近日悄然推出一款名为AI Edge Gallery的应用程序,该应用允许用户直接在安卓设备上查找、下载并运行来自Hugging Face的兼容AI模型,且无需联网即可使用。这一突破性进展标志着移动端AI技术的重大进步,使得高性...
Read More近期,Hugging Face发布了一项名为AutoRound的后训练量化技术,该技术能够在保持模型性能和效率的同时,显著提升低比特量化模型的精度。这一突破性进展为边缘计算和移动端设备部署轻量级AI模型提供了新的可能性,解...
Read MoreGitHub最新开源项目Anemll(Artificial Neural Engine Machine Learning Library)引发开发者社区广泛关注,该项目实现了在苹果设备神经引擎(ANE)上高效运行大语言模型(LLMs)的技术突破。作为专为ANE优化的机器学习...
Read More微软近日发布了Phi-4-reasoning系列变体,这一创新标志着小型语言模型(SLMs)在效率与复杂推理能力上的重大进展。Phi-4-reasoning通过算法优化和架构改进,在保持参数规模精简的同时,实现了接近大型语言模型(LLMs...
Read More