近日,一篇技术博客详细记录了在苹果MacBook Air M2上成功安装并运行Asahi Linux发行版,并搭配Sway平铺式窗口管理器的完整体验。Asahi Linux是一个旨在为苹果Apple Silicon芯片(M1、M2系列)提供原生支持的开源项...
Read MoreGitHub开源项目Uzu为Apple Silicon平台带来突破性AI推理解决方案。该项目采用混合GPU/MPSGraph架构,显著提升计算效率,同时提供简洁API和统一模型配置,支持Swift及命令行接口绑定。其核心创新在于实现可追踪的计算...
Read More近日,开发者dipampaul17在GitHub上发布了KVSplit项目,该项目通过差异化精度的KV缓存量化技术,在苹果芯片(M1/M2/M3/M4)上实现了更长上下文的LLM推理。研究发现,LLM推理中的KV缓存中,键(Keys)和值(Values)...
Read MoreLightning Whisper MLX是一款针对苹果硅芯片优化的Whisper语音识别算法的高速实现版本。它采用批量解码技术以提高吞吐量,运用蒸馏模型以加快解码速度,并引入量化模型以加速内存传输。相较于传统的Whisper CPP,Lig...
Read More