GitHub开源项目Uzu为Apple Silicon平台带来突破性AI推理解决方案。该项目采用混合GPU/MPSGraph架构，显著提升计算效率，同时提供简洁API和统一模型配置，支持Swift及命令行接口绑定。其核心创新在于实现可追踪的计算...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...

Lightning Whisper MLX是一款针对苹果硅芯片优化的Whisper语音识别算法的高速实现版本。它采用批量解码技术以提高吞吐量，运用蒸馏模型以加快解码速度，并引入量化模型以加速内存传输。相较于传统的Whisper CPP，Lig...