Apple 研究员开发突破性技术，让 iPhone 运行 LLMs 如虎添翼
talkingdev • 2023-12-22
1145565 views
苹果研究员使用一种创新的闪存利用技术，为在具有有限内存的苹果设备上部署大型语言模型打开了关键突破。该方法使用窗口化和行列捆绑技术来最小化数据传输，最大化闪存吞吐量。它使得 AI 模型在标准处理器上运行速度最多可以提高五倍，在图形处理器上最多可以提高 25 倍。该技术为 iPhone 设备上运行复杂的 AI 助理铺平了道路。
核心要点
- 苹果研究员开发了一种创新的闪存利用技术，为在苹果设备上部署大型语言模型打开了关键突破。
- AI 模型在标准处理器上运行速度最多可以提高五倍，在图形处理器上最多可以提高 25 倍。
- 该技术为 iPhone 设备上运行复杂的 AI 助理铺平了道路。