苹果开发突破性方法，使LLMs可以在iPhone上运行

talkingdev • 2023-12-25

1136716 views

苹果研究人员使用创新的闪存利用技术，在苹果设备上部署大型语言模型取得了关键突破。该方法采用窗口化和行列捆绑技术，以最小化数据传输并最大化闪存吞吐量。它可以使AI模型在标准处理器上运行速度提高高达5倍，在图形处理器上运行速度提高高达25倍。这项技术为iPhone设备上运行复杂的AI助手奠定了基础。