本文探讨了模型中存在几乎所有输入都会使用的热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU中，您可以节省内存而不会牺牲太多吞吐量。可以使用配套的代码库。

苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...

本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。

苹果研究人员使用创新的闪存利用技术，在苹果设备上部署大型语言模型取得了关键突破。该方法采用窗口化和行列捆绑技术，以最小化数据传输并最大化闪存吞吐量。它可以使AI模型在标准处理器上运行速度提高高达5倍，在...

苹果研究员使用一种创新的闪存利用技术，为在具有有限内存的苹果设备上部署大型语言模型打开了关键突破。该方法使用窗口化和行列捆绑技术来最小化数据传输，最大化闪存吞吐量。它使得 AI 模型在标准处理器上运行速度...

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

领先的创始人和风投投资者谈论人工智能的发展现状，从LLMs的应用到企业创新。如果“你应该了解的关于人工智能的事情”节奏有点令人不知所措，那么这是一个不错的快速回顾。人工智能正在成为越来越多行业的关键技术之一...

DeepEval是一款全能的LLM应用评估框架，可让用户轻松识别和迭代不令人满意的LLM输出。它目前提供了14+种评估指标，如幻觉、摘要、G-Eval、RAGAS等，供用户以Pytest样式或组件化方式评估整个数据集。