苹果研究人员使用创新的闪存利用技术，在苹果设备上部署大型语言模型取得了关键突破。该方法采用窗口化和行列捆绑技术，以最小化数据传输并最大化闪存吞吐量。它可以使AI模型在标准处理器上运行速度提高高达5倍，在...

苹果研究员使用一种创新的闪存利用技术，为在具有有限内存的苹果设备上部署大型语言模型打开了关键突破。该方法使用窗口化和行列捆绑技术来最小化数据传输，最大化闪存吞吐量。它使得 AI 模型在标准处理器上运行速度...

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

领先的创始人和风投投资者谈论人工智能的发展现状，从LLMs的应用到企业创新。如果“你应该了解的关于人工智能的事情”节奏有点令人不知所措，那么这是一个不错的快速回顾。人工智能正在成为越来越多行业的关键技术之一...

DeepEval是一款全能的LLM应用评估框架，可让用户轻松识别和迭代不令人满意的LLM输出。它目前提供了14+种评估指标，如幻觉、摘要、G-Eval、RAGAS等，供用户以Pytest样式或组件化方式评估整个数据集。

一种新的研究方法通过在大型语言模型中引入物体标识符来改善对3D场景的理解并回答相关问题。该方法专注于识别和关联场景中的物体，在解释复杂的空间关系方面取得了有希望的结果，使得人工智能更加擅长这方面的任务。

DeepMind最近在自然杂志上发表了一篇名为FunSearch的论文，该论文使用LLM引导的函数搜索，寻找数学和计算机科学中的开放问题的解决方案。它解决了capset问题，并发现了迄今为止最大的capsets。FunSearch的算法可以在...

HyperRouter方法提高LLM训练效率。该方法通过动态调整路由器参数，进一步提高了大型语言模型训练的效率。