Llamafile是一个将模型和推理代码嵌入单个便携式可执行文件的项目。此博客探讨了如何将命令行输出导入语言模型以进行进一步处理。

本文提供了一份长而广泛的调查，介绍了让大型语言模型运行更快的不同方法。列表不是完全穷尽的，但可以用作学习有趣主题的跳板。在可能的情况下，它包括相关论文和博客文章的链接。本文介绍了不同的方法来优化大型语...

据悉，人工智能初创公司Anthropic计划进行一轮7.5亿美元的融资，该轮融资由Menlo Ventures领投，估值预计为150亿美元。Anthropic是一家致力于开发人工智能技术的公司，其技术可应用于语音识别、自然语言处理、计算机...

苹果公司发布了两篇论文，介绍了新的三维头像和高效语言模型推理技术，这些技术可以让AI系统在iPhone和iPad上运行。这些技术的引入将使iPhone和iPad变得更加智能，更加个性化。这意味着用户可以在他们的设备上运行更...

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

MI300X是AMD的旗舰人工智能加速器。随着ROCm 6的推出，它现在在推理工作负载方面接近于NVIDIA的性能。这对社区来说是个好消息，因为它为新兴的人工智能公司打开了使用替代芯片的可能性。

近日，关于OpenAI Q*的传言引发了广泛的讨论。OpenAI Q*被认为是可能会引领人工智能迈向通用推理能力的重要一步。然而，OpenAI Q*并不太可能成为导致人工智能普适智能的关键突破口。OpenAI Q*是一种基于强化学习的模...

研究人员提出了一个新颖的框架，将人工智能程序视为心理研究中的参与者。该框架有三个步骤：在一系列实验中测试程序的推理能力，测试其对自身推理方式的理解，并且如有可能，检查程序源代码的认知适应性。虽然目前的...

本文包含几个新的人工智能发展故事。这些故事涵盖了人工智能领域的竞争、行业就业现状、人工智能战略、Sourcegraph的Cody AI编码助手正式上线等。多年来致力于为其代码添加注释的工程师们为大型语言模型推理其代码提...

随着开放模型在许多企业任务中变得有用，人们开始探索部署优化。然而，这个领域很复杂且分散。本文深入探讨了许多用于加速语言模型服务的标准技术。