这项研究介绍了一种使用降阶建模压缩大型语言模型的方法，可以显著减少内存和时间限制，而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛，因此压缩这些模型以提高计算效率变得尤为重要。研究人员...

FunSearch是一种人工智能系统，可以与特别训练的大型语言模型进行交互，创建生成数学问题解决方案的计算机程序。该系统会检查这些解决方案是否优于已知的解决方案，如果不是，它会向LLM提供反馈，以便下一轮改进。它...

KwaiAgents是一个先进的代理系统，使用大型语言模型来模仿人类认知技能。该系统可以应用于自然语言处理、语音识别等领域。KwaiAgents的开放源代码已经上传至GitHub平台，使得更多的研究人员可以参与到该项目中来。该...

近日，一款云原生的AI网关——BricksLLM，引起了广泛关注。这款使用Go语言编写的AI网关可以作为OpenAI的代理，并允许用户创建具有速率限制、成本限制和TTL的API密钥。BricksLLM是一个开源项目，可在GitHub上找到。它的...

Giskard是一个开源的测试框架，用于测试从表格到LLMs的机器学习模型。它通过检查模型的输出和真实值之间的差异来评估模型的性能。Giskard不仅可以测试模型的预测能力，还可以测量它的稳定性、可解释性和鲁棒性。Gisk...

LLM可视化是一个网站，用于展示nano-gpt模型如何将6个字母的序列按字母顺序排序。nano-gpt模型是由85,000个参数组成的模型，其基础是GPT-2，该模型可用于生成自然语言文本。该网站使用了交互式的可视化工具，用户可...

Ollama就像是llama cpp模型周围的软件包管理器。它具有易用性和质量生活功能，甚至可以在CPU上轻松运行模型。本示例展示了如何运行两个优秀的模型，Dolphin和Samantha，它们是用于对话任务的优秀未过滤模型。

随着开放模型在许多企业任务中变得有用，人们开始探索部署优化。然而，这个领域很复杂且分散。本文深入探讨了许多用于加速语言模型服务的标准技术。