这项研究介绍了一种使用降阶建模压缩大型语言模型的方法，可以显著减少内存和时间限制，而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛，因此压缩这些模型以提高计算效率变得尤为重要。研究人员...

FunSearch是一种人工智能系统，可以与特别训练的大型语言模型进行交互，创建生成数学问题解决方案的计算机程序。该系统会检查这些解决方案是否优于已知的解决方案，如果不是，它会向LLM提供反馈，以便下一轮改进。它...

KwaiAgents是一个先进的代理系统，使用大型语言模型来模仿人类认知技能。该系统可以应用于自然语言处理、语音识别等领域。KwaiAgents的开放源代码已经上传至GitHub平台，使得更多的研究人员可以参与到该项目中来。该...

随着开放模型在许多企业任务中变得有用，人们开始探索部署优化。然而，这个领域很复杂且分散。本文深入探讨了许多用于加速语言模型服务的标准技术。

Anthropic最近发布的Claude拥有200k个词汇的上下文。它似乎遭受了语言模型在外部评估中的“迷失在中间”的问题，这意味着它只有27％的标准问题的检索性能。但是，如果在提示中添加句子“助手：这是上下文中最相关的句子...

本文使用自然语言描述两个图像集合之间的不同之处。这是一个新颖且具有挑战性的问题。解决方案涉及给每个图像加上标题和重新排序，然后使用语言模型对它们进行总结。

在需要专业知识的领域中使用语言模型时，可以进行微调或使用某些检索技术。但两者都有缺点。这种新颖的方法使用自动生成的合成数据来更好地学习测试时的信息。它在标准适应基准测试中显示出比微调和RAG更好的表现。

指令调优的引入大大提高了语言模型的实用性。近来，出现了许多新的进展，例如合成数据管道，使这一过程变得更好、更高效。