DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

拥有海量高质量内部数据的公司已发布了精调版Llama，它在编码方面的能力非常高。这是在Meta发布其新的编程语言模型后的几天内完成的。重要的是要注意，当前GPT-4的版本在编码方面仍然优于任何开源模型。本文将新的Ll...

本文探讨了为何现有的大型语言模型（LLMs）不太可能导致人工通用智能（AGI）的发展，以及为何物理学本身将阻止我们从现在的状态突然跃升到AGI。当前的LLMs，虽然在某些方面已经取得了显著的进步，但是在理解和推理的...

人类反馈在改善语言模型对齐和整体性能方面扮演着关键角色。然而，使用近端策略优化进行训练的过程中存在一些挑战。最近的研究表明，可以直接针对人类偏好进行优化，从而绕过奖励模型。借助基于文本的强化学习，你可...

在一个大规模的合作努力下，我们构建了一个基准，用于度量语言模型在法律框架中的推理能力。这项工作的关键在于，我们需要警惕已经训练过的模型中的污染。语言模型在训练过程中可能会被各种各样的数据源影响，这些数...

近期的模型常常在处理复杂的视觉-语言任务上遇到困难，这主要是由于它们在理解混合的图像-文本上下文时存在限制。为了评估这些任务，研究人员引入了I4基准。结果显示，视觉提示生成器的注意力存在缺陷。为了解决这个...

Meta发布了Code Llama，这是一个建立在Llama 2之上的大型语言模型，专门用于生成和调试代码。它还发布了一个针对Python的特定版本，以及另一个可以理解自然语言指令的版本。这些模型不能互换使用。Meta声称Code Llam...

Llama.cpp是一个运行本地语言模型的简便方式。然而，它目前受到底层GGML格式的限制。为了解决这个问题，我们提出了一个新的格式，并开始进行集成。新的GGML格式将更加灵活，可以支持更多的模型，这将有助于推动机器...