语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

小型羊驼（Tiny Llama）项目旨在为3T代币训练出一个参数为11亿的羊驼2（Llama2）模型。根据扩展规律，这对于计算优化来说无疑是严重的过度训练，但它对于部署优化带来了显著的收益。此次的模型训练打破了传统的优化...

在当今的技术环境中，找到一个不基于Meta基础模型构建的模型是一项挑战。来自Writer的Palmyra模型经过了8000亿令牌和7万条精心策划的指令的训练。它擅长遵循复杂的指令，并且似乎易于进行微调。这种模型的出现，打破...

近日，一篇深度解析如何使用PyTorch 2.0的torch.compile和Nvidia CUDA图表功能提升深度学习模型性能的文章引起了广泛关注。该文章详细介绍了借助CUDA图表在Llama 2上实现了2.3倍的速度提升。这对于对性能敏感的AI从...

最近研究发现，Llama-2-70b在事实性方面的表现几乎与GPT-4相当，并且远超过gpt-3.5-turbo，更为重要的是，它的成本明显低于这两者。这一发现揭示了Llama-2-70b在文本总结和信息提取方面的强大实力，表明其在未来的AI...

近日，WizardLM团队利用他们的Evol instruct技术显著提升了Llama代码的性能，甚至击败了Phind模型。此次成果尽管受到一些质疑，因为他们生成的指令直接提升了评估分数，而未使用固定的数据集，也没有把评估视为固定...

拥有海量高质量内部数据的公司已发布了精调版Llama，它在编码方面的能力非常高。这是在Meta发布其新的编程语言模型后的几天内完成的。重要的是要注意，当前GPT-4的版本在编码方面仍然优于任何开源模型。本文将新的Ll...

人类反馈在改善语言模型对齐和整体性能方面扮演着关键角色。然而，使用近端策略优化进行训练的过程中存在一些挑战。最近的研究表明，可以直接针对人类偏好进行优化，从而绕过奖励模型。借助基于文本的强化学习，你可...

Meta发布了Code Llama，这是一个建立在Llama 2之上的大型语言模型，专门用于生成和调试代码。它还发布了一个针对Python的特定版本，以及另一个可以理解自然语言指令的版本。这些模型不能互换使用。Meta声称Code Llam...

Llama.cpp是一个运行本地语言模型的简便方式。然而，它目前受到底层GGML格式的限制。为了解决这个问题，我们提出了一个新的格式，并开始进行集成。新的GGML格式将更加灵活，可以支持更多的模型，这将有助于推动机器...