本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。

Nvidia A100是市场上最强大的GPU之一。它们已被用于训练迄今为止最流行的模型之一。它们是数据中心的GPU，通常意味着您无法在自己的硬件上运行它们。本文探讨了如何以几千美元的价格自己组装一个本地运行的A100超级...

强化学习在扩展方面一直很棘手。也就是说，当你增加模型大小或增加剧集数量时，事情开始变得复杂。然而，在其他AI学科中，扩展带来的性能足够好，值得克服这个挑战。在这项研究中，作者通过使用一些巧妙的设计技巧，...

本研究调查了强大的语言模型是否能够教授较不先进的人工智能系统并提高其性能。研究提出了两个人工智能之间的“学生-教师”关系，并探讨了“教师”人工智能应该在什么时候、如何以及解释给“学生”人工智能，以提升其能力...

Seal是一个新的系统，使用先进的视觉识别模型来更好地解释各种类型的车辆传感器数据，使其更高效和适应性。在测试中，与标准方法相比，它提高了近37%的传感器数据解释能力，显示了改善未来汽车安全和导航系统的巨大...

Meta计划提供免费的商业AI模型，这是一个战略性举措，可能会对其竞争对手Google和OpenAI施加压力。Meta希望通过使AI更易于开发者使用来使其商品化，这可能会使Google和OpenAI难以保持竞争优势。

近日，研究人员推出了一种改进型的Low Rank Adaptation（LoRA）技术，可帮助研究和实践社区更有效地微调大型模型。以下是本次发布的主要内容： - LoRA被广泛应用于研究和实践社区，作为一种参数高效的微调大型模型...

近日，GitHub发布了GPT工程师，这是“AutoGPT”系列工作的又一例。该模型的任务是编写应用程序。模型中实现了一些巧妙的细节来跟踪状态。目前还不清楚当前的基础模型是否足够强大，能否根据提示自动生成整个代码库，但...