本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。

Nvidia A100是市场上最强大的GPU之一。它们已被用于训练迄今为止最流行的模型之一。它们是数据中心的GPU，通常意味着您无法在自己的硬件上运行它们。本文探讨了如何以几千美元的价格自己组装一个本地运行的A100超级...

强化学习在扩展方面一直很棘手。也就是说，当你增加模型大小或增加剧集数量时，事情开始变得复杂。然而，在其他AI学科中，扩展带来的性能足够好，值得克服这个挑战。在这项研究中，作者通过使用一些巧妙的设计技巧，...

本研究调查了强大的语言模型是否能够教授较不先进的人工智能系统并提高其性能。研究提出了两个人工智能之间的“学生-教师”关系，并探讨了“教师”人工智能应该在什么时候、如何以及解释给“学生”人工智能，以提升其能力...

Seal是一个新的系统，使用先进的视觉识别模型来更好地解释各种类型的车辆传感器数据，使其更高效和适应性。在测试中，与标准方法相比，它提高了近37%的传感器数据解释能力，显示了改善未来汽车安全和导航系统的巨大...

这家中国巨头已经从NVIDIA购买了约10万个GPU，用于不同的人工智能项目。这些订单是在对GPU出口进行监管限制之前下达的。这是又一家通过计算能力增强其人工智能努力的公司。

Meta计划提供免费的商业AI模型，这是一个战略性举措，可能会对其竞争对手Google和OpenAI施加压力。Meta希望通过使AI更易于开发者使用来使其商品化，这可能会使Google和OpenAI难以保持竞争优势。

人工智能编码助手在构建多个规范之间的兼容性层面上表现出色。