本文包含几个新的人工智能发展故事。这些故事涵盖了人工智能领域的竞争、行业就业现状、人工智能战略、Sourcegraph的Cody AI编码助手正式上线等。多年来致力于为其代码添加注释的工程师们为大型语言模型推理其代码提...

加速自回归语言模型推理的方式有很多。人们正在热衷于使用草稿模型的一种方式。这需要两个模型，但速度可能会更慢。然而，通过从相同模型生成相关的n-gram，可以减轻对草稿模型的需求，并使生成速度线性加快。

最近的研究表明，为ViTs注册器添加[reg]标记可以修复图像注意力映射的突增。这项工作表明，将一系列可学习的[pause]标记预置到序列中可以提高语言模型推理（仅解码器，最高可达10亿）的能力，最多可提高18%。直观上...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

新闻内容： - Web LLM是一种基于WebGPU技术的大型语言模型推理方法 - 该技术可提高大型语言模型的推理速度和效率 - Web LLM有望应用于自然语言处理、机器翻译等领域，为人工智能技术的应用提供更为便利的解决方案