最近的研究表明，为ViTs注册器添加[reg]标记可以修复图像注意力映射的突增。这项工作表明，将一系列可学习的[pause]标记预置到序列中可以提高语言模型推理（仅解码器，最高可达10亿）的能力，最多可提高18%。直观上...

OpenAI首席执行官Sam Altman表示，孵化ChatGPT的研究策略已经过时，进一步的进展不会来自于模型变得更大。模型规模的扩大存在着收益递减，而公司可以建立和维护的数据中心数量也受到物理限制。目前尚不清楚OpenAI将...