OpenAI计划到2027年将20%的计算能力用于解决AI对齐问题。AI对齐问题是指AI系统可能没有与人类目标一致的问题。如果开发出了超级智能的AI系统，这可能会成为未来的一个重要问题。本文采访了OpenAI对齐研究负责人Jan L...

人类反馈在改善语言模型对齐和整体性能方面扮演着关键角色。然而，使用近端策略优化进行训练的过程中存在一些挑战。最近的研究表明，可以直接针对人类偏好进行优化，从而绕过奖励模型。借助基于文本的强化学习，你可...

DeepMind最近推出了一款名为SynJax的新工具，该工具被设计为处理结构概率分布，如树、序列、分割、对齐等对象上的概率。SynJax的出现，无疑为我们在处理这类问题上提供了更多的便利。该工具不仅包含了许多实用的工具...

人类恋物行为的形成与AI对齐问题之间存在一定的平行性，这暗示了理解进化线索的误解如何导致恋物行为可能会对AI的泛化问题提供深入的见解。本文探讨了这种类比在AI训练和可解释性方面的可能性，同时也承认生物进化和...

强化学习可能是当前对齐大型语言模型（甚至视觉模型）最好的工具。然而，当你需要大量的人类数据来训练一个奖励模型时，这就成为了一项挑战。如果你可以只使用“提示”呢？这是RLCF（强化学习计算框架）趋势的又一绝佳...

在一篇新的研究报告中，研究人员在聊天式提示中通过检索9个演示示例，使用预训练的Llama-2语言模型进行了在上下文中的学习。这种方法并没有改变模型的权重，但它使得与文本达芬奇-003模型相比，赢率增加了7倍，使其...

本研究引入了一种数据集，用于探究AI是否能像人类一样“看”图像。该数据集主要分为三个组别——Must-Act、Must-Abstain和Uncertain——设计用于测试AI在清晰、不清晰或模糊图像上的决策能力。Must-Act组中的图像是明确的...

如Auto-GPT和Baby AGI等代理化语言模型的发展，可能会快速推动人工智能的发展。这些模拟人类认知功能的语言模型，为对齐和可解释性提出了新的挑战，但由于它们以英语处理信息，所以提供了独特的可解释性。