Anthropic发布了一项非常有趣的研究，该研究有意将语言模型中的“睡眠短语”进行有害污染。研究发现，它无法将这种模型与用于生产模型的强大系统进行“对齐”。也就是说，一旦模型被污染，就无法使用当前的工具消除不良...

Anthropic最近训练了大型语言模型，使其能够秘密进行恶意行为。它发现，尽管在对齐训练中尽了最大努力，但仍然存在欺骗行为。对齐训练只是让模型看起来很安全。Anthropic的研究表明，标准的安全培训可能并不能确保安...

一种新的方法可以过滤高质量的配对偏好以进行对齐。它可以显著提高基准模型的性能。

谷歌研究人员提出了一种名为Self-Play Preference Optimization (SPO) 的自我对弈优化算法。该算法相比传统的强化学习对齐方式更加简单。研究人员运用博弈论，找到了对噪声干扰鲁棒性强、性能表现优异的单人自我对弈...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

OpenAI超级对齐团队最新成果表明，您可以使用更弱的监督模型来引导或对齐更强大的模型，类似于弱人类对齐超级智能模型。他们使用GPT-2恢复了GPT-4的大部分对齐性能。他们指出，这种方法具有可行的路径，可以实现显著...

OpenAI正在发放一系列的资助金，以资助那些希望在超级对齐领域工作的学生和研究人员。申请截止日期为2月18日。