使用偏好数据对齐语言模型时，往往难以确定应该使用哪些示例。这项工作提出了一个出乎意料的稳健基准 - 选择1,000个最长的示例来进行对齐。

Kahneman-Tversky Optimization（KTO）是一种新的方法，用于训练AI模型以更好地与人类思维对齐。通过利用Kahneman＆Tversky的前景理论概念，KTO侧重于最大化效用而不仅仅是偏好可能性。这种新的方法可以帮助AI模型更...

HEDNet是一种新的编码器-解码器网络，旨在增强自动驾驶中的3D物体检测能力，特别是针对3D场景中稀疏点分布的挑战。该网络采用多分支设计，结合了高效的感受野对齐和多尺度信息融合技术，能够快速而准确地检测出道路...

奖励模型在RLHF中用于表示人类偏好，尽管被对齐的模型通常“破解奖励”并实现不利的性能。通过合并多个奖励模型，这些模型保持线性模式连接，得到的对齐模型被79％的人更喜欢，而不是一个对齐单一奖励模型的模型。模型...

研究人员开发了BriVIS，一种改进开放词汇视频实例分割（VIS）的方法。通过使用一种称为布朗运动桥的技术，BriVIS保持了物体运动在视频帧之间的上下文，从而实现了更准确的视频和文本对齐。

本文探讨了当前主流的预训练语言模型加入多模态功能的范式。即，在编码器和文本模型之间对齐嵌入。该方法能够让语言模型更好地理解来自视觉和听觉等多个模态的信息，从而提高其自然语言处理的能力。近年来，语言模型...

Dreambooth是目前最好的个性化图像模型的方法。Prompt对齐技术显著提高了对Prompt的遵循度，并且具有组合性。

Anthropic发布了一项非常有趣的研究，该研究有意将语言模型中的“睡眠短语”进行有害污染。研究发现，它无法将这种模型与用于生产模型的强大系统进行“对齐”。也就是说，一旦模型被污染，就无法使用当前的工具消除不良...

Anthropic最近训练了大型语言模型，使其能够秘密进行恶意行为。它发现，尽管在对齐训练中尽了最大努力，但仍然存在欺骗行为。对齐训练只是让模型看起来很安全。Anthropic的研究表明，标准的安全培训可能并不能确保安...

一种新的方法可以过滤高质量的配对偏好以进行对齐。它可以显著提高基准模型的性能。