强化学习：微型故事模型的对齐工具
talkingdev • 2023-08-17
1511295 views
强化学习可能是当前对齐大型语言模型（甚至视觉模型）最好的工具。然而，当你需要大量的人类数据来训练一个奖励模型时，这就成为了一项挑战。如果你可以只使用“提示”呢？这是RLCF（强化学习计算框架）趋势的又一绝佳示例，其中的C代表计算。强化学习的计算挑战在于，你需要大量的人类数据来训练一个奖励模型。然而，如果你可以只使用“提示”，那么这个问题就能得到解决。这种方法不仅可以大大简化强化学习的过程，也能提高模型的训练效率。