Meta AI近日公布了一系列利用虚幻引擎进行超真实图像处理的数据集。发布的数据集包括用于基础模型研究的PUG：动物，用于评估图像分类器鲁棒性的PUG：ImageNet，以及用于视觉语言模型评估的PUG：SPAR。这些数据集的发...

封闭源代码模型如Claude或GPT-4之所以令人印象深刻，是因为它们在推理能力和通用语言能力方面表现出色。许多开放的替代方案专注于极其狭窄的技能领域，而忽视了其他方面。OpenLemur项目的目标是在许多不同的任务中平...

科研人员已经开发出一种名为CALM的新测试，用来检查AI语言工具是否存在偏见。他们从不同的来源收集了大量的数据，并测试了各种AI模型，结果发现一些大型AI模型的偏见可能比较小的模型更严重。这一发现对于AI领域的研...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

拥有海量高质量内部数据的公司已发布了精调版Llama，它在编码方面的能力非常高。这是在Meta发布其新的编程语言模型后的几天内完成的。重要的是要注意，当前GPT-4的版本在编码方面仍然优于任何开源模型。本文将新的Ll...

本文探讨了为何现有的大型语言模型（LLMs）不太可能导致人工通用智能（AGI）的发展，以及为何物理学本身将阻止我们从现在的状态突然跃升到AGI。当前的LLMs，虽然在某些方面已经取得了显著的进步，但是在理解和推理的...

人类反馈在改善语言模型对齐和整体性能方面扮演着关键角色。然而，使用近端策略优化进行训练的过程中存在一些挑战。最近的研究表明，可以直接针对人类偏好进行优化，从而绕过奖励模型。借助基于文本的强化学习，你可...

在一个大规模的合作努力下，我们构建了一个基准，用于度量语言模型在法律框架中的推理能力。这项工作的关键在于，我们需要警惕已经训练过的模型中的污染。语言模型在训练过程中可能会被各种各样的数据源影响，这些数...