使用偏好数据对齐语言模型时，往往难以确定应该使用哪些示例。这项工作提出了一个出乎意料的稳健基准 - 选择1,000个最长的示例来进行对齐。

研究人员创建了OpenMathInstruct-1，这是一个用于训练开源大型语言模型数学的新数据集，可与闭源模型的性能相匹配。这一突破包含180万个问题解决对，为更加可访问和有竞争力的数学教学AI工具打开了大门。

最近，研究人员提出了一种新方法，称为SLEB，可以通过剪枝冗余的变压器块来加速大型语言模型（LLMs）的训练和推理。该方法可以减少存储空间和计算成本，同时保持模型的准确性。SLEB通过自适应的剪枝技术来删除冗余的...

Meta使用大型语言模型为其代码库编写测试，发现测试覆盖率和整体代码质量都有了实质性的提高。这种方法可以有效地帮助开发人员减少手动编写测试的时间和成本，并且可以提高测试的效率和准确性。Meta表示，他们使用了...

研究人员对是否可能判断数据点是否用于训练大型语言模型进行了全面研究。他们测试了各种模型，并发现，在大多数情况下，这些攻击并不比随机猜测更好。

近期，一种新型的视频语言模型已经问世，可以回答长达数百万词的视频问题。该模型采用环形关注机制和精细调整的7B参数模型，能够在检索基准测试中表现极其准确，胜过商业化视频语言模型。

据外媒报道，OpenAI的CEO Sam Altman正在与投资者磋商，计划筹集高达7万亿美元用于AI芯片制造。该项目旨在解决GPU短缺问题，因为这些芯片对于训练和运行大型语言模型至关重要。潜在的投资者包括主权财富基金和政府实...

GenTranslate是一种新的方法，它利用大型语言模型来提高翻译质量。它专注于基础模型生成的最佳翻译。该方法在测试中已被证明优于当前领先的翻译模型。