本文介绍了一个基于场景和手写文本的基准测试和两个数据集。利用原始、损坏和辅助图像，全局结构引导扩散模型（GSDM）利用文本结构有效恢复清晰文本。该技术在识别准确度和图像质量方面显示出显著的改进。

Weaver是一系列专门用于讲述故事的模型。最大的模型（34B参数）在故事讲述基准测试中表现优于GPT-4。

基准测试是非常有用的工具，但由于其狭窄的范围、过度拟合、污染、可重复性问题和缺乏范围，它们并不是真实世界实用性的最佳指标。

ColBERT是一个出色的模型，用于为RAG应用嵌入查询和索引数据。本文探讨了该方法背后的直觉，并进行了一些基准测试。ColBERT的特点在于，它将查询和文档嵌入到一个共享空间中，从而可以直接在该空间中进行相似性匹配...

近日，研发团队宣布推出了AgentBoard，一款专为多轮LLM代理设计的基准测试工具。AgentBoard不仅可以评估LLM代理的最终成功率，还提供了分析评估板以进行更详细的模型评估。这款工具可以更全面地评估LLM代理，为LLM代...

Adept公司扩大了其Fuyu架构并训练了一个更大的版本，目前是MMMU上排名第三的最佳模型之一。该模型在其他任务中也表现良好（例如，在HumanEval编码基准测试中达到40+）。与其他替代方案相比，扩展此架构的挑战较少，...

这篇技术报告介绍了MMCBench，这是一个新的基准测试，旨在测试各种任务如文本到图像和语音到文本等情况下大型多模型（LMMs）的一致性和可靠性。该测试涵盖了超过100个流行模型，旨在提高读者对这些AI系统在现实世界...

TACO是一个新的基准，用于评估系统生成代码的能力。它比现有数据集大得多，包含更具挑战性的问题。在简单的问题上，GPT-4的正确率达到30％，而在最难的问题子集上，它仅能达到2％。