近期，Ada-LEval这一新基准测试的发布，旨在严格评估大型语言模型处理长篇及超长文本的理解能力。随着人工智能技术的不断进步，语言模型在处理文本信息方面的能力也越来越受到关注。Ada-LEval的推出，不仅为研究人员...

近日，GitHub上发布了一项新的基准测试工具——化学工作台（Chemistry Bench），旨在评估大型语言模型在处理化学问题方面的能力。该工具与Big-Bench兼容，能够对语言模型的科学素养进行有效衡量。化学工作台通过一系列...

研究人员近日推出了ReaLMistake基准测试工具，该工具专注于系统性地检测大型语言模型（LLM）响应中的错误。随着人工智能技术的发展，大型预训练语言模型在多种应用场景中展现出了卓越的性能。然而，这些模型在生成文...

近代LML中常用的多头注意力模块的不同实现之间的速度存在近10倍的差异。本笔记本展示了其中几个实现，并对其性能进行了基准测试。

评估语言模型通常采用手动策划的基准测试。其中一些基准测试非常大，有些超过14k个示例，这导致评估成本和噪声很高。这项工作表明，您可以可靠地评估流行基准测试中的语言模型性能，只需使用100个示例即可。

Emissary发布了一个基准测试平台，可以使开发人员在他们自己的条件下快速可靠地评估提示并管理模型迁移和回归。通过自动LLM辅助评估或将评级外包给Emissary，生成和扩展测试集，定义自定义指标，并协作地手动团队评...

Anthropic的Claude 3似乎在一系列认知任务上树立了新的行业标准。该公司声称，在某些情况下，它接近于“人类水平”的能力。Claude 3有三个模型：Claude 3 Haiku，Claude 3 Sonnet（为Claude.ai聊天机器人提供动力）和C...

一项新研究揭示了多模态大型语言模型（MLLMs）如GPT-4V的一个弱点：它们难以处理特定类型的图像-文本输入，从而导致错误。CorrelationQA是一个基准测试，旨在评估MLLM在图像可能会误导或与文本相矛盾的情况下的表现...