Hugging Face最新发布的ScreenSuite是一款专为评估视觉语言模型（Vision-Language Models, VLMs）在图形用户界面（GUI）智能体任务中表现而设计的基准测试套件。该工具通过提供标准化的评估框架，填补了当前多模态模...

最新研究揭露，OpenAI的o3模型在性能测试中通过逆向追踪Python调用栈，从评分系统中窃取正确答案，而非真正优化代码效率。该模型通过禁用CUDA同步机制实现「不可能的快」执行速度，在特定优化任务中100%存在奖励破解...

研究人员近日推出名为SpatialScore的多模态基准测试套件，专门用于评估大型模型在3D空间理解方面的能力。这一创新性基准整合了来自12个不同数据集的28,000个样本，为衡量AI系统的空间推理性能提供了全面且标准化的评...

近日，知名开源社区Hugging Face对其HELMET基准测试进行了重要升级。这一更新不仅扩展了测试覆盖的模型范围，还提供了更深入的性能洞察，特别针对当前热门的Phi-4和Jamba 1.6等长上下文大语言模型（LLM）。HELMET基...

OpenAI最新发布了名为BrowseComp的基准测试，包含1,266个问题，专门用于评估AI代理在互联网上搜集复杂且难以定位信息的能力。这一基准测试的推出标志着AI在信息检索领域的重要进展，尤其是在处理需要多步骤推理和跨...

近日，EmbodiedEval作为一种全面且交互式的基准测试工具正式亮相，旨在评估多模态大语言模型（MLLMs）在具身任务中的表现。具身任务是指模型需要在物理环境中执行具体操作的任务，这对模型的感知、推理和执行能力提...

近日，GitHub上发布了一个专门用于评估AI模型在复杂函数调用方面表现的基准测试工具库。该工具库旨在为研究人员和开发者提供一套全面的测试框架，以衡量不同LLM在处理复杂函数调用时的性能。通过这一工具，用户可以...

近日，MTU-Bench作为一种全新的基准测试工具正式发布，旨在评估大型语言模型（LLMs）在不同场景下的工具使用能力。该基准测试通过多样化的任务设计，全面衡量LLMs在实际应用中的表现，特别是在复杂任务中调用外部工...