最新研究发现，知名聊天机器人竞技平台Chatbot Arena的基准测试存在系统性偏差，主要源于未公开的私有测试和选择性数据访问机制。科技巨头如Google和OpenAI凭借数据特权形成垄断优势，其模型可获得充分调优，而开源...

LRAGE（Legal RAG Evaluation Toolkit）是一个开源的评估框架，专门用于在法律领域的检索增强生成（RAG）任务中评估大语言模型（LLM）的性能。该工具包集成了多种数据集和评估工具，为研究人员提供了一个全面的平台...

ARC Prize基金会近期采用ARC-AGI基准对OpenAI最新发布的o3-medium和o4-mini模型进行了系统评估。测试结果显示，o3-medium在基础版ARC-AGI-1测试中表现突出，但在需要高阶推理能力的ARC-AGI-2挑战集上未能取得突破性...

Meta旗下Facebook Research团队推出的ZeroSumEval Benchmark在GitHub开源，这一动态评估框架通过竞争性多智能体模拟，为大语言模型（LLM）在推理、知识储备和规划任务等核心能力维度建立了全新测试范式。该框架创新...

近日，知名开源社区Hugging Face对其HELMET基准测试进行了重要升级。这一更新不仅扩展了测试覆盖的模型范围，还提供了更深入的性能洞察，特别针对当前热门的Phi-4和Jamba 1.6等长上下文大语言模型（LLM）。HELMET基...

近日，一项利用注意力图量化视觉模型内部偏差的新指标在GitHub上开源。该技术通过分析模型在识别过程中的注意力分布，能够有效识别出导致偏差的混淆特征，突破了传统基于群体准确率差异的评估局限。这项名为Attentio...

近日，技术社区对SWE-bench数据集的使用提出了严重关切。该数据集被广泛用于评估软件工程领域的模型性能，但近期发现其存在多个关键问题，可能影响研究结果的准确性和可靠性。首先，数据集中部分样本的标注存在偏差...

EvalAlign是一种新型的用于改进文本到图像生成模型评估的指标。与现有的评估指标不同，EvalAlign提供了细粒度的准确性和稳定性。它主要关注图像的真实性和文本与图像的对齐性。与其他评估指标不同的是，EvalAlign不...