最新技术分析揭示，当前流行的AI编程基准测试（如SWE-bench）实际测量范围远窄于其名称所暗示的能力。研究表明，Claude在SWE-bench获得80%评分并不等同于能一次性解决80%的实际编程任务。本文深度剖析SWE-bench Veri...

OpenAI最新发布的GPT-5 API展现出突破性特性——该模型成为首个具备实时时间感知能力的大型语言模型。这一技术演进引发学术界高度关注，因为当模型知晓当前日期时，能够识别出自身正处于测试环境中。研究表明，AI模型...

由知名风投机构a16z投资的初创企业Cluely，正通过颇具争议的营销策略迅速吸引市场关注并将其转化为付费用户，这一做法与a16z关于'速度和势头是AI初创公司成功关键'的投资理念高度契合。a16z合伙人Bryan Kim指出，Clu...

Meta近日正式推出V-JEPA 2视觉世界模型，该技术突破性实现了AI代理对物理环境的动态推理能力。作为Yann LeCun团队世界模型研究的最新成果，V-JEPA 2通过自监督学习架构，使AI系统能够基于视频输入预测物理交互结果。...

苹果公司研究团队通过定制化谜题环境对大型推理模型(LRMs)进行了系统性评估，揭示了人工智能推理能力的重要局限性。研究发现，随着任务复杂度提升，LRMs会经历推理效能先上升后急剧下降的拐点现象，最终在高度复杂任...

研究人员近日推出名为SpatialScore的多模态基准测试套件，专门用于评估大型模型在3D空间理解方面的能力。这一创新性基准整合了来自12个不同数据集的28,000个样本，为衡量AI系统的空间推理性能提供了全面且标准化的评...

集体智慧项目（CIP）最新研究指出，当大语言模型（LLM）被应用于敏感领域的决策判断时，即便采用常见的提示工程方法，其裁决仍表现出不可预测的隐藏测量偏差，导致结果不可靠。研究发现，位置偏好、顺序效应和提示敏...

由François Chollet和ARC Prize团队推出的ARC-AGI-2基准测试，作为抽象推理领域的新一代评估标准，其难度较前代显著提升。初步测试结果显示，即便是最先进的AI系统也表现不佳，其中o3模型仅获得3%的准确率，远低于原...