Epoch AI推出了名为MirrorCode的基准测试，专门用于评估人工智能在长周期编程任务中的自主重写能力。该基准要求AI模型在完全无法访问原始源代码的情况下，从零开始重新实现完整的软件程序，以此衡量AI在复杂、持续性...

在当前AI编程模型的评估中，大多数基准测试都聚焦于代码能否正确运行，即是否能够通过编译、执行并输出预期结果。然而，在真正的软件开发生产环境中，“正确”仅仅是最低标准。最新发布的FrontierCode基准测试，首次将...

最新技术分析揭示，当前流行的AI编程基准测试（如SWE-bench）实际测量范围远窄于其名称所暗示的能力。研究表明，Claude在SWE-bench获得80%评分并不等同于能一次性解决80%的实际编程任务。本文深度剖析SWE-bench Veri...