近日，技术社区对SWE-bench数据集的使用提出了严重关切。该数据集被广泛用于评估软件工程领域的模型性能，但近期发现其存在多个关键问题，可能影响研究结果的准确性和可靠性。首先，数据集中部分样本的标注存在偏差...

近日，一项新的技术研究实现了在无代理的情况下，仅使用语言模型，就能在SWE-bench上实现24%以上的解决率。这一成果对于深化我们对SWE-bench的理解，提高其解决效率具有重要的参考价值。SWE-bench是一款广泛应用于语...

Cognition发布了一款名为Devin的新系统，该系统在测试AI编写代码能力的挑战性基准测试SWE-Bench上获得了14%的分数，而GPT-4则只得到了1.7%。该模型显示具有强大的上下文学习能力。