TACO：代码生成新基准开源
talkingdev • 2024-01-20
1062335 views
TACO是一个新的基准，用于评估系统生成代码的能力。它比现有数据集大得多，包含更具挑战性的问题。在简单的问题上，GPT-4的正确率达到30％，而在最难的问题子集上，它仅能达到2％。
talkingdev • 2024-01-20
1062335 views
TACO是一个新的基准，用于评估系统生成代码的能力。它比现有数据集大得多，包含更具挑战性的问题。在简单的问题上，GPT-4的正确率达到30％，而在最难的问题子集上，它仅能达到2％。