现实世界Text-to-SQL没那么简单：新基准Beaver揭示大模型真实表现远低于预期
talkingdev • 2026-07-23
1805 views
自然语言转SQL（Text-to-SQL）被认为是让非技术用户轻松与数据库交互的关键技术，然而现有评测基准大多在干净、规范的数据集上进行，严重脱离企业真实数据仓库的复杂状况。近日公布的新基准Beaver直接源于真实业务数据负载，揭示了数据仓库长期面临“模式腐烂”（schema rot）、表结构充满特殊性和不规则性等棘手问题。在这些真实环境下，当前主流大语言模型的表现较实验室指标大幅下滑，暴露出模型在应对混乱现实数据时泛化能力的明显不足。这一成果警示业界，若要让AI真正走进数据库查询场景，必须从根本上重新思考模型训练与评测方式，将重点转向对脏数据、隐性业务逻辑和非标准化命名的鲁棒理解能力，而非仅追求干净测试集上的高分。Beaver的出现可能成为推动Text-to-SQL技术从演示走向落地的分水岭。
核心要点
- 新基准Beaver基于真实数据负载构建，反映数据仓库中普遍存在的模式腐烂和特殊性问题。
- 当前大语言模型在真实Text-to-SQL场景下的表现明显低于标准基准测试结果。
- 研究呼吁将模型评测重点从干净数据集转向混乱现实数据，以推动技术真正落地。