PACT：对话议价基准测试集开放，揭示语言模型谈判能力
talkingdev • 2025-08-22
5632 views
卡内基梅隆大学研究人员推出PACT（Pairwise Auction Conversation Testbed）对话议价基准测试平台，这是首个专门针对语言模型讨价还价能力构建的大规模评估体系。该平台包含超过5,000场对话博弈实验，每场包含20轮完整谈判过程，为研究AI模型的战略推理、价值评估和人际协商能力提供了标准化测试环境。目前已有包括GPT-4、Claude在内的顶级模型在该基准上进行测试，结果显示现代大语言模型在复杂多轮谈判中展现出令人惊讶的策略性思维和适应性沟通能力。这一基准的建立将加速对话AI在商业谈判、客户服务等需要复杂人际交互场景中的应用突破，为构建更具人类智慧的对话系统提供关键评估工具。
核心要点
- PACT是首个专门针对语言模型讨价还价能力设计的大规模基准测试平台
- 包含5000+场对话博弈实验，每场20轮谈判过程，提供标准化评估体系
- 已测试包括GPT-4在内的顶级模型，推动对话AI在复杂交互场景的发展