InferenceMAX开源推理基准发布：NVIDIA与AMD芯片性能正面交锋
talkingdev • 2025-10-14
2030 views
业界瞩目的开源AI推理基准测试工具InferenceMAX正式亮相，该工具通过夜间自动化测试对Llama 70B、DeepSeek R1等主流大模型进行持续性能评估。其核心价值在于量化AI推理中的关键权衡：吞吐量（每GPU每秒处理令牌数）与交互性（每用户每秒获得令牌数）的平衡关系。测试数据显示，AMD最新MI355X芯片在部分工作负载中展现出与NVIDIA主力芯片B200相抗衡的实力，但B200仍保持20%的能效优势。这一基准测试为行业提供了标准化性能对比框架，将助力企业根据实际业务场景（如高并发服务与实时交互）选择最优硬件方案，推动AI基础设施建设的精细化发展。
核心要点
- 开源基准工具InferenceMAX实现多模型夜间自动化测试
- 揭示吞吐量与交互性在AI推理中的核心权衡关系
- AMD MI355X与NVIDIA B200性能接近，但能效存在20%差距