AWS EFA实现万亿参数模型突破：Perplexity发布分布式推理代码
talkingdev • 2025-11-06
1759 views
人工智能研究机构Perplexity近日发布突破性代码，首次实现万亿参数混合专家模型在多个AWS服务器间的高效运行。这项技术突破使得算力基础设施相对薄弱的数据中心也能承载尖端AI模型的推理任务。当前大型语言模型面临的核心瓶颈在于，即便是许多开源权重模型也因体积过大无法单机部署，而传统AWS网络硬件在处理模型所需的持续跨服务器通信时存在延迟问题。Perplexity通过优化弹性结构适配器技术，成功解决了分布式推理中的通信瓶颈，为行业提供了可移植的云平台解决方案。该进展不仅降低了超大规模AI模型的应用门槛，更预示着未来AI基础设施将向更灵活的分布式架构演进，对推动边缘计算与云端协同发展具有里程碑意义。
核心要点
- Perplexity发布代码实现万亿参数MoE模型在AWS多服务器分布式运行
- 突破传统AWS网络硬件限制，解决跨服务器持续通信延迟瓶颈
- 技术突破使算力较弱的数据中心也能支持尖端AI模型推理