开源WASTE推理引擎发布：仅需29GB内存即可本地运行2700亿参数Kimi K3模型

近日，开源推理引擎WASTE正式亮相，其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措，旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上...

Read More