DeepSparse:利用稀疏性加速神经网络推理的CPU推理运行时
talkingdev • 2023-10-25
1313076 views
DeepSparse是一种CPU推理运行时,它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接,DeepSparse利用这些零权重的连接,跳过不必要的计算,从而实现推理加速。DeepSparse是一个开源项目,可以在GitHub上找到它的代码库。目前,DeepSparse已经被集成到了TensorFlow中,成为了TensorFlow的一个组件。
核心要点
- DeepSparse是一种CPU推理运行时,利用稀疏性加速神经网络推理
- DeepSparse利用神经网络中的零权重连接跳过不必要的计算
- DeepSparse已经被集成到了TensorFlow中,成为了TensorFlow的一个组件