基于梯度的深度网络剪枝算法 | |
蔡颖凯1; 王忠锋3,4,5; 徐志远2,3,4,5; 宋纯贺3,4,5; 张宏宇1 | |
刊名 | 计算机应用 |
2020 | |
页码 | 1-10 |
关键词 | 深度网络 压缩与加速 剪枝 自适应阈值 神经网络 |
ISSN号 | 1001-9081 |
其他题名 | Gradient-based deep network pruning algorithm |
产权排序 | 1 |
英文摘要 | 深度神经网络模型通常存在大量冗余的权重参数,当计算深度网络模型时需要占用大量的计算资源和存储空间,导致其难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝算法——GDP算法(Gradient-based Deep network Pruning)。GDP算法核心思想是以梯度作为评判权值重要性的依据。然后通过自适应的方法找出阈值进行权值参数的筛选,目的是剔除那些小于阈值的梯度所对应的权值。最后,重新训练剪枝后的深度网络模型恢复精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高0.13个百分点,计算量下降1.1个百分点,具有更优越的深度网络压缩与加速性能。 |
语种 | 中文 |
内容类型 | 期刊论文 |
源URL | [http://ir.sia.cn/handle/173321/25788] |
专题 | 沈阳自动化研究所_工业控制网络与系统研究室 |
作者单位 | 1.国网辽宁省电力有限公司 2.中国科学院大学 3.中国科学院机器人与智能制造创新研究院 4.中国科学院网络化控制系统重点实验室 5.中国科学院沈阳自动化研究所机器人学国家重点实验室 |
推荐引用方式 GB/T 7714 | 蔡颖凯,王忠锋,徐志远,等. 基于梯度的深度网络剪枝算法[J]. 计算机应用,2020:1-10. |
APA | 蔡颖凯,王忠锋,徐志远,宋纯贺,&张宏宇.(2020).基于梯度的深度网络剪枝算法.计算机应用,1-10. |
MLA | 蔡颖凯,et al."基于梯度的深度网络剪枝算法".计算机应用 (2020):1-10. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论