神经网络压缩:基于科学控制法的网络剪枝方法

2020-12-02   AI科技评论

原标题:神经网络压缩:基于科学控制法的网络剪枝方法

随着深度学习的迅猛发展,计算机视觉、自然语言处理等一系列领域的算法性能都有了跨越式的进展。深度学习算法在学术界已经普遍应用,但在工业界却还没得到非常广泛的应用,其中一个重要原因就是深度学习网络的模型庞大、计算量巨大。一个卷积神经网络的权重文件动辄数百兆,尽管目前智能手机的性能已经非常优秀,但是要在应用中塞入上百兆的权重也是一个很不明智的选择;另一方面,在一些嵌入式的平台上,存储计算资源都十分有限,深度学习算法的移植更加困难。所以深度学习模型的压缩,是非常重要的一个问题。

现有的神经网络压缩方法主要包括:浅层网络、剪枝网络、紧凑网络、对参数进行离散化处理等。其中剪枝网络是指 对网络进行剪裁,以及对一些不携带有效信息的权重进行过滤,使用裁剪后的参数再重新对网络训练。

本周四晚8点,我们特别邀请到北京大学信息科学技术学院三年级博士生-唐业辉,作客AI研习社NeurIPS2020系列论文解读直播间,为大家详细介绍他被收录的论文情况。嘉宾分享完还有问答环节,欢迎大家积极参与讨论,一起探讨《神经网络小型化: 基于科学控制法的网络剪枝》。

分享主题:

《神经网络小型化: 基于科学控制法的网络剪枝》

分享时间:

2020年12月3日(周四)20:00-21:00

分享嘉宾:

唐业辉

北京大学信息科学技术学院三年级博士生,已有多篇文章被CVPR、AAAI等会议接收,研究内容包括深度神经网络正则化方法、模型压缩和网络结构搜索等。

分享背景

分享提纲

1、神经网络压缩技术的背景和现状

2、基于科学控制法的神经网络剪枝方法(NeurIPS 2020)

3、训练样本不足时的网络剪枝策略 (AAAI 2020)

论文地址

https://papers.nips.cc/paper/2020/hash/7bcdf75ad237b8e02e301f4091fb6bc8-Abstract.html

直播间观看地址

AI研习社直播间:https://live.yanxishe.com/room/886

扫码添加小助手微信,回复【NIPS】进入NeurIPS2020论文交流群

点击“阅读全文”,进入直播间预约,避免错过精彩分享!