人工智能也有南墙:修剪压缩就是王道?no

对神经网络（主要是CNN）进行剪枝，使模型运行速度变快，大小变小，且准确率与原来相近。这或许成为了众多神经网络实现者的共识，也催生了很多的创业公司，然而，UPC的Reza Yazdani等人却提出了不同的意见。一味地的剪枝压缩，可能会带来副作用。

Reza Yazdani等人针对自动语音识别（Automatic Speech Recognition）系统，说明，尽管在top-1的准确度方面，经过剪枝后的系统与base系统相比并未有明显的差别，但是在确信度方面，却大打折扣。

而这对DNN后续的操作提出了更高的要求和计算复杂度，即beam search算法，特别是viterbi译码器的使用频次显著增加。也就是说，经过剪枝后的DNN输出，其确定度降低，使得寻找最优路径的问题变得较为棘手，而且整个系统的执行时间也显著增加，需要迭代多次才能够得出较为满意的WER性能。

Reza Yazdani等人针对这一问题，提出了DNN ACC+Viterbi ACC联合设计的方案，为了降低由于DNN剪枝带来的Viterbi计算量，每次只搜索概率最高的N条路径，同时采用了组相连的hash表。相比较于当下的ASR系统，能够获取9倍的能效比，4.5倍的性能提升，和2倍的面积削减。

通过ISCA2018这篇论文也可以看出一个变化，从开始一味地追求CNN加速器性能的最大化，到通过剪枝压缩或者低精度来实现高能效比，再到如今的系统级协同设计，神经网络加速器的设计也在逐渐演变和改进之中。