用动态数据修剪加速深度学习 动态数据变化视频制作

深度学习的成功归功于在大量数据上训练大型、过度参数化的模型。随着这一趋势的持续，模型训练的成本变得非常高，需要使用强大的计算系统来训练最先进的网络。大量的研究致力于通过各种模型压缩技术（如剪枝和量化）来解决每一次迭代的训练成本。而针对迭代次数的研究则较少。以前的工作，如Forget score和GraNd/EL2N score，通过在一个完整的数据集中识别重要的样本和修剪剩余的样本来解决这个问题，从而减少每个周期的迭代次数。虽然这些方法减少了训练时间，但它们在训练前使用了昂贵的静态评分算法。当考虑到评分机制时，总运行时间往往会增加。在这项工作中，我们用动态数据修剪算法来解决这个缺点。令人惊讶的是，我们发现统一的随机动态剪枝可以在激进的剪枝率下胜过先前的工作。我们将此归因于 "有时 "样本的存在--只有在部分训练时间内对学习决策边界重要的点。为了更好地利用 "有时 "样本的微妙性，我们提出了两种基于强化学习技术的算法，以动态地修剪样本，并实现比随机动态方法更高的精度。我们对我们所有的方法与全数据集基线以及CIFAR-10和CIFAR-100的前期工作进行了测试，我们可以将训练时间减少2倍而没有明显的性能损失。我们的结果表明，数据修剪应该被理解为一个与模型的训练轨迹紧密相连的动态过程，而不是仅仅基于数据集的静态步骤。

《Accelerating Deep Learning with Dynamic Data Pruning》

论文地址:http://arxiv.org/abs/2111.12621v1