你真的了解Resnet网络吗?res-net网络(2015)由微软实验室提出,斩获当年amage night竞赛分类任务第一名,目标检测第一名。它能有效防止网络层数加深时产生的梯度消失和退化问题。
·1、增强重要点特征,弱化不重要的特征。这里我们以输入维度为3*3的future map为例:假设有kernelsize等于3*3,stride等于1,padding等于1的kernel size在特征图上进行卷积操作,那么它的输出维度就应该是x_mid等于3*3的feature map。
可以看到在输出x_mid的feature map当中右下角的4个特征点与左上角拉开了差距。当把输入的xsid与xmid相加的时候得到我们的xout,x_out紫色的部分特征进行了增强,而橙色的部分被进步的弱化,这就是我们所说的增强重要的特征,削弱不重要的特征。
·2、BATCH normalization(BN):假设我们有两个 feature map,一个叫feature1,另一个叫feature2。feature1当中也有两个hand,那kt1当中 channel 一和jpg当中 channel 一构成一组,去计算mui和sigma1。
feature2当中的 source2和jpg二当中的 iecn isis rang2去计算mu2和sigma2。最后经过x减mu除以根号下igma加kxi,得到最终batchpileaton归一化后的结果。
我们将这种方法称之为解决梯度消失和梯度爆炸的重要思想。
记得关注再走哦!
本文暂时没有评论,来添加一个吧(●'◡'●)