残差相加以后,反馈也有一条直接路径

完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。

取x=2、F(x)=0.2x,输出是2.4。上游梯度若为1,直达路径贡献1,分支贡献0.2,输入总反馈为1.2。规则与共享核一样:各路径先算贡献,再对同一变量求和。不要把这画成永远畅通的高速路;若F(x)=−x,两路会抵消,相加后若有ReLU还要乘它的局部导数。机制给出了可检验的预期,是否更容易训练仍需配对数据支持。

原始说明

取x=2、F(x)=0.2x,输出是2.4。上游梯度若为1,直达路径贡献1,分支贡献0.2,输入总反馈为1.2。规则与共享核一样:各路径先算贡献,再对同一变量求和。不要把这画成永远畅通的高速路;若F(x)=−x,两路会抵消,相加后若有ReLU还要乘它的局部导数。机制给出了可检验的预期,是否更容易训练仍需配对数据支持。 年代核对:ResNet 2015预印本/CVPR 2016。 证据与制作说明:把已学路径贡献相加迁移到残差块的直达与分支两条路。

He et al. · Deep Residual Learning for Image Recognition (2016)

He et al. · Identity Mappings in Deep Residual Networks (2016)