两个窗口的贡献,汇总到同一对核权重

完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。

输入[1,2,3]与共享核[1,−1]产生两个−1,目标都为0。先沿第一条路径看k₁,反馈贡献为−1×1=−1;第二个窗口再贡献−2,所以k₁总梯度−3。k₂收到−2和−3,总梯度−5。两处都用旧参数求完导,才以学习率0.05统一更新到[1.15,−0.75];重新前向得[−0.35,0.05],损失0.0625。共享让贡献相加,绝不是看完一个窗口就私自改一次核。

原始说明

输入[1,2,3]与共享核[1,−1]产生两个−1,目标都为0。先沿第一条路径看k₁,反馈贡献为−1×1=−1;第二个窗口再贡献−2,所以k₁总梯度−3。k₂收到−2和−3,总梯度−5。两处都用旧参数求完导,才以学习率0.05统一更新到[1.15,−0.75];重新前向得[−0.35,0.05],损失0.0625。共享让贡献相加,绝不是看完一个窗口就私自改一次核。 证据与制作说明:五态保持X=[1,2,3]、K=[1,−1]、目标[0,0]。两窗口用旧参数求导,梯度[−3,−5],η=.05更新到[1.15,−.75],新输出[−.35,.05],损失.0625。先收集再更新一次。更多步长探索在自学专题,不调用隐藏HTML备份。

D2L · Convolutions for Images

Stanford CS231n · Backpropagation