完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。
在旧参数w=1处,y=wx=2,损失是二分之一y²。损失对输出的导数为2,输出对权重的导数也为2,两者相乘得到权重梯度4。这就是一条路径上的链式法则。请注意,求导结束时w仍然是1;我们只是获得了局部反馈。以后同一卷积权重会被多个窗口使用,原则并不改变,只是需要把所有使用路径的贡献汇总。
在旧参数w=1处,y=wx=2,损失是二分之一y²。损失对输出的导数为2,输出对权重的导数也为2,两者相乘得到权重梯度4。这就是一条路径上的链式法则。请注意,求导结束时w仍然是1;我们只是获得了局部反馈。以后同一卷积权重会被多个窗口使用,原则并不改变,只是需要把所有使用路径的贡献汇总。 证据与制作说明:通过一个权重解释上游梯度乘局部导数。