完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。
一轮训练里,前向与反向必须对应同一套参数。先用w=1算y=2、L=2,再在这个旧点求得梯度4,最后执行1−0.1×4=0.6。新损失0.72来自更新后的重新计算,不能把旧前向结果当成更新后结果。这个顺序看似细小,却会影响后面的测试时适应:一次调用返回哪个时点的预测,必须写清。现在让同样的过程接上连续几个数据批次。
一轮训练里,前向与反向必须对应同一套参数。先用w=1算y=2、L=2,再在这个旧点求得梯度4,最后执行1−0.1×4=0.6。新损失0.72来自更新后的重新计算,不能把旧前向结果当成更新后结果。这个顺序看似细小,却会影响后面的测试时适应:一次调用返回哪个时点的预测,必须写清。现在让同样的过程接上连续几个数据批次。 证据与制作说明:沿同一个标量例子区分先求导、后更新、再计算。
D2L · Forward and Backward Propagation