完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。
十二个训练样本洗牌后,每批三个,共四批。卡片上的数字是样本编号,不是类别,也不是计算出来的梯度。第一批把θ₀改成θ₁,第二批必须在θ₁处重新算梯度,直到θ₄。所以本例一个epoch包含四个更新step,不能把遍历数据次数与参数更新次数混用。批次还会影响统计量和计算成本;先建立这个计数习惯,后面再讨论同一张图为什么可能受batch同伴影响。
十二个训练样本洗牌后,每批三个,共四批。卡片上的数字是样本编号,不是类别,也不是计算出来的梯度。第一批把θ₀改成θ₁,第二批必须在θ₁处重新算梯度,直到θ₄。所以本例一个epoch包含四个更新step,不能把遍历数据次数与参数更新次数混用。批次还会影响统计量和计算成本;先建立这个计数习惯,后面再讨论同一张图为什么可能受batch同伴影响。 证据与制作说明:追踪12个样本分四批时参数在各批之间连续改变。