完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。
用同一个标量模型把更新说清:x=2,目标0,输出y=2w,损失L=2w²。当前w=1时,损失为2,局部梯度为4;学习率0.1给出w′=0.6。重新前向,输出1.2、损失0.72。梯度只描述当前位置附近的变化,不保证任意大步长都有效。此刻先把梯度4当作已知数,接着沿实际计算路径求它,避免把求导和改变参数混成一个动作。
用同一个标量模型把更新说清:x=2,目标0,输出y=2w,损失L=2w²。当前w=1时,损失为2,局部梯度为4;学习率0.1给出w′=0.6。重新前向,输出1.2、损失0.72。梯度只描述当前位置附近的变化,不保证任意大步长都有效。此刻先把梯度4当作已知数,接着沿实际计算路径求它,避免把求导和改变参数混成一个动作。 证据与制作说明:统一为构造回归模型x=2、t=0、y=wx、L=½(y−t)²=2w²。w=1处g=4;η=.1更新w′=.6、y′=1.2、L′=.72。原先L=(w−2)²例算术正确,此轮为与BP两页保持对象连续而更换。