保留完整图块/Attention/token机制、代码与输出,等待第五讲组织;不计入当前主讲。
固定keys=[0,1,2]、values=[2,4,8],标量query=1时分数为[0,1,2],softmax权重约[0.090,0.245,0.665],读回6.481;只把query改为−1,读回约3.030。这是读取信息而非只算权重。放回pre-norm层:输入→LN→attention→残差相加→LN→逐token MLP→第二次残差;attention跨位置,MLP混通道。完整投影、shape在Lab逐项核对,小张量权重不代表真实语义或因果解释。
固定keys=[0,1,2]、values=[2,4,8],标量query=1时分数为[0,1,2],softmax权重约[0.090,0.245,0.665],读回6.481;只把query改为−1,读回约3.030。这是读取信息而非只算权重。放回pre-norm层:输入→LN→attention→残差相加→LN→逐token MLP→第二次残差;attention跨位置,MLP混通道。完整投影、shape在Lab逐项核对,小张量权重不代表真实语义或因果解释。