一个图块怎样按内容取回信息?

保留完整图块/Attention/token机制、代码与输出,等待第五讲组织;不计入当前主讲。

把刚才的取信息操作,放回一个 Transformer 编码层输入 token保留原向量LayerNorm规范化多头 attentionQ / K / V 来自学习投影残差相加输入 + 交换结果LayerNorm规范化MLP逐token的通道变换残差相加保留输入路径输出 token下一层继续交流attention 混合不同位置;MLP 分别处理每个 token 的通道。

固定keys=[0,1,2]、values=[2,4,8],标量query=1时分数为[0,1,2],softmax权重约[0.090,0.245,0.665],读回6.481;只把query改为−1,读回约3.030。这是读取信息而非只算权重。放回pre-norm层:输入→LN→attention→残差相加→LN→逐token MLP→第二次残差;attention跨位置,MLP混通道。完整投影、shape在Lab逐项核对,小张量权重不代表真实语义或因果解释。

原始说明

固定keys=[0,1,2]、values=[2,4,8],标量query=1时分数为[0,1,2],softmax权重约[0.090,0.245,0.665],读回6.481;只把query改为−1,读回约3.030。这是读取信息而非只算权重。放回pre-norm层:输入→LN→attention→残差相加→LN→逐token MLP→第二次残差;attention跨位置,MLP混通道。完整投影、shape在Lab逐项核对,小张量权重不代表真实语义或因果解释。

Vision Transformer · ICLR 2021