保留完整图块／Attention／token机制、代码与输出，等待第五讲组织；不计入当前主讲。
这里是与自监督目标并行发展的ViT结构线：图像切成patch，每块映射为向量，再加入位置编码。请预测若只保留内容、打乱顺序，还能否知道原来的空间位置。画面4×4网格便于讲解，实际224×224图像配16×16块得到14²=196个图块，class token另计，它不是另一块图像。Lecture1已认识Q/K/V；这次对象变成非因果的图像token，要看一个位置怎样读取其他位置，再放回完整编码层。
这里是与自监督目标并行发展的ViT结构线：图像切成patch，每块映射为向量，再加入位置编码。请预测若只保留内容、打乱顺序，还能否知道原来的空间位置。画面4×4网格便于讲解，实际224×224图像配16×16块得到14²=196个图块，class token另计，它不是另一块图像。Lecture1已认识Q/K/V；这次对象变成非因果的图像token，要看一个位置怎样读取其他位置，再放回完整编码层。 年代核对：ViT于2020-10-22首次公开arXiv，正式会议ICLR 2021。