保留完整图块／Attention／token机制、代码与输出，等待第五讲组织；不计入当前主讲。
先看共同ImageNet微调、384分辨率的top-1：ImageNet预训练下B/16为77.91%，L/16为76.53%，更大并未更好。换ImageNet-21k，两者83.97%与85.15%；JFT-300M为84.15%与87.12%，大小关系改变。三个数据源不仅数量不同，分布与标签也不同，不能据此单独证明规模因果。DeiT和Swin分别回应训练方法与视觉先验。为进一步拆开条件，再固定一个ViT模型查看数据量和步数的关系。
先看共同ImageNet微调、384分辨率的top-1：ImageNet预训练下B/16为77.91%，L/16为76.53%，更大并未更好。换ImageNet-21k，两者83.97%与85.15%；JFT-300M为84.15%与87.12%，大小关系改变。三个数据源不仅数量不同，分布与标签也不同，不能据此单独证明规模因果。DeiT和Swin分别回应训练方法与视觉先验。为进一步拆开条件，再固定一个ViT模型查看数据量和步数的关系。 年代核对：ViT 2020预印本／ICLR 2021；采用v2（2021-06-03）表5。