保留完整图块/Attention/token机制、代码与输出,等待第五讲组织;不计入当前主讲。
DynamicViT用轻量模块为token评分,再按给定保留率筛选。先问各图的数量是否必然不同:固定输入尺寸与比例时,各阶段保留数固定,动态的是哪些位置被保留。官方推理实现正是先确定数量、再按分数排序选择。图中色块只说明机制,不是实测重要性。论文吞吐也不能直接写成单请求延迟,评分和执行仍需计入。除了把次要token完全删掉,还可以让它们用较小容量继续交换信息。
DynamicViT用轻量模块为token评分,再按给定保留率筛选。先问各图的数量是否必然不同:固定输入尺寸与比例时,各阶段保留数固定,动态的是哪些位置被保留。官方推理实现正是先确定数量、再按分数排序选择。图中色块只说明机制,不是实测重要性。论文吞吐也不能直接写成单请求延迟,评分和执行仍需计入。除了把次要token完全删掉,还可以让它们用较小容量继续交换信息。 年代核对:DynamicViT 2021-06-03预印本/NeurIPS 2021。固定分辨率与保留率时eval数量固定,依输入改变的是位置选择。