少算一定意味着丢掉信息吗?

保留完整图块/Attention/token机制、代码与输出,等待第五讲组织;不计入当前主讲。

嵌套子模型:为不同 token 分配不同宽度token 1D/8token 2D/4token 3D/2token 4D相对成本precision@1≈0.227≈50.2%≈0.420≈51.0%≈0.613≈51.4%完整模型:1.0 / ≈52.1%共享切片 → 共同维度的 attention 交换MoNE · ImageNet-21k · 图3(c)近似数字化,非实测 · 相对图示FLOPs以完整ViT-L/16=1

MoNE把“保留还是丢弃”扩展为“给多少容量”:不同token进入共享权重的不同宽度子模型,较轻处理仍保留信息交换路径。请比较它与直接删除的区别,而不把所有少算都叫剪枝。这里按NeurIPS2024图像结果讲述,曲线是论文矢量图近似数字化,指标为ImageNet-21k precision@1,不是ImageNet-1k top-1,也不借视频节省数字证明图像效果。动态配置继续探索的同时,静态模块仍受硬件瓶颈牵引。

原始说明

MoNE把“保留还是丢弃”扩展为“给多少容量”:不同token进入共享权重的不同宽度子模型,较轻处理仍保留信息交换路径。请比较它与直接删除的区别,而不把所有少算都叫剪枝。这里按NeurIPS2024图像结果讲述,曲线是论文矢量图近似数字化,指标为ImageNet-21k precision@1,不是ImageNet-1k top-1,也不借视频节省数字证明图像效果。动态配置继续探索的同时,静态模块仍受硬件瓶颈牵引。

MoNE · NeurIPS 2024