相同准确率,还不能回答真实使用问题

完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。

同为 IN-1K 监督模型ImageNet top-115-bin ECE ↓ConvNeXt-B85.5%0.028DeiT3-B/1685.5%0.041ECE:按置信度分成15组,计算“置信度−正确率”的绝对偏差。按每组样本数加权平均;越低代表该协议下总体校准越好。它不能保证某一张图预测正确,也不自动提供拒识规则。论文 Fig.5 / §3.3 · 模型数据量与质量未完全受控,不能纯归因架构

两个IN-1K监督模型top-1同为85.5%,但论文15-bin ECE为ConvNeXt-B 0.028、DeiT3-B/16 0.041。ECE按置信区间比较平均置信与实际正确率,再按样本量加权,具体分箱会影响结果;它也不能保证单图正确或自动给出拒识规则。改变信号与骨干之后,固定测试集仍没有回答真实使用的全部问题。现在回到已经出现的设备与环境约束:先检验按输入分配计算,再检验部署时是否值得更新状态。

原始说明

两个IN-1K监督模型top-1同为85.5%,但论文15-bin ECE为ConvNeXt-B 0.028、DeiT3-B/16 0.041。ECE按置信区间比较平均置信与实际正确率,再按样本量加权,具体分箱会影响结果;它也不能保证单图正确或自动给出拒识规则。改变信号与骨干之后,固定测试集仍没有回答真实使用的全部问题。现在回到已经出现的设备与环境约束:先检验按输入分配计算,再检验部署时是否值得更新状态。

ConvNet vs Transformer · ICML 2024