没有答案,怎样得到更新信号?

完整解释、原始数值、素材与实验仍可访问;默认翻页不进入此内容。

目标图像批次无类别标签pθ(y | x)此次前向的预测平均预测熵 H−Σ p log p更新 γ、βnormalization affine卷积权重冻结;BN 使用当前 batch 统计下一批受更新影响;额外重算才是“更新后预测”Tent 官方实现的 step 协议 · 返回本次更新前 logits · 本图为机制示意,未运行模型

有标签训练由正确类别约束更新方向;部署时没有答案,却仍能由预测概率计算熵。Tent把降低熵作为代理目标,只更新选定BN的γ、β,卷积权重保持冻结。图中保留一个关键时点:本次返回的是参数更新前产生的预测,更新影响后续调用;若额外前向查看更新后结果,要另计成本。可计算的信号没有告诉模型答案真假,接下来先用数学反例,再读真实小模型比较。

原始说明

有标签训练由正确类别约束更新方向;部署时没有答案,却仍能由预测概率计算熵。Tent把降低熵作为代理目标,只更新选定BN的γ、β,卷积权重保持冻结。图中保留一个关键时点:本次返回的是参数更新前产生的预测,更新影响后续调用;若额外前向查看更新后结果,要另计成本。可计算的信号没有告诉模型答案真假,接下来先用数学反例,再读真实小模型比较。 实现细节集中于此:官方forward_and_adapt依次forward→平均熵→backward→optimizer.step→zero_grad,返回此前logits。steps=1是本次更新前预测,多步是最后一步更新前预测;额外更新后前向须另报。BN配置与reset由CLS09和LAB14承接。

Tent · ICLR 2021

TENT