短练 · NumPy / Matplotlib
一次更新：步长变大一定更好吗？
scalar_lr：0.1 → 0.3，再单独试 0.55；先预测 w′、y′、L′。
准备与观察目标
准备块 → 第 3 节；改 P 后先重跑准备块。
用旧点梯度与新前向损失解释预测。
课堂活动：先选一个问题
可以先读保存结果，再决定是否运行。两人结对时，一人先预测，一人核对输出；带回一项证据和一句限制。下面是可选入口，不要求全部完成。
独立短练 · PyTorch
同一个核：增加输入通道会改变什么？
只把 C_IN：2 → 3，保持 C_OUT=3、KH=2、KW=2。
准备与观察目标
该节代码自带导入，无数据下载或训练。
比较输出形状、注册参数与每个输出的通道贡献。
独立短练 · PyTorch
残差：有 skip 就一定保留输入吗？
只把 BRANCH_GAIN：0 → −1，预测 skip / post-ReLU 四种组合。
准备与观察目标
该节代码自带导入，只做前向与求导。
用输出和逐元素导数解释抵消与截断。
读保存结果 · 无需运行
结构与增强：先读四格，再解释取舍
同一结构内比较有／无增强，再比较原图与右移测试。
准备与观察目标
直接看四组图表；完整重算需第 4 节训练。
指出一项收益、一项取舍和不能推出的架构排名。
先读保存图 · 可选固定模型前向
遮挡：同样的框等于同样的干预吗？
先比较 A/B 的改变像素数；预测 FILL：0 → 0.5 会怎样。
准备与观察目标
重算需配套文件 → 准备 → 第 1 节 → 第 3 节。
区分框面积、实际扰动与固定目标 logit。
读表与手算 · 无需训练
早退：为什么动态方案没赢过浅出口？
用 357 张早退、3 张继续核对平均值；再预测 τ=1.01。
准备与观察目标
读三条 MAC 路径和固定浅出口负对照。
解释出口开销，以及 MAC 与实际延迟的区别。
Deepnote 中请找卡片对应的小节名；网页链接直接定位。LAB02 完整重算需先完成训练依赖，LAB08 可加载配套缓存做前向，详见各册开头。
这一讲用哪些材料
先沿主讲理解问题，再读对应 CLS 补足推理；需要检验判断时进入 Lab。按当前问题选择实验，不必从侧栏逐本运行。网页保留已有结果，准备与重算要求见各册开头。
连续阅读 · CLS
- CLS 01 · 从像素到学习：表示、损失与一次更新先建立表示、logits、标签损失、一次更新和数据职责。
- CLS 03 · 同一台 CNN：局部计算、共享反馈与检验沿同一台 CNN 理解局部、共享、通道、采样、反馈及检验。
- CLS 04 · 为什么还要加深：训练起点、规模与残差理解加深困难、规模条件、残差机制与受控证据；早期逐层学习可选读。
- CLS 06 · 现代骨干与公平比较比较 Inception、DenseNet、ConvNeXt 及结构与训练配方，连接第三、四段主讲。
- CLS 07 · 设备、自动设计与动态计算沿成本约束、结构选择和输入相关计算读完第四至第六段。
- CLS 05 · 观察与迁移：响应说明什么，新任务怎样检验本讲读取观察与干预：真实响应、固定色标、支持区与遮挡对照；迁移部分由第三讲 CLS01 承接。
改变条件 · Lab
- LAB 01 · 学会一个卷积核以小张量核对卷积与共享梯度。
- LAB 02 · 小 CNN 与图像平移观察 CNN/MLP 与图像平移增强的真实比较；保留非等参数比较边界。
- LAB 03 · 架构实验室核对通道、分支、残差和 BN 的形状与运行状态。
- LAB 08 · 从真实响应到遮挡对照使用已有 CNN checkpoint 观察响应和遮挡负对照，可读保存结果，无需先重训 LAB02。
- LAB 10 · 成本目标与结构选择同设备成本微基准与小候选搜索；参数、MAC 和实测延迟分别计账。
- LAB 11 · 何时继续计算比较早退规则与固定出口；保留动态未优于固定浅出口的负结果，离线回放不是实测早退加速。
选做：LAB 06。不要求把全部代码逐块运行。
传统视觉、完整 Attention 与可靠性材料放在按需参考区；迁移与表示实验使用第三讲的独立版本。
读完推理 · CLS
- CLS 01 · 从像素到学习：表示、损失与一次更新先建立表示、logits、标签损失、一次更新和数据职责。
运行比较 · Lab
- LAB 06 · 表示、损失与学习步长按需核对表示、损失和学习步长，不是进入后续材料的运行前置。 · 基础选做
B · 为什么这样组织局部计算
为什么不把每个像素都独立连接到下一层？
局部、共享、通道、采样和反馈各改变什么；算例用于核对实现，真实响应用于观察。
进入这一段主讲展开主讲顺序
- 监督卷积早于 2012：先从字符识别的结构说起
- 分类错误，能否调整提取信息的前端？
- 每次读附近，不同位置共用权重
- 人规定连接方式，训练调整具体测量
- 四个配对乘积，只写入一个输出
- 移动窗口，复用同一组权重
- 一个 filter 读取全部输入通道
- 多套 filter，让同一张图保留多种响应
- 只有类别标签，局部窗口怎样收到反馈？
- 输出尺寸，可以用合法窗口起点数出来
- 步长改变采样位置，核的权重没有变
- 多个局部层叠起来，能联系更远的输入
- 池化保留一种统计，也舍弃部分细节
- 同一通道的值，怎样先规范化再作可学变换？
- 真实响应里，哪些位置和通道不同？
- 把局部模块放回整网，核对三个接口
- 响应跟着输入移动，还不等于类别判断不变
- 同一结构增加平移训练，结果怎样改变？
- 算子已经看清，接下来要能检查一张计算图
读完推理 · CLS
- CLS 03 · 同一台 CNN：局部计算、共享反馈与检验沿同一台 CNN 理解局部、共享、通道、采样、反馈及检验。
- CLS 05 · 观察与迁移：响应说明什么，新任务怎样检验本讲读取观察与干预：真实响应、固定色标、支持区与遮挡对照；迁移部分由第三讲 CLS01 承接。
读完推理 · CLS
- CLS 04 · 为什么还要加深：训练起点、规模与残差理解加深困难、规模条件、残差机制与受控证据；早期逐层学习可选读。
- CLS 06 · 现代骨干与公平比较比较 Inception、DenseNet、ConvNeXt 及结构与训练配方，连接第三、四段主讲。
运行比较 · Lab
- LAB 03 · 架构实验室核对通道、分支、残差和 BN 的形状与运行状态。
- LAB 05 · 经典架构与视觉表示遇到模块问题再查经典架构、NiN/GAP、Inception、BN 和运行状态；不构成额外训练链。 · 按需实现参考
读完推理 · CLS
- CLS 06 · 现代骨干与公平比较比较 Inception、DenseNet、ConvNeXt 及结构与训练配方，连接第三、四段主讲。
- CLS 07 · 设备、自动设计与动态计算沿成本约束、结构选择和输入相关计算读完第四至第六段。
运行比较 · Lab
- LAB 10 · 成本目标与结构选择同设备成本微基准与小候选搜索；参数、MAC 和实测延迟分别计账。
按图继续观察
- CLS06 · ConvNeXt 接口图 ↗：找出空间混合、C→4C→C 与相加接口。
- CLS07 · 模型计时与用户等待 ↗：圈出两个计时区间，预测局部提速怎样影响整段等待。
读完推理 · CLS
- CLS 07 · 设备、自动设计与动态计算沿成本约束、结构选择和输入相关计算读完第四至第六段。
运行比较 · Lab
- LAB 10 · 成本目标与结构选择同设备成本微基准与小候选搜索；参数、MAC 和实测延迟分别计账。
按图继续观察
- CLS07 · 部署前选网与逐输入早退 ↗：分别改变设备和输入，判断哪项选择改变。
读完推理 · CLS
- CLS 07 · 设备、自动设计与动态计算沿成本约束、结构选择和输入相关计算读完第四至第六段。
运行比较 · Lab
- LAB 11 · 何时继续计算比较早退规则与固定出口；保留动态未优于固定浅出口的负结果，离线回放不是实测早退加速。
按图继续观察
- CLS07 · MoE、Loop 与视觉 TTT ↗：沿三幅图区分路径选择、状态变化和参数更新。
- LAB11 · 三条 MAC 路径 ↗：比较全深度、早退、继续三条账本，再读固定浅出口负对照。
遇到具体问题，再查参考材料
卷积索引、完整梯度与成本账本可查 LAB04；经典模块和运行状态可查 LAB05。真实响应与遮挡在 CLS05／LAB08。它们不组成另一条必须从头跑完的训练链。
完整材料索引
包含本讲现存的 21 本材料。编号便于定位，推荐阅读顺序按上面的教学问题组织。
查看全部 CLS 与 Lab · 21 本
入口
- CLS 00 · 第二讲导读按六段主讲选择连续讲义、实验与参考；第二讲问卷位于开头。
连续阅读
- CLS 01 · 从像素到学习：表示、损失与一次更新先建立表示、logits、标签损失、一次更新和数据职责。
- CLS 03 · 同一台 CNN：局部计算、共享反馈与检验沿同一台 CNN 理解局部、共享、通道、采样、反馈及检验。
- CLS 05 · 观察与迁移：响应说明什么，新任务怎样检验本讲读取观察与干预：真实响应、固定色标、支持区与遮挡对照；迁移部分由第三讲 CLS01 承接。
- CLS 04 · 为什么还要加深：训练起点、规模与残差理解加深困难、规模条件、残差机制与受控证据；早期逐层学习可选读。
- CLS 06 · 现代骨干与公平比较比较 Inception、DenseNet、ConvNeXt 及结构与训练配方，连接第三、四段主讲。
- CLS 07 · 设备、自动设计与动态计算沿成本约束、结构选择和输入相关计算读完第四至第六段。
基础选做
- LAB 06 · 表示、损失与学习步长按需核对表示、损失和学习步长，不是进入后续材料的运行前置。 · 基础选做
动手比较
- LAB 01 · 学会一个卷积核以小张量核对卷积与共享梯度。
- LAB 02 · 小 CNN 与图像平移观察 CNN/MLP 与图像平移增强的真实比较；保留非等参数比较边界。
- LAB 03 · 架构实验室核对通道、分支、残差和 BN 的形状与运行状态。
- LAB 08 · 从真实响应到遮挡对照使用已有 CNN checkpoint 观察响应和遮挡负对照，可读保存结果，无需先重训 LAB02。
- LAB 10 · 成本目标与结构选择同设备成本微基准与小候选搜索；参数、MAC 和实测延迟分别计账。
- LAB 11 · 何时继续计算比较早退规则与固定出口；保留动态未优于固定浅出口的负结果，离线回放不是实测早退加速。
传统视觉参考
- CLS 02 · 传统视觉：局部描述、共同词典与分类按需查传统局部描述、共同词典与分类；不作为当前架构主线必读。 · 传统视觉参考
- LAB 07 · 空间格、方向桶与传统表示精确构造空间格、方向桶与词袋，不由第三讲的无标签 patch fit 替代。 · 传统视觉参考
按需实现参考
- LAB 04 · 卷积怎样变成图像分类器遇到实现问题再查索引、边界、梯度、unfold、分组卷积和成本。 · 按需实现参考
- LAB 05 · 经典架构与视觉表示遇到模块问题再查经典架构、NiN/GAP、Inception、BN 和运行状态；不构成额外训练链。 · 按需实现参考
完整 Attention 暂存
- LAB 09 · 视觉 Attention 完整层保留完整视觉 Attention 层、逐矩阵代码与保存输出，供后续讲次组织；不是第二、三讲前置。
可靠性与适应补充
- CLS 08 · 分布变化与适应分布变化、鲁棒性、校准与持续适应的按需阅读，非第三讲主线必读。
- LAB 12 · Source、Norm 与 Tent比较 Source、Norm 与 Tent；不等同于视觉 TTT，不作为动态计算的必做下一步。