复习提纲,只对应 M2.4 的单样本、标量、单参数链式法则;不是完整 M2.4 记录,也不构成 M3 通过。掌握证据只在学习档案。
1. 本课位置
上一课只确认:可导、定义域内点、局部极值时 f'(a) = 0;逆命题不成立。这一课回答另一个问题:参数 w 变一点,loss L 变多少?先只看单样本、标量、单参数,不推广到向量或整批。本课所有量都是标量,没有 shape 对齐问题。
2. 图示
w --> p --> r --> Ly 是固定标签,本课视作常数。其他参数(例如 bias)也先固定。链上每个箭头是一段局部映射。
直觉:w 变一点,p 按 dp/dw 变;p 的变化再按 dr/dp 传到 r;r 的变化再按 dL/dr 传到 L。每层放大倍数相乘,就是总放大倍数。
3. chain rule
每段导数在对应的中间值处求值:
用的是当前这一步的 r,不是别处的 r。整条链是乘积,不是求和;写成逐项约分只是记忆图像,不是严格证明。
4. 一个数值例子
p = 3w + 1,y = 5,在 w = 1 处:
在 w = 1 附近,w 稍微增大时 L 下降;所以局部下降方向是增大 w。
5. 精确导数、差商与线性预测
同一例子取 h = 0.01:
实际变化与线性估计分别为:
两者差 0.0009,来自被忽略的二阶项 9h^2。
三者要分清:
-
exact derivative:
dL/dw = -6,是一个极限值。 -
finite difference average rate:
ΔL/h,h != 0。它按定义就是该区间的平均变化率,精确算术下没有计算误差;它只是 derivative 的近似,偶尔恰好相等。 -
local linear prediction:
误差由被省略的高阶项控制;精确算术下
h变小时误差更小,但数值上h过小会放大舍入误差,不能承诺越小越好。
差商里 h 始终在,不能因为 h 小就把它当 0 忽略;求极限也不是直接把 0 代进分母。
6. 输入符号与零输入
单输入下:
x < 0 会让方向反转,同一个 residual 使 w 朝相反方向更新。loss 是 r^2,由 |r| 决定:r 的数值变大不等于 absolute residual 变大,两者可以相反。
x = 0 时预测 p = w*x + b 不随 w 变:weight 无法改变预测,bias 仍然可以。权重导数为 0 不代表 loss 为 0,也不代表预测与 loss 无关。
Fermat 回顾:可导 + 定义域内点 + 局部极值 => f'(a) = 0。端点与尖角都不在这个结论的范围内。
7. 速查
- chain rule 是上述导数的链式乘积,不是和。
- 每个因子在对应中间值处求值。
- 精确导数、有限差商、线性预测是三件不同的事。
x = 0时 weight 失效,bias 仍有效。
8. 自测
- 若把
y改成 4,w = 1处的dL/dw会变成 0 吗?为什么? h != 0时,ΔL/h一定等于dL/dw吗?x = 0且dL/dw = 0,能否推出L = 0?
来源:教师核对过 OpenStax Calculus Volume 1, §3.6 The Chain Rule 的 “Rule: The Chain Rule”。这里指教师查阅过该页,不代表学生已读。
上一课:03 驻点与局部极值。
附录:学生代码快照
以下是学生当前已保存的实现,仅供复习;不是教师参考答案,也不是独立掌握证明。原练习文件是唯一编辑源;快照不会自动同步,原文件后续修改后需重新生成。
chain_rule_check.py
'''Author: Wang-nine Wang-nine@users.noreply.github.comDate: 2026-10-27 11:40:49LastEditors: Wang-nine Wang-nine@users.noreply.github.comLastEditTime: 2026-10-27 20:50:07Description: 学习ing...'''import numpy as np
def main(): #data h_offset = [0.1, 0.01, 0.001]
#when w = 1 res_1 = [] w = 1 dL_dw = cal_chain_rule(w) for h in h_offset: difference_quotient = (cal_L_with_w(w + h) - cal_L_with_w(w)) / h res = { "w" : w, "h" : h, "chain rule" : dL_dw, "difference_quotient" : difference_quotient } res_1.append(res) for each_res in res_1: print(each_res)
#when w = 1.5 res_1_5 = [] w = 1.5 dL_dw = cal_chain_rule(w) for h in h_offset: difference_quotient = (cal_L_with_w(w + h) - cal_L_with_w(w)) / h res = { "w" : w, "h" : h, "chain rule" : dL_dw, "difference_quotient" : difference_quotient } res_1_5.append(res) for each_res in res_1_5: print(each_res)
#new case, w = 1 res_1_new = [] w = 1 h_offset_new = [0.01, -0.01] dL_dw = cal_chain_rule_1(w) for h in h_offset_new: difference_quotient = (cal_L_with_w_1(w + h) - cal_L_with_w_1(w)) / h res = { "w" : w, "h" : h, "chain rule" : dL_dw, "difference_quotient" : difference_quotient } res_1_new.append(res) for each_res in res_1_new: print(each_res)
def cal_chain_rule_1(w: int) -> int: p = -2 * w + 1 r = p - 5 L = r ** 2 dp_dw = -2 dr_dp = 1 dL_dr = 2 * r dL_dw = dL_dr * dr_dp * dp_dw return dL_dw
def cal_L_with_w_1(w: int) -> int: return ((-2 * w + 1) - 5) ** 2
def cal_chain_rule(w: int) -> int: p = 3 * w + 1 r = p - 5 L = r ** 2 dp_dw = 3 dr_dp = 1 dL_dr = 2 * r dL_dw = dL_dr * dr_dp * dp_dw return dL_dw
def cal_L_with_w(w: int) -> int: return ((3 * w + 1) - 5) ** 2
if __name__ == "__main__": main()本文于2026-10-28整理公开,日期为导入日期。