复习提纲,只对应 M2.4 的单样本、标量、非线性中间量;不是整模块记录,也不构成 M3 通过。掌握证据只在学习档案。
1. 本课位置
上一课链条是 p = 3w + 1,dp/dw 恒为 3,方向不随 w 变。这一课把中间量换成非线性 p = w² + 1,dp/dw 变成 2w:同一个 loss、同一套公式,不同 w 给出不同导数,甚至相反方向。仍然是单样本、标量、单参数。
2. 图示与公式
w --> p --> r --> Ly = 4 固定。展开整条链:
dp/dw = 2w 要在当前的 w 处取值,不是常数;换一个 w 就得重算这一段。代码里 p、r、dL_dw 都在每次函数调用里重新算,正是为了守住这一点。
3. 两点对照
| w | p | r | L | dL/dw |
|---|---|---|---|---|
| -1 | 2 | -2 | 4 | +8 |
| +1 | 2 | -2 | 4 | -8 |
p、r、L 完全相同,导数却差一个符号。所以函数值相等不能推出导数相等;这两点也不是互不相关,它们由同一个函数 L(w) 在不同位置支配,只是位置不同、斜率不同。
方向:w = -1 处导数为正,w 减小一点 L 下降,局部朝左;w = +1 处导数为负,w 增大一点 L 下降,局部朝右。这是足够小步长下的局部结论,不保证离零点更远处仍朝同一方向。
4. 三个量不要混
exact derivative:点上的极限值。
finite quotient:该区间的精确平均变化率。
linear prediction:用导数外推的新值。
有限差商在精确算术下就是区间平均变化率,不是”错的导数”;差商一般不等于点导数,某些函数、点或步长下可以恰好相等,区间内函数是直线只是其中一种情形。线性预测又是另一件事:
新值 = 旧值加 导数 × h,误差来自被省略的高阶项。
另外 h != 0:差商的分母就是它,不能因为 h 小就当成 0 忽略;求极限也不是把 0 代进分母。浮点里 h 太小时 L(w+h) - L(w) 相减会损失有效位,实际计算要选合适量级。
5. 易错点
h带符号:负的h也要保留符号,按实际的ΔL / h计算,结果可正可负。- 比较要用同一个基准点:
L(w+h)减的是L(w),不是别处的值。 - 求导对象是
w,链上每一段各自对自己那个变量求导,再相乘。 L = r²只看|r|:r从 -2 变到 -3 数值更负,loss 反而更大,别把r的符号当成 loss 的升降。
6. 速查
- 非线性中间量下,
dL/dw随位置改变,方向可以反转。 - 函数值相等不代表导数相等。
- 精确导数、有限差商、线性预测是三件事。
- 局部方向只对足够小的步长成立。
7. 自测
-
w = -1与w = +1的p、r、L都相同,为什么dL/dw相反? -
下列差商在精确算术下就等于导数吗?
-
为什么不能在
w = 1处断定”一直往右走 loss 会持续下降”?
来源:沿用上课教师已核对过的 OpenStax Calculus Volume 1, §3.6 The Chain Rule 的 “Rule: The Chain Rule” 与复合函数结构;p = w² + 1、y = 4 的案例与两点对照表为教师自拟,本课未重新抓取网页,也不代表学生已读该页。
上一课:04 chain rule。
附录:学生代码快照
以下是学生当前已保存的实现,仅供复习;不是教师参考答案,也不是独立掌握证明。原练习文件是唯一编辑源;快照不会自动同步,原文件后续修改后需重新生成。
nonlinear_chain_check.py
'''Author: Wang-nine Wang-nine@users.noreply.github.comDate: 2026-10-28 15:53:44LastEditors: Wang-nine Wang-nine@users.noreply.github.comLastEditTime: 2026-10-28 16:19:35Description: learning....'''
def main(): for w in [-1, 1]: for h in [0.01, -0.01]: calc(w, h)
def calc(w: float, h:float) -> None: p = w ** 2 + 1 r = p - 4 L = r ** 2 dL_dr = 2 * r dr_dp = 1 dp_dw = 2 * w dL_dw = dL_dr * dr_dp * dp_dw delta_L = calc_loss(w + h) - calc_loss(w) difference_quotient = delta_L / h print(f"w : {w} | p : {p} | r : {r} | L : {L} | Derivative : {dL_dw} | h : {h} | difference quotient : {difference_quotient} \n")
def calc_loss(w: float) -> float: return ((w ** 2 + 1) - 4) ** 2
if __name__ == "__main__": main()本文于2026-10-28整理公开,日期为导入日期。