1134 字
6 分钟
05 非线性链:w² 让方向随位置改变

复习提纲,只对应 M2.4 的单样本、标量、非线性中间量;不是整模块记录,也不构成 M3 通过。掌握证据只在学习档案。

1. 本课位置#

上一课链条是 p = 3w + 1,dp/dw 恒为 3,方向不随 w 变。这一课把中间量换成非线性 p = w² + 1,dp/dw 变成 2w:同一个 loss、同一套公式,不同 w 给出不同导数,甚至相反方向。仍然是单样本、标量、单参数。

2. 图示与公式#

w --> p --> r --> L

y = 4 固定。展开整条链:

p=w2+1r=p−y=w2−3L=r2=(w2−3)2dLdw=dLdrdrdpdpdw=2r⋅1⋅2w=4w(w2−3)\begin{aligned} p &= w^2 + 1 \\ r &= p - y = w^2 - 3 \\ L &= r^2 = (w^2 - 3)^2 \\ \frac{dL}{dw} &= \frac{dL}{dr}\frac{dr}{dp}\frac{dp}{dw} = 2r \cdot 1 \cdot 2w = 4w(w^2 - 3) \end{aligned}

dp/dw = 2w 要在当前的 w 处取值,不是常数;换一个 w 就得重算这一段。代码里 p、r、dL_dw 都在每次函数调用里重新算,正是为了守住这一点。

3. 两点对照#

wprLdL/dw
-12-24+8
+12-24-8

p、r、L 完全相同,导数却差一个符号。所以函数值相等不能推出导数相等;这两点也不是互不相关,它们由同一个函数 L(w) 在不同位置支配,只是位置不同、斜率不同。

方向:w = -1 处导数为正,w 减小一点 L 下降,局部朝左;w = +1 处导数为负,w 增大一点 L 下降,局部朝右。这是足够小步长下的局部结论,不保证离零点更远处仍朝同一方向。

4. 三个量不要混#

exact derivative:点上的极限值。

dLdw\frac{dL}{dw}

finite quotient:该区间的精确平均变化率。

L(w+h)−L(w)h,h≠0\frac{L(w+h) - L(w)}{h}, \qquad h \ne 0

linear prediction:用导数外推的新值。

L(w+h)≈L(w)+dLdwhL(w+h) \approx L(w) + \frac{dL}{dw}h

有限差商在精确算术下就是区间平均变化率,不是”错的导数”;差商一般不等于点导数,某些函数、点或步长下可以恰好相等,区间内函数是直线只是其中一种情形。线性预测又是另一件事:

ΔL≈dLdwh\Delta L \approx \frac{dL}{dw}h

新值 = 旧值加 导数 × h,误差来自被省略的高阶项。 另外 h != 0:差商的分母就是它,不能因为 h 小就当成 0 忽略;求极限也不是把 0 代进分母。浮点里 h 太小时 L(w+h) - L(w) 相减会损失有效位,实际计算要选合适量级。

5. 易错点#

  • h 带符号:负的 h 也要保留符号,按实际的 ΔL / h 计算,结果可正可负。
  • 比较要用同一个基准点:L(w+h) 减的是 L(w),不是别处的值。
  • 求导对象是 w,链上每一段各自对自己那个变量求导,再相乘。
  • L = r² 只看 |r|:r 从 -2 变到 -3 数值更负,loss 反而更大,别把 r 的符号当成 loss 的升降。

6. 速查#

  • 非线性中间量下,dL/dw 随位置改变,方向可以反转。
  • 函数值相等不代表导数相等。
  • 精确导数、有限差商、线性预测是三件事。
  • 局部方向只对足够小的步长成立。

7. 自测#

  1. w = -1 与 w = +1 的 p、r、L 都相同,为什么 dL/dw 相反?

  2. 下列差商在精确算术下就等于导数吗?

    L(w+h)−L(w)h,h≠0\frac{L(w+h)-L(w)}{h}, \qquad h \ne 0
  3. 为什么不能在 w = 1 处断定”一直往右走 loss 会持续下降”?

来源:沿用上课教师已核对过的 OpenStax Calculus Volume 1, §3.6 The Chain Rule 的 “Rule: The Chain Rule” 与复合函数结构;p = w² + 1、y = 4 的案例与两点对照表为教师自拟,本课未重新抓取网页,也不代表学生已读该页。

上一课:04 chain rule。

附录:学生代码快照#

以下是学生当前已保存的实现,仅供复习;不是教师参考答案,也不是独立掌握证明。原练习文件是唯一编辑源;快照不会自动同步,原文件后续修改后需重新生成。

nonlinear_chain_check.py#

'''
Author: Wang-nine Wang-nine@users.noreply.github.com
Date: 2026-10-28 15:53:44
LastEditors: Wang-nine Wang-nine@users.noreply.github.com
LastEditTime: 2026-10-28 16:19:35
Description: learning....
'''
def main():
for w in [-1, 1]:
for h in [0.01, -0.01]:
calc(w, h)
def calc(w: float, h:float) -> None:
p = w ** 2 + 1
r = p - 4
L = r ** 2
dL_dr = 2 * r
dr_dp = 1
dp_dw = 2 * w
dL_dw = dL_dr * dr_dp * dp_dw
delta_L = calc_loss(w + h) - calc_loss(w)
difference_quotient = delta_L / h
print(f"w : {w} | p : {p} | r : {r} | L : {L} | Derivative : {dL_dw} | h : {h} | difference quotient : {difference_quotient} \n")
def calc_loss(w: float) -> float:
return ((w ** 2 + 1) - 4) ** 2
if __name__ == "__main__":
main()

本文于2026-10-28整理公开,日期为导入日期。