壁纸来源 · MotionBGS
930 字
5 分钟
06 batch MSE:共享参数的贡献汇总
M2.4 主,结合 M2.1 数组与 reduction。简短复习提纲,不是掌握证明。
1. 每条链相乘,多条贡献按 loss 定义归约
x_i、y_i 固定,所有样本共用 w,b=0w → p_i → r_i → ℓ_i → 平均 → L先保留样本配对,再平均;通常:
平均系数只使用一次。batch loss 下降不保证每个样本都改善;方向判断只对当前位置足够小的步长成立。
2. loss、差商、导数、变化量
| 量 | 意义 |
|---|---|
L(w):batch MSE(均方误差) | 当前残差平方的平均,描述误差大小;不是残差方差 |
Q_h | 区间平均变化率,h != 0 |
L'(w) | 当前点的瞬时变化率;可导时是差商趋近的极限 |
ΔL | 实际变化量,保留符号 |
L'(w)*h | 对变化量的局部近似;新值约为旧值加此项 |
同一批固定样本、同一个基准与非零 h 下:各样本的 loss 差商先平均,等于 batch MSE 的差商。有限差商一般不等于点导数;数值计算也不能盲目令 h 任意小。
3. 一个数值检查
x = [[1], [2], [3]],y = [[4], [1], [1]],w=1每样本平方误差为 9、1、4;每样本导数贡献为 -6、4、12:
三样本的平均系数是 1/3,不能把旧平均导数直接和新贡献相加。
4. shape 与实现检查
- 列向量约定:
x、y、p、r与归约前的平方误差 / 导数贡献为(N,1);batch loss 与导数为标量()。 - 循环内只用当前
x_i、y_i;数组版保留 elementwise 配对。 calc_loss返回 loss,外层才负责相减除以 h。- 标清解析导数在哪一点计算;从 w 出发的差商用来核对 w 处导数,而非 w+h 处导数。
- h=0 不计算差商;每轮重置缺省值,避免沿用旧值。
- 计算数据与显示文字分开:数值可用
:.4f,None单独显示;格式化不会提高计算精度。
来源:沿用前课 OpenStax §3.6 链式法则;NumPy beginners 是本课推荐主来源,未重新抓取;Python tutorial §7.1.1 的 f-string 文档本课已查阅。数值案例为教师自拟,代码由学生编写。
上一课:05 非线性链。
附录:学生代码快照
以下是学生当前已保存的实现,仅供复习;不是教师参考答案,也不是独立掌握证明。原练习文件是唯一编辑源;快照不会自动同步,原文件后续修改后需重新生成。
batch_mse_check.py
import numpy as np
def main(): calc(1)
def calc(w: float) -> None: #test data x = np.array([[1], [2], [3]]) y = np.array([[4], [1], [1]]) offset_array = [0.01, 0, -0.01]
for offset in offset_array: MSE_array = [] derivative = [] difference_quotient_array = [] #loop result difference_quotient = None for index in range(len(x)): x_i = x[index][0] y_i = y[index][0] p = (w + offset) * x_i + 0 r = p - y_i l = r ** 2 dl_dr = 2 * r dr_dp = 1 dp_dw = x_i dl_dw = dl_dr * dr_dp * dp_dw if offset != 0: difference_quotient_array.append((calc_loss(w + offset, x_i, y_i) - calc_loss(w, x_i, y_i)) / offset) MSE_array.append(l) derivative.append(dl_dw) batch_MSE = np.mean(np.array(MSE_array)) batch_derivative = np.mean(np.array(derivative)) if offset != 0: difference_quotient = np.mean(np.array(difference_quotient_array))
#array result p_array = (w + offset) * x + 0 r_array = p_array - y array_batch_loss = np.mean(r_array ** 2) dl_dr = 2 * r_array dr_dp = 1 dp_dw = x dl_dw = np.mean(dl_dr * dr_dp * dp_dw)
print(f"w : {w} | w + offset : {w + offset} | batch MSE : {batch_MSE:.4f} | 循环得到导数 : {batch_derivative:.4f} | 数组得到导数 : {dl_dw:.4f} | h : {offset} | ", end="") if difference_quotient != None: print(f"差商 : {difference_quotient:.4f}") else: print(f"差商 : None")
def calc_loss(w: float, x: float, y:float) -> float: return (w * x + 0 - y) ** 2
if __name__ == "__main__": main()本文于2026-10-30整理公开,日期为导入日期。