继续请教问题:关于 Pytorch 的 Autograd

雷达

. D$ h5 U$ \3 ~! J8 R为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
- d' \' b0 `1 K----------------------------------------------
- `+ T  o! b' |, o" Bimport torch
import numpy as np
( Y# _* h& r7 q  dimport matplotlib.pyplot as plt
import random
/ x) S% y( g4 M( M
4 o5 j) o$ R0 l2 Z# qx = torch.tensor(np.arange(1,100,1))
2 g- n8 x0 I# Ly = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

, g7 Z0 j9 o0 Yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
4 z9 ?: m; U$ _& f0 M% n" I* \
losses = []
6 v* t" d9 q/ f$ K5 e0 O  @& qfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
: q6 f* B+ y, h" G7 s0 K  `+ g  losses.append(loss)
  
  loss.backward() # autograd
# G! D) E% n6 k) {4 }  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
) _6 w# [9 @2 G    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
: e; ]- J4 B( B; j  c, X. Q9 z9 g3 n
6 C1 {. a; a8 B4 p% J! Z, rprint(w.item(),b.item()) #结果
" b2 J) y) @/ d$ ]6 h' o0 i  g. b
Output： 27.26387596130371  0.4974517822265625
) K  A, I% W1 V: S7 S2 T6 ^----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

5 h1 w- @4 b5 ~3 T5 B
1 D! f4 S6 e2 X3 c3 Y4 G+ B* ?: p3 h! {没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
0 H2 z9 d0 {; b" x不好意思， ...

7 j' Y/ i; a& N% ?) s3 V谢谢，算法应该没问题，就是最简单的线性回归。
+ g* Q+ S" N, F我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

" Z8 t# x- M' O+ E8 y, A7 Q' }

雷达 发表于 2023-2-14 21:52
: K) U! X/ X# R2 I- a谢谢，算法应该没问题，就是最简单的线性回归。
6 A* s) J) Q4 o3 U; }" \我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

! x% E5 ?0 f  W) }5 G" Q  W刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

* W1 V( X( w. k+ N7 q& `或者把b但的起点改为1试试。

雷达

. P7 d- K$ S, H' x. ?

老福 发表于 2023-2-14 22:00
/ ^7 B: I8 f* }刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
7 ^- l! S7 m6 Y: C; ?
; P8 K# l3 |% X) r) x; p3 n( |或者把b但的起点改为1试试。 ...

* h- O2 F/ Q) w9 ?/ h你是对的。
/ P0 l& G$ ]5 P& d. e+ [5 W6 x, @去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

+ ]9 _$ f% h$ Q7 f4 _循环次数加成10倍，就看到 b 收敛了
w , b
2 b! O% v! `1 `1 A  A27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。