继续请教问题:关于 Pytorch 的 Autograd

雷达

: V/ @" G& f% e% D5 q& L为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
, Y, m  @( \* x( ]) t----------------------------------------------
import torch
! d5 @) o- h7 N6 P0 E) t* n0 r$ [import numpy as np
; H% W' g2 l7 y4 [import matplotlib.pyplot as plt
) O" A0 `+ `  K1 ?- F5 \2 x: aimport random
. y3 J% q; j: k6 ?2 d9 g# ?
& x" }3 t1 o- R/ o: J# kx = torch.tensor(np.arange(1,100,1))
: n$ d! A0 z2 v- C5 Ky = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
) G7 q/ }0 Z+ Y3 k7 g- s3 \
7 D$ ]" e4 @; Y# h$ S( Tw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
& k/ Z& L4 D4 tb = torch.tensor(0.,requires_grad=True)
" B1 |) F. K9 s1 |: G$ z) B4 V
epochs = 100
6 i: U( Y- Q/ B3 M1 E! T
losses = []
# O2 @+ U9 N8 r' y* i8 Ofor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
8 {, h3 v, @+ D) S" h7 ]+ u    w  -= w.grad*0.0001   # 回归 w
7 a1 l7 H& K6 i- M. P/ V# V" x    b  -= b.grad*0.0001    # 回归 b
8 X! {6 Z/ V4 a) i! C) o6 F, @  w.grad.zero_()  
  b.grad.zero_()
2 P- G: h# X! N
print(w.item(),b.item()) #结果
$ O3 s( D. y3 `0 k5 n) D' G
' ?9 \  n4 V: B  U/ h5 r, _Output： 27.26387596130371  0.4974517822265625
  m( F5 O3 w' g----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
8 i! l+ A) b' M6 }8 ?

老福

/ [: ~$ m$ F9 L5 d6 d' u4 o没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( H" d$ F/ ]5 n6 [6 C0 V& V-------
# Y& e0 u, e3 U2 \: U" _! o不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
+ U' u& D+ X4 i- b0 s' x$ I-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; ^# S. h& T* z% L! I5 j; C& l- w-------
不好意思， ...

; N: M, s8 h. V1 w. @2 g谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
* ^8 e9 v" q) U5 c谢谢，算法应该没问题，就是最简单的线性回归。
8 Z& I% u/ `. ^我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 K+ b# \  ~/ I3 A( }" u3 ^8 c刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

+ m0 Z) j4 b) @0 k6 `$ j或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

; o8 y; p9 u1 c" Y/ U或者把b但的起点改为1试试。 ...

" |4 Y: f% S3 ?% z1 x
- b1 u4 U8 p  m# l9 w9 m你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

, `* @5 U4 F4 |; q& ]$ V: R循环次数加成10倍，就看到 b 收敛了
w , b
8 c* Z" K! |1 O7 d27.002620697021484 14.826167106628418

, c3 r8 f( \4 m3 _8 F) C和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。