继续请教问题:关于 Pytorch 的 Autograd

雷达

/ |7 V. A4 L' E0 X2 `" E为预防老年痴呆，时不时学点新东东玩一玩。
# ~& g) q( U; T3 o$ v) N- hPytorch 下面的代码做最简单的一元线性回归：
7 l# M; q$ Q7 A/ [7 v----------------------------------------------
import torch
import numpy as np
" J; X5 {; `# m$ U  k+ A7 s6 g! h8 dimport matplotlib.pyplot as plt
import random
! ^1 P/ z$ k! u/ @2 x  H* K2 _2 u
; X, D  {; j& o5 j( C! ^" ox = torch.tensor(np.arange(1,100,1))
' ^8 Z$ N9 M4 T5 zy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
7 l  J) A1 W2 q- m9 n
& m( u: P4 U$ o. N* v6 Qw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
' f5 I) R2 w4 c; _for i in range(epochs):
/ @+ z8 r/ }; S6 R6 G  n  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
1 {1 H3 `; @7 g* n. F. L3 v  losses.append(loss)
  
0 }1 p$ y4 Z! ^  v2 B0 u4 [8 P  loss.backward() # autograd
5 N( S$ p" }/ O; j$ j% M  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
. w1 Q# V5 @  l+ `& b    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
. d$ C/ K7 `. B4 ?1 q8 u! g( ^  b.grad.zero_()
) ^# n8 Y; s1 N9 v0 S" }
print(w.item(),b.item()) #结果
, L2 q$ K! V, \  [' ?- l
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
* Z! X4 z. r/ C/ s9 J最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ p3 X7 g7 C5 ?4 y高手们帮看看是神马原因？
9 ~- q* Z9 W& B$ A! R

老福

6 i0 z0 B$ Y, y, ^; y
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
# t  }% u% B/ v9 w$ \. \1 B- r不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
6 d, h$ r2 V1 O0 R+ y  y1 ]  A-------
7 C6 O9 [! l* p# b2 M4 C算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
4 g6 z& i) Y( E% n* r: e' C不好意思， ...

9 U! p! d0 _( @6 x$ `$ ?谢谢，算法应该没问题，就是最简单的线性回归。
, ~; D# Q& S0 a0 f2 H2 \8 m# Y- t我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% i$ f3 }3 ^0 L/ }3 j* y) T, R2 s

雷达 发表于 2023-2-14 21:52
) f* @  R: g& x9 c/ J) m谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) i0 k8 |/ {; j1 I1 d% ~/ P
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' {0 i' `0 D7 ]9 F' P1 s( E7 B3 u0 b或者把b但的起点改为1试试。

雷达

0 _, J) R$ X0 {- v% E

老福 发表于 2023-2-14 22:00
4 U/ w. `+ N* ~0 T, ^( N! F" r- W刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; w2 E$ L5 u4 ?+ K: [& U3 B  N! V
或者把b但的起点改为1试试。 ...

" P# K6 K7 H' p( W/ y; v0 i
你是对的。
$ P: b2 W6 S( V0 w  d5 a, t+ q去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
+ S  U+ e7 Z5 E0 ^# h) o% r
- A. J5 {3 Q' ~# e循环次数加成10倍，就看到 b 收敛了
w , b
9 @6 O+ H' |* r27.002620697021484 14.826167106628418
% w& J0 o8 G4 n0 l$ f* C0 F
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。