继续请教问题:关于 Pytorch 的 Autograd

雷达

$ ?* e7 \% S+ C
为预防老年痴呆，时不时学点新东东玩一玩。
9 Z6 b4 O# x4 _5 |5 NPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
% G, D! v9 e9 u) W2 t/ f5 {0 V. Jimport torch
import numpy as np
! X1 n% R6 w$ X, S7 `import matplotlib.pyplot as plt
5 G8 k4 ]% `4 k) limport random

. e: y5 r; w& }- Z" G) Cx = torch.tensor(np.arange(1,100,1))
* q6 ^. q. L4 Ey = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
* E+ k1 ~  u; `" z
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
+ Y, N6 H; T$ W- l0 E- W: b
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
. X2 j; m3 q! ]3 H& I  y_pred.reshape(-1)
0 G* _: f/ i2 [7 a2 S7 s/ S) T
  loss = torch.square(y_pred - y).mean()   #计算 loss
9 t3 i! \1 x; H: y$ u) E/ }8 p  losses.append(loss)
) x( i2 I" r7 `6 @. E  
; S! H7 t5 c9 X1 K, i  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

+ n) Y: b( p) ~4 \0 W% Gprint(w.item(),b.item()) #结果

7 P" v6 @+ G( I4 O# x- x' a. u4 ^Output： 27.26387596130371  0.4974517822265625
2 A# y' h- `8 L& r  e----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
0 ~4 k9 p9 v# t$ @( L

老福

$ [+ l& d5 j9 m; v) V. Q# t& u没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' R; ]" ?% t! H1 I& R% \! I-------
9 l$ h8 }) r6 Y. J. Q不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
6 D6 |# r" D2 @( `9 ?不好意思， ...

1 r4 ?# C5 _1 X5 V; S* K6 y谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

6 R0 ~- k" |7 T6 C; j

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

7 G6 ?0 D' [# z1 k
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

$ r/ ]$ i9 |2 L或者把b但的起点改为1试试。

雷达

1 y9 d% ?) w: w7 v

老福 发表于 2023-2-14 22:00
! ^6 l2 I" A9 a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

6 M, g1 `" L& K或者把b但的起点改为1试试。 ...

/ T- B5 k2 O" M8 M9 p
1 ~+ W# i& p: b4 Z7 O+ a/ C* c你是对的。
# W4 M( n7 U: `7 y5 v( t' E: R去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
9 G8 E( C$ I6 c9 Gw , b
- I. K: u8 e; _- y27.002620697021484 14.826167106628418
6 s$ u+ U2 P* W3 t/ |- d# F' N
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。