继续请教问题:关于 Pytorch 的 Autograd

雷达

1 }; w/ E4 p; H5 Y; A为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
7 l, k9 ~3 a1 N$ M/ l( Kimport torch
* z3 _' L. o4 Eimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
3 R5 A  y* I2 |1 w/ N* cb = torch.tensor(0.,requires_grad=True)
2 f8 q" z$ J. Q" V
epochs = 100
2 s4 Q  d% F. R/ u( W6 I3 q3 j
6 |+ j' U7 a, hlosses = []
8 [- ?$ Z: R3 T' [0 T" h6 Ofor i in range(epochs):
  y_pred = (x*w+b)    # 预测
, h& w4 U4 b2 ?  y_pred.reshape(-1)

! r$ \7 _! ]. N# W1 F3 P  B6 Q  loss = torch.square(y_pred - y).mean()   #计算 loss
' @" _8 j0 `6 T& \+ i$ \" y  losses.append(loss)
  
  loss.backward() # autograd
: ?7 U; I5 [: }1 K  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
5 V* m. a8 A" p- S" ~- V- M6 ^    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
( J/ V. L9 a. I7 g( q' G$ t
print(w.item(),b.item()) #结果

1 P  o/ n% g5 V: C9 V7 }Output： 27.26387596130371  0.4974517822265625
: f" E+ \8 Q7 J7 x9 u1 G----------------------------------------------
1 L% I  t, ?. w1 I  N: ~最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* k, ^. D$ z& `" E6 C0 ?3 F" g7 X高手们帮看看是神马原因？

老福

9 m# I7 k+ O" {
1 R+ l! @! p% W# {/ w; G没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 V6 h- k& L; ^-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
4 {7 p7 ]6 A. h$ t, Z-------
, l9 v& V1 ?! \. a9 n5 `" |算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
3 _( v4 e2 N1 S0 d6 b没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
# d0 y. v0 @% h不好意思， ...

* ]2 `# u+ s8 y% L谢谢，算法应该没问题，就是最简单的线性回归。
* P8 j" I/ L) e! ~/ B- \我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( o9 @! U1 q# D5 s( a# Z

雷达 发表于 2023-2-14 21:52
" Z& J, ~! l8 W9 S7 F谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

* v1 z! b  c- i' r/ `& C
( w. N# e4 r. P4 q0 x$ n. ^刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
- M( @) q% Q* N' C3 h
或者把b但的起点改为1试试。

雷达

% n- X, I6 R9 ?2 j) |

老福 发表于 2023-2-14 22:00
; v. R- ]) A* Q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

% B% _% h% R; X1 _# v+ L或者把b但的起点改为1试试。 ...

4 A! N3 `! m; Q8 |
你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
2 u# `  W! M0 `/ Zy = (x*27+15).reshape(-1)
/ W( g; z1 R- d0 @
4 D& g: ^# V( [& y) ~循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

9 F, |8 r) j2 |和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。