继续请教问题:关于 Pytorch 的 Autograd

雷达

0 Q) X; r* Y0 N7 k9 j
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
- E# Q/ O+ T' k' \# b$ Rimport torch
2 g9 \: R$ L/ zimport numpy as np
  v$ X' j( i/ c: p: W! z5 v9 R* Zimport matplotlib.pyplot as plt
' X. B+ d  ?" [  B* Bimport random

x = torch.tensor(np.arange(1,100,1))
6 z2 ]  l% j  hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
% ^* O. A" H' I0 c8 g- v
2 e  ?+ \3 a9 c3 _5 r" jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
3 P! w" p$ G! ^( i8 h
epochs = 100
3 {  S3 E! D. b, {9 X) f( A
3 n" v0 T! |% v8 Z+ A! ulosses = []
for i in range(epochs):
$ Z8 `/ r, U4 {: a' ^  I  \9 N4 f+ l  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
& O3 s8 Y% Y8 B8 t/ K& m2 M9 [
. D+ z- Q' u; e0 e  loss = torch.square(y_pred - y).mean()   #计算 loss
) p6 ~9 x, S3 l% J( |  losses.append(loss)
  
- D' x0 P0 [- w- ^1 H3 {; q6 @0 a  loss.backward() # autograd
  with torch.no_grad():
% K6 J' ~/ i( }% Q' I    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
+ g2 U4 f* D% B9 ]2 h  w.grad.zero_()  
+ ]  ?" P! d, E9 q$ U  b.grad.zero_()
1 g: |7 l5 Z/ i8 @- d9 u  K
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
  i# ^/ R1 _" F- w) d& }最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

$ ?6 @. f. P5 i0 _; }" w
- Q$ L* W; w6 d$ j没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
0 Q7 U* W$ N* s+ ]- B2 F" V-------
' Q# f8 y% C% m" `! Q& m不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
, H8 y  b" ~+ I' t& e0 `-------
) ^3 i, ~) h3 I5 r! h% O6 `$ s" q算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) T7 F3 b: P& U# v-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
$ k% T. {9 r, a我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 _# h, C4 d7 T* Z1 F

雷达 发表于 2023-2-14 21:52
& N1 p% T) e, e* w) |/ V谢谢，算法应该没问题，就是最简单的线性回归。
( X: H5 q3 F) m我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

; j. `, [( j7 L  F9 I  d刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

/ F/ o& s% d" Y& n* @或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 k" m. M) h! l) K+ R
7 c; @; i  @# Z. U& b或者把b但的起点改为1试试。 ...

2 }6 z) f! E1 e* y6 ]8 P. |
你是对的。
* A$ K, d* P5 B1 P去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

# Y( p5 H( }2 U/ J7 O  A& w2 I循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。