继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
& w- p6 s2 O: G, {+ b7 timport torch
import numpy as np
import matplotlib.pyplot as plt
0 T  u& `$ g3 {0 c' ]import random
3 r# |* _/ G; B/ h$ ^
. X1 x/ N* S) q" m+ nx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
, d! N1 m1 R% l
" D0 P( k( s1 y! H4 e3 U- cw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
) T. @3 D; N. T  Q+ j, Q+ _1 _b = torch.tensor(0.,requires_grad=True)
, M7 M5 V- n. }4 v$ t& s3 G
+ H) U& x. \" C$ s! P4 _& h. E7 zepochs = 100
# h$ s# `6 S0 D. w
) w+ y. E1 O# c+ w, Mlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
3 r5 V5 `! F6 k4 |; c6 r! N
% y1 g  s" U$ j( D9 V: ~3 M  loss = torch.square(y_pred - y).mean()   #计算 loss
" `. U3 I9 l2 L) o2 U  losses.append(loss)
* s* Y* y5 j* |' G4 T2 Y  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
4 `* G+ m1 d2 W. T  w.grad.zero_()  
  b.grad.zero_()
2 e/ y) }9 E4 A9 U8 m
3 f6 O, j- m2 H3 fprint(w.item(),b.item()) #结果

; h0 I6 c9 I* C; }) dOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
1 n# t- }# c- E: g9 R! d& I最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
0 b# ^' x7 \( d( V-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
0 R4 B$ ?3 P6 {1 V: X-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
: t  b4 J  i/ [没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
5 b$ n/ B  S! k* U" }0 J1 I( y% @+ }% s- i-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

  O) ?" P% ?/ P- p

雷达 发表于 2023-2-14 21:52
; V7 O8 H% o$ ?! _/ I谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ h% G, ]! K* H' \( v
# T, z. h3 E2 J# g# a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 ^4 t" _  }* O, w8 z
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
) m: v4 @& R' B刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

4 w! b& u; ]5 B3 w3 W* k5 D8 Q
你是对的。
去掉了随机部分
" x: M; L. _) H- i- k4 r( X5 v#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
  }* W+ b/ B3 K; l7 e9 }
循环次数加成10倍，就看到 b 收敛了
w , b
, A7 x' O' U9 Q. B$ ?# W% L27.002620697021484 14.826167106628418

3 g/ U" t. n; ]3 j/ C% j" X: [和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。