继续请教问题:关于 Pytorch 的 Autograd

雷达

1 N9 X, a8 z1 \/ ^! ^5 h, ?) G3 j
为预防老年痴呆，时不时学点新东东玩一玩。
5 h6 n' C8 g4 Q0 }Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
- D0 ?5 r5 H) Dimport torch
$ c8 O1 Z( |2 r' m- K/ N& ?/ uimport numpy as np
import matplotlib.pyplot as plt
, F1 o0 n; K- J* O+ K7 Fimport random
; @* T4 F% l7 O
x = torch.tensor(np.arange(1,100,1))
) r: x) B3 J) n/ Ny = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

2 @1 z  @9 ^- Bw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
8 D  ~+ ?, L0 E( u" wb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
: A% ]0 h2 O; m$ o7 X# xfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
* M& f/ d( Z, J1 G/ [. s  H  y_pred.reshape(-1)
4 _" }, }) k: X2 T  k  l
8 u/ [6 n& ^2 w7 x  loss = torch.square(y_pred - y).mean()   #计算 loss
1 \' Z5 i5 Z. n  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
; r/ O" D$ R, j1 z: y$ l( ]5 m, o    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
/ S0 J, @( b5 k2 f/ Y& g, H! B4 J  b.grad.zero_()
6 _. p& d% X: G5 Y; G5 M
1 N: _  b5 s- r# h5 j8 O, z* h+ Z- vprint(w.item(),b.item()) #结果
  y" t) o, l& q4 H! G. X; w4 \+ ]
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ x$ `% D9 s3 f- ?高手们帮看看是神马原因？
! e" U, @! M) A" v, R7 |4 c

老福

$ C+ O9 J1 s% b! A5 z  S1 ]没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
. Q* n2 t9 K3 h  n1 Z8 X. t-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
/ x# C; L# O8 C2 ]/ L-------
0 {% p' i, P* @/ m( p& q' L; A" u算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
) U- S  u& O9 x0 H; A- f没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ z6 A6 [( b9 E-------
不好意思， ...

' i1 ^$ G0 W4 P9 C9 B/ K/ H& A! \谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
8 ^6 V* `* B8 R# u! Q. \谢谢，算法应该没问题，就是最简单的线性回归。
$ P' b2 t+ f8 u& S2 ]; E5 g! i& C我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

5 z' s: P: |: w# b6 r或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
1 Y- E7 k& B9 \+ M% o7 B刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
8 q$ ~5 }* U6 |7 X" Z
: f; R& Z7 r- ]4 |& @: g或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
- \4 u' F( Q  R5 s
: N, K. h, V- g7 t/ u循环次数加成10倍，就看到 b 收敛了
8 G. R& G# n+ q6 v' p# k! Lw , b
0 S$ r7 M3 C# N  J- N& _27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。