继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
) M8 X* x3 k$ I; e6 }Pytorch 下面的代码做最简单的一元线性回归：
  B! B7 R: D, K----------------------------------------------
8 [0 G3 b; N  M6 w$ ?9 v/ T! yimport torch
* T5 l: |4 B: I4 R% O% H9 E* uimport numpy as np
. `' j5 |; j; Q' C' Q! uimport matplotlib.pyplot as plt
& Z- _  F/ U! i. Dimport random
' v; n' e, _3 Q4 d
x = torch.tensor(np.arange(1,100,1))
3 {) k5 [+ d7 q4 m5 b5 L# G9 Ty = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

7 L% u/ s" j2 C3 ~0 Q& I/ m) m( h: ~- @w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

- g' [, e# g; O0 ]8 Mepochs = 100
- w/ R0 w1 H, T. q! d
7 ?) G. ^" ?' r: f( ~4 ?4 H  u$ Qlosses = []
' Z; d% W) y# D' n9 q" e9 Qfor i in range(epochs):
9 C/ \0 {0 Q  F8 W/ U# g8 R  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
7 v/ Y9 B" C- |+ X  losses.append(loss)
( e3 |  J7 b; f  M. U& l  
  loss.backward() # autograd
" g. `9 a/ C. ^8 l: n  z; D  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
. b% `) s1 O( |0 Z' N4 E. Y    b  -= b.grad*0.0001    # 回归 b
' f0 B. R0 I; A* u$ F  w.grad.zero_()  
  b.grad.zero_()
0 @* y& {7 X+ @, Q( R+ g  _
print(w.item(),b.item()) #结果
- {! E4 M" b( g) A( t4 {2 S
4 O: I" k: `- O- BOutput： 27.26387596130371  0.4974517822265625
) s4 E) _( }) j/ w% j" B7 C----------------------------------------------
( C' F5 M" h1 _, y* b8 W( T最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ B" U. J+ d$ B& ~5 R0 S* M: d& O) s高手们帮看看是神马原因？
% t; b7 w- x# q. V2 z

老福

5 _+ q; h' p& f* Z+ S/ ~, T没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 l5 X4 G) k( H* N2 x8 n-------
2 S- T4 g$ x6 E算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
% \, w9 V4 I7 l. C我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

. [3 l2 [1 l6 @8 W) i' |# r0 N

雷达 发表于 2023-2-14 21:52
7 C# S+ y4 I1 q. ^6 o- O谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

2 O4 K' L7 O& u: K3 P) M# [* Q! u刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

; t# r8 L6 V3 z  p) I或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 \8 z8 z# w7 r8 k
/ m8 G; W& @3 d( h* v6 J, e, G或者把b但的起点改为1试试。 ...

# _9 e& a5 B% ]1 }. f2 \
8 d- P' }0 [3 E* \9 Y. K你是对的。
去掉了随机部分
- V% u' G8 W4 R, I/ p9 Z& Z#y = (x*27+15+random.randint(-2,3)).reshape(-1)
1 f4 [1 [( Q3 c0 v, ~* my = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
  h( f1 n" M! a  l, y0 k3 pw , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。