继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
8 J9 Z$ }0 a6 }import torch
import numpy as np
import matplotlib.pyplot as plt
import random
8 R  R: e; ~! v3 Y# h2 A7 h1 e1 y- |
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
' {! y) w; D9 ^" A$ @& I1 F- yb = torch.tensor(0.,requires_grad=True)
: h7 i% V" w& g' f( D& }) ^& F7 Q
) h1 I2 ?' o+ F+ I( S' v% mepochs = 100
+ Z+ B, H# I& Z, Z+ o3 K1 w( M
losses = []
0 |: h, z3 X; c' kfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
' V. v. T9 _3 a7 P+ K  y_pred.reshape(-1)
1 P$ s' f1 B# l
  loss = torch.square(y_pred - y).mean()   #计算 loss
/ q0 j0 ^4 [6 n! o! N) N) r  losses.append(loss)
' M  q/ p3 |* q. E% ]! F8 S  
  loss.backward() # autograd
2 c# \' k+ i, c% i0 m. |  with torch.no_grad():
, v% Z5 D, v4 l/ v1 Q2 ^& u    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
1 M' M; ~! {% I7 H% N6 K  b.grad.zero_()
3 X. \1 A' G9 {' s! S! r- z% D
8 \* z2 D: j- M: _" `) y' s- Sprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
  }7 `" C* A8 ]/ U# }" ]

老福

# q' y. G, n' `# F1 E5 u7 h
  ]  }* A# [6 O1 }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
8 e: J5 Q  C3 A' D% n算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
* Y8 ]5 G# H& y  W0 q, m) P2 ]没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
& f4 a# L/ s" A0 R! h. f; r2 `不好意思， ...

. p+ F/ A% L3 Z9 l谢谢，算法应该没问题，就是最简单的线性回归。
5 `# `* Y' H. G) G' K! x我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 ]  {) }! T' V- g+ m2 w5 F
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
% w# g( o  g) O: x- r- i' e
3 i7 b$ e" m% `" q& e) M或者把b但的起点改为1试试。

雷达

0 X& [( O  U3 w

老福 发表于 2023-2-14 22:00
) v, n; K: F, B1 `( ]9 O! f7 k  H7 B刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. @" z( t2 Y5 X3 Z. i0 @
或者把b但的起点改为1试试。 ...

1 L, b+ ]5 z6 M2 s: l你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
, n7 p  d2 |( U& w% x3 `1 K; [# n
循环次数加成10倍，就看到 b 收敛了
w , b
6 w. ^4 A& ?7 m2 i8 s. q& i7 M3 c27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。