继续请教问题:关于 Pytorch 的 Autograd

雷达

# f6 {8 c! P* j: J6 w3 D为预防老年痴呆，时不时学点新东东玩一玩。
) T: x' p1 B" MPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
, ~, S8 B% d- p/ f& a0 f: timport torch
import numpy as np
) k  r# U2 i. V2 J: b( simport matplotlib.pyplot as plt
: [6 c; Q8 \1 Oimport random
# f: F! F* y9 h3 D: \9 X9 B
' l3 f( j3 X+ f( nx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

2 ~# H2 i& q+ ?) B% u# A; }w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
( [. K+ o8 d, J6 S
epochs = 100

8 K; m! W, K4 P5 w- p. T' rlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
' B9 l+ ^: M3 j' Z6 A7 @  y_pred.reshape(-1)
  V: h& X2 B$ E$ w
2 Q& Y' g, a; w/ h  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
9 Y5 T( p' f& v0 X8 |* n  
  loss.backward() # autograd
  with torch.no_grad():
$ Y* L0 h  ?3 J% t4 e    w  -= w.grad*0.0001   # 回归 w
- [" O" @! n  K3 N) ]* c- D    b  -= b.grad*0.0001    # 回归 b
6 M; X* h" \- u$ a  w.grad.zero_()  
  b.grad.zero_()
# N2 U4 a3 I, M( ~
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
- S# e# }" R) w! I5 Z1 t5 P. c) @0 G----------------------------------------------
; h) Z8 I7 ~% m- h5 l最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
( t- Z6 X7 o' O7 h. f, L! A

老福

+ `/ A3 J8 b0 N9 V3 {/ B: k没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
5 o: K' w5 Z2 n; E/ O# X-------
2 z  B$ |6 K/ Q5 P* R' g6 T2 ~- x不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
0 w( T' x4 H& x7 x: w+ N算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
3 Z$ u9 Z# j% W7 C1 @没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- K. r' v, s! ]* Y" O5 [+ C  Y: C9 h-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% s0 J" L: a6 @3 W- e

雷达 发表于 2023-2-14 21:52
. h$ \: ^2 K- |! Y1 v) _1 n$ E谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) k+ F1 u$ K% q  R' Y! M# ?$ D刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ `  @* P) Y, K, V
8 B0 x# ]4 ~5 ?! ^2 b4 U0 V  C或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
6 W! s9 z. u9 n8 M2 o4 q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

, G! K- E7 X+ {7 X你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
: C$ C$ F8 X8 i
循环次数加成10倍，就看到 b 收敛了
2 C3 V! f& w( G3 |) D& l0 q( cw , b
2 _) S* O- P$ k27.002620697021484 14.826167106628418

0 m) D( T7 M* }' G$ ?和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。