继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
5 F5 g. e1 N3 L$ m" LPytorch 下面的代码做最简单的一元线性回归：
/ k* f- z9 F$ g( i2 s/ W----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
' O  {, f. [3 Kimport random

. z, G1 I' v; O/ ^x = torch.tensor(np.arange(1,100,1))
1 W2 P9 }2 Y' H$ t+ [& ty = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
" f! I* H8 N: o5 M0 W* I+ U
8 u0 i6 G2 }1 \; F3 Z5 I4 ?epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
2 X, M3 T) t) Z5 @
  loss = torch.square(y_pred - y).mean()   #计算 loss
# I/ s) U2 A% v$ Z2 [6 r  losses.append(loss)
  
  loss.backward() # autograd
5 [  I3 R3 ~/ g) E( y9 G+ ~  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
3 J  v; s' u/ T6 o3 g  z, u+ ~    b  -= b.grad*0.0001    # 回归 b
/ `, o. N, M' i# b6 H2 K/ T  w.grad.zero_()  
0 A* Z  \  k5 M& N$ @5 E% R6 ]  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 ~0 H2 t  A6 M2 Z! q  }7 m-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
" c: C. o8 P. @# h; Q算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
9 e2 k, z) a1 P- s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 [+ E9 N' E6 o8 [3 z-------
不好意思， ...

; h3 z: l0 j+ h' L5 W3 h谢谢，算法应该没问题，就是最简单的线性回归。
7 C# ]3 n, g, z/ \! G! J我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

# F* Y* `  M8 h+ @1 n

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
. \+ u4 |' A" @  K我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

: b4 t8 I$ v' }+ s% q. w
( L6 P* J6 R4 m% H/ X- U0 w刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) q9 w  d- [: w% M/ e
或者把b但的起点改为1试试。

雷达

/ \: m" E4 V0 e: `- p

老福 发表于 2023-2-14 22:00
1 h) M( `. B9 e% Q8 L" ?+ a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

5 [( D; P7 T: c+ S) m或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
# ^1 _% b- [+ _5 S#y = (x*27+15+random.randint(-2,3)).reshape(-1)
: s) ]- R( C! A' o4 k5 B* b, Ty = (x*27+15).reshape(-1)
9 G5 O8 k# ?1 E3 c( W9 m* Y0 j
+ Y9 n/ f: S& u- O/ E循环次数加成10倍，就看到 b 收敛了
) K: }: D! W  @9 Z; Fw , b
$ |4 g2 i5 Z$ F* |27.002620697021484 14.826167106628418

4 }& P" C% b# h1 ~  f和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。