继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
. W6 H% R2 Y- ]; iPytorch 下面的代码做最简单的一元线性回归：
* z4 s. P2 ]2 P- ^" E----------------------------------------------
% j( E5 C" \( ^8 Pimport torch
- J2 W6 x5 z' J) jimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
" |" c0 q5 G- h/ n7 }2 e
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
8 L6 @& {, p  p' o+ y+ Q/ e: ^b = torch.tensor(0.,requires_grad=True)
! Z  ~+ E( W% ]9 U8 v5 b7 B
5 I* K% C& ?# t2 D/ T3 aepochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
& f& y  b; D; s5 J& N. D% K  y_pred.reshape(-1)

$ ^7 ?2 b( o0 K+ V" y- b' d+ S1 s  loss = torch.square(y_pred - y).mean()   #计算 loss
6 a& I# p0 C+ ?5 q5 h8 d2 M  losses.append(loss)
8 c5 e4 X' u' y$ k. K1 h  D  
1 a- @. F1 }5 q9 R  loss.backward() # autograd
) {! A7 l7 x3 j& \  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
" `. W  T: `8 t- V# |    b  -= b.grad*0.0001    # 回归 b
/ s) [+ w; D% {! h, E) r. s( T  w.grad.zero_()  
$ R9 {8 r: \1 w0 _  b.grad.zero_()
' @6 ^8 X* V/ ~4 y2 K
, Y5 G, ^: v, Y2 o6 hprint(w.item(),b.item()) #结果

$ _+ t) i/ ]% @% KOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
+ w0 p8 Z* k, h最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

1 c  A9 h' B4 A; Q8 v" T
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
  p8 V9 `) H/ h/ I$ d# a-------
; h4 |3 @1 U+ Q& k0 l. t! R5 l  ^4 c不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
6 U2 Y4 d1 H( z* f6 y+ N-------
不好意思， ...

0 g1 ^! D) n" B7 z5 r8 @& K谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
5 B  h  v$ ?$ [, ]& t谢谢，算法应该没问题，就是最简单的线性回归。
  w; r, ~3 ~3 w* i( |/ ?我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

& [. l, r( @8 O) j, u: {刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, T( H7 t) ^' L' m8 U3 L1 D
" u2 z- o) X5 a  U. ^7 W或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
5 N. t/ Y# r' |. R27.002620697021484 14.826167106628418

5 U$ z" u2 k  e和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。