继续请教问题:关于 Pytorch 的 Autograd

雷达

7 ^* ^; X+ q" ?- G
4 W7 ~+ H) w, B( L* Y6 P" p为预防老年痴呆，时不时学点新东东玩一玩。
7 ~8 ^; B5 p( S, f! g# X+ c2 l% xPytorch 下面的代码做最简单的一元线性回归：
& R$ |6 B5 h8 K+ H+ W----------------------------------------------
5 d4 m- g- ^# @% @+ a. X) h" z3 ^import torch
, t# Q4 T! f) Y* ^  c* kimport numpy as np
( E% o! W# R/ kimport matplotlib.pyplot as plt
import random
( B/ {8 e( F6 E" ]. h
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
& e# p. \4 X& I3 F0 J
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
9 l6 I( _) K; k5 m# w2 P% y8 Ib = torch.tensor(0.,requires_grad=True)

! B6 i7 s' V; _7 z; Jepochs = 100
0 x2 ^1 d- i; Z# U& N
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
3 w7 [, f) k: F, k; g  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
5 K( Z/ p' H) j2 q  
8 z; `0 ^' p5 ]5 d  loss.backward() # autograd
$ P1 N  v) n9 O% p. v  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
, V5 z) @# n; ]) `+ g    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
! }8 f+ h) j1 w, |2 L5 K: ]$ |  b.grad.zero_()

" |: [0 _6 g. `print(w.item(),b.item()) #结果

7 r1 `/ F  Q1 _2 A, z( N9 |+ jOutput： 27.26387596130371  0.4974517822265625
  G7 ]9 X5 e; j; p----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
$ x4 q5 e* f2 _

老福

, X& _0 a3 i9 m$ l* R. H' @1 n没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- J0 N. M7 P) d' U9 X. o不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
. ^4 u' n- o, P7 d8 f  }9 x-------
3 q. j7 R0 L5 T算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
  `6 T: h' Z8 Y% [  ^0 Q, H不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
! T* n' O) F" N+ s我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

1 [- ?5 g% z* u4 T8 O& D# ?0 i* `

雷达 发表于 2023-2-14 21:52
, q, t/ M3 K" F. H0 b  D谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' r8 h6 s2 d/ G或者把b但的起点改为1试试。

雷达

. W  s' Q5 f" s6 y4 \, ?

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
4 K# D; s# {. |+ I#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

% J+ N! _9 u! f/ J9 Z; K循环次数加成10倍，就看到 b 收敛了
6 C7 z/ c6 g% hw , b
! B5 I. g5 ]& {: H; Z27.002620697021484 14.826167106628418

9 v% R' z: y: F# ?和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。