继续请教问题:关于 Pytorch 的 Autograd

雷达

+ D7 |/ Y8 _* }& ~, S! X
为预防老年痴呆，时不时学点新东东玩一玩。
: i( d  h9 R# o; K+ MPytorch 下面的代码做最简单的一元线性回归：
9 S- B9 U6 W! a----------------------------------------------
import torch
import numpy as np
9 i# w7 \% ]+ ~3 Z8 O* bimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

9 L" m8 g" q. f4 `5 G/ G5 f, j8 _% {- Qw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

! V$ p" P& |4 h" _- a$ W/ t. M) I1 tlosses = []
5 N! D+ Y1 ~( l8 vfor i in range(epochs):
3 h$ p! V( o: x/ `  L* L. W; s5 K  y_pred = (x*w+b)    # 预测
! p& @( B; W9 D/ k  g1 X  y_pred.reshape(-1)

! N& ~- t' D" R- d1 O  loss = torch.square(y_pred - y).mean()   #计算 loss
' {8 ^* j" U4 H9 K: \: G8 }  losses.append(loss)
  
  loss.backward() # autograd
+ J# ~6 @# V7 S  z  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
% W( B/ U# j# P) \6 Z% {    b  -= b.grad*0.0001    # 回归 b
" o1 ~$ E) ^* G' K8 l8 @' G  w.grad.zero_()  
. @3 H" z3 ~9 B  b.grad.zero_()
# W3 W  E9 U1 m& A% @& F. k
+ g) u' s. s0 l( g" l* c+ Nprint(w.item(),b.item()) #结果

! e. }4 \% Q- @7 sOutput： 27.26387596130371  0.4974517822265625
9 t/ h8 q3 j8 H) b0 F4 |3 b! h7 U2 b----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
7 T" a0 R2 ?6 J! \3 D: U高手们帮看看是神马原因？
& a/ q' s. W( ~' C) c% _' y

老福

9 E! D# g% |& w9 k1 D3 P' P没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% h( y' o4 x- y  w& G( c7 `-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
- D, X5 M% U" o! Y* q) ~; b没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

! c3 S( p1 }( w  f4 b谢谢，算法应该没问题，就是最简单的线性回归。
6 _1 O& w& m8 U1 m( S) e4 ]) a2 ^我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
5 Z5 F( [1 b. j! k" X+ Y谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 p. v9 a# L) a& ?& v
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
* }/ U8 _7 R  E
或者把b但的起点改为1试试。 ...

, S% G7 q- t/ y$ _5 T% ]) ?+ @) Q
0 \  E5 S. X% P; r5 X- p. f你是对的。
; k8 W/ y4 V3 g4 T3 Y去掉了随机部分
9 d: u+ O+ T0 R' u#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
) D1 ]4 s4 i0 C  U0 C; {' N9 f27.002620697021484 14.826167106628418

( K) j0 G! W/ L0 N3 P5 p和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。