继续请教问题:关于 Pytorch 的 Autograd

雷达

6 S6 i$ K9 }8 G. \4 o( @
为预防老年痴呆，时不时学点新东东玩一玩。
7 j* ^! y+ l2 U8 H- P- Y. i: HPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
( b5 R$ z7 E* |0 A% b* n6 _import torch
) h/ c. t. F  Q; |9 y0 E# Rimport numpy as np
import matplotlib.pyplot as plt
, q# k! {+ R9 I. B3 G+ mimport random
1 `: p) _; Q7 b/ `- N6 l
x = torch.tensor(np.arange(1,100,1))
( ?/ J% l& l9 f8 G' I: k$ ly = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
) J+ j9 W2 }7 s$ A- X, P% u
  u( i% e# N: b3 V6 i- C, qw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
7 N6 ~: K1 O" q, w# X5 l+ X
epochs = 100

losses = []
# ~! ^4 I8 l$ N" efor i in range(epochs):
  y_pred = (x*w+b)    # 预测
% z0 q$ ^! ?& v+ C( }  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
$ H& o" i& i; R; a  losses.append(loss)
: p9 V9 n* l+ k" G$ p2 f  
  loss.backward() # autograd
  with torch.no_grad():
$ ?( \- E1 h0 q! f) U    w  -= w.grad*0.0001   # 回归 w
( X' t+ n3 F3 Q7 b2 Q    b  -= b.grad*0.0001    # 回归 b
7 Z3 J$ n! W* L1 M2 [  w.grad.zero_()  
1 n; z* v6 _) J* o& O  b.grad.zero_()

print(w.item(),b.item()) #结果
5 q( H" u: V. |8 J3 T' g/ w8 R8 g
; e5 N4 o1 F1 l& O2 X$ n" COutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ {; R" H) H& E0 i* X& q1 R高手们帮看看是神马原因？

老福

/ |! p: |+ F" H9 F' c- S3 o
  R5 \1 F7 Q) S$ u7 h3 j1 T没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
6 X2 N  H2 m. m; z. m* I-------
- Q  a  _+ l0 j' c0 d" A不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% D5 _  O& H/ t2 w没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
4 U* ?. G* c; ^6 [1 |6 d4 ^4 N7 c不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

0 W0 ]' u8 n5 D/ Z- |

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( X/ E; g3 b" ?9 w  S9 P$ t' U! b; R
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

9 Z3 M$ o3 {! ]) u  H你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
' P& M. Y9 p1 p4 z$ ay = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
0 x3 ?* G. k/ Q) G. Hw , b
27.002620697021484 14.826167106628418
0 y: {. X3 m1 Q1 [0 p6 T1 {/ k& n
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。