继续请教问题:关于 Pytorch 的 Autograd

雷达

/ r8 U1 z1 s, L. `: X! R. U' K
( O+ V' n- g) }1 N2 A' e1 y为预防老年痴呆，时不时学点新东东玩一玩。
- z5 e+ j& r* v1 oPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
% `5 x: A0 F$ R5 J% H/ s) |import matplotlib.pyplot as plt
. n2 G/ K9 j$ ~import random

x = torch.tensor(np.arange(1,100,1))
3 p1 w0 k- c1 |/ O  K, @y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

- Z7 E2 B( C7 u& yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
' X( H% q$ ~; [; Wb = torch.tensor(0.,requires_grad=True)
% k0 O2 Y$ N, @8 C# g
! `* f0 ~4 d+ u) Q' Nepochs = 100
6 a5 I+ }& d6 y' b
losses = []
/ W, W0 [: r7 g1 e4 t8 \/ Ofor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

, E$ e5 S1 S. S  loss = torch.square(y_pred - y).mean()   #计算 loss
/ Y+ F, B0 M1 L! q* C* K7 s6 B/ V: q  losses.append(loss)
  u& T0 d) ]/ ]8 G  
  loss.backward() # autograd
6 V: Q$ A# `! c- h- B7 r  with torch.no_grad():
) E# K* [% {$ N2 t    w  -= w.grad*0.0001   # 回归 w
" f: X( |) U7 K0 p4 Y* ~    b  -= b.grad*0.0001    # 回归 b
$ \6 q/ a" o' U& y2 s: C  w.grad.zero_()  
  b.grad.zero_()
/ [2 q3 C: I4 \/ r
9 j3 @" u" X" x+ A: lprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
5 I* l; G6 G; T高手们帮看看是神马原因？
' k1 T# N5 j2 i! p

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
# k! ~, }, g- F5 n-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* M, L/ l$ j2 i  }0 v5 }* _-------
* z* H9 i- q% K9 a1 s6 O7 u不好意思， ...

+ y) U/ V) H7 O& P: f4 i: x谢谢，算法应该没问题，就是最简单的线性回归。
+ y% W% ^& [0 t9 n0 e, y. ^我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

/ E6 {# c9 Q1 s6 ]" x

雷达 发表于 2023-2-14 21:52
& \0 w1 F# |+ ?! R$ J: G谢谢，算法应该没问题，就是最简单的线性回归。
2 R7 u$ ]/ v: O1 n! w我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

$ q7 h& i* i/ ]- p# G) i  \
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 I$ J- M" G" T+ U0 Z( p! T
5 N% T; S( j" N& A或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

, y' S+ q. \0 N; U) c2 ]; F你是对的。
! R, h/ [. N. c, {: p去掉了随机部分
3 `% U' B, X; e* {7 c#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
9 f2 i! p( G+ m, {
! O. `2 a6 k1 @, ~6 J% k循环次数加成10倍，就看到 b 收敛了
& t* \$ E1 M: `  t4 \w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。