继续请教问题:关于 Pytorch 的 Autograd

雷达

7 Z4 ?' c8 V  k/ I4 {$ i
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
) g, A  \) o9 ?. B----------------------------------------------
' S/ q4 d+ {. o% y& @3 R, wimport torch
0 l. {1 k, n3 T. i- q. T' O& B/ Iimport numpy as np
import matplotlib.pyplot as plt
import random
9 S/ X1 B' {+ Z& i+ l( r
4 q$ w" x: t, K! S. y* r$ w; }x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
& L8 {3 O# ~( u4 x( S
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
6 O' c0 j% L3 z3 Y) _' u1 g$ X/ ]b = torch.tensor(0.,requires_grad=True)

epochs = 100
: j4 Z3 b* W) E5 A# ^/ A
/ g9 O, O! t5 V7 W# h$ B: _# Mlosses = []
( k) y/ D5 e! I6 [$ U# M9 G5 X) z. V' ifor i in range(epochs):
  y_pred = (x*w+b)    # 预测
7 u- e+ h0 z2 h  y_pred.reshape(-1)
. C9 ]0 W! y. h' w
/ |% Z# g  T5 l- h9 b  loss = torch.square(y_pred - y).mean()   #计算 loss
- M6 o" W  r# I6 k1 q! C  losses.append(loss)
  
  [& X: [, n6 V- v! J% ?  loss.backward() # autograd
  H* w" l0 S( o( Y  B6 F  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  q2 {% C2 p, x; e3 P: h  b.grad.zero_()

print(w.item(),b.item()) #结果
: B3 T8 b; s# ~/ x- `1 b1 A! i
% R6 G9 ?/ R/ e0 w. Q% b; mOutput： 27.26387596130371  0.4974517822265625
% s) I/ A  T. j  J  u8 u----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
7 C7 e0 A6 ?3 E2 l6 k高手们帮看看是神马原因？
/ ?3 v5 ~/ J; p" Q  n

老福

8 D5 u( H( H6 V9 |9 N! ], a
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
  D8 L( y$ ~. a. S2 A$ v* Q! R不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
! F1 m  B9 X+ O我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
/ Y$ g( Z; Z8 n; ?- x6 f我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

# d* j6 A0 T1 H0 y: u  H
+ ?4 e* ]( G3 Y+ s+ K4 y刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
# W( ?5 b8 x$ s/ r; T( w
或者把b但的起点改为1试试。 ...

1 y2 g/ B9 q+ X! y/ B你是对的。
" B5 U7 o2 k+ Q8 M' b* @8 y1 N9 U去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
; M/ |$ a, |& j0 u8 h' h
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。