继续请教问题:关于 Pytorch 的 Autograd

雷达

) P) J4 n8 l0 J% ?- o4 m' c为预防老年痴呆，时不时学点新东东玩一玩。
$ W6 A. ?' D" t. ~# u9 B3 pPytorch 下面的代码做最简单的一元线性回归：
; n' ]! m1 U' ?----------------------------------------------
import torch
& F2 K& H% S  }6 qimport numpy as np
import matplotlib.pyplot as plt
/ N9 k' ^. c$ t1 W0 K$ Ximport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
0 c( s! W2 W$ e. r2 U; n) J# j4 Q
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
$ u9 ~* I3 ?1 M+ V$ W+ F. r# Db = torch.tensor(0.,requires_grad=True)
9 I' q/ G7 Z) F( `- j: P& I' L  H
epochs = 100

losses = []
( t) T, A  `9 e. M% l4 o, ffor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
. J* [' t$ j8 J
# K! t) O: U9 i" U/ V( u: c6 z  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
/ X+ i. N5 N4 y  
1 u$ q2 g3 s/ I8 J' D3 l2 f: C  loss.backward() # autograd
$ p; F3 k  C* o0 f% }) m' i1 o  with torch.no_grad():
) [$ h- v1 E9 Y. g& [& d' M    w  -= w.grad*0.0001   # 回归 w
; Y9 ^9 |5 S( y3 m% A8 z3 N    b  -= b.grad*0.0001    # 回归 b
' {) E6 l% C& u  \' u  w.grad.zero_()  
9 \% Y' `7 j* x: z! Z  b.grad.zero_()

! M# W% M3 M. ~: p' H8 u/ ]print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
# [3 L# \+ Z9 m% U! c2 ~8 J----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
% T6 V1 Z  U$ ~, P* _1 T% X高手们帮看看是神马原因？
1 F  G# @4 p( B

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
- e0 N4 y# p  Y-------
) g8 ~- F) i; D& w算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
! l9 {! N) ]9 D1 t5 s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
8 L9 k7 ?9 z' @不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, D3 g$ q( B8 n  T' Q$ R! d7 @

雷达 发表于 2023-2-14 21:52
" S" b! {) W/ o' Z% a  w0 ]谢谢，算法应该没问题，就是最简单的线性回归。
' ?( p+ L$ c9 a# C. k  y我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

' [! I3 k. n- u" b
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

% Y$ A( Y: E" v; K4 Q$ ]: x

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
2 f% v$ ^; u% o" b1 ^
9 a% W& s( k* Q或者把b但的起点改为1试试。 ...

6 m$ k, I6 E& U" x# d
# N" U( U$ q  ^' l! l1 h你是对的。
6 A$ U; |6 `5 d" p7 g# u2 W9 ]去掉了随机部分
4 M  c. p! N/ G4 g- ]  T#y = (x*27+15+random.randint(-2,3)).reshape(-1)
6 _7 h- o4 b7 Y+ Xy = (x*27+15).reshape(-1)
' ~# ~0 X. Q" Y5 N+ n3 Z
* H- d" G( @: r# B) n$ {- A循环次数加成10倍，就看到 b 收敛了
  Y" Y/ l* R. q4 N+ lw , b
/ g- w# f, x5 V9 Z) u0 Z- L, B27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。