继续请教问题:关于 Pytorch 的 Autograd

雷达

) U( |( X. B0 W9 q5 Q" f& @
为预防老年痴呆，时不时学点新东东玩一玩。
- M8 l# \0 Z3 U+ l9 |4 G4 JPytorch 下面的代码做最简单的一元线性回归：
' ]' ^! e0 [0 L% ^8 q; e/ W2 p----------------------------------------------
5 N6 o9 W# I( F2 d% m7 d5 Himport torch
import numpy as np
1 J$ a8 o; m2 D; A+ Uimport matplotlib.pyplot as plt
+ y, ^' V1 a5 M0 B: `import random
# w8 Z2 G& f3 ?' Y% Q" G: O
$ [7 S- c1 F7 c5 A" `$ qx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 }# `& g  k% P2 B& ?, y% Q
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
& ^9 t3 c$ L3 u, V4 J7 eb = torch.tensor(0.,requires_grad=True)

) i4 O/ e+ X3 b! A5 }. i) lepochs = 100

losses = []
- Y0 g+ b0 @8 w. }4 Jfor i in range(epochs):
: o# k% }) ?( w  f  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
; C/ W; p) {! S+ K. y' B  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
8 v! K; s9 Y0 \+ C6 f  b.grad.zero_()
8 M+ _9 z' B& ?# C9 a5 }/ k* N
* }: t* g$ R( i* uprint(w.item(),b.item()) #结果

$ L7 w0 S: K7 A! U- N7 p' `3 BOutput： 27.26387596130371  0.4974517822265625
2 |( D$ L* `4 [----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
( `& i) I- m% Q$ r& O2 Z' h# {高手们帮看看是神马原因？

老福

' ^9 J6 E+ Y+ F& W3 b
3 z) s: ?2 e; W, K& K没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ J2 r2 a0 |, Y-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
! t7 T, _1 v3 `/ P& O算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 {/ u' L7 `" J" {3 @- x- X-------
不好意思， ...

7 M0 J3 Y) g0 P1 @" j谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

: B, O5 w1 L$ B

雷达 发表于 2023-2-14 21:52
+ Q' G$ R4 Q, d; A4 J) B9 ?谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

, m- j- X# a$ E! Y% m% Y
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 M( w2 z! [4 m+ m- j/ c
' q* t( _: H0 K7 v( e或者把b但的起点改为1试试。

雷达

+ F' F8 T. @" E! Z  X9 t; B' T  l

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

: `8 a& D/ w) C( t  b" E或者把b但的起点改为1试试。 ...

( H  a& Q3 L6 s( p* g: }7 j6 O5 x
; Z/ Y: Z' k( k& F你是对的。
9 Q( X9 {- N2 K( A4 O1 S去掉了随机部分
; y4 U% s! m1 d* `#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

9 H# n3 _9 ]. X3 K  c0 |1 F# Y循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。