继续请教问题:关于 Pytorch 的 Autograd

雷达

! c8 J: b8 I, D0 [
% W+ }/ F0 o0 ~" p3 s为预防老年痴呆，时不时学点新东东玩一玩。
/ X) [7 t; R% w0 GPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
2 a' _! K0 D% T/ C# @& aimport torch
/ Q+ [. U7 f' v; A7 Jimport numpy as np
6 P( ^0 F  `0 S: L* e0 Z) ~7 y" Zimport matplotlib.pyplot as plt
+ H' H# |+ i9 X% w* f7 pimport random
. R8 J1 C' g& v$ {1 p- ?( n
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
" K3 k0 C1 c5 t5 M  E
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
! q" v, a& J, ?b = torch.tensor(0.,requires_grad=True)

epochs = 100
! P: t! X5 l) U& g$ Z1 H
, |7 J9 E% r. closses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
0 m2 j6 D* P7 x+ d" W  y_pred.reshape(-1)

: V0 ?+ a) d( x  P5 P9 c4 N4 z2 |  loss = torch.square(y_pred - y).mean()   #计算 loss
' ~2 N& ~# G0 D; s4 T, j  s  losses.append(loss)
! s, {5 M$ X& c+ f% K, U* Z7 d  
  loss.backward() # autograd
, N/ K5 ^- }1 O/ \7 W( M( w; V9 I  with torch.no_grad():
3 d( B) ?1 U3 }4 {    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

  d- v; @& {4 o' Sprint(w.item(),b.item()) #结果
7 U. V! V) B; E$ h2 r4 A. G  e, {# a
' k: M3 ^! x& r7 ?Output： 27.26387596130371  0.4974517822265625
# _" |$ [" _. o8 O3 J: |7 }1 u----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
# I8 |# I/ t9 d, U高手们帮看看是神马原因？
7 E) c. m& P: J6 x+ _7 u) z

老福

) Y( R2 X/ y, N没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
9 \7 o5 R4 ]( {4 @. [) r-------
- S$ J+ R+ b" Y- E# I算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
8 K! G7 |! k. o" M0 A没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

* u" c* y+ r, h% o+ }6 O& r谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 r" a# c# P; x; }3 \4 W, g

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

' T% P' f& Y, ?' q' O0 Y
! E! x) e0 N+ V( @9 M0 ]刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; H7 Q1 @( ~! O: b% M3 y* ]
. d: c$ U4 y! B或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

2 R5 d/ p- r8 r4 q6 m) ?9 {: _你是对的。
) o+ R# A5 w2 u& @: ]去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

& J0 Q- J! M3 m2 D" e3 F循环次数加成10倍，就看到 b 收敛了
' j: \9 P" c& R- n5 C# Gw , b
% g8 b  a% H" ~- Z* L/ P27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。