继续请教问题:关于 Pytorch 的 Autograd

雷达

" M$ X  H# |* r& J; {  R3 Q2 A2 U为预防老年痴呆，时不时学点新东东玩一玩。
) q& ?3 }) {, s, O& I3 JPytorch 下面的代码做最简单的一元线性回归：
+ J$ `% N( w- F8 T, M0 }4 {----------------------------------------------
import torch
* K% ?! j0 F& t% c5 r. D0 E% o# jimport numpy as np
import matplotlib.pyplot as plt
import random
" ^& z8 F/ M9 E! S' l3 }; T
x = torch.tensor(np.arange(1,100,1))
: p3 x2 o; ]8 M/ k7 P8 t! @  ly = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
" p& b, `, e* q- l' d
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
( V+ P2 A" S) f7 p. lb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
6 |. G) ?! L7 U  y_pred.reshape(-1)
1 x) j6 n# a9 Y1 \9 @4 _* u5 _
) g9 h7 x% S. V. k  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
) s  f! K6 ?2 L  
* ]5 c9 a0 G9 E1 b' A% r  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
' t' x+ e; F& {7 j$ S# H+ l0 I) k    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
4 F( n2 f7 y2 S2 k* ^# x% B6 c  b.grad.zero_()
* ], e! y( @2 L( t- {5 D) x/ N
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
# L8 W( i" I, {+ W最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
3 b- W5 v9 ]% t# R1 L8 Q高手们帮看看是神马原因？

老福

+ }2 c  j2 m5 i7 i' `/ R
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
2 |* a1 A; @; [! O: b- Z/ y/ v! ~, L% ^不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
7 H, u) L" O1 L- v% }- C7 y-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
* t8 f" ]* q) N8 Q! b2 F8 @7 ?( M没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
! }/ d0 K4 R+ c: G) f' f% @/ }" f: e不好意思， ...

. h8 `( [# i- c谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

0 j6 H- w# a9 g

雷达 发表于 2023-2-14 21:52
2 D0 }( T* \7 G& K" G% S+ d3 ~谢谢，算法应该没问题，就是最简单的线性回归。
( }* u0 z0 I7 Z) U/ T我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

" f0 e8 B! J# }9 X: p5 G: y- m
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
  @+ q7 U8 p8 X9 U  u5 X# i
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

3 ?+ }% J! }  C4 o6 [或者把b但的起点改为1试试。 ...

你是对的。
0 f% s. g& b. o' ^4 Q  ?去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
5 c  k7 O, g  Q+ L- i
& F4 H# S, Z9 `7 M循环次数加成10倍，就看到 b 收敛了
  r  h$ K6 V: l# u4 t# @5 Tw , b
2 U6 K2 t6 e* H+ L27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。