继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
- s1 P6 y8 ~: e* K7 A2 qimport random
' \& l7 j) K9 T# |! Z9 L
# [$ Y0 Q0 P% \9 L* M& Bx = torch.tensor(np.arange(1,100,1))
* x7 R4 v2 N" m* l# e! x6 ty = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
9 G3 V0 m* h1 J* R4 Q0 Lb = torch.tensor(0.,requires_grad=True)
9 y! @; x8 @! w- x0 q
epochs = 100
9 H6 k% `" j  U$ _9 Q7 F
; J9 s$ o" _2 z  O' ^% B, d+ vlosses = []
for i in range(epochs):
$ N5 ~$ s: e/ b3 D  y_pred = (x*w+b)    # 预测
3 R& Z; u4 I8 S7 Y0 g: }  |/ Z  M  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
8 X3 D, I, p0 B* U' N  loss.backward() # autograd
  with torch.no_grad():
" [0 f; z3 |: R  G    w  -= w.grad*0.0001   # 回归 w
& z1 M7 F/ W' t# `- W) w: M4 H    b  -= b.grad*0.0001    # 回归 b
9 {  q* L* N0 \8 a3 p9 ^* Y  w.grad.zero_()  
, I0 A. l0 W* s1 J0 y  b.grad.zero_()
% s2 c& l5 m: f) p0 ^# ]0 a2 {
5 S! p6 z7 b& Y; A. u0 f- qprint(w.item(),b.item()) #结果
1 Z3 z( k1 v# R+ I5 J0 s& h3 _
9 {. x% W: [: T9 R5 F# LOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
& f+ f; E/ X# g, E5 K1 X最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ g; b' R; Z! j) V& A6 N高手们帮看看是神马原因？
2 X: }- q8 S3 G  V6 C7 ^3 V

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- I1 W+ O9 W5 f$ Z3 c! g  R) D-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
: d9 N9 S/ h# @# @, V0 T6 G-------
% A, l! {7 \* g1 H算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
) e9 Z5 Y1 s5 P9 X' E. X没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( ^1 b; j. `' b2 u; X- V-------
不好意思， ...

# Y' @+ I0 {+ h谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

0 O$ Q7 z; m3 C9 q

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

. |- M3 T# z" o6 F# Z( I
+ Y! P. b: n( _* x刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
2 p' l/ R+ \8 E7 s1 h0 e8 b' L! y3 }
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( f5 f( W( \" ?( R2 I7 p! |) Z
! R1 X) ^& n7 X! L8 A2 r. i6 P, a或者把b但的起点改为1试试。 ...

$ H/ S5 j- [* H  p4 p4 Y6 D你是对的。
4 A( h5 f/ X; v1 c- X! i* }& v5 a去掉了随机部分
7 g5 K1 B7 m6 N" [8 L. L5 S#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
( D! d) ~: ]5 z  n% O5 R
3 E# r, t  o9 Y. g循环次数加成10倍，就看到 b 收敛了
5 @8 {. d% |" T, ww , b
3 L" Q7 c% Q6 I3 P27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。