继续请教问题:关于 Pytorch 的 Autograd

雷达

# d6 O* \$ P; }为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
2 ]3 F! H4 _6 m0 _  gimport torch
7 k! ^6 x# z: @) X. \import numpy as np
2 M9 G# o. Q4 a3 t2 }3 dimport matplotlib.pyplot as plt
4 ]4 g7 I8 H! }1 E  y5 x- [import random

x = torch.tensor(np.arange(1,100,1))
- k, j) z4 L! Q2 p: py = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

/ j, R" W- o0 c5 Fw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; N* r/ q7 a, A& cb = torch.tensor(0.,requires_grad=True)

1 y( H. r- Q' p; \( [9 b9 Jepochs = 100

7 b  Z% X, D  M+ I0 f/ {losses = []
, }) A7 @1 {/ Q6 ?: \; Dfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
' X9 t( W5 ^; c9 E# j  y_pred.reshape(-1)
# k. B6 J/ Y! o) o5 y4 w2 Y9 r
  loss = torch.square(y_pred - y).mean()   #计算 loss
; d5 Q$ U5 R( q6 [7 N  losses.append(loss)
" H" x& X/ k# O9 X  
9 f/ ?+ T+ C0 x! u* i) i3 |  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
) b- [" q7 z+ x6 @4 s) x' o7 M% l: v  w.grad.zero_()  
6 l+ [1 C; o! \9 Z7 E, r) E  b.grad.zero_()
, h! n+ x4 R) f# t, q& a3 O& @# |
print(w.item(),b.item()) #结果

+ h. X' v* s' U/ ~2 R  R5 ?Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
. @$ k: P" ~, i+ e  a+ |最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
6 W9 D" j  q9 p9 C' A  }, r

老福

& U& t6 j" e0 A
! E7 n+ Y" c* g: }) N没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
$ d& {( u4 Y0 Q-------
! O2 u8 Q6 m. i不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
5 ?+ W# ?9 P: D; I$ N-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
" w+ l7 c2 n9 y- r. K+ e( T没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
* j) U: r3 i* W6 p5 U不好意思， ...

( K* t+ a! i$ b" k; ]/ s5 D谢谢，算法应该没问题，就是最简单的线性回归。
( @* P2 i/ o: B8 P" ~. {$ l; {" u我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
4 R3 G  b% z* w' d3 C; @  d我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

* i, \* R3 A6 o+ E刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ r* \  ]0 s! ~" W; [& L- O- {
: s& [+ u" w7 \: `或者把b但的起点改为1试试。

雷达

# X8 Z8 G5 w- u' M9 j

老福 发表于 2023-2-14 22:00
( T+ p4 f1 Q/ p  f6 `" [- d刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ G. _9 Q& k) N1 v# W* o
$ S  ]* ?! `$ d- A或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
$ z+ s5 V' B& R' w. P1 ]) y* m
& _2 h, {9 g$ ?9 N+ R/ `) T循环次数加成10倍，就看到 b 收敛了
+ H4 m3 y* ]1 z. v, ?) B7 uw , b
27.002620697021484 14.826167106628418
% H! b0 V9 ^$ Q2 _# |" P: O
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。