继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
. r: S' I! d# N* g5 E; t1 U, FPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
. [6 u1 g& G  k. s/ l& eimport matplotlib.pyplot as plt
  S5 }+ B) I; s# V% }2 simport random
) c: f" V" D4 c8 E# c
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
6 x7 l8 z6 B6 d9 {
epochs = 100

% U# ~( K6 n; C6 }losses = []
% Y4 m: O7 T- @for i in range(epochs):
4 U' |& B2 k+ g8 A8 e& L  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

4 V, k# U, z4 e- F  loss = torch.square(y_pred - y).mean()   #计算 loss
$ g+ Z! P2 @1 Q, E, l- v& o3 C3 L9 x  losses.append(loss)
  
3 ^  I, p/ f% h4 Z4 M2 n$ z" L3 R$ K  loss.backward() # autograd
& M" ?9 e# L3 {  m& l  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
/ B; q3 N: b# w! a) v) K; j& h    b  -= b.grad*0.0001    # 回归 b
$ L$ P/ K1 V5 z/ l9 P  w.grad.zero_()  
9 S2 b) T3 Y8 \2 H/ ~  b.grad.zero_()

print(w.item(),b.item()) #结果

+ m: i7 }* K- f7 n' ~9 c  pOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
4 x) J  i3 ^# U0 C. B2 k2 B高手们帮看看是神马原因？
0 l: l" G$ I. {" n' ^

老福

) D/ A6 G; K& r% f" E; W
" X4 X& k( l6 g  j4 K! a+ A- h没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
0 Q- @5 \0 w/ f( M3 R' R-------
# D6 _# {. Q2 |1 b( V0 {3 \6 n不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
1 V- l# Z6 A& G; h-------
5 G5 R) x! O* }7 u) \+ H* y算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
% N4 ]4 d/ E( S/ {, s0 n5 L' O-------
7 |6 q* @0 ?& }" Y0 K5 }7 o不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
6 [: q* t/ j5 M8 T, y谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

' l# N. T3 n' x7 `  m% D+ |刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

) ?. p, b0 g  u) N: m. W或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

3 s! ]7 W1 o* n& C
$ C4 T2 [. M7 B; W你是对的。
" ^! k% E. B  i去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
4 E, e6 o) w8 r% {* c. o/ }
循环次数加成10倍，就看到 b 收敛了
1 i. P" E! I2 Jw , b
27.002620697021484 14.826167106628418
2 G* D8 C& [# L) T7 U0 F
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。