继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
+ d, w/ v- F2 Q# U2 s, K# m----------------------------------------------
import torch
6 M# B. M; y3 t: F% J* e7 Yimport numpy as np
) v5 |) n" I$ z" Q9 Qimport matplotlib.pyplot as plt
import random

" j) e* Y. M# A! q' U! e0 ~x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
7 f' Q$ x: N$ @' i5 E+ X, w5 W3 K& n
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
" X+ |( d7 B. T! P8 S
epochs = 100
; ?: x: B; J' ~
- i% u7 m/ U6 x8 v2 h% B, ?losses = []
/ g$ O7 E) [7 }" D* ~for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
6 v9 |$ V+ K$ N# X9 L  
; q0 F- K" g% Y7 _8 b$ k! S  loss.backward() # autograd
  with torch.no_grad():
' G8 e% _9 h# G* u1 s    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
, z% K$ z7 K; h1 \) p( l+ T/ R  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
% {9 L+ v% n" |3 W: B$ P! b) `----------------------------------------------
: R% X0 g5 M+ |最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
2 z# S  J7 Y! y% G* @. Z$ U高手们帮看看是神马原因？

老福

3 G+ ~9 w9 S( J没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" r6 Z2 f  A% a! Y( W5 a! T% H( e% w! U-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
7 s* L4 h& E& b5 a-------
( g! g7 a5 ~4 |- h8 m算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
- m+ E) r! N: i没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
4 R) O7 n7 N, i3 G不好意思， ...

* h' Z  G/ l, G7 J; Q+ C; `谢谢，算法应该没问题，就是最简单的线性回归。
/ ?- d" s, k- w- C我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

1 `! S! r: L& I4 b& Y

雷达 发表于 2023-2-14 21:52
5 h+ x4 }; B$ @& K3 r谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

6 N* a: r& V8 N- g# G刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
# Q5 P2 n3 F9 V! Y
: w; E& L) [& z: N+ `6 p或者把b但的起点改为1试试。

雷达

, x& v) W7 z) G6 b- Q* i9 R! \

老福 发表于 2023-2-14 22:00
% [* v* v0 q# T2 Y0 Z8 L8 E$ |2 \刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

% C2 ^. g& v+ h; |1 H或者把b但的起点改为1试试。 ...

% [: C# T/ Q3 R3 D, c! N% x
你是对的。
3 Z; g# e5 Q8 Q- T) z2 o去掉了随机部分
1 W3 a% ]( E2 ?! z1 [6 H#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
( F, Y0 u0 f3 Y& m  jw , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。