继续请教问题:关于 Pytorch 的 Autograd

雷达

/ ?; e6 _/ T3 ~. E/ d
1 w+ o0 O  c6 H) r5 N为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
9 x8 ?( T9 O0 Z1 M( b0 `import torch
import numpy as np
1 u- u# k2 R, p# R# i8 ]- w* }import matplotlib.pyplot as plt
+ M3 s# a$ t2 j6 F8 S0 @) l# ^import random
7 H3 r0 i5 S: r: r3 M3 B
* U( T; Z; s7 ox = torch.tensor(np.arange(1,100,1))
* o! p/ M9 `5 U' Ky = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# H3 M) L! _' U. o9 o3 }1 H4 f
, A1 `1 L/ _7 I) P- z- Jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
% Q: n1 k8 x4 f4 r' Pb = torch.tensor(0.,requires_grad=True)
0 j4 E, a8 r4 V) Y. R% ^0 K
epochs = 100
( ?- b; o' B: [) b
; |/ e3 M9 H, Y# T! I1 llosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
( f, K1 |. Y5 K- ^+ N  y_pred.reshape(-1)
* g9 U' h# R6 t3 j7 k
  loss = torch.square(y_pred - y).mean()   #计算 loss
3 s1 i* P! W4 a0 ]1 a/ A% X% }6 }! E  losses.append(loss)
  
  loss.backward() # autograd
: Z% L: v; K, |4 U  with torch.no_grad():
+ \6 K3 Y0 ~% i  f2 d0 ?    w  -= w.grad*0.0001   # 回归 w
: w+ ~+ ^" Y( j; o    b  -= b.grad*0.0001    # 回归 b
' ?, M' v7 s1 q3 I  P* E  w.grad.zero_()  
" l/ l/ e* H* E. U. t& j& S  b.grad.zero_()

! h  J% Q2 g- }3 l: t$ T' l' Gprint(w.item(),b.item()) #结果

  w# `0 `7 a. t3 T, {Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
" e' J! K+ u- e! b  Y6 m最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
" ~, q. U) o* }$ |  f; L% n' V高手们帮看看是神马原因？

老福

6 ?8 _1 T9 B7 K  h- K& w
" u* b& s# Z' B6 u- ?1 ]9 u9 C8 e没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 c+ B  o7 k3 k-------
1 G$ j" l& R3 a. D不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
/ @  R9 D# m5 J& {-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 p- j) s8 ]: [-------
不好意思， ...

- [' Z* x+ V( w; y' ]( @谢谢，算法应该没问题，就是最简单的线性回归。
; m% P# j8 P; i7 Z我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% k1 K9 ]- p  [, J

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
6 |/ k/ Z* e) u! ]* |我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 k  u, e3 a# }3 i4 T7 o7 K
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

: V7 Q! ]+ e7 m* a

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

6 g* P+ Z) D5 ^5 a7 Y) r& C5 y; H或者把b但的起点改为1试试。 ...

- f4 z) {1 X8 r- |# Y5 I
你是对的。
去掉了随机部分
" W5 n' t* ?# t# i: m- j#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
% N/ l: p/ M# m0 V' {" E8 }+ ?9 f- \
循环次数加成10倍，就看到 b 收敛了
w , b
; E8 x5 ]/ S3 @% `9 i27.002620697021484 14.826167106628418
# t8 r: m9 y% _: L5 q% F
! C, s' K+ H0 A- `* [8 r. R+ R4 u和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。