继续请教问题:关于 Pytorch 的 Autograd

雷达

: P( j! k5 V$ O6 i& ^" ^
# s7 ], ~  q9 j: u为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
! ~* f7 F5 c9 x$ ?7 |2 t! B. ~----------------------------------------------
7 b# l7 r: f" aimport torch
import numpy as np
import matplotlib.pyplot as plt
3 \& x, d1 E- e% S- Wimport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 Q$ [. k# }) P. S$ _& g
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
" v4 a# _( |2 K: T
& @2 d& p' y" {5 oepochs = 100
  A- U$ v6 C' x
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
7 u2 _% r/ y$ [  y_pred.reshape(-1)

& [! F+ g% C9 i0 i8 ^8 J' z5 t  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
* k1 G( I9 c) [8 y: x' _2 ~    w  -= w.grad*0.0001   # 回归 w
. W) Z, u+ W5 k0 d  F: \5 B    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
- k5 n2 ]- Q5 H3 V  D( D: W/ M, T  b.grad.zero_()

; P" n5 d/ S9 `( _7 l/ Gprint(w.item(),b.item()) #结果

, ?% i% ^* t; s9 D0 |Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
0 [" g& a# c/ S1 ]

老福

. F' j! T5 ~7 |4 {没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
1 I' K" n  U( r3 }& c' b) B不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

" x* ?; M8 E4 P9 V" k0 z- l% `3 I  s谢谢，算法应该没问题，就是最简单的线性回归。
) |$ y0 j3 T! j4 T" r' Y我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( Y) ]) s- d. g6 o4 U

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
1 K; T4 @" r' m4 ]我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

" B8 M3 ^1 v) h或者把b但的起点改为1试试。

雷达

( `* W1 |1 J% ], _# k

老福 发表于 2023-2-14 22:00
! a8 U+ k. P  a$ m% ^刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

6 Z& j4 v# ^4 o2 X或者把b但的起点改为1试试。 ...

; x4 s- q% p/ J# S你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

# W5 @* i& ~' U0 _" C0 M# O循环次数加成10倍，就看到 b 收敛了
w , b
( o1 E: e% x. U. }# L27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。