继续请教问题:关于 Pytorch 的 Autograd

雷达

2 I' f% q3 b, D! M1 h, L0 J& K
为预防老年痴呆，时不时学点新东东玩一玩。
1 {: s" ~9 ^9 R( Z1 JPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
2 |8 E6 D2 z8 O% kimport torch
import numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
0 u4 G' R3 G, v7 O" a+ ?2 Ly = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 Y# h5 a6 q3 O* x5 a
" l; R% ^& y, k# X  A% Yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
) n2 y, U7 T+ ?  \; ab = torch.tensor(0.,requires_grad=True)
0 C! z; X* J3 e9 X6 f
9 H1 {) {( m$ K8 |! Q1 Qepochs = 100
  y$ w! j! @1 \0 Z
3 |* [# Q! ]# X# T0 Y7 D4 ilosses = []
" _. ~% O1 Z% d/ q. ]2 f: Kfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

8 q7 R' ^, _$ B0 z1 D- L, `  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
3 y2 g+ E: Q6 U, Q" q# h4 A  loss.backward() # autograd
  with torch.no_grad():
( M/ a( ^% S, D, _( d    w  -= w.grad*0.0001   # 回归 w
4 w+ x4 F% h% T; Y( C8 p$ t    b  -= b.grad*0.0001    # 回归 b
% S# m% Z3 w- i' y: y% u5 d  w.grad.zero_()  
  b.grad.zero_()
) a  O0 g; _( }: |
print(w.item(),b.item()) #结果
- A3 M9 g) w1 v- F2 r
Output： 27.26387596130371  0.4974517822265625
$ x9 [' ^8 \. J1 T$ E----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

7 c( i# n+ ?( F2 z5 a4 q3 u
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
7 u" [" q: Z) n, y  ^-------
- l. a$ ~0 ]5 k/ G! Z( I+ o0 {( A) T不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
) B5 f1 D* E/ c1 s& A% S- U算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
& @8 _8 k; d( W& H" P- m$ d不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
3 @" z% P$ f) o. p. l. J0 g我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
. G. e: P. v3 t# o! d谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

! \& j* x" N" K0 N或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

# x8 E% [: E5 I
& d7 U6 N- K7 l4 \7 M( \1 P# R1 A你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
5 I9 L6 @6 C2 ey = (x*27+15).reshape(-1)
1 i$ ]7 z/ |  @% e
) X8 r( k; N1 C; h" k7 V3 m循环次数加成10倍，就看到 b 收敛了
w , b
" ~( ]! {$ s' U' D. e, [7 N2 U8 v27.002620697021484 14.826167106628418
. ]) Z5 [8 h( L. @
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。