继续请教问题:关于 Pytorch 的 Autograd

雷达

: }$ d  V' H8 O% t
5 \% C# M! f7 k# A( ?8 y为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
) ~0 G3 b( m3 f# ~+ m4 c----------------------------------------------
& _( R' [9 v, ]  Eimport torch
2 @6 k9 k) I+ m) F! R# y' P0 T! i* ^import numpy as np
import matplotlib.pyplot as plt
5 S5 U. w1 t) ]2 p6 G2 iimport random
# E3 }+ Z. K( a  K; V, y
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

: t) [3 I, n; x% c8 yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
( l& j/ l: ]+ m5 qb = torch.tensor(0.,requires_grad=True)

9 j+ y; o$ ^9 \. s( Bepochs = 100

6 f( {9 A5 [+ Vlosses = []
2 o, e# O2 h# J8 y- Ffor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
1 B7 _1 e' L2 c1 T, Z3 l& ]
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
! M# `4 `4 N6 v. {/ A1 b  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
6 `- l+ W% K/ ^  b.grad.zero_()
0 [" ~2 |  a: O" v7 p7 }
print(w.item(),b.item()) #结果
7 @& o7 o8 B7 N
6 i/ |' t1 \  u6 C+ R6 E6 JOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
& y; a( `; u% Y! U; H最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
. c3 \' i8 g1 Y! q3 ^: e  O高手们帮看看是神马原因？

老福

- W2 W3 k- g8 ^3 M1 n, @& z
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
0 c5 c0 W1 |) G7 ^9 w% Q不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
. p/ q$ }! S, Y3 r) @-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
$ H# o/ n9 h: g5 r1 L没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- n0 P8 t9 P* N% _6 C. I9 h不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
, Q9 y. {, T$ `! r0 m& z  R% n我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

5 C6 F3 p- o4 L. u: Z" @$ ^, i* n

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
9 a3 b5 L# r. f. Y我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

7 g' s6 U+ E! a! ?$ k
- N2 B* s+ v3 K8 M刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
' {1 P' T* e  o& N7 Z% |
: B4 M# B; B2 L9 C; m5 Q; |, D或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) B( p4 I- i: D% m9 y
7 \- Z! l1 B; M8 W' [# d, _或者把b但的起点改为1试试。 ...

你是对的。
+ C) S, r0 j! Z9 k去掉了随机部分
, Q! E2 g6 _' S1 s  a+ S- w3 H$ p#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
, c% @" U# \1 `
循环次数加成10倍，就看到 b 收敛了
w , b
' I0 x. `0 z2 l7 q8 T" D2 j7 K. H27.002620697021484 14.826167106628418
9 j0 s# w$ f* O7 [4 ^- q" _+ q, a6 ?
0 Z' I& x+ r+ Y' r和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。