继续请教问题:关于 Pytorch 的 Autograd

雷达

% N( ~1 |, j5 m5 g9 V, h9 c5 b为预防老年痴呆，时不时学点新东东玩一玩。
* S* g% s7 A6 j$ t" JPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
4 d9 h* K, U2 G7 ?6 u" i, Bimport torch
& N8 i. }) H, d, d( J% T$ ~8 w4 mimport numpy as np
% d1 b" h) ]# ]  V! p" Q7 @0 K& ]import matplotlib.pyplot as plt
import random

# s- v: G; D. S6 Ax = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
* C& i' D' {8 X/ k: L' X% J
' A, O2 [9 u1 Zw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

  P; x8 r9 a9 y3 r4 u2 Fepochs = 100
+ d8 {& c  A7 Z9 S
losses = []
9 j, y8 H% S- b9 Cfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
4 F7 m6 Y5 |& C( z5 J$ S  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
0 O5 t- H& |; ], F3 `0 z  loss.backward() # autograd
: X* t( A8 {1 H" G" ?" _5 M8 D1 f  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
& i+ I/ o1 }3 t+ ?1 h# k2 ]( J    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
7 n0 ^: B8 G# j+ t
: d% q" }8 c$ k; M# i; \print(w.item(),b.item()) #结果
8 t: r$ _! _- y' d, O% j- T
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
) v6 K5 }" z0 a4 o2 [最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
- |- B# v; ~3 i& u" l0 x% b3 g5 K/ y高手们帮看看是神马原因？
: N% I; H- ]7 j6 Z7 q

老福

  @; j$ H9 d2 G" }3 s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- f" P1 m1 I5 b# m4 K3 V-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
0 w( R9 s7 X, u/ P4 l-------
0 W6 V5 s- ?! G0 r: J4 X9 \# ]; a4 ~算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
. I0 b( s) a4 s+ `; X-------
- \% T# L  N8 \- H: M5 }" `不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( m, h. p$ c7 S4 i' }7 n4 h1 e9 a6 Y  |" C

雷达 发表于 2023-2-14 21:52
; s0 M3 ]5 H# j+ @5 k  @/ E! q谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; x% b. ^( [  t/ J3 ]; s
8 G1 r, m  k6 g, P$ u3 D& H* @7 O或者把b但的起点改为1试试。

雷达

5 T5 P. w- }9 C. T* }( z. E( S* V

老福 发表于 2023-2-14 22:00
2 Z1 ~. Y5 ]9 V) J6 J3 l$ m刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

) W: G, T1 r( ^& |) {1 ?- e
1 J  ?: \! i0 ]& {" x5 `. C6 d你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

4 C1 r4 I* Q7 a: _" I% k循环次数加成10倍，就看到 b 收敛了
* M; S5 x  M* ow , b
& D- ]) L; C0 x( r' m6 ?27.002620697021484 14.826167106628418
) O% `; Y& o- x+ C7 L0 A
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。