继续请教问题:关于 Pytorch 的 Autograd

雷达

2 b; d+ N3 T% L为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
; ]% W4 \% I7 N2 T* U0 Y: A: r----------------------------------------------
import torch
$ Y  O) c& _- t5 O7 j2 O0 Eimport numpy as np
2 r4 j8 a' }) j' N# uimport matplotlib.pyplot as plt
import random

; I/ m! H: F* I* E7 u/ f* Cx = torch.tensor(np.arange(1,100,1))
9 y% Q5 O( d5 l7 Y9 O. O( Hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: Y: e" `# [8 n' c  E( }5 ~
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
0 a3 s( @2 U! `# V# x3 b$ n- F+ b2 v: Pb = torch.tensor(0.,requires_grad=True)
+ r0 Y2 i- L0 @. \/ C3 c. Z
epochs = 100
1 y( i+ T1 ~& ^/ ]4 t4 o7 F
losses = []
% ]# J) k4 h- f) ?( T+ ifor i in range(epochs):
. i( R8 o/ F: |  y_pred = (x*w+b)    # 预测
5 c% R9 b" |/ }  @* }5 r0 Y) v  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
. _# y5 |% j% a. b  
  loss.backward() # autograd
  with torch.no_grad():
- w) k* Y# M" M6 q# a! ]    w  -= w.grad*0.0001   # 回归 w
* E% d6 H* Q( A    b  -= b.grad*0.0001    # 回归 b
( S, E9 N7 B. D( R, Z  w.grad.zero_()  
3 g6 Y* O. f- y5 `; |  b.grad.zero_()
  _/ M1 W; G8 p4 X  `  f- x
print(w.item(),b.item()) #结果

& i3 P2 n0 F0 b7 @6 ?Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
' _7 k* ?. b7 F; ~: j6 b5 T$ G* A  H; \( [高手们帮看看是神马原因？

老福

0 r4 j9 L. W9 k0 E' g. X没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
5 E2 l" J+ ]  I& ~. W4 W不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
2 m- K% O$ ?) L6 u3 {4 x没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* w- \. q& W' D1 r% Z-------
9 P- s# Q! A2 t) n, J* P不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
$ u+ Z, A2 z/ ]4 D" Q- h9 O# O6 g我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
3 a; f/ H/ @8 a" e谢谢，算法应该没问题，就是最简单的线性回归。
. k+ H; H, H& s. g- _我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
* u. K( G1 ?' r6 D- f刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 v% l0 q, V* t  c. s  x- @
或者把b但的起点改为1试试。 ...

% @* w$ K$ j, y8 B3 M; f, z
你是对的。
5 {& u+ `/ Q' W  a  I$ W" F6 a去掉了随机部分
& b# U* E. l; J) \: ?#y = (x*27+15+random.randint(-2,3)).reshape(-1)
  G- D6 n! o6 R* I0 k# H) q! B, ty = (x*27+15).reshape(-1)

0 J2 z2 j# U- {: D4 U3 |$ U循环次数加成10倍，就看到 b 收敛了
" H4 i& D  U: a1 j7 Q& Gw , b
5 G$ T) l/ ?* j9 b# I4 c( J6 ^+ `8 f' S27.002620697021484 14.826167106628418
3 C$ \! d# l9 |9 z4 Z9 ^* g
9 n2 D3 Y8 M8 J& j9 U和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。