继续请教问题:关于 Pytorch 的 Autograd

雷达

. O' \/ }: b  ?6 I. ~3 v
为预防老年痴呆，时不时学点新东东玩一玩。
1 Q6 N+ K! w7 x+ M, G& kPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random
- s* R5 {" [+ `: ~* F
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# W9 n" x9 T1 S4 l( [) V
& j- r$ @  j8 H0 p) v3 B: ?w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
- e9 B. K$ b; P: h3 q( q
epochs = 100
' K2 m4 j" x: j* F: x
+ D8 a2 G3 H/ O  _losses = []
1 ^9 g/ {# ?  z4 bfor i in range(epochs):
3 u7 B  }2 D+ [  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

. o$ {1 q8 K- L0 W1 j% M' \  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
& Y6 ?2 G# _% W/ X5 u- ~  
, ]( ^) h: T5 ?$ _2 C  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
- D( e5 Y! H+ {. }! d. J5 j    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
9 u- G# [4 ?3 J) W  b.grad.zero_()

print(w.item(),b.item()) #结果
4 c( z5 z8 G, f, ~9 g
& V7 r8 H! j8 G# {, l0 V2 KOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
% N: H2 W: O# e& T0 ~/ k最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
5 X* S+ f' H: {+ m! d, o高手们帮看看是神马原因？
# M9 D$ X8 s. E$ C' u3 x5 ^+ A5 ?

老福

" `" H& V' ^' G: |9 t, b
1 Y4 t5 p' x; d" c! |没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 `$ G; Z$ ~; x) |' r* M) `; j# t-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
7 O" N% D# q$ J# f没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
% l# M) W1 S; N% t7 N& N我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

" V3 ]1 j3 N& R! X! F

雷达 发表于 2023-2-14 21:52
$ W; L2 g+ Y' ]0 L谢谢，算法应该没问题，就是最简单的线性回归。
8 a7 W& M6 e) j0 O9 h! {4 A8 V- d0 {我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

2 g+ c2 @  [+ z' o/ n2 U
6 k9 b7 h$ J- m( j/ o刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

/ g& p2 S# q* y: B! x, ]

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

& H# G0 H: l( P, @( @, {
你是对的。
去掉了随机部分
' _0 ?' ]- J: c" B) ]$ Q2 [% k#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
# X9 {, q4 z( ?) C8 c2 _
5 S) I- [5 y( M7 q循环次数加成10倍，就看到 b 收敛了
4 N( n2 z; c0 U/ J/ f/ a& h/ `- Uw , b
27.002620697021484 14.826167106628418
. @4 c3 F; o$ Q, C
. s3 X& `# G4 W) V: ^和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。