继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
/ r+ U5 I: y& q% s+ S+ |Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
$ Q* s3 p% a- Q& M: ?+ t- Qimport numpy as np
import matplotlib.pyplot as plt
import random
4 y' _5 v, d! w* |8 ?: B6 ^) r
8 q- h, o7 s4 t0 @3 z1 ax = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

! Z( C. L7 M. a1 @w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
. J$ K* R1 ?6 B$ y# Ub = torch.tensor(0.,requires_grad=True)

epochs = 100
! U/ ?' R) y( k2 k9 V; Z/ d- w
losses = []
7 B( @9 A6 B5 P% hfor i in range(epochs):
% o4 V3 ]3 F' w  y_pred = (x*w+b)    # 预测
4 A' A5 J; ?* X9 w; B. L  y_pred.reshape(-1)
; r% k, A& P3 g6 T3 |0 R3 e! G
7 h6 U6 O+ B) o& ]' m  loss = torch.square(y_pred - y).mean()   #计算 loss
2 H  ]! o1 a1 E/ U  C: |9 V  losses.append(loss)
  
  loss.backward() # autograd
$ t2 F: C* V5 C3 W: C1 n/ g  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
% w  Z$ m; Q; S  w.grad.zero_()  
+ n7 Z9 V+ ~- L  n8 {/ \  b.grad.zero_()

4 b( O* ]/ U7 y$ b1 f( t+ Gprint(w.item(),b.item()) #结果
: L* a' D2 k8 p3 J7 J: P
: y/ d7 v* r( w  B5 rOutput： 27.26387596130371  0.4974517822265625
5 b1 L+ Z5 y2 O$ y" c% z) J( m5 S----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

3 L! ]4 R( N6 E4 w+ W
8 f' }/ \/ a5 S' h2 t8 X) ]没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
7 V- w9 Z7 @  L& A# g6 ?不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
2 n2 }3 U3 a5 N* a/ `7 W$ o没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
! d: q# a/ Z0 ?0 T3 ]$ F) P! c-------
6 }2 d& s# m) y! ~5 Z$ j不好意思， ...

4 W. N2 Q  c' c/ h  \0 q- ]. T谢谢，算法应该没问题，就是最简单的线性回归。
* Z4 k7 s" x" _  H我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

1 k* ?4 ^6 j9 @" X: A  m! P

雷达 发表于 2023-2-14 21:52
$ }9 \& w- t" r. t谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

2 M$ [4 i8 N% {刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
7 T+ l( E9 v/ `: v; ?$ ?2 Z
" |* k6 k) E0 f2 x7 e" x$ S2 h或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

" L5 B: a' T$ n5 D: R0 v你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
  ]6 T$ q0 b& w7 fy = (x*27+15).reshape(-1)

0 n% k% u9 c! ?7 N# e循环次数加成10倍，就看到 b 收敛了
w , b
+ f/ n/ [0 y' T) I- a9 T27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。