继续请教问题:关于 Pytorch 的 Autograd

雷达

2 A0 B5 T0 Y5 Y7 N+ ?; V. E
5 y& A, V' Y4 x) ~2 I为预防老年痴呆，时不时学点新东东玩一玩。
. q9 E- O% }/ W5 W/ S5 n0 JPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
$ }) {: C6 e: z. i! C* gimport matplotlib.pyplot as plt
! x' [3 a3 H6 K( M+ b: r2 iimport random

1 w  q+ T7 [( G0 u8 ox = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

& c- d. g6 s$ X: v- D& ow = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
- O# Q2 {! d, \9 ?1 Eb = torch.tensor(0.,requires_grad=True)

. Y' w: |4 s% r9 [" Depochs = 100
) i$ r0 |+ h4 }$ `5 p( j
losses = []
% l8 O0 e7 w8 }  p. h' q& W  cfor i in range(epochs):
/ `+ r8 {( d! t8 N* @  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
# c, Y' t1 b% l8 M
, l  V" @( q$ U8 n; U* Z- Y- t  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
3 R; g5 |* X8 K/ W  
, u0 ~  |, W$ R& S  loss.backward() # autograd
# K: N) F# h6 W! ]  with torch.no_grad():
& G. K! {& _0 d! m  t    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
% L) {  U$ r7 [5 i* ~; V4 R, ]: _  E  w.grad.zero_()  
  b.grad.zero_()
5 T1 Q* W4 S7 M; @) V
print(w.item(),b.item()) #结果

3 H4 j  X5 {- Z' J; M3 h# FOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

- Q6 J1 f7 i8 A7 s1 }, I+ P没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, l4 l/ e% g9 C+ Y, a- L不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
; Z$ @, _: k- i  T  Y算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 j+ d$ S) C+ q2 ^. u-------
不好意思， ...

, N0 f) |3 w7 K9 z. a) e/ E& C  Q谢谢，算法应该没问题，就是最简单的线性回归。
0 @5 D1 {6 h7 K1 v我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

- G) n" r# ]! B# r+ \% N7 M6 B

雷达 发表于 2023-2-14 21:52
0 n, j* J; f; ~: @谢谢，算法应该没问题，就是最简单的线性回归。
9 V  Y$ p% H$ g( j) y& N我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

- x* L/ S, I/ o0 `* @1 f4 Q. m* ]
( @* Z) b% o4 L+ I% G5 O刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ w( E! B* l& ^7 H7 y
或者把b但的起点改为1试试。

雷达

* }6 i0 ]" G/ D* i( D8 B

老福 发表于 2023-2-14 22:00
& A& M% {+ h) u5 p3 F) _: A刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) p/ k0 [) A9 x6 b! t7 y# b
或者把b但的起点改为1试试。 ...

7 v4 }% [" G7 n% z0 b) o. d你是对的。
  o5 M: u$ p6 A/ M& H去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
8 p/ v1 q1 q5 _! X# {0 M7 {% u" R
循环次数加成10倍，就看到 b 收敛了
! I% J  j8 Q6 d+ x. l' K" ~2 \w , b
5 E+ U& C6 M% q: L8 ?* v0 n4 e7 W27.002620697021484 14.826167106628418
# g( h0 H2 e. F' U( l
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。