继续请教问题:关于 Pytorch 的 Autograd

雷达

4 q1 b3 \0 N% r1 w/ V3 c! d2 P为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
5 a* I0 l* {4 a6 `----------------------------------------------
  q# K7 O4 \- ]% C" e- E" b) vimport torch
1 j% y7 D) O* F9 b$ U9 j% Zimport numpy as np
import matplotlib.pyplot as plt
% p$ A3 U8 T6 q% t. F9 wimport random

7 k8 F% |/ Q+ q( P4 Z4 e9 Z% |# Sx = torch.tensor(np.arange(1,100,1))
3 h& Y$ t, K$ N# U. N9 my = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: u5 w# b- o% @% u* p
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
$ c# l& ?* ^, t$ G" ^b = torch.tensor(0.,requires_grad=True)
" r. m0 q# ?: y" R
) A4 h$ `6 {6 K' V- g. w& kepochs = 100

losses = []
for i in range(epochs):
( u, d2 o+ ?) k) D  y_pred = (x*w+b)    # 预测
7 ^. J4 m( c5 |& b  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
5 J- s+ {6 ?! \4 M. m1 C7 E$ P  losses.append(loss)
+ ~; L5 u$ q2 K  ]# R2 Z  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
/ S5 [/ S, ~; x3 }$ J0 ?, ]4 U  w.grad.zero_()  
2 u, E# J; {1 L  b.grad.zero_()
9 [1 l' f% a7 ]. P
print(w.item(),b.item()) #结果

! J$ Q* S2 t8 M4 r/ d% LOutput： 27.26387596130371  0.4974517822265625
& z/ E# P( W* ~% I# I----------------------------------------------
# I7 H: ^# v4 z( z$ u$ p/ M最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
- ~$ t, s- S3 w: m8 M6 `: @

老福

+ @+ ~. T  f+ |6 M没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
9 S1 d3 \. E3 M4 t# A-------
9 b) O3 }+ P1 ~. g* O' D不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
% H1 f3 u4 k8 q/ ~4 K算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

* T. N( ]1 H) Q/ N0 P

雷达 发表于 2023-2-14 21:52
8 U$ b6 [! b/ V# B, h谢谢，算法应该没问题，就是最简单的线性回归。
/ M2 @! N  r+ A" j- k* U3 q2 c# f我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) Z0 T% e" F  l9 Z刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 o0 a! w3 J1 u! R" G
  W" a& _) P& \  h6 U或者把b但的起点改为1试试。

雷达

6 u& L$ V# Z# o3 m2 K: L5 p

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 T: }  T$ {# D: H, w
7 O; Q6 i0 h! `* R9 n' T或者把b但的起点改为1试试。 ...

, Z- q$ Q4 Y: ?! T8 h
; {1 v8 U* Q* B- e* F  b# f/ [8 r- t你是对的。
去掉了随机部分
8 T5 I- h1 C3 O3 s1 p" d$ Y  a. T#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 b2 t$ x# Y" X* u- Fy = (x*27+15).reshape(-1)
; c: }2 c1 O5 M& @8 [9 {4 U1 q
循环次数加成10倍，就看到 b 收敛了
w , b
4 W" C  E- ]& f+ c; H; Q27.002620697021484 14.826167106628418
) R! o9 B0 V1 q/ j) f, l
6 w( |- s: K% }% @4 D; X和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。