继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
7 a# ]. n$ _5 v" i9 B* V: _----------------------------------------------
/ o7 b' r, M2 R! m- e1 l' o: J$ Dimport torch
import numpy as np
% g  u: y! k- m3 d0 g$ Himport matplotlib.pyplot as plt
import random

% |. e+ X# l/ w0 f& d% @x = torch.tensor(np.arange(1,100,1))
& u6 M6 ]$ Q; \y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
* n) K' e# {: Z7 u4 n
  w/ F$ Y2 `0 h3 J' N# [w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
% G5 ^  f, c8 {8 U8 Q. Vb = torch.tensor(0.,requires_grad=True)

% S4 E; ]- Y/ @epochs = 100

losses = []
( A! g' e) v( Xfor i in range(epochs):
2 U+ }5 R& ?$ y: e* [& k& [  y_pred = (x*w+b)    # 预测
4 _4 a/ z: n: ^  y_pred.reshape(-1)

. b$ F$ B$ B& |4 s6 Q5 h# ~4 D  loss = torch.square(y_pred - y).mean()   #计算 loss
( k0 G: O# b7 |2 Y+ S  }  losses.append(loss)
  
: L" b5 \& |8 o- y  loss.backward() # autograd
! `/ B6 v3 w2 A; G: X) y& F: j& n' t  with torch.no_grad():
7 c, Q3 p. H' c+ z8 G" d# \    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
' M0 u9 p5 d4 }3 l  w.grad.zero_()  
  b.grad.zero_()
! b) r, v) a! [
% }$ R/ D% R) [( V, J$ Vprint(w.item(),b.item()) #结果

- B7 j/ {) q) w( L- }% dOutput： 27.26387596130371  0.4974517822265625
% Q; E% [2 a" ]----------------------------------------------
1 L# p( l% u2 d' a2 i8 N最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

! x9 @( A9 x2 ^% v- ]3 X2 }5 g5 p
/ y. e' l# B2 v+ O. N( j& r1 _没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
4 w/ ?* o2 U! ~- k-------
8 c1 E5 w4 K! a2 `* V算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
+ u' I1 B$ T$ Z7 _# t5 Q: g没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
) c: S) A! q4 m1 T0 x不好意思， ...

4 l9 t/ \- K* i1 d, j  V谢谢，算法应该没问题，就是最简单的线性回归。
. \8 V* u2 u: V# U/ E2 X我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

0 O3 }8 S- v! X$ }

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
! V& M5 K: m" X; L0 \  N+ z2 q4 X我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

7 o: b. X1 n( g, M0 l

老福 发表于 2023-2-14 22:00
' e6 w$ E7 @  o) R; j8 ]刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

; r( c5 J" c8 u* i" F7 x0 }7 z
你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

& H2 B( W6 f/ Y  C9 K, m循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

% m0 j1 j7 X3 p: T和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。