继续请教问题:关于 Pytorch 的 Autograd

雷达

& Z1 C" q+ D- S7 r为预防老年痴呆，时不时学点新东东玩一玩。
$ u, `/ R" t4 F& iPytorch 下面的代码做最简单的一元线性回归：
1 |% \% B  h6 X9 ~9 g7 u/ s----------------------------------------------
import torch
import numpy as np
# R7 r, f6 v7 x% u7 gimport matplotlib.pyplot as plt
7 \; G- c9 R( n7 ?) G& }4 _- `import random
! v8 b1 V5 _# B5 z# M% @
2 I4 k6 K4 }/ f* X, Ix = torch.tensor(np.arange(1,100,1))
) t0 O1 ?$ |# |" V" i5 Uy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

' X$ \1 J( ^/ o) r& Q3 E( O+ w. _1 e" jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
; P5 J( R2 t! @) P2 H
( @  d/ k2 p5 U! Bepochs = 100
( V* L1 h, f8 J/ V
' n+ ^& W8 {, T6 c8 `/ Dlosses = []
; T, J7 q; t9 P, I4 gfor i in range(epochs):
( _- w' ~2 d' @) R+ T  y_pred = (x*w+b)    # 预测
) V2 h" a3 [& `" e3 j) l  q! n  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
! I& q" P6 a1 ]% F* r  losses.append(loss)
  
, {7 z- b2 g# D7 L, a( S  loss.backward() # autograd
4 Z( z$ n# D, U2 P( v7 D% }% K- I5 e  with torch.no_grad():
4 x: a* A9 V& e) r: m3 T; k4 J! d    w  -= w.grad*0.0001   # 回归 w
! I6 O1 _- Y7 f    b  -= b.grad*0.0001    # 回归 b
" ]# E# C6 ~4 f; F) `  w.grad.zero_()  
  b.grad.zero_()

1 u# G2 Q& {+ h. J5 r; B2 dprint(w.item(),b.item()) #结果

( [+ X1 z( ?9 I, N" a/ j- `9 l+ ]Output： 27.26387596130371  0.4974517822265625
  H/ x/ U8 `" N! x) B----------------------------------------------
' R' o$ ^  A' ]/ g6 |最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

  {4 y* r- O# S* K: K4 H) {# O8 p
0 J3 k+ g! V, n% `; l没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 a% n: z/ Q9 d# {. }- ?1 z" a-------
' m* y: H- K  S( N! C不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
, b4 T. ]6 n5 D- P# N: O! s4 L$ I1 g8 O. n-------
$ o4 h, W0 w# }. t" a) C; a算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
4 o; Y  j9 f* N9 M, P没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' L) B% |% m  n' {* z# w1 Z( U3 a5 q-------
不好意思， ...

0 K- r: Y& i# U2 U2 Q7 X谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, f5 K) {5 B4 y, o% B

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

& }  O. f- n* n6 L) L, C6 ^: C刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 V, ]9 l. l! F9 @8 J. j& z5 T
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
9 v- u! D) G, e# u刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
" }( I) v1 B8 V, U
或者把b但的起点改为1试试。 ...

6 P" {8 P) ^+ |: T* P* a6 a2 V
你是对的。
/ X  |* W. k8 C& t去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
! j5 r2 q& g" ?0 D6 qy = (x*27+15).reshape(-1)

7 }; X* s4 H$ @2 U. v* T循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
, \) b, {, z+ I$ X7 T+ H! t
1 l* F, F7 S* j0 ~2 S7 L& o和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。