继续请教问题:关于 Pytorch 的 Autograd

雷达

+ c7 T  T, t8 Q* l1 A/ C3 q' B4 K2 _
, s, s4 s  {1 [5 A为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
) G8 O2 i9 U$ G" B7 ]% X& mimport torch
& I. e& K4 ?+ K) @6 z9 Fimport numpy as np
import matplotlib.pyplot as plt
import random

: @/ E: U+ d: [' Cx = torch.tensor(np.arange(1,100,1))
, L7 B% @1 Z* E3 J% ~" \y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
( u4 X) l, w$ S/ U  l6 w$ g
' r+ }+ M# q* a+ ]& U+ _. Hepochs = 100
/ @* _8 e3 {+ C. O% u3 ~- {1 V
, z1 T" W' F/ e9 f/ K9 c" }4 Nlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
) J* f5 E( R# W$ m  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
) K: y# C' B2 }  
  loss.backward() # autograd
  with torch.no_grad():
, n' m# Q1 F! G# {! N* \    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
, w# {: c4 \& ~! p% r9 G  w.grad.zero_()  
0 {6 c# \2 F: I9 S  b.grad.zero_()

print(w.item(),b.item()) #结果
2 m2 v% Q5 ^6 k+ m2 L: n$ S% `
8 X& O) m" C8 i" W* c; LOutput： 27.26387596130371  0.4974517822265625
2 J% c$ W! p. I/ P/ `( _----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
8 h6 j  E9 _1 _4 _% P高手们帮看看是神马原因？
0 u$ |; y3 b6 N! c; X5 B; {8 c

老福

  G- |8 g) i' j; k  ]4 x
. F2 L" I6 h/ j0 O1 R, `2 N! q" r没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
4 j  ]: M+ J- f5 {不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
( `2 d- F/ D0 u  e: j, G' A算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
7 x* b& h% `5 Y- ^, O没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
2 Y8 H, \5 p* Y6 d- Z不好意思， ...

7 U" p& ~$ {8 j% W2 y( i谢谢，算法应该没问题，就是最简单的线性回归。
$ I) X# [9 s& \/ d3 D$ G7 [我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
. Q" K, c+ q: a1 A$ e8 s我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

' u" L) l2 ~- S

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
. ?1 y$ ~% r" o) ?9 l2 I去掉了随机部分
% l" I1 W5 i: H& X# y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
/ b8 X: J1 A9 ?7 _" py = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。