继续请教问题:关于 Pytorch 的 Autograd

雷达

1 Z. Z- `4 I( g2 R; j
为预防老年痴呆，时不时学点新东东玩一玩。
. N/ F+ e5 a: H( X9 }8 H5 }Pytorch 下面的代码做最简单的一元线性回归：
# K- g0 C6 w: b, S----------------------------------------------
5 ?: N0 `3 n6 L9 O/ ^' k7 @import torch
8 ?' [) f4 t* o5 M  E% b! Uimport numpy as np
import matplotlib.pyplot as plt
  g7 ?. n8 b% n: C4 m# simport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
6 K/ i4 u$ b* J$ [/ D9 k8 Rb = torch.tensor(0.,requires_grad=True)
3 M  C" [0 _/ j* `/ w3 \; y
epochs = 100

losses = []
& ], F" k+ x% k, M6 S7 P. zfor i in range(epochs):
* R: K& x1 x+ k' V/ A' q$ D. ]+ q  y_pred = (x*w+b)    # 预测
* z6 G7 X# \! q. M3 |  y_pred.reshape(-1)
% p5 ]2 ~, Q# I  R' w
# W% w- `8 b4 f5 M2 h" u" ?& l0 ]2 h5 F  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
' R: n+ Y7 k3 A! t* O' M6 o  
# ?, Z. E+ Z' W# l6 o% g& l  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
% K% R9 U3 I: V1 L; K    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

  e$ ^5 _; O8 b* T. |Output： 27.26387596130371  0.4974517822265625
: u# N# z' v7 Q9 J7 V# O----------------------------------------------
7 l0 z* F7 p- \& |6 Q1 d! A8 y% H最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
. ?' P! }0 b# c$ ^/ C  p: d% K* [0 K高手们帮看看是神马原因？

老福

) O* m) F* j. B: Q# A" T
+ v  O# [/ i' r, u# W没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 b% T) }( v4 g9 I, y-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
4 m' I- b3 i  m, n-------
1 r/ {/ a: o4 S2 _算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
  q6 B8 H7 J8 h1 W+ }5 }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
! h4 d; V2 A0 I5 ]-------
不好意思， ...

% n) |& D4 L7 f0 G谢谢，算法应该没问题，就是最简单的线性回归。
: t  @% E) n; }我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
( U8 n* ^2 C6 {* e# t) L" ~我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ j( w' S  X1 K0 \% k刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, V  D2 ^- H& B0 o: s) C
/ _& h) o' u$ u" ]( b0 B2 L  N# t或者把b但的起点改为1试试。

雷达

5 a  {: p6 v% {9 D7 w  B0 M" U1 i5 B

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

2 L5 Q- @# \- w  o: ]; |/ O或者把b但的起点改为1试试。 ...

3 q% S/ a! \: p. o$ k
你是对的。
' w; ^& E: l) R; S( S8 y去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
% n6 X; |$ R" {5 gy = (x*27+15).reshape(-1)

1 D) j7 }2 @- D! |! s% k* N: e循环次数加成10倍，就看到 b 收敛了
w , b
% o% ?' u  l: t' n5 h/ l( O) J: W27.002620697021484 14.826167106628418
' c2 C$ ~2 R6 M; ~% n
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。