继续请教问题:关于 Pytorch 的 Autograd

雷达

1 S% d" u* p( j1 f& q1 ^+ q3 j
为预防老年痴呆，时不时学点新东东玩一玩。
) e9 Y" y. q8 j( H6 m* APytorch 下面的代码做最简单的一元线性回归：
: |( e! {; v) F! V/ j4 H- P----------------------------------------------
import torch
import numpy as np
8 t! j, y# R- f4 _import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

- w0 D% Q% B$ }9 Gw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

7 [8 y+ E2 ~: P% \* S7 n( sepochs = 100

losses = []
+ j- x9 |/ X6 h# a6 z' d: ?) J/ sfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
# ]& y$ [! a6 ~6 N1 Z# N$ Q  losses.append(loss)
  
% `( C( S2 g! w* }& x  loss.backward() # autograd
* ^. g; l0 _* l  x$ E) s" \  with torch.no_grad():
, i) a* |) M! z# d$ o    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
. I( r! i+ X. Y7 P, T% w$ T. h
print(w.item(),b.item()) #结果
  t% P2 O* q: Y* w
' ^0 D0 P/ P6 N# Z: F5 d6 J1 LOutput： 27.26387596130371  0.4974517822265625
1 Y; L- f( ]6 z; i  ^$ D----------------------------------------------
! s' d. |; B6 t* Z3 i% s1 K最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
( g# Z4 P8 Y8 V* M" U高手们帮看看是神马原因？
' b& M9 L( \5 v% F5 Z1 F4 k! o

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
  Y, ^, E* N# I- Q$ V& i; Z-------
: V! O! ~+ ]7 W1 x8 x, i不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
9 @. ]8 i5 q" i% k' X) K- `-------
/ j: t1 U6 K( ?8 I不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

" l2 d% P, }, q9 m# E/ q

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
5 G9 p% g1 G  b我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
' H2 P/ y' c6 h. Q/ I
! L  i( s8 K; q- l或者把b但的起点改为1试试。

雷达

  A7 W; _9 m6 T2 }# K

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

+ ^! C! Z0 W3 \- ^" y. Y4 D3 p或者把b但的起点改为1试试。 ...

' O8 A- D* _) q. t, ^/ L$ H
你是对的。
9 b2 o. d- o. T8 Q去掉了随机部分
7 \7 W- s5 a9 ?# U0 I#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

% G! G, K. W# l  R: O. d循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
; V" e2 e6 I" a  ?/ n& _
3 l( W) P" Q& d1 M) G  w3 C和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。