继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
* ?) b2 v1 }" C8 m/ W5 l5 Y1 ~) V2 IPytorch 下面的代码做最简单的一元线性回归：
, [0 A3 A' d4 j1 w----------------------------------------------
import torch
import numpy as np
  T1 l; _# l3 I0 v: C" rimport matplotlib.pyplot as plt
import random
( Z4 b/ A, L; K  P6 x! D
x = torch.tensor(np.arange(1,100,1))
' `& P( D- C( E* D/ P8 d1 `y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
0 g! I% T- v% W* F
; [+ H/ w4 u; K2 L* B3 Uw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
4 z+ G" Z/ ~6 u6 B; v. ib = torch.tensor(0.,requires_grad=True)
# L! m! \) ^: c6 h
* k+ m3 p5 _# Cepochs = 100

$ t5 K& h- A9 y3 p2 A# G/ hlosses = []
for i in range(epochs):
. ]5 O' p& Q% v" Z9 t% i  y_pred = (x*w+b)    # 预测
1 L* W' f9 T$ n' J% G  y_pred.reshape(-1)
  v8 Q/ N$ p9 V7 [
$ U! e( p5 W2 K; ?3 p4 N, ?  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
. b' u+ T  ]0 B  
  loss.backward() # autograd
' i: m( N( u0 A& h5 Y, T+ b1 i" D$ A  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
( K, r; L: U/ [3 P+ }  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

7 q, \0 i9 n% l% bOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
3 f' c- S/ l  I# a, u8 k8 a1 t最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* A4 Z5 x9 j9 ?) x0 o9 U# b8 N高手们帮看看是神马原因？
! p- R' l! |) `. _; a3 h5 O, k2 }

老福

( v: G- @+ H( z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
. e0 Y* H2 x( ~4 S/ K: ?+ m9 @-------
; V. c+ o" b+ V6 o$ D/ _  o" U算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 k0 H7 }4 n5 I) T6 \-------
不好意思， ...

6 j: U, X+ l. T% J2 \谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
0 l& K/ S" m" F7 ^谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

' i' g9 s/ \5 x0 B2 {8 d2 i8 R刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

7 a6 Z4 n# a+ y- H  O- J6 ^或者把b但的起点改为1试试。

雷达

7 t$ [5 I* F# ~6 Z( e4 X# l

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

5 [+ K/ n1 K/ [9 K( W或者把b但的起点改为1试试。 ...

你是对的。
$ v- a! X$ E* j& m去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
. l' e  H3 o* G; g6 f" I, @) h
循环次数加成10倍，就看到 b 收敛了
) Y: u' F4 j4 \, W, E5 a6 p3 Aw , b
27.002620697021484 14.826167106628418
9 t2 v5 z9 N0 ^$ j& W) n7 i& C$ C7 \
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。