继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
1 ~1 ]: x4 Z) d! D$ [Pytorch 下面的代码做最简单的一元线性回归：
  r, l; ?% O$ ?$ j----------------------------------------------
import torch
import numpy as np
6 K1 X' A/ {& x2 `* B, Uimport matplotlib.pyplot as plt
import random
, _  w3 w$ L# l3 c1 Z! D: Z
- |; i+ R9 z  i2 h  t8 V- Nx = torch.tensor(np.arange(1,100,1))
* w* j5 E4 X; K$ e" n+ s8 N  a4 s) z& Cy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

4 Y/ n. s' I' aw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
$ ^6 z" D! E: ?% T
3 R. y1 U8 B) i/ }epochs = 100

) f4 {" n6 P/ n& `8 y: wlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
# v; s7 V5 [5 j; D& J  y_pred.reshape(-1)

5 ]$ d8 l- s/ J2 O% ^! r! h  loss = torch.square(y_pred - y).mean()   #计算 loss
( y' H& J5 ~# M  losses.append(loss)
  
4 L. U% P( R+ e* @# _1 B  loss.backward() # autograd
  with torch.no_grad():
1 i! {5 ^8 f) V7 _. p    w  -= w.grad*0.0001   # 回归 w
2 Q1 `1 M+ a0 U) Y1 O4 H4 o    b  -= b.grad*0.0001    # 回归 b
" h! F5 ~  Z" O  w.grad.zero_()  
, t3 O) [4 h# h# m5 n! b: H9 }  b.grad.zero_()

7 i# x6 M3 O+ m- D6 Aprint(w.item(),b.item()) #结果

  ~3 ]% P$ X7 W3 z7 n# A& h+ t- }Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* U# F6 [# B  _; f; w5 f4 \高手们帮看看是神马原因？

老福

4 [6 {/ l/ l: m( g' G没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
. m$ O* a0 N9 `% S-------
2 \: x* @* K$ n" G2 ]. u. L不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
0 }# K8 |2 @% K2 J" |$ E6 [2 l-------
9 c* q8 x# @. X" J算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
2 d) _! n7 s# K没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 q4 h' z. e% {2 Q% T* q8 K-------
不好意思， ...

" c7 C9 G/ h9 C& U; g% b. m谢谢，算法应该没问题，就是最简单的线性回归。
3 b# y( D% j  Z& G7 f我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

1 @2 m- ?8 ?% r

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 N' ^; ~3 j' o: r1 p8 F; d
6 E1 E! u6 K! E0 a& k7 x! a/ M或者把b但的起点改为1试试。

雷达

  E5 Q- f  V. t. B' ~

老福 发表于 2023-2-14 22:00
# d4 K  x: k: T0 B, E) q$ d9 P  T刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
" ?) w) i- q1 Y: z2 _
或者把b但的起点改为1试试。 ...

7 ]+ B* S+ x- c/ u( H6 ^- ^& ?
# I' y: v- H% Q你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

0 Y+ p; x8 m1 e" @! x: Q" J循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
9 z: O7 `  h/ P: Q$ I, D% i% I
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。