继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
0 M% |2 R# A, V" x: C1 u% a0 \----------------------------------------------
import torch
import numpy as np
! ?1 W: r6 k  R8 y) a8 M8 bimport matplotlib.pyplot as plt
import random

" c) x+ `( ?% i8 f7 o! d8 Bx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
- o" ?' w8 _5 I6 [' ~4 B: y6 q, ~5 |b = torch.tensor(0.,requires_grad=True)

epochs = 100

$ T8 `1 a8 o& ]7 M, h) {losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
- T! |4 U7 z, q6 i) r
  loss = torch.square(y_pred - y).mean()   #计算 loss
5 C1 p8 Y: e. ]  t  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
" A4 {# T% {1 m9 R  b.grad.zero_()
4 l& {. ]( s- d2 K
3 H# I3 r8 n1 J8 W  Vprint(w.item(),b.item()) #结果
3 i" A/ s5 Y& _- @( U& p, P; N' F
Output： 27.26387596130371  0.4974517822265625
' i9 H+ E! i5 t1 r# u! v- Z9 X----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
. E/ ]) J- _& l高手们帮看看是神马原因？
# @0 {* W" T/ t% p3 X

老福

3 S3 X- F3 i$ F# _: |4 `% E
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
5 l! U" x, Z( b, E; }1 H不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
: [- }2 [' N" u* N# Y算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
# G9 U' W0 S% m2 t没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' @& Y8 S( m4 n5 d6 G- t0 n-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, a. B: G7 C/ M+ k; ~6 t

雷达 发表于 2023-2-14 21:52
8 T; C5 p6 W5 i' z9 D: ^谢谢，算法应该没问题，就是最简单的线性回归。
7 `% C" \$ d$ M- \( Z我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ ~8 ]$ g' i. L0 ?; g- ^& O7 V
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 o" L: b# x- [
9 ^; h/ x$ {( O+ m1 y) Y或者把b但的起点改为1试试。

雷达

1 L5 p& W2 X9 P. l8 `

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
  ]/ d% ~! s" f5 P! [8 }去掉了随机部分
7 L! s2 M+ M; U$ F/ Y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
% [7 @% L5 y8 n6 B2 Sy = (x*27+15).reshape(-1)
. w+ }) f2 y, |/ Y, A- z
5 M2 R) Z% }0 F0 o循环次数加成10倍，就看到 b 收敛了
2 b4 i( z7 p3 ]% w! w5 pw , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。