继续请教问题:关于 Pytorch 的 Autograd

雷达

. a! V$ I/ ?; l' z4 A7 A. ~, z1 m
/ c; j- f5 r5 ~( J2 e. j4 k为预防老年痴呆，时不时学点新东东玩一玩。
& S! P" s& z' l+ a% x; rPytorch 下面的代码做最简单的一元线性回归：
: Z, o5 E% g" Z) }# E----------------------------------------------
import torch
2 ]' [& Y0 }+ X. @* ^0 c1 ~import numpy as np
+ `% m( {; ]  g! e2 Limport matplotlib.pyplot as plt
# `& p; D* M- e+ cimport random

; R& J1 B) y" X* b, J2 Tx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 k9 _- J8 {0 z& L( Z
! Z6 q' z, [. D; yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
# n3 X$ r/ X$ M
epochs = 100
- U( ^2 b1 n8 C; d/ w) w
losses = []
9 q9 b6 x. r% @: c6 ]for i in range(epochs):
  y_pred = (x*w+b)    # 预测
; b% D$ f7 q- g  y_pred.reshape(-1)
7 H" ^" s5 i7 @* l% _  [
- B) _+ N) d9 A" A9 @# H  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
9 Z& e: e5 X7 W# D4 I- Z  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
0 o9 P! e, o2 B5 F* B    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
$ {- y4 [6 Y9 O6 g+ V. P! V2 @
print(w.item(),b.item()) #结果

! W) ~' G5 P4 g5 d! r: _Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
) s- j  w  G: M% t6 i6 e, C- J高手们帮看看是神马原因？

老福

9 M: Y3 ~* c& u; C% Q
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
+ L! }1 ?* C* G/ h* j-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
) Y2 P0 p. x* @2 o4 }. I, w$ S-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
& Y! Q4 @5 }0 r- a1 j: ?3 b4 }5 o没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
1 f* H0 S& t' \" t$ _# f不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
- F6 h6 m# p  O8 Y' z7 W谢谢，算法应该没问题，就是最简单的线性回归。
) S, p6 [( e/ G我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

" }* O" T. @* l5 D- u刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
2 J+ @) b2 _2 i5 q& m' u- M1 a: \# l
或者把b但的起点改为1试试。

雷达

0 G, o5 o0 h8 l+ B& W

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; _( |8 K& s5 c: q
; a% Z# P" C( u+ u, a  m或者把b但的起点改为1试试。 ...

7 h) ]9 v2 w4 U9 d/ Z: g
你是对的。
去掉了随机部分
$ p" b: W4 D2 r4 Q" l#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

: I4 ^8 C% P* }$ }! ]循环次数加成10倍，就看到 b 收敛了
5 f- v* R5 Q1 c7 Y* X, Dw , b
0 z3 w5 |: o1 B( U; W8 f27.002620697021484 14.826167106628418
, W% C3 J- S$ l* v+ K5 Y5 C
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。