继续请教问题:关于 Pytorch 的 Autograd

雷达

7 u$ [, M9 V! D9 b7 ?3 u5 y, q
2 f. s! n- _/ H% L, e8 ~, q为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
# h* A% d) [9 k- [5 ]$ [" X6 M----------------------------------------------
% l7 g' E0 ^, }; y% Oimport torch
0 K5 B6 z( S1 C; a: o% }0 Mimport numpy as np
; e2 R" _- G) `: _) r- uimport matplotlib.pyplot as plt
% t6 Y; }2 [/ E* D0 Zimport random
3 `4 L6 d% N0 @
x = torch.tensor(np.arange(1,100,1))
! g0 m$ S# l6 K: j" hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
! t3 T: Y/ Y5 Q; _  @0 b9 ~( ~( f
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; @( l1 [6 I0 Pb = torch.tensor(0.,requires_grad=True)

epochs = 100
2 l- I  e# P# _2 V* n- M
9 X( s7 S; ^5 A6 mlosses = []
for i in range(epochs):
( T: a  `9 Q: B! g6 U4 }  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

# k6 E+ z- y6 C, s! I2 o( N  loss = torch.square(y_pred - y).mean()   #计算 loss
* E3 h1 A& I; r# K/ {) D0 c0 o  losses.append(loss)
9 G2 J" m. Q( ?0 V. l  
  loss.backward() # autograd
  with torch.no_grad():
+ O7 S# h( o9 h- @$ {& {- H    w  -= w.grad*0.0001   # 回归 w
' s8 m7 y, g, q3 F9 e6 A9 r    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
4 b) _8 S! ~2 l. M1 X
" x, o7 i- K6 z4 R0 R9 Z8 c) {6 Sprint(w.item(),b.item()) #结果

+ x2 n! C1 V# W% e/ ROutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
* n3 }6 z6 J! M0 v8 S3 K2 @9 z最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
5 w" e1 y) b7 \2 r4 S" v) [# v

老福

; o$ B; Z: \" U- a
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 A. w1 ^/ R5 [& r' x, g; L-------
& Y% P) y0 Q3 |- t不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
0 h! p1 ]5 @: U, g7 K# }" \: `没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 C: O$ O1 s, P! ^8 W! f-------
6 P2 P+ D! K8 m3 F9 ?$ r, r; g不好意思， ...

/ s& O: [" F; {6 \1 n谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
  x4 i3 W! U' f谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

: Q3 i, H" O  G$ c: I0 r5 Q, \. ]7 [
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) L# _3 {. T: w# p5 |
或者把b但的起点改为1试试。

雷达

! ]- K1 k, S, t! @+ P6 j# l

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( A! j& z( M& W( P, ]
8 Z) z6 v  g& R6 p或者把b但的起点改为1试试。 ...

, u# p, N% b8 B
你是对的。
4 q) U- f% s( }' G* b去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ E% N" c' X  X6 M2 e) o' `' Gy = (x*27+15).reshape(-1)

% I6 u; m4 h$ Q% F, m2 D3 r循环次数加成10倍，就看到 b 收敛了
5 l, T7 O8 s: u6 Hw , b
1 i# H8 ?) J: A( F7 P, R27.002620697021484 14.826167106628418
9 }+ h# ^' n0 O
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。