继续请教问题:关于 Pytorch 的 Autograd

雷达

, g1 W- K: I6 b% D为预防老年痴呆，时不时学点新东东玩一玩。
* K/ N. t9 L1 ^5 q5 aPytorch 下面的代码做最简单的一元线性回归：
, e$ k9 ~/ u  K0 o0 |# P7 j----------------------------------------------
import torch
7 b$ D6 W: P2 A5 i3 D; x$ H" Q8 y9 gimport numpy as np
import matplotlib.pyplot as plt
import random
: p. U5 y6 D6 a. @
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

" I1 X, p6 P3 `2 ?/ s* E. U( A4 Jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
4 s$ P# q3 H, ]0 c  B8 {8 {0 i8 ?4 T
epochs = 100
% B0 N- }* w( c$ Y7 E/ L" O/ d
3 |4 Q5 W/ Z4 L+ o) slosses = []
" R. t, e; e; h( I  E( mfor i in range(epochs):
9 {- v: G+ P. e& A: o' v: ?  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

. L" X* f" a# Z1 r+ b  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
% F+ }$ Q, F1 Y# ~6 N$ R    w  -= w.grad*0.0001   # 回归 w
% H% g$ ^2 g  c; \( A+ [' P    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
# U- e  B' L0 v% G. q  b.grad.zero_()
$ K) C' ]: p6 ~# u; v( }
" R+ i, K0 H5 @7 l/ sprint(w.item(),b.item()) #结果
1 M2 x7 {! p& O% F0 T
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
) q- B3 o0 U8 Z高手们帮看看是神马原因？
  J9 W$ C5 ~0 B9 q' m

老福

/ s5 ^0 @, q4 l* ?3 Q  Q$ o
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; j; a( M  Q3 `  P9 {$ l-------
& b' a7 o: R! Q0 V' v$ I9 k不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
  `0 F* t" w. f2 k, c( Q( s-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
1 V5 g$ |5 V4 }% A9 b" E5 ]不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

! o9 o1 T8 e% S8 ~8 m$ s

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
* D+ @# c( `' ^6 D$ q我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

" @  ]8 |! g4 b" ?1 h: m7 t! d
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
& z) m' H0 Y1 w( V9 y! B# `& R. A' o刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

3 A5 X3 ], z4 L7 T. ]4 p+ J# y1 n1 @或者把b但的起点改为1试试。 ...

. P$ G  e2 [3 U" K/ W( [: t$ B
0 e$ R! e  d4 }7 h你是对的。
9 r$ D( m& ?4 y' D去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
) ^2 E+ T- a2 Sy = (x*27+15).reshape(-1)

2 O  e1 r0 |, m8 M1 X, W循环次数加成10倍，就看到 b 收敛了
w , b
# ]' d& P7 p/ Z; w# Y4 t27.002620697021484 14.826167106628418
- |2 c6 t2 L' M% S2 v% s" c, ^5 R' y9 {
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。