继续请教问题:关于 Pytorch 的 Autograd

雷达

9 j( p3 J8 }" K2 V% S& {2 p
3 [6 i9 y: z8 A! e为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
- K  i% B* r- G7 }; e9 U. zimport matplotlib.pyplot as plt
/ j" G8 N: O0 N% ?import random
' m* z4 r& [- F; S! H% C
5 B0 h. a" a5 n4 B5 O/ nx = torch.tensor(np.arange(1,100,1))
/ H1 P1 \. m* Dy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
, S; F6 n* D* ?
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
  ~1 q# c6 M% H3 I3 R/ Db = torch.tensor(0.,requires_grad=True)
6 r- U% u& p6 ?1 T8 s
epochs = 100
9 C8 c$ H( K2 l7 Q
8 ?( h. X8 L; u( W" Q6 U1 h) Nlosses = []
) m1 G! j9 u5 ]for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  l0 ~7 }! l- M( n# ?  y_pred.reshape(-1)
2 o- j$ r1 T4 @/ T; Q3 h' c6 t
! n0 p5 e; O4 ^) N; P9 ?( C  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
* O* d9 b7 E/ M& o" g1 T  
7 q7 G; P9 a) M1 L  loss.backward() # autograd
3 R6 G, f4 w% r) {  with torch.no_grad():
# i! J6 V" Y- ?- t8 A    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
+ M. x& o  {* r) ?; x  b.grad.zero_()
7 ]/ b3 ~4 T+ C0 B( X
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
7 d1 l. J6 V4 O- s( V最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

( `8 j8 @0 {) K6 D
7 U% `# |7 e$ `2 t0 Z" K$ G; B没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 v8 v- q8 C$ B4 l7 L5 V-------
) @2 `0 s# \# n4 m- P1 B& h1 ]不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
, p2 O% _* ~. U0 l) i算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
: S0 p/ n! b3 W1 D没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
0 n: n. K: B! q1 y; c( L) ?-------
* u/ ?. O* B5 Q, ^' l2 \不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
0 g$ R0 ]" G7 b; r9 _4 y* {我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
1 o  b0 M" D" c5 ^4 |2 l; X谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

! Y" s8 _6 C3 y. H& j  ~
/ y/ b" H" h5 c0 @% i; }, E2 v刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' D1 ^8 V6 W; A( c: {$ E8 b或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
& R) I  C. Q" A4 J刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

  i0 m' h, E7 j2 m) l$ R& v+ c; O6 D0 _
; {* \3 \, j, m- Z) ]8 X* h你是对的。
去掉了随机部分
, o0 ~4 R; C, q#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
5 J2 E% x: g3 ]( J9 E
+ @! G$ e' W4 ^2 v" g7 v1 A循环次数加成10倍，就看到 b 收敛了
) r% Z8 N% K0 N$ @w , b
27.002620697021484 14.826167106628418
: v  [. G" O% U. _, W) W* `4 t
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。