继续请教问题:关于 Pytorch 的 Autograd

雷达

  f$ \' `* s- Y; ^9 E/ _; a为预防老年痴呆，时不时学点新东东玩一玩。
9 |+ V( l7 K; _9 k% |& UPytorch 下面的代码做最简单的一元线性回归：
. G0 J2 v. @( J5 E( }----------------------------------------------
import torch
, x" x, O# S8 kimport numpy as np
1 H% ^5 s* u1 T2 v8 Wimport matplotlib.pyplot as plt
import random
. q* x1 f) X3 w# ^1 M6 W
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
  z/ f/ h: ~" l) V; Y( X  j' g  Wb = torch.tensor(0.,requires_grad=True)

- ]  @" G; B5 a8 Pepochs = 100

2 V$ X0 d, |7 H: `9 Rlosses = []
for i in range(epochs):
5 Y( q' c$ s% `  O# A  y_pred = (x*w+b)    # 预测
3 ~8 [( ]% h# u$ C' o. [6 X3 s  y_pred.reshape(-1)
4 x( y' `2 X, ^8 P
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
5 l, G" b) Y3 m$ r* `  z% a3 O  
7 p9 }+ q% E1 }8 t  [  loss.backward() # autograd
4 F: Z% x  x8 j8 H" f$ b- _  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
# y% E6 R6 l+ ^7 ^+ |    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
, V/ d, m- P. r: S/ G# G  a- A  b.grad.zero_()

print(w.item(),b.item()) #结果
7 Q0 L6 x8 b/ x0 ~6 l3 d
Output： 27.26387596130371  0.4974517822265625
  e: ]# f5 s5 O; q" j  y----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
5 e; u% ]( E5 W3 T1 X8 Y! L/ ?

老福

; U" ]: x7 N, }4 p- V没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
, ?' j6 \7 r7 A$ a" z0 @/ n-------
; K; R+ i* a+ t# O不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- M2 e  t6 O0 O% H/ U8 Z不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

3 O/ ^! @. G! r7 h# `2 e0 ?* B2 B

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
" Y; J6 ]; q0 T0 Y& d我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

9 i/ f7 o& c6 Z, b1 S- u或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
4 H* J1 {" c7 r& M! N3 O% W2 E刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

( P) |0 K' w: X1 p7 l0 |或者把b但的起点改为1试试。 ...

1 u( i: r+ _  b* m* n你是对的。
去掉了随机部分
+ P) t, k# `3 ]' X3 }6 ?1 Z* B#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
' l5 c9 s. z2 n" V! p% b/ }
6 R# \# `4 S, Y' T. W5 \0 T循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
; v+ N  g& o, Z" s7 I# R7 R
7 R: p  O, Z* o1 B和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。