继续请教问题:关于 Pytorch 的 Autograd

雷达

8 a& ~" ^6 j! u5 S' @7 R9 j为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
0 d, ~, O% |5 Y8 timport matplotlib.pyplot as plt
7 o: K0 v) Q7 T7 [3 Aimport random

x = torch.tensor(np.arange(1,100,1))
5 z0 t# J  f6 I' m* qy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

; Y9 [! `( u$ x4 U7 r" K( Q8 Fw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
& b* N: ?1 W* c) p: k* Mb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
0 T/ g$ Q! K! c9 ^# B! Q. f
* ]5 i* m/ Q( x8 p1 ~/ ?6 c  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
9 V; y: w6 W7 C' V  
  loss.backward() # autograd
2 y  }* O" e! R8 U* }) H7 l) P  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
& ^$ p! _1 m1 w    b  -= b.grad*0.0001    # 回归 b
7 K, R+ W% ^- @# Q3 f7 B2 t  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

2 Y) J+ W/ e4 [0 I* A. SOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
$ ?) \& Y$ B4 {0 A2 U高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
" X- s7 |; [) |# v( V/ L. y; _-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

$ Z' A, E/ h. B0 Q6 `谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 O( i' f$ E7 D

雷达 发表于 2023-2-14 21:52
1 Z$ O' r* B: c谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

0 P$ ~+ r) z$ `% H3 g
) V" Q% z5 X+ j, K3 h7 x刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) k- P% o, C$ x/ w4 x
% g  C. e$ I3 x7 @* U或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
% S8 K. k+ p! {) k% _' R去掉了随机部分
- H, O1 @! S4 f, ?7 n; d6 L2 S* H#y = (x*27+15+random.randint(-2,3)).reshape(-1)
1 ?* f/ a' ?3 m! @/ W2 r0 Cy = (x*27+15).reshape(-1)

* H: n1 q% l/ @: ^8 m循环次数加成10倍，就看到 b 收敛了
w , b
3 y- P6 r, s4 T% f' U27.002620697021484 14.826167106628418
0 L* t7 _6 [( d, ~& y* {3 T3 Z+ `3 I
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。