继续请教问题:关于 Pytorch 的 Autograd

雷达

* w2 ?9 P8 d0 L9 ?/ |为预防老年痴呆，时不时学点新东东玩一玩。
5 ?/ n9 {& N, f4 q- i1 K4 BPytorch 下面的代码做最简单的一元线性回归：
2 i9 j8 o( y/ q* g" A$ ^  i. p----------------------------------------------
import torch
- _* V% t) p+ L+ x4 Kimport numpy as np
7 ^% U) l! H  Q* o& Bimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
  w3 P6 H- t' O* Z" ]
) k/ \- G  a4 Tw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
- p4 {7 N% D, g, E( S. v: J  bfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
" m7 @7 T1 Y. e5 u$ M  y_pred.reshape(-1)

' ~* }1 g' ~% u% d' t  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
( V: m) V- F: F% T" p  
  loss.backward() # autograd
  }. Z2 A& ?/ _; x; F. M& q! _" v5 S  with torch.no_grad():
, u% d) W8 K# p* C    w  -= w.grad*0.0001   # 回归 w
% e- n* f1 C1 y9 a$ e) Z; I    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
' l( ?! `: P+ u6 ^  h  b.grad.zero_()

4 {6 [, Z5 y& }- Aprint(w.item(),b.item()) #结果
0 A9 p% v# Y+ i1 ^. K# S% {
: A; O5 n0 a1 V8 \* z- qOutput： 27.26387596130371  0.4974517822265625
+ P& p) `' @0 G+ C" g) r0 ~----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
2 {( ~- W; B$ u' O+ N# a9 x1 N+ I

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
& y: x# Y' S# t* T, _( M+ d! Y-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% Y8 J- H' _; _+ e( l7 P-------
# h6 I& d, \- g/ p& B8 @算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
; B% L0 d2 Y' ~" O3 i没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
9 ?4 K1 D3 D# j5 n5 a! y" `不好意思， ...

# l1 B4 l) e) V' ?+ w' |6 V: G0 T谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

3 c* L& i. n- k; @

雷达 发表于 2023-2-14 21:52
/ s- z" Q& U/ _3 ~谢谢，算法应该没问题，就是最简单的线性回归。
% F! p: r6 O2 @. N9 j2 b& Y* y6 ~3 S我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

: W; \* }% a( S, n1 j5 v5 D0 P' F或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

9 [4 ~0 p" v4 i- F1 Q1 L
4 S. T' o, h0 v, _你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
: v7 L5 U% J& q+ r( E9 a
循环次数加成10倍，就看到 b 收敛了
" a% {5 h* [" U) B6 i0 }w , b
27.002620697021484 14.826167106628418
, g$ Z$ p' U# ?; D# Z6 D+ u, }
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。