继续请教问题:关于 Pytorch 的 Autograd

雷达

# v. k( s" V+ L) T
# z& }0 N; X( y为预防老年痴呆，时不时学点新东东玩一玩。
3 F0 ~( U* m+ C2 z4 jPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
; P( b* @3 J) V# H( Q0 n5 }0 P) o! Mimport numpy as np
' C; ~) I) {7 e# n& Nimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
6 H6 N6 [8 T9 P  E5 n  f2 I! Ny = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

! v3 x; t) G; S% G9 Y4 fw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; W6 }+ F4 b% f" G# \) m% L, G3 fb = torch.tensor(0.,requires_grad=True)

epochs = 100

: Q( _- [/ [6 Y5 r/ P) ~  E* Zlosses = []
3 d) {9 I; y1 M' C- tfor i in range(epochs):
8 n1 o  Z2 i& Z. Z  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

& d# g: b$ s$ m3 r  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
* U' i4 A. J% g* u+ Y& ?9 q  loss.backward() # autograd
  with torch.no_grad():
/ n- D& S- o" M$ l  P' t$ C    w  -= w.grad*0.0001   # 回归 w
4 E7 X8 e% F8 I6 _4 V9 Q  `    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
' n7 r7 C" }$ @3 Y' K/ D! E! c  b.grad.zero_()

$ M( ]0 H% @; A4 Pprint(w.item(),b.item()) #结果
3 h4 K! R/ t$ q& O: ]  x2 b" X+ j% }
Output： 27.26387596130371  0.4974517822265625
& @- _/ \3 \5 D) K) _----------------------------------------------
; l/ s5 t: m3 H5 D, u# w最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* q9 \, k9 G* V6 {2 K/ v高手们帮看看是神马原因？

老福

2 o4 g. C% x1 z) n没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 H5 y5 j' C& `2 J0 |  K' M-------
/ ]. Z5 ]* w  d- \不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
7 ?3 Y" q) [6 z/ h5 U* g-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
' P8 Q5 E+ B2 ]! X$ q3 G: }& t没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

+ r6 ~1 N" M" {2 ~/ i% h2 N1 a1 h9 d7 m谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

# D; S- Z8 U" f$ O! M

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
: E: \  B* R& G& I我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

7 P, M; ?4 G2 g. `* m# G; d
+ |2 j3 s4 C/ E# T' S# y刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ a. p6 S7 g9 E/ w1 \+ n, a: }  J$ t
4 r2 v% j0 V/ L/ n' E7 t; Z7 ?或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

9 r$ \( n- l" U/ y或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
! a2 Z% p+ l1 i7 a% f4 V27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。