继续请教问题:关于 Pytorch 的 Autograd

雷达

: l% J  s# J" z' n
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
# I( J8 Z) U: V8 I----------------------------------------------
8 B) u& D" r- y: U0 |1 n0 {import torch
' I4 Z2 e: x7 `3 G4 B9 o6 M% oimport numpy as np
import matplotlib.pyplot as plt
* K0 ?0 u+ h4 Z% Pimport random

x = torch.tensor(np.arange(1,100,1))
: z! Y. K: e6 e% K# C6 H8 P* vy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

) p: T& d9 e( m  x; u& `2 Zw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
  |* o2 B2 G0 Wb = torch.tensor(0.,requires_grad=True)
7 }" Z% r9 z+ S( ]+ _
: m5 N9 z; m, W( T4 H2 Sepochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  c7 [) s& C8 x) v  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
4 f0 f" _/ ], z  losses.append(loss)
  {* k5 i* G. \  
, G3 V& P$ G3 k% X( ]  loss.backward() # autograd
  with torch.no_grad():
$ s4 k2 ]- n, i' Q0 ^7 W; B9 e: v    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
8 ~, [$ V0 d4 x$ h1 j$ K  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
8 B" Y* o" Y+ H# K高手们帮看看是神马原因？

老福

* `' O- e% U2 l! O7 Y+ x; \6 ~( D没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
  e9 |% O  ^7 c& \不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
' C8 x5 g. r+ K- D- ^) `-------
- f# `% d/ X7 j  f' X1 C% Q算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
/ V' l1 c, ]* r& s, Q没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
* ^: F" r1 t" J7 W不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
& F/ ?$ j3 I7 {) B: f1 u, H, J我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

# p! |1 r' ^, l1 A& i* S

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ J# s; S$ ~1 Y) ~+ y# R8 D& C
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; @) x- O4 t# P8 Q7 Y! S- P& B
& l1 ^' K: U9 B1 \% v或者把b但的起点改为1试试。

雷达

9 s3 A$ x) r7 m3 {* [& q: }

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

& a7 F. k: X2 y7 m. Y1 N4 s
你是对的。
去掉了随机部分
- g& l9 f0 ~+ K! o! d/ F! k#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
* @* K4 G" k+ {; S8 n6 |
# {! z1 U" D/ e/ m- L) G循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
' F, e/ e3 T, I9 P$ Z
5 z4 A' a) _' `% X# U1 o9 ]' Z和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。