继续请教问题:关于 Pytorch 的 Autograd

雷达

2 L0 m+ @2 S0 u! u6 z4 {
为预防老年痴呆，时不时学点新东东玩一玩。
: x5 |9 s: T; ]Pytorch 下面的代码做最简单的一元线性回归：
  |* V5 t: ~9 L7 ^& h----------------------------------------------
import torch
1 r( o5 R9 u7 F3 Y3 B3 v2 y6 }import numpy as np
& m  v% r) I0 P) f8 J4 Eimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
9 s$ y1 Y6 n) c
. M7 h! z* X* G+ X- fw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
5 f" w' a1 H5 n* d- qb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
for i in range(epochs):
2 W8 Y/ C* L6 v# Q# o  y_pred = (x*w+b)    # 预测
7 n' P2 L# |" Y! H9 J- Z' ?! a  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  s8 C5 r! X# t6 m5 a* N+ `* @( g% K  losses.append(loss)
  
- W9 _1 T. d* c1 i$ b0 ?  loss.backward() # autograd
( H. `( r7 ^: r7 S8 n  with torch.no_grad():
" [8 c; G" v/ N    w  -= w.grad*0.0001   # 回归 w
8 o; q" D" w9 j) h# q    b  -= b.grad*0.0001    # 回归 b
& }& H$ A% D' ]+ S$ R8 v  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
5 k# T3 a) }( Z3 P% r7 O
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
" x! J7 m, w1 Q  u# t- G& T最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
8 R* s" \7 x( b7 T/ l& ]高手们帮看看是神马原因？
( _* N" e! p3 M

老福

% W/ h7 ~9 G& o" Q  b! Z$ X' D+ \
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
% J9 u; f- h$ Y: ]" [0 ]不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
+ g/ f$ ^! T6 i5 \6 {% }-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 T9 I% ^7 z2 v2 B: O+ }( Q-------
' i$ |' R. m8 J- s9 {5 R" f不好意思， ...

( }$ l" G8 O, Y2 W7 W/ ]谢谢，算法应该没问题，就是最简单的线性回归。
  T2 Q  ^% M/ G! W我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

- j) x7 _5 }6 k4 T) w
, i- m) r  e$ y, m刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
8 R' }; u% O9 D8 E8 h9 K刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

/ \( c, O; E) V" U; W8 G. w
你是对的。
9 P+ b! `* s% w3 L: O- m# l去掉了随机部分
/ o9 O% ?/ t, U7 d#y = (x*27+15+random.randint(-2,3)).reshape(-1)
# ^! @" }0 z0 W5 _& I5 dy = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
" y: Q7 z& D7 d' l+ Fw , b
( D! I: }& Z0 m* g27.002620697021484 14.826167106628418
3 T9 [$ v; ~" d2 c, P1 J2 |
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。