继续请教问题:关于 Pytorch 的 Autograd

雷达

; n5 d9 j. g1 L% P为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
2 o+ u. C- f% t5 G3 E, {0 ~# n7 q5 n6 K----------------------------------------------
5 \0 X2 n: s7 B" ~import torch
6 R. K' n6 m3 ?6 Q) L* ?9 [import numpy as np
2 v& X, w- Q- p  Kimport matplotlib.pyplot as plt
% B' O  H& Z. L% U1 S% Jimport random
% d* h; P% X5 T; S
x = torch.tensor(np.arange(1,100,1))
6 Y$ t+ \0 u6 Y3 dy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

& ^6 w2 x! r1 Z; B- Gw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
: ^! @, t3 O0 d  P. r- s) k/ G: u, Wb = torch.tensor(0.,requires_grad=True)
; K* D0 f6 d  Z1 e
9 h2 Q0 e% x( K- Y, h* Z' m1 F( Fepochs = 100

! y- v7 e$ Z# Q: i3 d; Mlosses = []
7 s8 t. q; O3 e5 H" Ifor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

8 y: W) Y$ V7 \! i9 y0 d2 B  loss = torch.square(y_pred - y).mean()   #计算 loss
% Q- B8 l) m  Z4 H% q" [& G: E  losses.append(loss)
  
  loss.backward() # autograd
' f+ S0 _' o% P, B* [  with torch.no_grad():
5 B+ i8 t0 i. z& Z; k5 N! N    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
$ J- G" p( M! A/ C1 @. F: N! X  w.grad.zero_()  
+ k8 N* U4 E' n6 [% J  b.grad.zero_()

. Z4 m+ F0 v9 I& H; w$ [% yprint(w.item(),b.item()) #结果
: n+ N0 z+ U$ G$ L% z  I
Output： 27.26387596130371  0.4974517822265625
; J2 a2 C2 ?* Y* t----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

# e, J  G9 H# X% B- ~8 S+ U/ ^没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, U* I9 X( n' W8 o- o不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
7 _1 m  t- q1 R# s4 y1 _-------
$ w5 t, y" _1 M, G, ~) J算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
. M! L3 d1 `- l不好意思， ...

! |8 f$ Y" u' w3 S' G# c  L8 W) J谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
( a2 d, O+ H; v: U7 n$ v5 e! V我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

' j3 @7 E1 g/ B* }& M: F& p  S
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

; W' k' T/ M& P5 w% R

老福 发表于 2023-2-14 22:00
" w+ L: v* T+ l2 Q4 A: A8 P  a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( `! b+ k( p  C7 _: i
8 n- ?8 ]. ~7 h" P# [+ A! ~或者把b但的起点改为1试试。 ...

你是对的。
1 q* I# V4 G6 q& |- M9 @9 @/ f. G# u- W去掉了随机部分
/ q6 i6 _0 r8 j#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
+ S0 ?) w& P9 h4 uw , b
  W6 b% K5 s$ o. d27.002620697021484 14.826167106628418
9 k5 z& Z( g) |& E* R
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。