继续请教问题:关于 Pytorch 的 Autograd

雷达

1 I( U4 {3 s6 G! I( N) f) V
( e$ T6 B, l2 Z4 x+ B为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
# v% Y. _+ a: O----------------------------------------------
5 k& a9 c$ S' S5 G5 w: pimport torch
) d8 y0 h. u$ G0 S( @9 pimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
( V1 [: A! c5 Gy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
* M" [5 ]* I% W3 w7 `
% e) ?! b3 Z5 S. j; }4 Q; m0 Jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
* c7 v* r- B$ N+ g4 v# Tb = torch.tensor(0.,requires_grad=True)

! `5 @+ W5 N: ?; b+ a" cepochs = 100

losses = []
/ j$ L% u/ l, B+ nfor i in range(epochs):
  [# g9 w: R0 d9 F3 S7 [  y_pred = (x*w+b)    # 预测
# n3 `& `" \' b: R# T% y5 D, ?- _8 [  y_pred.reshape(-1)

* j* d7 X! i4 \0 w/ p, \% x& E  loss = torch.square(y_pred - y).mean()   #计算 loss
" ^% g: O( p# G/ O; `  losses.append(loss)
( \9 a, f" G* ~- J( j  
( g, {: t8 ~7 I3 |( y- q  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
+ H, A! N( o4 N: r* v3 p    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
5 }% s5 c4 Z& R* P/ S1 H9 {  b.grad.zero_()

print(w.item(),b.item()) #结果
/ m0 N/ Z) V5 ~9 x; M8 K
Output： 27.26387596130371  0.4974517822265625
+ ^+ ^  l+ I( X& k+ K1 Q1 |/ L  D----------------------------------------------
% b4 T! a# V' \3 v9 t  T% D% {最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
6 E8 _6 I5 f% _' U& _+ V

老福

) [% V6 Y: c! e+ R
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ j2 @* ^7 _; ?+ |" F  u6 k-------
- G. B6 C- T8 r, e不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
8 D6 }' ^+ a2 i/ H2 s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
% q+ n! O7 K, h不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
0 n4 R- J: ~9 V$ v1 F& A/ ?我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

7 l4 p4 K) v5 C* W

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
+ f' L* I3 _1 q2 ]我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

# I: v9 b7 Q; G
/ e" f' J# c0 P9 X$ E- x( }刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

4 z; V3 B5 h9 ]% H. G6 B或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
' a$ a- K! g5 ?# X- t! o刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 Q1 s8 K- X, y6 W5 ]& j2 a
或者把b但的起点改为1试试。 ...

+ ?5 Y6 k1 {- W. d6 r8 e" w- H
- ?$ }* ]; K( c# u你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
* @+ g6 z: k( gy = (x*27+15).reshape(-1)
% t/ E! Z% T" j& y1 F, D  k
循环次数加成10倍，就看到 b 收敛了
w , b
5 G5 K$ I9 Q% B% K  N+ k- k& i+ ^27.002620697021484 14.826167106628418
$ ^0 _9 A; G8 g: ?9 a
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。