继续请教问题:关于 Pytorch 的 Autograd

雷达

" t/ }+ f% E( `! L+ C& L/ k+ y
# U) @" J, g+ K+ J为预防老年痴呆，时不时学点新东东玩一玩。
+ t* V, |& x9 Q# L6 C* nPytorch 下面的代码做最简单的一元线性回归：
6 g8 ~. p/ ^& B+ v4 }----------------------------------------------
7 v5 y. f  {0 M, z* cimport torch
7 u  A- a, }# r/ T& q# \9 W2 O2 }import numpy as np
# x" [2 ?7 i1 V0 F* q5 Qimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
8 ]" u$ y" i  C' Wb = torch.tensor(0.,requires_grad=True)

, U  y7 n' u; ]/ e0 ~: F. w9 Tepochs = 100
5 v: g4 I) {' Y  n8 V
losses = []
1 [0 e4 f# I) G5 R# ~& {for i in range(epochs):
0 U' K/ B9 Q8 K  y_pred = (x*w+b)    # 预测
' [: Q; Y# R: N; |$ t! `  y_pred.reshape(-1)
: n; ^5 Q' s, X1 d" b5 ?
  loss = torch.square(y_pred - y).mean()   #计算 loss
9 a" r: D% v; d& |  losses.append(loss)
' w! r/ k+ r+ s: H+ M" {7 a  
  loss.backward() # autograd
" W9 _& U4 J3 A. x7 ~* m  with torch.no_grad():
, W9 E3 ]! w+ r- g9 @    w  -= w.grad*0.0001   # 回归 w
2 K" s& i, e6 S( p7 A6 i    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
! `# V6 f- L) Q2 B# D5 f7 d----------------------------------------------
& `' E) @( \. {& C7 ^: `/ x: R最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
3 U( \, K) m) Y) Z. L. w: g/ q: B

老福

$ q' Y1 y: d1 _# a3 k8 m
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
0 g7 ?) j/ B  y9 _不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
# y' e2 \2 l  f6 D5 B算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
6 _) r0 B3 y9 E-------
不好意思， ...

- T1 ?0 H5 y0 ^/ h* o谢谢，算法应该没问题，就是最简单的线性回归。
- m% ]: ~5 c; P. r& ?我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
3 ~9 _, m/ D# B9 a" i/ l谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) c. p* A! G1 l4 d" R1 F
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 H' q% b+ g# m7 Z. i2 T4 q或者把b但的起点改为1试试。 ...

" v& ^- t6 y) _
你是对的。
  q7 y; _1 Z/ F/ [5 r3 W4 z去掉了随机部分
, Z, c4 S* b% Q7 \#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
8 S$ n6 E2 Q8 U, G7 T
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

7 O2 g  x4 T6 S# m) S和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。