继续请教问题:关于 Pytorch 的 Autograd

雷达

" z9 D1 H" C8 K* G% S1 u
1 W: R: n4 P! b% U5 d  R! C/ _为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
1 T+ u' c0 [1 S9 W6 f----------------------------------------------
* R  o& X7 l1 @3 [1 }* q, {import torch
import numpy as np
1 y6 t1 S6 p2 Aimport matplotlib.pyplot as plt
import random
0 t$ w& l& O9 I$ ?8 H* [( Y* m
x = torch.tensor(np.arange(1,100,1))
9 X2 ^  x: F4 m+ z4 @# ]y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

. i( u$ Q1 |1 _* X* d. hw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; \0 F/ q9 C: M* X7 ~5 t5 I/ bb = torch.tensor(0.,requires_grad=True)
8 n% ]! C' W/ o7 I: {
epochs = 100
& M8 J& c0 q7 J' G
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

8 d  K6 s7 X3 \: v* d$ j& @* _  loss = torch.square(y_pred - y).mean()   #计算 loss
7 a$ F! j& N- l. e$ B8 [' Z4 y  losses.append(loss)
  
3 M- \. o! Y# ~  loss.backward() # autograd
  with torch.no_grad():
3 L) f$ W9 z! d6 C6 N/ W    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
! v. g* w. G* N5 O* Q7 g9 g  w.grad.zero_()  
9 l0 K6 v+ Z! p" U! g, n, O  Z  b.grad.zero_()
4 z  T. s# h# w" z5 e( {
/ b3 _7 s( G2 h4 C* Qprint(w.item(),b.item()) #结果
, O. ~" j) n  ~
* M8 k- g: n5 f6 ~$ VOutput： 27.26387596130371  0.4974517822265625
& j5 j4 w3 s: t9 r9 }  E% _+ @----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
/ J: q. X5 N  m) i& O! t& r; I

老福

; }  J7 ?2 _. `9 n* A( G
2 w* s- _% b$ }: O6 v  A) K没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
' U9 P3 Z6 x4 v8 A2 p/ B9 {$ s0 M5 _不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
5 p; w" _( ~! L* `# ?算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( c5 P- I( b/ V3 Q-------
: ~( d2 z" G& k8 H$ E' W不好意思， ...

4 i9 L6 q; q; r" F谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

; Z2 e! ~# I5 E- T3 L

雷达 发表于 2023-2-14 21:52
. k9 K9 i% P) c% w6 _  g' O  U, D谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 E2 L  \/ A- [0 }' {刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
- f4 @0 y8 a' {' k刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
" w% f' `/ J* N1 B" |" |
  j3 a" \: f* m  ^; R+ o  }- l或者把b但的起点改为1试试。 ...

% J! F& r+ r( c. }. n! f1 V
( f9 k2 ~1 K8 h* f5 c  K你是对的。
2 {% Z1 d: J/ `8 X3 `去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
- n# \3 i3 k9 u' ]3 a- ?3 o8 Ty = (x*27+15).reshape(-1)
6 ]1 Q  ^* h0 D4 B% H
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。