继续请教问题:关于 Pytorch 的 Autograd

雷达

4 a0 Y2 q5 T5 s' P+ x
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
: {% v* y* ?: v  g6 q; {" g----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
2 ]+ V/ ~9 o% A* `2 ], \- O* {y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
7 U" ?% `9 D/ H, b! p4 ib = torch.tensor(0.,requires_grad=True)
0 _0 }. r# M2 V, G
epochs = 100

" F' P: D, K: k# C  |losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
8 p1 f1 c, p+ w2 H$ x/ R  y_pred.reshape(-1)

! E4 l2 e6 F" ]4 s  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
1 b3 c' J1 B" j; L0 [; h8 B8 K; Y  
  loss.backward() # autograd
  with torch.no_grad():
" X9 U0 O( y. \7 Z( ~+ f3 ?    w  -= w.grad*0.0001   # 回归 w
2 W* f4 G2 \: C- p6 P    b  -= b.grad*0.0001    # 回归 b
, j! t' A8 ^* H7 g( N  w.grad.zero_()  
9 x* E- m$ P& k  b.grad.zero_()
) N! u  V" C8 A- u1 F
' X6 `4 v8 [" m, E0 ^+ y- Sprint(w.item(),b.item()) #结果
8 {/ n/ r% |- `) |: s+ j' `! _
& F4 Y, z9 ~% [1 U( u1 }7 @Output： 27.26387596130371  0.4974517822265625
1 ^; S2 l. q1 \  _3 \$ B1 D----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
; N' B0 w1 H/ D

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
& [; n" ?+ S( P2 I2 e-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
( G2 O. i/ G& a  H7 c" R2 l-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
+ `3 X6 O% w* z- c( Q没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
3 g3 L0 o' A; P( @* X不好意思， ...

4 H. f+ \5 N, E谢谢，算法应该没问题，就是最简单的线性回归。
- O( c- _  a. @$ B我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% ~9 ?9 o. o" j1 k- l$ d5 l

雷达 发表于 2023-2-14 21:52
5 O! b  d" d( v: `% M谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( B/ ]9 X) a9 ~; ~  ^
或者把b但的起点改为1试试。

雷达

- D: J( U* k$ y+ J4 g& \% @4 }

老福 发表于 2023-2-14 22:00
* A+ b; ]* ^; r8 p5 H9 |- f4 U刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

- S: B! r  Z  F或者把b但的起点改为1试试。 ...

$ N$ u! G& W: M- q3 z# W
' `& N! r; x8 Y% H$ E: C+ N# j你是对的。
) T4 ]* r4 K' I1 A+ Q去掉了随机部分
$ T  O: k2 c# b1 I5 X6 N#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
! {  v" g" s- E8 ?( K27.002620697021484 14.826167106628418
7 f. N; z7 h8 S
" }2 `- n* D  Y6 R和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。