继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
/ g2 T9 W' y* ?- H9 e8 z4 E2 Z$ K; HPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
) e+ }7 @: p/ f& u3 l- uimport torch
- Y3 j" K2 _) l6 ~( z; zimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
5 I" f9 P- i4 A8 ty = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
0 U) S0 t+ t# v$ @. f
# D* O8 I/ x9 D6 gepochs = 100
& y) ]1 L( w' Y; o7 H, U
* P- k- ~5 {8 l4 @8 g0 h6 h, Qlosses = []
/ z: R/ k4 z! t, {4 b3 I; Ifor i in range(epochs):
  y_pred = (x*w+b)    # 预测
0 |  T  c# j+ S4 ?  J. `  y_pred.reshape(-1)

# w: _& c6 E& U$ m  b9 o+ r6 J  loss = torch.square(y_pred - y).mean()   #计算 loss
+ I9 b  s2 E* f1 `& x  losses.append(loss)
& w  i7 Z1 l0 B& |' m. D5 t  
  loss.backward() # autograd
5 O1 I5 b& M  d8 D. z- q4 z  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
$ @; v8 u' f1 r# B8 o+ H/ v* G  b.grad.zero_()
9 e( w( k# h4 L+ n. u7 {
" s- c7 P' X/ ^1 @: k# Wprint(w.item(),b.item()) #结果
1 ?( {" z2 J% y5 e3 z' l, `) _8 c
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

' C; B) o2 s3 y$ S6 }
2 }8 p8 ?( s0 M7 }0 Q没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; O- o8 X6 D! V7 ]5 [( C-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

4 a6 Y: n; ~6 I/ I

雷达 发表于 2023-2-14 21:52
& v( \" \4 L5 ?0 ?; P3 S1 Z' F谢谢，算法应该没问题，就是最简单的线性回归。
/ W! t' P2 s$ ]4 L5 |3 c我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

9 H% Z( M; U* U
& g+ I8 E) d: `+ j5 U+ i刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. O: R. ^* m+ G0 ^( B' _
/ H% {4 z% Q  @; l或者把b但的起点改为1试试。

雷达

4 Y$ P! K6 I: z) v

老福 发表于 2023-2-14 22:00
6 v, g- Z1 I) F- Y( l. I, U刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 L. |! _% u; S  ]
2 D) K* }& B, o: _9 A3 _或者把b但的起点改为1试试。 ...

你是对的。
2 R) ~4 c7 I# ~4 d/ m* }去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
$ A! S% O3 q0 {. e( [y = (x*27+15).reshape(-1)
6 L3 ^% r% C. `
循环次数加成10倍，就看到 b 收敛了
" c1 T2 y- f' R6 h% Zw , b
" W6 ~2 U7 d3 Z/ M/ \27.002620697021484 14.826167106628418
6 {: G  L0 H" o" }* V6 ]; }2 x8 U
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。