继续请教问题:关于 Pytorch 的 Autograd

雷达

3 y% v  f' \! L2 U( s# q) z
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
, {8 d  \% H# g1 Eimport torch
; C8 y; V$ K) x/ ]import numpy as np
import matplotlib.pyplot as plt
import random
6 J2 N( c7 n/ Z0 H% b; \# I
x = torch.tensor(np.arange(1,100,1))
: y7 Q- ?2 [2 b1 J& Y  n4 dy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
  K) `8 A% Z  p# m2 \3 _: B! u
4 ^% A2 T5 a4 e7 @" t* j, Lw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
4 s8 J' u9 x8 A* u( ufor i in range(epochs):
2 O+ E. N- ~# `# K- n  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
6 Z+ k3 I( v0 q) j9 }: V  losses.append(loss)
1 D; F; f, q% H; }' G9 y" Z7 m  
2 _% W* }2 y. z  o  loss.backward() # autograd
; |8 Z+ z9 k+ z6 S  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
/ [% a/ r; _+ t% B: F  C  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
9 E9 Y. ~: ~2 P5 i% u
Output： 27.26387596130371  0.4974517822265625
: c2 D. T8 i( ]# ]( V3 E----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
5 O  O* h; G' v6 E& r0 @高手们帮看看是神马原因？

老福

1 h! |+ `6 s3 _9 _" @1 O没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
  B1 G( D2 E/ L& [% ]-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
# ?# k6 X* `' W7 |$ R( b+ x没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
9 F! X7 x& `* L+ L-------
不好意思， ...

1 `6 M, }) {0 J6 i# a. h0 f7 N谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
5 b5 s9 h# W+ ]. Q9 ?0 H) E; J$ m谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

2 H6 Q' n! N% e7 y! \7 Z/ J2 R! f
$ q' T2 I1 ?/ O刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
% K' @- T3 Y6 a4 c
3 P) C/ v% k7 A- \/ R或者把b但的起点改为1试试。

雷达

- V# P5 v% X' d8 R7 z" v. k- N% k

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 I/ H2 D# f$ c7 z& m或者把b但的起点改为1试试。 ...

  `$ x4 Q4 l1 V0 `+ X- A$ }) N
7 t+ E( F7 N6 k* A; e你是对的。
去掉了随机部分
0 L3 M  K# R& o7 }1 w3 n2 J$ R#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ u7 S  n9 }" q. T) f+ ^y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
/ p* z: c; n, a( [- m& v27.002620697021484 14.826167106628418
2 G' {' E/ }$ T) P( \
3 V* C0 U" v3 Y5 l3 R' U和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。