爱吱声

标题: 继续请教问题:关于 Pytorch 的 Autograd [打印本页]

---

作者: 雷达    时间: 2023-2-14 13:09
标题: 继续请教问题:关于 Pytorch 的 Autograd

, C, u! U! o3 {+ F
- F& |3 s* |4 A8 n1 U( Q为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
4 g0 H4 b" y/ \----------------------------------------------
import torch
/ v& L# f4 V. s6 Simport numpy as np
import matplotlib.pyplot as plt
import random
" h  C& k& Q# E4 W
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

& [# N- M: y. S0 ^7 Jw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

1 A% H3 {, j) e1 c+ i/ ]5 Pepochs = 100
: H5 H1 V. b  i7 s# u6 ~
9 `, }1 N% o$ v: xlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
& g) V/ I  L7 {$ A9 }2 `  y_pred.reshape(-1)

9 b: Y: U, @/ N8 B) U. ~  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
- `4 z8 v- y& }; V' h( W6 t  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
- L  |% J# Q) u0 @! L# u8 ~    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
: k/ g: \( ^7 X  b.grad.zero_()
0 e- ~) X) X% c, s- [- v
print(w.item(),b.item()) #结果
4 a2 l# T2 R+ Z2 _
Output： 27.26387596130371  0.4974517822265625
1 F& o* Z+ ^& x/ y% Y----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
) n1 q- w6 k' C8 o* W$ t: ?4 O

---

作者: 老福    时间: 2023-2-14 19:23


没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
# B" o) k1 A4 X$ [2 {& F不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
2 Y2 K% o0 |" |$ f7 S算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

---

作者: 雷达    时间: 2023-2-14 21:52

老福 发表于 2023-2-14 19:23
+ v  d, d, E; p5 a: C7 S没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 Y$ t0 O( |3 @& C" W-------
  X3 g7 l6 f: R/ b不好意思， ...

6 k$ z, I8 Q. P1 o# s谢谢，算法应该没问题，就是最简单的线性回归。
2 b6 L  I) @; a9 @3 U- K; _我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

---

作者: 老福    时间: 2023-2-14 22:00

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
3 D. m0 y, T& e我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

1 Y3 }- v( q0 I! Z9 _
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ G% A$ ^/ a: \' K# Y1 G4 l9 X
( K: J+ R& V6 q  A或者把b但的起点改为1试试。

---

作者: 雷达    时间: 2023-2-15 00:25

7 K$ t' j1 h. x7 ?3 t

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

# I; u" H0 H6 |0 u' a. `3 t或者把b但的起点改为1试试。 ...

# q2 J+ n* z4 z3 I3 R你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

9 P* ~, z7 t. S循环次数加成10倍，就看到 b 收敛了
# F4 w3 a$ G" ]; U" M" vw , b
5 y' _% w/ ]: s7 S/ ]27.002620697021484 14.826167106628418

3 {& q5 B- Q8 D. E和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。

---

欢迎光临 爱吱声 (http://aswetalk.net/bbs/)

Powered by Discuz! X3.2