继续请教问题:关于 Pytorch 的 Autograd

雷达

) J7 c! y, V- s. E( |* y
) O' ]! W+ k1 k; U6 Q为预防老年痴呆，时不时学点新东东玩一玩。
: p0 H) Y  Y) Q$ wPytorch 下面的代码做最简单的一元线性回归：
  B# H5 ]7 \- i. J$ Y4 U----------------------------------------------
import torch
import numpy as np
$ a( L  P4 V/ E- q1 u3 ]4 k& @import matplotlib.pyplot as plt
4 ]4 o9 F0 {' D1 \2 fimport random
. `! v( w; k( l- |5 m
; t% E1 k! c$ d) G% n! y9 Z% @x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
; {# N/ Z" ?9 ^4 Y" A
) L# ^4 b- ~) m4 Y. j7 ~w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
: ^: `7 |# w- wb = torch.tensor(0.,requires_grad=True)
9 F2 e; {6 Q( ^2 Z; T
epochs = 100
+ W* n% F" \5 l9 a0 B& g3 w
3 n; J2 l6 Z+ v9 {6 [losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
+ \' {$ Q' O4 M" g2 Z  e1 l  y_pred.reshape(-1)
- o4 U4 r1 W+ I; x! _; J4 ]
6 g5 `$ a3 n" A6 p7 D  loss = torch.square(y_pred - y).mean()   #计算 loss
) v3 o, U3 o" n" \8 z  losses.append(loss)
  
# I7 T3 J5 u, D  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
0 S1 t, s) n% J    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
" i0 l1 A; c# o# m1 J& c
: q8 u! p3 w4 j0 B9 Y. E9 O; hprint(w.item(),b.item()) #结果
+ l5 l* ?+ H! [3 m# B: [( E+ d& F# {7 Y
6 x/ W8 d! H. sOutput： 27.26387596130371  0.4974517822265625
6 z- ]5 k) b# S5 O----------------------------------------------
5 Q4 f0 o$ d5 n' v' V# u5 T最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
+ A9 f+ h" M+ }3 S高手们帮看看是神马原因？
2 O. Y# z3 \9 q

老福

& X: u6 B' s! ]  `9 ]2 {5 B
. ?" d3 w2 D1 J0 o没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
. L0 e2 m- {/ H6 z7 T算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
& b1 m& w. C/ |2 i我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

. \# y! C$ l: N( I4 M( }

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
6 d* p# l; D- x; o' Z+ a我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

3 y( Q# n" G! Q& H, O. z4 w

老福 发表于 2023-2-14 22:00
. p* @" j$ y$ O3 K) z' g刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; M/ r& o3 c8 X: r7 r; {7 P
或者把b但的起点改为1试试。 ...

你是对的。
: O: i4 V' G2 e' k去掉了随机部分
9 {: N: H8 o2 M#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

; A5 Y; b) B; l" Q4 G4 c" F循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。