继续请教问题:关于 Pytorch 的 Autograd

雷达

5 l: E+ \+ H- }/ k4 {1 R
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
8 ?- @3 Y3 @9 r" K7 uimport numpy as np
import matplotlib.pyplot as plt
: Q7 N- X0 s; a$ K+ Vimport random
& q1 T2 m: h: K* g
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
. p. e( z, @  N; |& p# a
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# P; I/ R! H7 ^, y/ _. A% x3 zb = torch.tensor(0.,requires_grad=True)
; v! V$ F6 H$ q# j3 [6 h1 ?. P7 K
epochs = 100
( W$ F" q0 f' E. o( N2 o
losses = []
5 v4 @% Q$ w' l0 ]! C$ }$ `for i in range(epochs):
  y_pred = (x*w+b)    # 预测
. R- U& H9 |, Q) T9 U% |  y_pred.reshape(-1)
0 \5 M; u9 r' y5 w5 t) g
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
6 q: {2 z5 N0 C' Y$ }. @  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
6 r1 _( L9 g' O- G  w.grad.zero_()  
$ ~7 C5 a' H3 |( v. r  b.grad.zero_()

print(w.item(),b.item()) #结果
; X% y) k  A" t5 W$ z' K
Output： 27.26387596130371  0.4974517822265625
, X9 \) A* F) {- V6 w9 u3 R----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
: K  [0 T- J: a3 y高手们帮看看是神马原因？
7 f5 R. W" d: v" k6 L" U

老福

: y9 R: ^: M( d' T( U
& k9 v0 p$ \" O+ j5 }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
* p$ f+ \, t+ o' H2 A# A9 N. ~-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
. Q1 D$ x0 h# }: T8 v9 ]9 q0 J不好意思， ...

6 l" n# z" v4 D! m9 s2 U3 z, t谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

+ ~/ k( Q6 s- d+ l

雷达 发表于 2023-2-14 21:52
' v+ s1 z( r: t/ n' x# Q' X3 U0 \1 {谢谢，算法应该没问题，就是最简单的线性回归。
$ A/ T- q0 C( l8 w9 d; Z* z$ W9 S我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 A: H! k( S4 P1 f; L7 u  Y) Q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

6 v+ v6 s, s* @+ T* h$ N或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

& k+ q" |4 Z3 \4 _或者把b但的起点改为1试试。 ...

/ M9 [- }6 g; q9 ]4 c/ j# k6 ^" J, q
; ?# N$ y, R4 K1 r' _你是对的。
6 i/ @& V4 ]- n- j去掉了随机部分
, l* P/ J# J# H, e& m0 [#y = (x*27+15+random.randint(-2,3)).reshape(-1)
4 l. T, w/ K$ p: c' vy = (x*27+15).reshape(-1)
, ?3 b  C. k* X0 X
循环次数加成10倍，就看到 b 收敛了
  C" k/ ^2 ]7 R1 G0 u5 zw , b
# \7 \/ y2 t. b3 x# {27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。