继续请教问题:关于 Pytorch 的 Autograd

雷达

# l, l0 P! A) S- r% h& \6 X为预防老年痴呆，时不时学点新东东玩一玩。
4 k9 i3 w& Z' h$ X3 yPytorch 下面的代码做最简单的一元线性回归：
6 Q5 y: K4 H! Q3 Z3 g----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random
! _. e' U9 m/ e
x = torch.tensor(np.arange(1,100,1))
5 _# A" Z( Q8 t  F1 Q0 Zy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
, R5 `& C6 a; Q% _b = torch.tensor(0.,requires_grad=True)
  D, |1 }5 N$ t4 H3 x$ Y9 J
epochs = 100
) M5 v3 d: s0 G0 w) W
losses = []
+ {  _) i, R) L5 sfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
( h- z8 R  J! O  y_pred.reshape(-1)

% m7 Z9 N& b" R4 ]! Q7 [# n  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
0 P- C( v" Q6 x& b, j  
  loss.backward() # autograd
5 Z1 w# S5 y% T% }+ s9 v  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
, |+ v4 c; E- j, \- @  w.grad.zero_()  
! F" [: `! r3 a' J; V  b.grad.zero_()
* v7 g8 p" T6 J4 \9 l7 I5 p
& P7 e* a2 d- a# G  [6 vprint(w.item(),b.item()) #结果
8 x$ J# M9 x. @, U7 f6 a
5 ~; r2 Q) E5 N6 `) R( a! e: LOutput： 27.26387596130371  0.4974517822265625
. o: l& L' K6 z9 ~3 j. O----------------------------------------------
7 ]' a6 g3 @, g" p1 t3 {* Z. a  Y最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
5 H$ h( e0 J5 }5 T) b* t2 x/ S' r1 U高手们帮看看是神马原因？
6 M7 U) X) s, ^' d# V7 }+ F

老福

# o# D6 B& g. u* T( k4 j
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
$ O$ N) l2 _: `/ B3 P: G# E3 u1 I-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
; a/ ]# S0 S1 }  E" S-------
9 |' v9 s+ N7 ~: Z  {, ]算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
9 |/ S1 k( d) t; M8 v; z7 }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
5 d3 F: a! N$ c+ b  E不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
- X2 R0 S0 Y$ C! d! T3 u5 d7 c我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% G1 }+ z* T9 Y# _5 ~% c, S  Y

雷达 发表于 2023-2-14 21:52
- g9 V5 K, A0 L$ G! B' x谢谢，算法应该没问题，就是最简单的线性回归。
' T! Q( x- Y" A7 Z( ^' ]) |我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

3 C! m7 N2 `( v1 I" T刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 {( L  @# g. u( y" b
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
) R; F7 N( ~2 l# d& X刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

, X& ?0 L! t  v7 W你是对的。
, Z7 D1 i/ b( r去掉了随机部分
7 n- O0 b5 l/ e+ [. D1 E. p- n, C6 S#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
: m# I$ Y" U1 T" y5 ]* \
循环次数加成10倍，就看到 b 收敛了
' l8 W# D; O: k8 H+ a- nw , b
27.002620697021484 14.826167106628418

2 ^2 Y1 K0 e/ y2 g4 U) }# C; J1 ]. f7 A* \和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。