继续请教问题:关于 Pytorch 的 Autograd

雷达

6 k! f' B1 Q) P: b/ Z# t+ M& Q( d
为预防老年痴呆，时不时学点新东东玩一玩。
% F0 z% @( q! c, X/ G0 D3 TPytorch 下面的代码做最简单的一元线性回归：
9 Y! U& x+ ?2 G: j. [/ {# R2 G----------------------------------------------
import torch
- m# ]* B1 I* Q0 S& r1 a* Mimport numpy as np
  H& d0 H% L* d& C- P' z% n; ^! mimport matplotlib.pyplot as plt
import random
4 q2 e5 O8 v+ F1 ?
8 a: E( k9 N' n# X( D9 ~x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
7 b+ E' }% d& M7 }
3 T8 e5 [% f3 d% q# Hw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
9 j& t: E2 b  Xb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
for i in range(epochs):
  ^$ K  o1 h4 Y2 T% Y  y_pred = (x*w+b)    # 预测
3 e% }; D" h) s  y_pred.reshape(-1)
9 T* f7 J; F$ Z: G
  loss = torch.square(y_pred - y).mean()   #计算 loss
- c2 Y4 ^. W% f& P( P( k6 W3 y/ q  losses.append(loss)
3 a& ?6 z( I8 p8 }- J  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
2 |- b' r$ N( x) @  w.grad.zero_()  
  b.grad.zero_()

+ S8 M4 L9 B0 h& nprint(w.item(),b.item()) #结果
7 C( ~5 F, _) \
  {2 N8 h1 I1 g+ }6 `/ Z, Q4 UOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
. E9 g/ k) z/ T最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

+ V: K. X2 F7 ^+ o  m1 B6 Z7 ~2 M4 t
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
7 l/ ]. U. m2 P* K( P-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
; V; P- ^0 S/ T& t: f-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
7 _$ n! |( F% v" P# R" ?& U# u没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
6 p- N+ i3 c5 T8 |不好意思， ...

! c1 l6 C9 m" }谢谢，算法应该没问题，就是最简单的线性回归。
9 z& U6 M. h) D7 K* ]我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

# X5 h" T: k7 u# c

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

( ?; W" }- m$ N  l
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 c* Y+ f9 g! x# [$ v9 |
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
3 M: _: b" }1 @& j5 b  z0 b刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

) n8 U" s9 U% M  S) V/ J你是对的。
* e0 _# `* h/ J0 [去掉了随机部分
' p; W  t4 ], ~* p1 q- o#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
. }' }, L# S0 b( G
2 n- c: b% S  w循环次数加成10倍，就看到 b 收敛了
) S; L' ^' D& D3 J$ x' t( u+ E2 Dw , b
$ ]2 {4 l; F7 k& R) {27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。