设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3231|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 : }4 \6 g  i3 y8 \7 M& r% ^" N

    ; [/ `. K- P" S" C2 }1 \( s为预防老年痴呆,时不时学点新东东玩一玩。
    . r* M/ ?6 g8 y+ o" |9 a5 `8 Y# ZPytorch 下面的代码做最简单的一元线性回归:; @/ `& W" |8 _' r8 R
    ----------------------------------------------8 {9 p, n  P  E5 z" P" N
    import torch
    5 K$ @$ M: A8 u$ c" nimport numpy as np' C0 R$ x7 e9 ?: m# g
    import matplotlib.pyplot as plt- [8 h* P" N- f7 z7 s0 h
    import random
    : a. l. P" y9 m9 _$ k7 n+ ~7 r! J' t' S/ e" k1 n9 g
    x = torch.tensor(np.arange(1,100,1))
    0 t3 U. A- ~: c3 Oy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15' ~% i; u& Y, L

    : d0 e1 K, g9 ]& x2 O5 u/ Ew = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    # _% U) u, s) g  H+ S- i5 ib = torch.tensor(0.,requires_grad=True)
    * s( u& _9 [7 R3 Y5 x0 ^% D7 \  D% I
    epochs = 100- i& G# i: c0 X

    1 U9 K$ R2 ]; o' S: ulosses = []
    9 |/ p1 s3 U- q  f) j$ X  C# zfor i in range(epochs):
    & c1 Z- J9 c3 S* T, l  y_pred = (x*w+b)    # 预测: Z. d! h7 ?6 v4 P' i9 l& S
      y_pred.reshape(-1)
    5 x( w0 A4 ]! o% q" C& ` 4 H: A/ e; |9 l  o
      loss = torch.square(y_pred - y).mean()   #计算 loss; f& Z% N& `* z5 b
      losses.append(loss)) @3 y3 c, `: t7 R+ i6 F( E
      & a$ ]4 T4 ?$ K, G
      loss.backward() # autograd. G! ]# W! L+ m. @6 a* w- B
      with torch.no_grad():( A* a0 y2 A2 ]7 G
        w  -= w.grad*0.0001   # 回归 w
    ) Z, T( a( u$ _: [- [: ^+ U" k    b  -= b.grad*0.0001    # 回归 b
    ) I( N5 C4 p# i+ q" e1 X/ r  w.grad.zero_()  + T+ }; x2 M5 k4 q+ Q
      b.grad.zero_()4 ^- W8 p4 ?: I+ ?

    # S! I1 w% u8 p  {  R4 A. Gprint(w.item(),b.item()) #结果6 S8 }7 a. K& e0 M2 c$ F
    $ f. q3 q' ?9 E$ `  q
    Output: 27.26387596130371  0.4974517822265625
    + X* A: g. q  k! q( N( r----------------------------------------------
    3 ~5 G# |9 O: l. ?" A最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    0 y/ ?, T$ N1 Z- P高手们帮看看是神马原因?
    " X% X) P8 c& y7 k

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    0 v7 t! \; ~  M1 V! E8 l: F* x6 w1 u2 w) W
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    + q9 X/ b* [: k; V; o  d& w-------
    8 H! w# _5 k1 R9 X3 |不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ; F( c2 @' q& U6 J& `! h-------
    5 ~$ U. ]; J0 g1 n算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    - m5 ?( B" u9 `( l+ s没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ) |) B' E1 Z: Q-------  T  L, c9 P; E  W* V
    不好意思, ...
    * Z9 Q7 Y. ]& [5 o
    谢谢,算法应该没问题,就是最简单的线性回归。( |- ~1 z  J  l7 _9 Z5 e
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 % [$ y+ O% X; s( {: ?1 v3 k* q
    雷达 发表于 2023-2-14 21:52
    7 m$ H' g4 j% y/ W3 }谢谢,算法应该没问题,就是最简单的线性回归。. M- P; Z; V/ Q
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    9 [1 f" c7 R* t8 E% E8 n

    6 j7 h7 n6 Z3 w& u  f. u( w: o刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    $ c% l6 N  Z3 C5 {* w* N- M4 r4 X: d
    # d# {) J5 \4 C3 |) P9 ]* e6 Y或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 / X0 S5 n/ f, Z8 R' ^' C
    老福 发表于 2023-2-14 22:00# T2 v( d- B5 d  Z
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    2 X6 d7 a8 Z2 B+ y
    ; i- J1 g6 h7 _或者把b但的起点改为1试试。 ...

    : T; V, h7 O4 N, U
    5 U3 g& r! ~, B9 r0 m. `1 [5 k: @你是对的。( r* ^5 {3 l( z: ]1 W; m: _9 E7 b
    去掉了随机部分
    4 `6 y7 j" t9 H' ?, K#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    1 J" m/ }6 D- E& ^y = (x*27+15).reshape(-1)
    , |% t% m0 _: x, m( `' S9 z0 C" K7 O
    循环次数加成10倍,就看到 b 收敛了
    - j5 t; |. g7 W+ X4 Iw , b
    2 `7 x- H: d2 `, i27.002620697021484 14.826167106628418$ N% X9 G% `2 t7 R$ Y  D1 ?

    : y7 X2 m+ [: F7 b% D6 D  ?和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-11 04:37 , Processed in 0.056272 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表