设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2556|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    + r/ }1 |' t: d! s
    + m) v" g! M9 C为预防老年痴呆,时不时学点新东东玩一玩。
    / e/ J) Q+ H8 RPytorch 下面的代码做最简单的一元线性回归:
    : W9 S) S! u1 b+ n! R) ~----------------------------------------------
    ) S' H0 x6 [) l# s8 O# rimport torch
    , q( T4 W0 j& ^. _( F' Eimport numpy as np* ?  W, \5 r" `, B
    import matplotlib.pyplot as plt
    ; x& h! A4 E# _7 t* k. fimport random" L# s% v' @2 e

    3 t* J0 Q0 n& j" O8 P% f0 fx = torch.tensor(np.arange(1,100,1))
    + |: [% c4 U- my = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15, Y6 N: Y, K1 q2 e; c

    % h! I8 P/ h& h6 e1 F- @w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b; p* s2 S7 I0 p- m  h
    b = torch.tensor(0.,requires_grad=True)1 t! N4 Z, {8 |3 a7 d+ Y9 X
    3 k) _7 n! b0 D( f3 [' s+ T
    epochs = 100! T/ }9 z4 w# z: r
    4 i( L+ B' B& c& z& I
    losses = []
    - z8 ]* n' v5 A5 i; U- Yfor i in range(epochs):* y9 G4 ]# _$ ~7 v" G5 K0 ?' f
      y_pred = (x*w+b)    # 预测
    3 H7 t7 E' P2 Z! X( L9 k6 M  y_pred.reshape(-1)8 P; D1 J( U* N- p% m5 y
    # ]: L) R& N* o' A) n
      loss = torch.square(y_pred - y).mean()   #计算 loss
    0 [/ ?# Y% O/ B  losses.append(loss)( T- P  X+ k& v( {! L
      
    6 b! n& B& I5 @- L" F  loss.backward() # autograd
    , h+ `& Q( x$ o: g/ \& U! t  with torch.no_grad():
    2 x2 R' f9 p0 s5 |, ~( B8 r    w  -= w.grad*0.0001   # 回归 w, ~! Y2 ^- ?6 B  O* ?3 {% k  G$ {
        b  -= b.grad*0.0001    # 回归 b
    # O/ S' n3 F& R2 v  w.grad.zero_()  
    8 {  l3 \, _. ~4 y1 Y7 {% w) c1 C; V  b.grad.zero_()6 C+ S$ y3 _' x6 Q! a
    # a: C' ~( K- D9 T  e
    print(w.item(),b.item()) #结果
    6 x# T0 j; I3 @) t
    ) K4 c) F/ B# k9 ~( c3 b# P0 J& MOutput: 27.26387596130371  0.4974517822265625
    2 [* U3 l" M- i----------------------------------------------
    ; s* M' i6 \0 w2 O1 g" A最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。9 x7 H* O; y# U4 V' N5 l0 {/ u
    高手们帮看看是神马原因?
    8 ]! [$ I8 k5 W% h( s. u+ G& |. K

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 + |6 ~- ?4 j/ ]3 d( ~) ^

    5 |1 }4 E- o! m$ a6 D( E9 [+ E没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ! S/ I. P* G4 Z. m) S! p-------
      n- E% d7 x# b) n& |不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。; @8 U& H4 f# M1 ~3 b1 P7 a: |
    -------% L7 x( I2 g+ r5 ~8 B) V
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    ; U( k% j* F  T1 n; I3 X% P没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    " D0 l6 j6 H+ a& o1 Z% Y-------
    , E" }- K- x9 y' R# q% \不好意思, ...

    / a& q" v: N0 t谢谢,算法应该没问题,就是最简单的线性回归。3 s7 b+ j' y+ r% d/ k: f( \- {% v
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 ( d2 N8 ~1 h! b/ ?3 H; e
    雷达 发表于 2023-2-14 21:524 L/ V2 U/ e. I9 b$ d
    谢谢,算法应该没问题,就是最简单的线性回归。/ d- }! \, C4 J* b) H0 m/ ^. c
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    1 ^/ G- ]$ ]# q; }. l% ]( n' c
    : s. k. M7 G, _( u刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。- ^. m3 K9 Y0 |

    . B) c1 f3 B# L  s, U" {4 ^或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    & a7 s& D5 L9 O: t5 O, W+ M
    老福 发表于 2023-2-14 22:00
    " e% X) m2 x  h( o刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    5 R. T' n* `+ P
    4 C  b+ Y0 z( e+ f9 Z或者把b但的起点改为1试试。 ...
    1 L0 G2 B/ d/ |6 V
    ! K0 U9 R' x" v3 K8 F
    你是对的。: F: R8 j2 J3 v9 z, F- T
    去掉了随机部分
    # f5 F' m) J' \0 u; u% V& q6 c5 P#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    * V' |. i7 `" z+ {2 oy = (x*27+15).reshape(-1)
    ' ^' Q, R! D: r- A  @( c' X+ |, m1 m
    " `2 Q5 D7 ?! d- v) f5 P  `循环次数加成10倍,就看到 b 收敛了* g5 v- z/ Y; U( s- B; ?
    w , b9 l% n" b; W* ]3 r: M
    27.002620697021484 14.8261671066284183 l) m' z9 \6 a! N

    + ~; H3 i/ i) U$ {" r和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-3-7 21:20 , Processed in 0.071228 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表