设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2561|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 / d* m4 Z$ V8 k5 l
    6 p7 h' z& e8 s; |
    为预防老年痴呆,时不时学点新东东玩一玩。
    ' B, V; }4 f! hPytorch 下面的代码做最简单的一元线性回归:/ Z7 l) L$ B# Q1 Y0 C! n+ {9 m$ T( v
    ----------------------------------------------
    : r3 L( v0 l" `4 ~  b, h0 Iimport torch
    9 }$ ~5 P. d2 e' pimport numpy as np8 v- G+ q/ c6 a- h2 a2 {
    import matplotlib.pyplot as plt
    3 B! U0 y0 |2 Kimport random
    3 D1 i) l9 z9 a, T+ f5 ]5 h$ M5 C! Z) l$ ?# P9 ^
    x = torch.tensor(np.arange(1,100,1))5 h/ R9 B7 Y8 X$ m: W7 L$ L
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15' n- ^) z# L. V& f) ^4 c0 g

    4 \0 Z5 y9 ?  U) Yw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    ! }3 r; S( C/ b9 v" a# D4 wb = torch.tensor(0.,requires_grad=True)
    + k+ d. j$ m: V  v% E# i0 I, X( R6 m& V, H% F8 i6 ~
    epochs = 100) c/ B; p8 x% u! u
    , [" f1 V  P% p/ O' P5 I9 }8 G
    losses = []0 ]/ u" H3 P" a: V7 H$ s9 v
    for i in range(epochs):  {) p3 b6 J! `' G
      y_pred = (x*w+b)    # 预测* n1 C9 u( P% R6 J" w+ n
      y_pred.reshape(-1)% t' q" T  m7 Q2 J' ~# K
    + l+ f4 K1 q+ K
      loss = torch.square(y_pred - y).mean()   #计算 loss0 M+ V6 O" k+ B% w8 J/ ]4 n
      losses.append(loss)
      `5 G: y, B$ W, B/ g0 R, E- o  
    + z0 g1 f# j3 P5 B8 A: T% D/ B- ~  loss.backward() # autograd
    ' i' c, d) a7 L, Y& [  with torch.no_grad():/ r' G5 N& ]* q8 Z
        w  -= w.grad*0.0001   # 回归 w
    8 @* x( i% ^/ x( Y  m    b  -= b.grad*0.0001    # 回归 b 3 R+ V: g; G1 j! A( K
      w.grad.zero_()  
    : m0 ^3 M9 t( s$ l; Z0 I1 q, }  b.grad.zero_()
    $ u: X5 c  ?( j5 ~# C7 A4 \. I; k
    3 h3 `7 P/ _: c: s* _# Iprint(w.item(),b.item()) #结果
    6 x' A* }; D/ T! ~  n+ l3 ?6 x$ t: r
    Output: 27.26387596130371  0.4974517822265625
    + i/ ~! r$ ?4 F& ?" i----------------------------------------------
    8 y  U. n* o3 d最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。) T' Y2 l0 F3 w+ q1 f5 ^
    高手们帮看看是神马原因?
    ! C( E9 C! x6 ~0 n3 v- Q, Q! `

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 ) m" o& j9 ^  d( u0 b( k- x# W) ?
    9 b) R( D* X8 Q' P' G
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ; M9 H) p2 _7 d-------
    9 C" H/ h7 ?, z, ]不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    , ~" C8 Y7 j; I( l7 W8 a-------: U& @3 V" W5 x; g+ Z4 P) ?
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    " q* q: J+ Z" L2 F: R0 g- o2 }4 \没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?  C, N, Q0 x  A( m2 g$ O1 G9 ?- _7 x
    -------( O. ^/ g3 [( A- I) p5 h
    不好意思, ...

    ; S! z3 K  a4 a) \, b) }谢谢,算法应该没问题,就是最简单的线性回归。/ _6 ]" [- E3 f
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 6 G4 z8 K1 S; c6 O, x: ]
    雷达 发表于 2023-2-14 21:525 t6 w4 P% h, b7 h" x
    谢谢,算法应该没问题,就是最简单的线性回归。; w7 W- }3 ~- H4 _/ ^) Q' F2 l9 q, l% H
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    4 B5 n6 o; }- s' u. k! E: a
    + D2 Z4 S1 [. e. v刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。6 S5 J0 v1 S! c4 z& d3 [! k

    2 w( \1 B4 u7 p& N或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 + N1 V+ H, N* s% M
    老福 发表于 2023-2-14 22:00
    5 F% i% o0 P- G. K- p  i- k刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    6 N& _! y7 J+ ]+ I$ w
    3 n* h" Y' _# C' y或者把b但的起点改为1试试。 ...
    ! U  `7 U. u) m0 H  C

    * P8 s; H! D& f你是对的。, H) e% b7 z0 f* v
    去掉了随机部分
    " B9 O) e+ ~% o#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    6 H1 D) a2 X/ @y = (x*27+15).reshape(-1)/ ?2 t0 \  J. y% ^& S

    $ R% ]; g  j* c# U# A  O循环次数加成10倍,就看到 b 收敛了& e0 }+ u% Q$ {8 h
    w , b- M2 ?, L% X1 A' z2 m
    27.002620697021484 14.826167106628418
    + l' e" ~. m+ ~" L2 ]4 {3 U
    , Q4 M6 V# R6 j& u和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-3-8 11:29 , Processed in 0.063136 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表