设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3616|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 ! Y6 B' [5 ^' e  e3 ]6 M" N2 j: [& d
    . n* J% y2 @  Q+ K) O
    为预防老年痴呆,时不时学点新东东玩一玩。
    ' l" S) j' ^2 [; h% P2 ~0 o: FPytorch 下面的代码做最简单的一元线性回归:3 j. O; k9 G/ b- h
    ----------------------------------------------( U3 k. W6 t/ j$ P' D/ f! _( d
    import torch
    1 c" F. d% o2 `5 qimport numpy as np) d: `& L  U" D; `: N  p) D6 T
    import matplotlib.pyplot as plt
    9 j/ i- o0 i) H# |$ _* }9 Uimport random- L! c, q# n% m

    1 W( T, f" y, y/ S  N. O: x! @, ux = torch.tensor(np.arange(1,100,1))
      g  F! R: A5 f8 ]y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=155 Y6 S# ]- ~- m8 q" e/ Y' s

    ' D, u$ I' P7 N( R4 V$ j2 u- Iw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b/ T) G3 Z. l( t  {9 `
    b = torch.tensor(0.,requires_grad=True)
    : }5 d( n2 x# B1 g$ ~6 {3 u2 l; y1 W0 H0 W8 _# Y* v
    epochs = 1003 s) ?! }- p8 W

    ) d* C' x# x; dlosses = []3 P' r8 t, D' R2 _  L0 n
    for i in range(epochs):0 |$ B% n. m. Y
      y_pred = (x*w+b)    # 预测8 \  `) d* L  `
      y_pred.reshape(-1)
    3 V5 k7 f& e- Y" @( q& } 9 q+ L  m* b* @5 {" I
      loss = torch.square(y_pred - y).mean()   #计算 loss
    ' m; a9 l2 I5 S1 `! w  f  losses.append(loss); [% S! u$ U. F6 u. T+ h
      
    . z9 @6 b) h& |6 r! ]' T) V$ I  loss.backward() # autograd  i  R6 R7 M; c
      with torch.no_grad():  I" l/ n1 T8 X0 h! `
        w  -= w.grad*0.0001   # 回归 w5 w6 {& A: y! U# a
        b  -= b.grad*0.0001    # 回归 b
    8 U* N8 J1 T2 t0 P# Y7 w8 h  w.grad.zero_()  
    ! y, j8 I0 W8 i+ v1 C- R  b.grad.zero_()
    6 C! V* i! H8 a6 R' K( V" b4 X+ O+ D( M+ V7 O
    print(w.item(),b.item()) #结果: ?4 {8 d8 L8 B$ `) l; C& f/ r

    . j3 `/ I& Q* Z! t# v% S& MOutput: 27.26387596130371  0.4974517822265625
    4 }, C$ A3 b. ]( a5 b----------------------------------------------" B8 {7 @* J7 p- J/ h7 _* k
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。" @' k! \3 d5 N' ?
    高手们帮看看是神马原因?) l9 y7 T) f3 g6 k4 L. N" n: Q

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 2 _+ {* \# V& @8 ^

    % d/ h4 X% K9 m% _; k$ I' t没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?4 _2 J# b& @/ Q, h* C- J
    -------
    , H6 i0 @- V4 j+ v不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ) s7 u1 D( U, o* p0 b9 W-------% p# n8 h3 O3 Y/ \+ W, p
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    7 Z3 _* T$ c2 U6 |) f3 G2 b! m没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?* _! f' E$ B, i7 F! Z$ b
    -------
    # c% W9 O* K8 v: S' _不好意思, ...
    1 I( ?+ R* u7 B3 R- O2 j7 D
    谢谢,算法应该没问题,就是最简单的线性回归。& c" I' s, o! a& G" c
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    $ S9 k$ i2 v8 a
    雷达 发表于 2023-2-14 21:528 V. D" |- g' \% [( \! O  j: _( P
    谢谢,算法应该没问题,就是最简单的线性回归。2 c, h) ^* t' F6 g2 r
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    5 E* z. O9 {7 X% ~8 \

    $ r8 j: ]0 k$ j, c1 M刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。  ?  Y" E# Z. x4 K0 M- p
    9 G: z+ [' a/ U/ C
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 + {. _1 a$ X  Q
    老福 发表于 2023-2-14 22:00' H' d  p4 A. x$ r4 k/ n
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。2 U0 X1 n6 t" K

    / w( g: v) `! m- N5 Q或者把b但的起点改为1试试。 ...

    + L2 U# G( q! m
    : I, ~; `2 n( u' F  ]你是对的。; ?# A4 r9 k5 n( P7 i: M: D
    去掉了随机部分
    ( k( G! }$ Q) `$ Y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    ! x/ w5 |2 B6 s/ w$ g5 hy = (x*27+15).reshape(-1)" n* T9 z' }  v# i7 Q" V

      n: W5 F8 _( w/ z) v( U循环次数加成10倍,就看到 b 收敛了4 W% q0 {0 Q2 c1 Q+ X
    w , b
    4 H6 t' V" u% P; K27.002620697021484 14.826167106628418
    ! l9 |; V$ J9 w5 L' k  V; Y8 R, Y; P. r  e
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-9-18 08:13 , Processed in 0.069447 second(s), 21 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表