设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3589|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    9 R+ Z. t* ?: q2 ]7 b6 p5 ?9 f! N+ c9 P$ V. P
    为预防老年痴呆,时不时学点新东东玩一玩。: W/ _  b1 v7 U0 d7 `$ ]( e7 ]
    Pytorch 下面的代码做最简单的一元线性回归:6 k1 c: e0 G4 Z+ B/ r2 b+ o
    ----------------------------------------------
    * F! n% H1 J( R5 q3 l$ {. nimport torch- E8 n! N3 m- {/ b3 x& T" e7 E- B
    import numpy as np
    0 |) e7 U" K4 x8 gimport matplotlib.pyplot as plt' I. v8 Z8 f1 S9 e; I% i& b
    import random6 p: I( g$ M" ]
    6 h0 y8 Q  C- q9 P  @; S. n
    x = torch.tensor(np.arange(1,100,1))
    " B1 q2 R) U5 S" G( {y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    # v; P7 r( ~8 Q  U1 j1 t# I- S5 [$ b
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b- C. F& m6 G) Q* j9 r. Q
    b = torch.tensor(0.,requires_grad=True)
    + b: f4 |/ `0 ?
    , Q3 U( m- f& k# y- Y4 I6 }' Fepochs = 100
    + ^% [$ w% f- {( d
    8 A  _' |) T0 H4 O; v' _losses = []: ~$ R4 P8 x2 i. R
    for i in range(epochs):
    6 X8 {# T& Z. D) r* x1 F  y_pred = (x*w+b)    # 预测
    0 ], `; q3 i6 T( q( J, o  y_pred.reshape(-1)
    % F- S7 R7 z" e3 h" L5 U
    ( s( X8 C2 Q5 |7 E/ w# j  loss = torch.square(y_pred - y).mean()   #计算 loss" Q& g" f' d. h9 f
      losses.append(loss)
    4 y* t- i5 X# w5 B1 i6 O  
    ) N$ J) K3 T* v  G& w  loss.backward() # autograd
    ) F1 {* j4 m) n3 b  with torch.no_grad():7 Y) C2 t, f  b2 u8 e% \
        w  -= w.grad*0.0001   # 回归 w7 \! k  Z8 W. ^+ O
        b  -= b.grad*0.0001    # 回归 b ( Y5 k; F, H9 C6 c
      w.grad.zero_()  # _' c4 R. p9 K
      b.grad.zero_()
    & I" q( H/ t9 [. ~/ t6 R/ s  V! c: Z
    print(w.item(),b.item()) #结果3 s1 @) h' I! w& J% o

    # @8 A! @( h) nOutput: 27.26387596130371  0.4974517822265625* A/ i+ m7 ?* G) P
    ----------------------------------------------
    " x3 ?& P# W: v: t9 x3 L最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。3 n" d7 l% \4 O1 s
    高手们帮看看是神马原因?
    ) E5 P3 N$ K$ x/ `  \( E0 e1 g

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 8 L& F# P+ K$ J, t  I
    ! C/ j/ d# L- a, v9 W. S5 v& m1 I
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    9 R! z- t( Y/ X9 U" k1 R-------
    , b9 }: @0 w0 U# P2 ]' S* q不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。, O# `6 O# F) m; F) f
    -------
    / i+ z! C' k8 S1 ]. \算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    ) a+ j- z% ^, t, D没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ! v' ]  E6 Y% ^! D-------
    9 l  i7 Y1 E0 \: I不好意思, ...
    6 K( D/ l; U6 W" m$ M
    谢谢,算法应该没问题,就是最简单的线性回归。) G+ D+ o! X  i; @
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    0 b5 t4 v4 G: @0 _/ t
    雷达 发表于 2023-2-14 21:52& J& [. _7 q" i' X- J! e
    谢谢,算法应该没问题,就是最简单的线性回归。9 {' G, v; Y( f
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    9 H$ Y" d! a5 ^) @- z8 ^' E& ^" i9 c3 c; ?  f2 x
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。) Z' C. K# @% K7 {9 t
    0 m2 E% ^1 ?" C: A  w+ A
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    $ Y7 B4 J/ C4 F  U* f
    老福 发表于 2023-2-14 22:00
    5 i! r- K4 R; t0 ]# x刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。  x- X7 p+ `1 |: c2 g9 I4 Z5 d1 m8 S$ f

    , Q8 d' n! N: r  q( R7 f( k1 ~9 p或者把b但的起点改为1试试。 ...
    0 h& G9 g8 F5 O4 d0 ?

    0 [! D4 B: @! o; |# h6 Z你是对的。
    # N2 F3 ]: y8 n5 o' \8 h去掉了随机部分/ A6 a' K+ Q  O7 I) j
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)
    + e8 a. t, T+ ?. H# Ny = (x*27+15).reshape(-1)
    + d. ^0 t. C4 p; S/ X/ u  V! ^6 Q! y. J
    循环次数加成10倍,就看到 b 收敛了# V- e+ o& t" x1 f; O! _" B4 T3 e0 ^
    w , b0 k: Z; q  r2 B' b) T
    27.002620697021484 14.8261671066284186 z0 q7 ~+ s" U3 u7 z' Y- y. g

    & |. u6 |6 ^2 y. r和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-9-13 21:38 , Processed in 0.067032 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表