设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2761|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 2 M# G0 `, u. Z; Z" e* {* x

    . {. J' V" ~+ k/ q为预防老年痴呆,时不时学点新东东玩一玩。: |+ ^9 u6 `& I8 @' j8 d7 p
    Pytorch 下面的代码做最简单的一元线性回归:
    1 [- U) N4 O2 F2 B----------------------------------------------) K( A& G* s% D4 C
    import torch$ m. `( ^" D6 D' |1 a4 S
    import numpy as np4 S0 [$ l, ^9 w3 S3 r
    import matplotlib.pyplot as plt4 s* _1 y# w$ ~
    import random
    ) n/ f1 [% T, I$ l2 f+ z3 {  q1 Z8 R) g3 Q. x3 O1 x
    x = torch.tensor(np.arange(1,100,1))+ P6 J' G% A9 j: W" R/ {6 Y+ s
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=152 q: c3 q7 d2 E" j2 P

    7 G' V8 |1 ?$ I) w! Y/ Q, Xw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b$ e  D& `4 M3 F
    b = torch.tensor(0.,requires_grad=True)
    * J) l7 i. B% e) I2 a7 w  r. r* y; e- f0 I8 f. Q- k& P
    epochs = 100* t/ Q" k' }6 ^8 y3 L
    ( o7 E& A* S& J2 O9 e* s
    losses = []
    4 ^5 o  j+ s( O6 E6 R- h" j& Cfor i in range(epochs):" ^. ~& O  N" y% S% X
      y_pred = (x*w+b)    # 预测
    # J! K+ Z% U, h& h1 F  y_pred.reshape(-1): E/ @' @8 N+ p: e5 k" u- {

    , f4 m3 l, K/ `& k- D' f8 Q/ ?  loss = torch.square(y_pred - y).mean()   #计算 loss
    , y! D2 `# K' F  losses.append(loss)
    4 M8 O0 N1 @4 W- j3 C& o) u- w  
    ; @: r5 R- }) ?3 e$ r3 V& U" O  loss.backward() # autograd
    0 c; B& s9 w7 r" R# b9 E  with torch.no_grad():
    8 n: \' {! }$ w; [    w  -= w.grad*0.0001   # 回归 w( c, F' w1 i5 G1 P& f; v
        b  -= b.grad*0.0001    # 回归 b ! v: v1 I& f% M+ R0 R; g- W
      w.grad.zero_()  6 T$ B5 q: {3 O, D+ |( r
      b.grad.zero_()" G9 ^! m- Q8 ~" \+ ~# V
    ! W6 A3 ]5 |  Z
    print(w.item(),b.item()) #结果
    - X/ H$ c1 A# z# f- }. ~3 M" }5 M  t/ X2 c+ y% x
    Output: 27.26387596130371  0.4974517822265625* t, b8 T0 v! a# p3 g2 H6 d3 F. Q
    ----------------------------------------------
    ) U+ s2 t1 K4 z7 f0 ^' O最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    1 q. b$ r# Q8 C! ]* O+ O7 e, t% G高手们帮看看是神马原因?
    ( C$ D5 A+ H4 ^1 @

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    ; P% x& |& |% V+ i$ |
    4 ^) o5 r, y( n4 ]/ p没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?" O; D) }$ H. A9 L! T) ~  ?4 t
    -------
    : K5 ]1 t0 J4 r* z不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    . G# T1 C8 a7 J- l# n9 d5 ]-------; s: }# D2 {) [/ e
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    - g# Z: R3 V, J6 A. k) o没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?, N4 i, L$ I7 ^! q" F( P& t4 Y
    -------' D* C8 g! x" ?/ P1 H! m
    不好意思, ...

    ) E) M- K2 X8 [# T谢谢,算法应该没问题,就是最简单的线性回归。
    8 z" l8 B4 @8 r+ F7 w$ ]7 Y我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    9 Z0 b4 J5 J! P
    雷达 发表于 2023-2-14 21:52
    4 `+ O6 @* d" f谢谢,算法应该没问题,就是最简单的线性回归。/ i- I$ U0 l9 C9 x1 G
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    9 O% k( J3 s# D, R
      u  v$ {+ T6 Q1 I8 [刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。# \: ]0 |6 c* q) w

    0 Q! C' l0 |9 D' |5 Q或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    ; ?5 i+ f' Z# V  R
    老福 发表于 2023-2-14 22:00; [  ?  |% b' o0 q5 c
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
      `8 P0 U( S. {8 M  {% x% b
    . }& u& ]7 B2 G, |3 t3 R或者把b但的起点改为1试试。 ...

    " A' [1 q) R. Y! N8 H
    * u( N; ?) K3 A2 p1 o7 {3 \你是对的。
    . t; H/ l, q0 c* q1 g+ F去掉了随机部分: u/ X8 w3 z' t' w* ?
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)1 f8 a2 c, g3 X
    y = (x*27+15).reshape(-1)
    / j$ U) X( S4 O+ {/ H- h5 V$ c9 P( G7 a4 U! _! T
    循环次数加成10倍,就看到 b 收敛了
    4 c, p* c2 s7 v% K" ]6 C" bw , b
    3 H4 q2 M+ _2 q8 e1 F$ h3 R( n# R27.002620697021484 14.826167106628418; @" e  _+ s( F9 A9 Z

    6 t# b7 M8 t- ?) g和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-4-17 21:43 , Processed in 0.063661 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表