设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2557|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    ! z2 r/ Q/ c- h. p0 V9 ~4 V% @; Y
    4 b: A# `. V" ~. h3 G& T为预防老年痴呆,时不时学点新东东玩一玩。: E6 ^! P& V. n( g/ A" ^
    Pytorch 下面的代码做最简单的一元线性回归:
    * Y5 i4 v$ w3 F1 D) t----------------------------------------------
    ) B+ W/ o4 ?# V  q& Dimport torch6 `5 G8 L3 B2 g% d) T2 Q
    import numpy as np) |8 b+ m$ j1 F$ e0 i( F
    import matplotlib.pyplot as plt1 @( A" k  u: |7 \2 i& ?
    import random& y5 W' {8 A1 G+ l: n* i
    , k9 q3 A$ H$ k% f
    x = torch.tensor(np.arange(1,100,1))
    ; [9 w4 t+ |( ^4 g0 @; X' T- Ry = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15: F3 ?6 U5 G! M) z

    - S. l2 y! w9 z" h- T( U  c/ \w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    4 y* z( E/ T- O2 r3 Z# k+ a1 eb = torch.tensor(0.,requires_grad=True)
    1 b1 E* C. }, R8 e# N8 B+ p+ d# G1 h
    ) M7 t, g7 t4 i, tepochs = 100" u' [2 e/ d+ N% k& t# O6 G

    - Y! P7 j8 Y7 xlosses = []
    * L& J/ |# G3 s. B# @for i in range(epochs):
    " e6 V) T; p1 q4 F  y_pred = (x*w+b)    # 预测3 y$ @$ F; V: s) W% H
      y_pred.reshape(-1)  N+ i3 X5 o& M
    5 T1 o* |" H+ J3 O
      loss = torch.square(y_pred - y).mean()   #计算 loss. }1 V6 }; A" |. L
      losses.append(loss)
    # B: [# X. y: {  6 w" c$ v( I! _0 W# o2 p
      loss.backward() # autograd% O7 ?6 r' P8 w( ]5 O+ v0 ?
      with torch.no_grad():
    + h" R) @+ n; y9 @* v7 o    w  -= w.grad*0.0001   # 回归 w8 F' _7 {  V1 x& [5 V" q
        b  -= b.grad*0.0001    # 回归 b / r/ l+ @/ c  x2 w& ?$ A" F  z
      w.grad.zero_()  
    1 |. ]  ?8 d8 ~) ?9 g# n8 A$ s  b.grad.zero_()
    " o- o' X! B1 w1 L7 T
    ; [5 H, E2 l5 V+ D4 f" e2 ~print(w.item(),b.item()) #结果# Z3 L. _$ u# u. R

    * m. V7 `* p3 K& @, [/ bOutput: 27.26387596130371  0.4974517822265625( L3 \. n% Z9 C0 Q4 x1 H! N
    ----------------------------------------------' J8 j/ v" t* e' d0 Q6 x
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    5 c" h' y7 `. x2 X高手们帮看看是神马原因?, ^# L5 U% w5 A, B, x0 R! ?

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    ' p& a+ k$ C+ j
    1 q9 R1 e. O( o, l* B- a/ x没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    - u: ?3 t8 P+ Y! _& f-------+ z. ^9 {! a2 j
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    8 u6 }2 n# t- ]+ z-------
    % P  _; h: U. k3 p算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    $ a6 q: U, y* j" d+ {/ F没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    , D" N$ _; ?0 e; o% W$ H& |-------1 ^) |+ n9 E* d9 Z# O5 ^6 g
    不好意思, ...

    3 b: B7 l* C1 v/ X4 c3 r; z9 N: a) H谢谢,算法应该没问题,就是最简单的线性回归。, x+ ?) O/ P, O- H
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    1 C+ H. _$ n* d) j3 k( A! ?% Q
    雷达 发表于 2023-2-14 21:52% h2 A: m, U& X
    谢谢,算法应该没问题,就是最简单的线性回归。3 H  J) g: P% r/ x6 O
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    ( B' a- g9 \' ?
    ! i3 a" ]& ?7 m4 s) H* z
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    5 B/ v* v; g% `2 Z' v$ V( g
      D/ v& k9 V4 o5 U5 |或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 9 E+ ], ^$ q3 S& W
    老福 发表于 2023-2-14 22:00
    " j- O! j8 |; K  `2 x& B刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    2 s, B3 M8 t) D; l' y: I" U$ x2 F
    / }. s% `7 q% D或者把b但的起点改为1试试。 ...
    3 O5 K4 a2 {2 i+ f# R. I) P& x* \3 N
    " `+ l5 j% g7 B* c2 j$ ?. k3 d
    你是对的。$ ^! E$ b! v: @; f" x% w" t
    去掉了随机部分
    : n. [( ~& C/ e# u, w3 }#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    ' `' [+ `1 Y. L1 A' R; C) b1 [y = (x*27+15).reshape(-1)* A. v) p: y  V/ m

    5 C' S% a1 j4 V循环次数加成10倍,就看到 b 收敛了% u  X5 L" V1 H" `+ ?# @
    w , b
    ( g; V4 P6 A: {  }! d# p$ a& F27.002620697021484 14.826167106628418$ p* n' O& ]0 c# A* {3 w6 G, @' Y; \

    ) f, q& q( ^9 _# m9 G. j和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-3-7 22:34 , Processed in 0.056262 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表