设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2319|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    ! d" q' d0 k8 c2 T3 v# E7 x4 T' D  x$ R  B% V
    为预防老年痴呆,时不时学点新东东玩一玩。
    ) e7 A5 ^& j: Z2 WPytorch 下面的代码做最简单的一元线性回归:
    ! G' q2 C/ E* u----------------------------------------------! \; d- B$ D4 K% O/ C& y
    import torch2 \' K; K( S4 P0 E8 a; f$ |
    import numpy as np
    ( O1 R/ _8 m+ N3 Pimport matplotlib.pyplot as plt
    9 [; F% D7 u* K1 h' cimport random* a/ S7 E( F. w0 @* q

    7 y+ h/ ^" u! J& P6 |x = torch.tensor(np.arange(1,100,1))7 z: |% U) J/ W/ R, c% I
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=152 m9 ~4 N5 x: G
    7 n  Z2 _% N% v( h3 D5 b- X
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b2 g4 i. ]* d& H" Z  {9 K: L
    b = torch.tensor(0.,requires_grad=True)' v6 G4 y$ |6 ?8 e/ r: z
    8 H1 J: s+ m% E& s9 b, N" v" H
    epochs = 1004 j& T' V9 G+ i

    5 _8 j3 _# S. ?& glosses = []$ J) g: [% j9 ?: s2 I6 L
    for i in range(epochs):
    & S# e, F8 n8 h  y_pred = (x*w+b)    # 预测( f* a; l  C  a1 V3 u) r- n9 ?
      y_pred.reshape(-1)# `* p8 v8 ]. C! X% C  q, S

    6 X" i# A9 m: m9 {  loss = torch.square(y_pred - y).mean()   #计算 loss
    5 ~; X" J1 o0 R! O/ ?" ~  losses.append(loss)  J' K6 {% ?& C/ B8 j/ J# D" H
      " ?: M: k  H, S. W9 H6 t
      loss.backward() # autograd
    7 z# z' T2 G7 }  with torch.no_grad():
      f; D& @/ |, ~9 o+ m0 a, K1 H0 E    w  -= w.grad*0.0001   # 回归 w( o3 M+ a3 @5 y9 N3 _
        b  -= b.grad*0.0001    # 回归 b
      P4 q, M" m8 V( `' S  w.grad.zero_()  
    3 F4 L* u5 ]8 Z% J( P5 R6 V  b.grad.zero_()
    * K/ I% t/ Z/ |0 F! s8 m8 B9 r: d* ?7 d. d! z
    print(w.item(),b.item()) #结果
    ; ^7 n8 n% |/ {
    : V) L2 H2 g0 |6 H$ w/ vOutput: 27.26387596130371  0.4974517822265625; v& e% L+ q; S9 X! l4 y  G" S) W1 u
    ----------------------------------------------
    ) U+ w$ ]  W! b4 S6 w最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。2 V9 R. {" S3 R3 o' D& W
    高手们帮看看是神马原因?& s; w9 h9 N( b# F

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 0 s" H, l2 |/ e
    ' F6 `& ]" \) [& u( O* c; [
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?, m. X* z* W" ~( C
    -------- h% h; q. k5 C: p
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    9 O* {2 \; U2 W9 ~8 G-------& {0 U! c* q+ N; d# I% I: V
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23" B" ]* Y7 k5 D- ?
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?) K" k2 q1 e! ~
    -------
    . _7 H& m6 I) l" c不好意思, ...
    : {7 z8 I! i3 \# s6 p
    谢谢,算法应该没问题,就是最简单的线性回归。$ K" J+ ]( H) E- R6 H0 B
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 . |6 Q/ Z5 c; R
    雷达 发表于 2023-2-14 21:52
    / a0 ~" I8 L8 C, a5 h7 C. O( x谢谢,算法应该没问题,就是最简单的线性回归。
    * T- V( a/ _. ]) [. H. x1 ]我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    . ]$ W- z) c: [$ D" ^% q2 |. W' x7 \( A! P  t: h; p
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    2 k  \* b: q" X: k& X6 J9 n  O; N% N3 s8 U7 T, I3 V
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 ( t0 M  \9 S& C* _4 A! \3 C! X/ T
    老福 发表于 2023-2-14 22:00. A% u0 o. w2 \3 f6 G) Y8 d( w
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。7 W3 o6 n/ D' R, K" ~( v
    9 v$ a0 I1 u' h8 H9 x
    或者把b但的起点改为1试试。 ...

    1 k3 i, D* K' {6 E- C* x: H8 n' J) o) F2 S+ k' {8 r5 @
    你是对的。
      m. f, N$ c* y% I" J+ M9 f去掉了随机部分) Y" o, r8 ?3 m5 r3 D
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)
      K" D/ T3 d1 D8 Z& F# L, E- ty = (x*27+15).reshape(-1)
    9 @" B& Z, X0 u+ y" M0 O# n
    : |8 h: d3 X0 q循环次数加成10倍,就看到 b 收敛了3 W, n4 X: f2 c: T9 C$ `
    w , b
    , x5 [- r4 S6 `0 v, O; J# d$ l% U# N27.002620697021484 14.826167106628418
    ! q. i3 E$ g- Q8 D, o6 g- }+ U* y9 p3 ?6 T
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-1-12 11:44 , Processed in 0.028638 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表