设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3349|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    1 v; J; L1 ]! c2 X" k- N% O! s! b8 q4 z& g; M0 w# F* O9 b( h5 f
    为预防老年痴呆,时不时学点新东东玩一玩。9 E: b9 E. V' O. S, d
    Pytorch 下面的代码做最简单的一元线性回归:4 w% H) Y" i& m1 d
    ----------------------------------------------5 W9 T# w3 G$ K- o( M9 u" R6 V
    import torch
    * d# t1 S+ X5 C! M$ A/ X! C4 oimport numpy as np1 g7 V0 }6 M3 C% v& D8 q2 p2 [
    import matplotlib.pyplot as plt
      U" y) E8 I: r. ~  fimport random5 S( u: q& c# d2 z1 X$ D5 G

    5 Z, l) }4 E, k& \# K4 |( Lx = torch.tensor(np.arange(1,100,1))
    * l& l7 a0 C% Z8 my = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15  B5 v' f2 x; T; a$ U- V
    0 p  [5 n) I( R2 `4 h
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b3 r" q' P% s. q( ]1 P) q6 ?6 D
    b = torch.tensor(0.,requires_grad=True)
    ! G6 g9 d8 i1 j2 Z# A6 x1 V# n; @
    2 |! X. M  E; D7 v9 s- pepochs = 100" P% t; _6 [/ S  Q6 M8 h

    4 p& u" K% g3 \9 Tlosses = []3 |8 \2 q% S; c+ G3 h( U+ p* x5 ]0 _& w4 q  v
    for i in range(epochs):+ o9 @) C6 A) u7 C, b. g
      y_pred = (x*w+b)    # 预测
      ]) G7 I3 L, W9 u0 t  y_pred.reshape(-1)
    ; Q* U4 b1 O; K9 r$ w/ s 0 U6 |' y  e+ ?
      loss = torch.square(y_pred - y).mean()   #计算 loss2 O9 ~5 k& X5 W! \6 l1 T3 j! q
      losses.append(loss)
    8 g2 c% w& b& E' S  % k+ M, ?) b/ d# R- ~6 l, P
      loss.backward() # autograd
    9 j/ \9 y% @7 E# p% U7 }0 M  with torch.no_grad():6 N( Y* |" L  V+ F" U  B
        w  -= w.grad*0.0001   # 回归 w, I; J3 q) X! Z- }7 k9 U  s+ Y) y
        b  -= b.grad*0.0001    # 回归 b 5 |$ Q+ Z' T# [" w" K7 e. }6 w/ R
      w.grad.zero_()  * o2 N9 u. {8 C
      b.grad.zero_()
    3 |# }; X2 |1 ?
    ( |. N# v( B' nprint(w.item(),b.item()) #结果9 L; K7 j" R! H: [, [# X9 ~
      h0 @1 \  M: P! m- p$ r+ t
    Output: 27.26387596130371  0.4974517822265625
    9 a  k8 \1 L. D8 T% S) s4 {----------------------------------------------
    ; N: R& z+ n! m5 l最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。& I3 c$ d9 x' z5 ^6 B% `2 }
    高手们帮看看是神马原因?
    $ l1 Q( t2 Q$ Q; c6 G+ r( q3 H1 i

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 3 T; `0 u# N, H& \' P

    ( e/ r" m3 K, u( J6 A1 e8 m; v) `没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?1 g7 l0 \7 C# r1 ]! |6 [7 _
    -------8 f/ B) n4 e( w& m
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    + m" R1 j4 Z. Y$ S6 N-------' g) L' S) c  M' t/ W
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    & h" z* ~0 a0 ^  H7 N没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    9 l) J8 p7 `- ^, b( b-------
    % M* k& @. t! g& [2 A3 z* s$ I不好意思, ...

    , L$ H+ E( O2 U4 L6 W谢谢,算法应该没问题,就是最简单的线性回归。
    # c( \$ w* w5 @" }' \3 i我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    : \( ?* c$ [* R/ n" f+ Z3 g
    雷达 发表于 2023-2-14 21:52
    7 `) S5 d1 [9 {# {5 c' {+ T谢谢,算法应该没问题,就是最简单的线性回归。
    0 f! I5 Q+ W  z0 O. @3 L; N( [我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    ; w  u( a4 ^! l$ d5 y
    * m2 R8 u& q* ~/ V刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    ! u* W- j1 O* T; L) O( |8 x2 M
    . ?9 N5 H$ P+ A4 E! o; x或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 1 O& Y5 U. K, k/ S1 I
    老福 发表于 2023-2-14 22:00
    0 ]. Y9 ~) t0 f! g; o刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。- E( B5 X; A2 ?: P5 B6 g7 y

    , O2 [/ _/ Y- e! J* P' H或者把b但的起点改为1试试。 ...
    ( L! W4 K& L2 D5 Z, G: x
    3 ]) T* b' R: P/ C3 f9 p
    你是对的。& F& d7 w6 H3 d4 e- N
    去掉了随机部分
    0 c' U! y  ?" V( m#y = (x*27+15+random.randint(-2,3)).reshape(-1)3 F0 L( G# P9 {
    y = (x*27+15).reshape(-1)7 r, B1 q6 O1 a, b4 @* [! N, @& Q
    " V3 |- `# E3 p4 v# u
    循环次数加成10倍,就看到 b 收敛了9 _' k6 K. R9 w
    w , b9 }  {  s7 o7 C
    27.002620697021484 14.826167106628418
    0 e  q2 N. `2 n% v( Q8 j/ ?- ?" t
    1 e3 I4 Q1 u* L( P8 X和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-8-2 16:26 , Processed in 0.069634 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表