设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3434|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    1 B3 u1 U# X+ z; X2 m0 `, p' {) C( n3 N/ r
    为预防老年痴呆,时不时学点新东东玩一玩。, \: H' y  p! ]
    Pytorch 下面的代码做最简单的一元线性回归:! A$ [0 T& |% P& ?: Q
    ----------------------------------------------
    # A, e  A8 {2 F% [; Oimport torch$ T8 N- Z: }4 I" I1 ?
    import numpy as np
    0 k; f9 V5 j2 m" b/ n8 r) himport matplotlib.pyplot as plt
    5 n4 F0 q1 `# p0 |4 l- I. Rimport random
    - A/ H7 \7 J: Q: E! b; T4 T' u  F6 M
    x = torch.tensor(np.arange(1,100,1))
    / N2 ^: O( \& e: B4 f2 R9 A( jy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15  X, N' H6 |3 v# u2 s, L) ]. ^- G

    + ~, m# }, v, @6 f! |" R1 m9 z- M6 vw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b: p* e# d6 M* U5 Q6 }6 D! g1 u
    b = torch.tensor(0.,requires_grad=True)
    9 j' w0 B# x$ F
    , H. A  L, \/ \- ~) depochs = 1004 j6 S+ y# A+ X- Q$ t) @

    * w0 O4 h/ \0 c; t6 nlosses = []+ S$ I$ Q  F8 L2 m
    for i in range(epochs):" c% v8 Y# L# I6 z/ C
      y_pred = (x*w+b)    # 预测
    . `7 I7 y; y1 N( v0 \" Z3 q0 P  y_pred.reshape(-1)
    ! e( V; W. v/ x  Q
    5 w8 H8 b0 c# |2 ]- }1 [  loss = torch.square(y_pred - y).mean()   #计算 loss
    6 F$ d6 _& s& K, A. L1 I$ Z6 Y  losses.append(loss)
    6 }9 D: b2 T: u  \: Q- e  
    % W: ]. k4 l& J# V  loss.backward() # autograd7 Q7 Y1 L$ _  q2 K: P8 @9 v1 Y7 x
      with torch.no_grad():; J% K2 j$ {% q- i9 \* `/ q6 Z
        w  -= w.grad*0.0001   # 回归 w
    6 `& h# G" m- ^2 z    b  -= b.grad*0.0001    # 回归 b
    2 s5 K) ~' F7 @8 d0 b1 {  w.grad.zero_()  ' d1 C4 u1 I; H2 ~3 i
      b.grad.zero_()0 \. O' ~! X  c4 @

    - J3 C1 l9 N( Z9 \$ iprint(w.item(),b.item()) #结果
    ' [; F) I* r3 ?2 I$ f. f# s8 T+ }  k) V
    Output: 27.26387596130371  0.4974517822265625" u) E8 A) `- [- [+ |/ G* A. [
    ----------------------------------------------9 U/ {- Y- I+ U' H# z+ D
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    * y+ P! @. i6 c! `高手们帮看看是神马原因?
    ) Y! Q% O6 A- m* M* _

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 # F4 r6 w; i  c5 T* m7 Y6 j3 a
    9 d# ]' B; r4 M
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    5 Z0 ]+ M- S% I/ ]-------
    + T6 W2 A% e/ }( D. `不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    2 A1 G% Q4 u* Q8 S$ q- B# i-------' U  m- s5 E0 X' Y* K. B6 E3 e2 ^; E
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    6 S0 @; k. g1 s* \8 O没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?) e0 e, Z6 q3 W- G
    -------
    , K$ ?7 h4 ]  T. N; r不好意思, ...
    % g. p) s+ J- J3 \
    谢谢,算法应该没问题,就是最简单的线性回归。
    7 h. s9 z4 |# n9 d8 H我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    - B+ N, ?# T9 O0 {& D
    雷达 发表于 2023-2-14 21:52
    6 n" e% h6 F* a1 R7 w谢谢,算法应该没问题,就是最简单的线性回归。
    $ c1 }8 d; d7 K/ q9 N6 J; S我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    6 D' r' K8 Q# @' v

    . b9 t- A. H6 k( R刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。/ u  K- v$ z. I$ G; ~0 X. ^/ o
    1 W1 r6 U! V; c2 ?
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 ) W& c/ }# O. w8 q. T
    老福 发表于 2023-2-14 22:00! [, [- y* g7 p5 ^. y/ L9 b
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。6 p! z" t5 t% h( l5 u) Z
    6 X& g( ]0 O2 k) }, P/ F
    或者把b但的起点改为1试试。 ...
    0 Z! ~/ }% J/ D; F

    $ @' t, J5 d- O$ T% }* h你是对的。  U  X5 Z) `+ j& }7 M4 w
    去掉了随机部分
    * y! [' n8 v8 z# E8 T, Y; Q5 A; S0 h#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    + L" |$ y: n' P- Ly = (x*27+15).reshape(-1)
    : F$ }; a6 L! ^) |( L# `* F( \  P4 Q7 o# I5 z% ^
    循环次数加成10倍,就看到 b 收敛了
    ( z6 d  [$ G6 u6 X5 {w , b
    : L; v" F0 x0 {* H5 H, s27.002620697021484 14.8261671066284181 U: A, f5 x' I  C6 @( m6 P/ ?; C
    * R' i3 s" S5 q
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-8-20 14:51 , Processed in 0.059492 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表