设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2329|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 % n9 S/ p& _* j2 |
    2 I" g" a" ~: N& A! `+ o" ]
    为预防老年痴呆,时不时学点新东东玩一玩。0 o+ Y* v# G4 d
    Pytorch 下面的代码做最简单的一元线性回归:2 d9 z$ }" n5 B! t  q+ [
    ----------------------------------------------
    9 |7 H1 o- W* e* z5 n) ^import torch& L6 Y/ G9 O" C6 N+ A2 u4 i
    import numpy as np
    $ [3 E9 u; V& h2 l4 |1 Simport matplotlib.pyplot as plt
    , ~/ N( K/ R; a6 R, N; fimport random
    6 G8 P* `7 q$ {! V6 b5 b. i3 E4 U6 `9 r, G% g' S
    x = torch.tensor(np.arange(1,100,1))) a0 H& x2 @+ \; P+ D, {& \: {
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    : _- I: ]$ b8 L! u
    1 d' S6 s( {1 Mw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b. I) {' e. z. @4 @4 z' X
    b = torch.tensor(0.,requires_grad=True)0 W" K' ~4 z& U  x1 c5 l3 A$ F
    7 n/ p+ r. K  w1 J
    epochs = 100: T1 b2 W" M3 F" o! {1 N: F( w5 s
    $ ^" b+ |3 |1 R; v9 ^/ X
    losses = []
    - q! `0 h6 V5 a2 t6 c/ k3 Cfor i in range(epochs):
    6 _% R8 ]3 u6 i2 p/ @2 K  y_pred = (x*w+b)    # 预测' F2 W- @" U# c2 r
      y_pred.reshape(-1)- a$ D# E& [, P$ Q

    $ O/ n- T, a+ w+ u  loss = torch.square(y_pred - y).mean()   #计算 loss
    ! E5 K! |, ], ?( ^8 F% v  losses.append(loss)
    * [  T" N4 J6 u  d- H5 \. K  
    ! e  A1 C; M" y4 X; E5 ^' A  loss.backward() # autograd
    " g# f' l/ C; |( u8 K2 k  with torch.no_grad():
    $ r0 N) g+ C, L% M& S) V9 L    w  -= w.grad*0.0001   # 回归 w
    + p* b9 P3 C& v( f    b  -= b.grad*0.0001    # 回归 b 0 U. O; [! N+ S) s* z
      w.grad.zero_()  3 J- n4 }5 w; J3 t- q7 b2 `# V
      b.grad.zero_()
    7 Y7 `/ t) Z' ?2 ]& d; R+ K5 e; m5 W$ {+ Q' c" \/ O
    print(w.item(),b.item()) #结果, u9 `4 V( x' {
    % q9 N+ b7 s% k8 s% n- S5 u
    Output: 27.26387596130371  0.4974517822265625
    ; C7 F3 }7 Y  o& H+ _0 E----------------------------------------------8 Z; q# n! A3 o- f  M! g' V
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    : I4 e- I+ i" L, [1 v5 N高手们帮看看是神马原因?
    + F, k  T7 S( F2 J7 H& S

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 ; W0 x5 a  ]5 z% J8 r' }( ]$ L9 `' ~
    , ~2 ]0 b* o- A
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?( b! t0 J6 b, h! F2 R
    -------4 i' c; N! J2 ~) Z7 ^
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。7 |6 }; U5 X. Y7 `( D! {, y
    -------
    / U! W0 G- ?3 x: Z, K算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    7 l4 a' |  c/ w6 u没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    8 z; m# U& y' Z& R3 P( G9 l3 M7 A$ @-------
    ; z5 [. @  c  i' R" v不好意思, ...

    ( p4 s- U/ P5 s( W1 i; Y谢谢,算法应该没问题,就是最简单的线性回归。) j. K+ z3 R8 j5 \" X/ z5 e7 |
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 5 \3 ~- \& L7 y: k( s
    雷达 发表于 2023-2-14 21:52" g! |* e" X" T5 I
    谢谢,算法应该没问题,就是最简单的线性回归。
    0 g# Q7 t+ H0 e2 m5 @& L我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    & h  @! F: M2 S( o2 q. C) g3 D+ o
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    - o5 _) j* |# t- C( K# o% j2 ?  a: D+ k5 [% k8 ~4 C
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    0 P1 B! l1 N0 P3 T. A, D2 S6 ~
    老福 发表于 2023-2-14 22:009 }3 \6 @4 `+ D) V; m* y* c4 S
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    * Z3 A  i% o  x  m+ C/ l6 B4 a7 ?- \) k6 D
    或者把b但的起点改为1试试。 ...
    ; B4 N  f$ T) o+ w

    1 q( `# T9 a0 N* ]+ V你是对的。
    $ C$ Y% C3 N  X! |! l4 x去掉了随机部分
    ' l. z' |. u$ f. h% e; e! }#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    " `. p& i7 b3 z: _y = (x*27+15).reshape(-1); P0 ^& b; G- E* J* e9 a. ~

    7 Z7 F8 ?. O& }5 @6 {循环次数加成10倍,就看到 b 收敛了
    - U7 u3 {7 r; r, lw , b
      }6 b' N, f+ b8 o27.002620697021484 14.826167106628418  ?3 _* F& @* d, V8 R- ?3 G3 u" b: U
    0 j9 o: d8 C. t  Y/ U& s! a* `! U1 |
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-1-13 10:53 , Processed in 0.029585 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表