设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1926|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 ' W1 K: _% ~/ W5 P; X& s
    7 ?+ V  f6 g  d% [6 w
    为预防老年痴呆,时不时学点新东东玩一玩。
    4 |5 q- U* E# C5 h; ePytorch 下面的代码做最简单的一元线性回归:
      q! {5 c: T5 k! F2 O2 R4 @----------------------------------------------! f# C. b* u4 v  i
    import torch
    0 I* X7 U! N' Pimport numpy as np0 ]! O- S- h  U/ F2 n
    import matplotlib.pyplot as plt8 D9 v* m5 H/ x
    import random
    $ k) @$ z) P; r& [/ Q) N/ b: W9 O" F' Z2 k. s2 S
    x = torch.tensor(np.arange(1,100,1))
    & Y( Y* k7 U$ m5 k: m! ey = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    8 u& N/ X: }, F% W6 f+ ~
    1 g: ?% F4 g, a& e3 D2 lw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    3 b* B/ k) M, {+ N# y0 n5 X. _& _b = torch.tensor(0.,requires_grad=True)" g, q$ ~. V2 O6 b7 M
    ; n7 b: l) U: e' A$ U
    epochs = 1008 e  b) R; @8 N* E/ ^7 G) k0 K

    ! \1 A& q  k; }9 B- U; slosses = []
    7 ~% o6 h" U4 m7 R5 W" N6 h7 n6 Yfor i in range(epochs):0 G6 s. v# X- K) x1 E2 u2 ?
      y_pred = (x*w+b)    # 预测
    ; b; C5 [( O  `6 p# U  y_pred.reshape(-1)0 D8 Z4 X! F8 T( B
    / ~/ ^1 G/ Q% W2 `
      loss = torch.square(y_pred - y).mean()   #计算 loss
    * q) @9 `! ]+ j' Q  C  losses.append(loss)% |( I( x& E' ^3 b" v
      5 S. U6 M9 _4 o+ ?2 Q% t6 m4 d
      loss.backward() # autograd
    7 c8 H2 |% @/ ]  with torch.no_grad():
    9 r- G+ |9 u2 _8 v, t* t% i6 X    w  -= w.grad*0.0001   # 回归 w
    6 Z/ z* L, i2 A# N+ T; N( w    b  -= b.grad*0.0001    # 回归 b
    1 l# K% P/ p$ i  w.grad.zero_()  
    $ D/ n: I- p  s  b.grad.zero_()4 a7 x9 z" n6 @7 n. R& i

    4 Y# x/ p. a+ w/ g8 Z0 A- Vprint(w.item(),b.item()) #结果: Z! y8 w" C, p0 K" |
      w$ S- D8 E9 M* Y4 N) T" |8 S0 F
    Output: 27.26387596130371  0.4974517822265625
    - N* T0 |7 @, d$ w1 S----------------------------------------------
    5 M/ w( E6 D( v! w; ?最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。% P' m; Y- p: v( v- [6 t+ q3 f
    高手们帮看看是神马原因?& m' d6 H/ y! L8 W% g: L

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 0 K3 G7 r! j( P2 m  D+ _, r9 ?
    9 w( F# E+ I) ]" y9 N" d
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    / A3 P# {% U+ b/ F- _-------
    5 q% K- u; D7 Z, y  {. K不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。3 p) A  a8 S8 s. l
    -------
    3 @9 n5 Z/ `/ S. _5 J4 j& H算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    1 }: L4 m; P' W" x0 k' w9 L* ~# u没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    : `: Z0 O! U8 j) m5 [) o-------
    - X2 D: `2 w2 z4 y& p( G, ]9 s不好意思, ...

    . G. Y/ y5 w# N. m$ R1 g: L  T4 j# ?谢谢,算法应该没问题,就是最简单的线性回归。9 s- I- Z( A. ]2 U! W4 [+ a
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    3 ^. n! @3 \+ c3 g7 i1 H
    雷达 发表于 2023-2-14 21:523 I, Z' _, B: z5 s
    谢谢,算法应该没问题,就是最简单的线性回归。/ u$ o4 c8 x+ o  f" G* ^" _( b# u
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    : _3 Q" ?, ^) j! \" @

    4 {1 f% m% [& s% Y6 m8 j, o5 N% x# N; F) e刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。  ~7 b/ }; ^& E
    3 x5 l2 `; K' g  J) x
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 & Y1 q& [) p* h) t& S4 f4 ?( _
    老福 发表于 2023-2-14 22:00
    , q5 F6 M' C% T# F刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    ; T/ k! [  G2 ]6 _, g2 X7 R( T+ w
      D$ Z2 \, Z+ A( i或者把b但的起点改为1试试。 ...
    + h" ]8 A/ b9 Z2 h

    : O) G9 s1 v1 g6 }: z% L7 S& G你是对的。+ E- a* Q  l2 {( V) j7 b
    去掉了随机部分- x3 E; h( n4 D
    #y = (x*27+15+random.randint(-2,3)).reshape(-1): a- i  V0 d) Q' r
    y = (x*27+15).reshape(-1)" J0 w0 U7 W& i0 C- {! L

    1 f  ^3 H0 k" M: q5 ~/ R& s循环次数加成10倍,就看到 b 收敛了2 Q! [- j1 A! _0 ?# c
    w , b
    . W3 y( H& @0 q. N2 `27.002620697021484 14.826167106628418  ]0 w4 t  J8 n0 V
    " D% c0 ^5 z& z
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-9-8 04:33 , Processed in 0.034523 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表