设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1955|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    # I! W' |; X& Z$ R% w+ C9 f& R. L7 G& {0 l1 D
    为预防老年痴呆,时不时学点新东东玩一玩。0 @; J+ d2 R, Z+ ?( H# Z
    Pytorch 下面的代码做最简单的一元线性回归:  R& }3 B6 X+ \9 n: k/ O3 p5 v
    ----------------------------------------------
      O0 D6 J: `6 o# q6 L0 A6 ximport torch
    1 V! G2 V3 E) x: _9 E9 Fimport numpy as np
    % o6 {) x( G8 K% jimport matplotlib.pyplot as plt
    " r# X% u/ q) z* @+ o; i( Jimport random
    ( V. B% r7 |$ Q) l7 G, x, s/ M; t8 s; h+ |% u, H9 |
    x = torch.tensor(np.arange(1,100,1))0 _3 u9 }# N7 o
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15' Z% C: P' I; z. [4 H8 x
    2 }3 h! A* I1 h7 v
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b$ ~3 v$ d8 P+ {8 T& H
    b = torch.tensor(0.,requires_grad=True): a/ N) u' L, C& X" S) i6 S
    & `6 n  n- @7 l
    epochs = 100, \  j% R! r+ G2 X4 @( a

    ) s$ G( i4 N6 O) U% Q+ _3 {( Ulosses = []" }! `7 j" R7 Y5 g+ m. C
    for i in range(epochs):
    6 R* O# N4 ]8 X# M8 m, [  y_pred = (x*w+b)    # 预测5 U( d0 O% J* M' e
      y_pred.reshape(-1)7 }! B- V0 L( j9 }7 i( z
    ) {% j+ I9 d/ q: L* E3 \5 O
      loss = torch.square(y_pred - y).mean()   #计算 loss
    2 b  M1 {& _- ~8 B$ Q+ {9 X  losses.append(loss)8 K6 B- M0 k& ~3 V
      
    - y% N4 r9 c* j7 u& p. U( s) f2 S  loss.backward() # autograd
    , k6 ~# \9 X% T$ F8 M1 Z1 X! ]  with torch.no_grad():) i$ ~+ Z* Q$ `8 ?
        w  -= w.grad*0.0001   # 回归 w9 j; ~; D0 i5 x+ o9 C/ Y, p
        b  -= b.grad*0.0001    # 回归 b
    ) U1 I/ P+ I8 I. n  w.grad.zero_()  
    / A2 S) C4 Z$ }0 M  b.grad.zero_()
    6 D3 J: q+ g# x! [/ W, h: w; ^- Q' U
    print(w.item(),b.item()) #结果
    : n" m6 \: ]$ Q% w! S& m; w
    # T4 |# M. p( r- b# e1 K' t7 dOutput: 27.26387596130371  0.4974517822265625% c! d. y( i* E0 O# Z; t2 H
    ----------------------------------------------
    2 |( w4 C8 A! O" U4 z& U/ _最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。9 M0 }# |1 f- R0 ^5 r5 D0 a
    高手们帮看看是神马原因?
    * Q6 P$ u# {- |

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 & g3 K( }  ~9 g, _: L# h
    ) @8 F' H, W9 }
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?: C* D  G6 S' I& E+ T2 d
    -------, I7 @* e8 s0 o& d, O
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。4 q! d, p8 V8 z) T% {
    -------5 X* w6 ]  h; U- \; p
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    $ X, ], z! o; H) d, S没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    , o# i5 {4 Y( M+ V-------
    # p9 G+ l# u1 b, x不好意思, ...

    " s2 m& p3 G; V% i% i谢谢,算法应该没问题,就是最简单的线性回归。
    3 P7 ^: s' G3 g, x7 ?我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 . f- a( p* P1 S; l- Y! I
    雷达 发表于 2023-2-14 21:52. r! l+ N' D. o* ]8 L
    谢谢,算法应该没问题,就是最简单的线性回归。
    * Y3 A1 z$ ]& F5 F$ y& N我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    3 }! X" e: [3 k: y% i- n' h3 ^7 N
    ) L6 A/ q8 v$ Z( K. G- }2 ^9 o% h刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    9 P; B4 _& w& H
    * d& k2 H8 ]0 o: c或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    / J- e! R0 Z, ~. x$ \
    老福 发表于 2023-2-14 22:00
    6 Q- j* X0 e, B( w" ?+ `3 T( v刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    9 ^! w5 ^) k. L/ t# l8 o$ O8 {( }4 r9 q* p1 C' @7 h) i* Z
    或者把b但的起点改为1试试。 ...

    ' A/ S& B# n1 i: M$ J5 l7 N; h% \( t
    你是对的。
    ( |: }% m% s5 N1 Q, d% U去掉了随机部分
    / j2 ^# b" v% X! d#y = (x*27+15+random.randint(-2,3)).reshape(-1)2 y0 y4 Y# c& j* @
    y = (x*27+15).reshape(-1): W- n* |( a1 _! f4 }% A# ^  N
    ' W+ Q' z+ ]+ S9 S7 n# r
    循环次数加成10倍,就看到 b 收敛了3 g# c" m7 `7 ?; ]* a
    w , b
    " Q3 \! W: E6 m27.002620697021484 14.826167106628418
    1 J: i) S+ a& I8 Q0 c' {6 H. U2 S6 h0 }9 _
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-9-17 03:00 , Processed in 0.033283 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表