设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2908|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 3 H# O' X' ?7 l8 L
    / r. k9 G0 U- K# k
    为预防老年痴呆,时不时学点新东东玩一玩。
    1 x) J0 J6 _+ S& f) i" dPytorch 下面的代码做最简单的一元线性回归:* v3 _2 G# z5 H+ Q. P! Z
    ----------------------------------------------7 [8 H$ g2 ?# t/ D, }
    import torch
    + b5 B, [! ~/ u0 yimport numpy as np0 f: `% _" s: L, u% o
    import matplotlib.pyplot as plt
    9 }, m8 o; f3 v2 Jimport random
    * `: W& x9 W+ y% Z. `$ j! m( S# ]
    8 Z1 G% D+ R! {! ix = torch.tensor(np.arange(1,100,1))
    9 j) H2 q" |$ ^: U) ^5 l  S% qy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15) A$ I4 m% j* c3 i0 B3 f

    % m. ~, z/ y$ h- dw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b( g) s  e. y7 h
    b = torch.tensor(0.,requires_grad=True)
    1 ?# Y* o" P* C; i" v
    ; i' ?) x# \, X5 n2 C& f- Nepochs = 100: a, F9 A3 d$ H! l
    / u" U1 d+ |  b% H5 M5 v5 H
    losses = []% A  S9 `+ `& {
    for i in range(epochs):
    . ~3 `* G9 |# L' N- ~( [9 ]  y_pred = (x*w+b)    # 预测
    9 c0 K. ^! g: o4 ~2 G+ e  y_pred.reshape(-1)
    9 |0 z% D; a3 C3 j   t! v- I; ]$ V8 M0 q
      loss = torch.square(y_pred - y).mean()   #计算 loss1 ?! n3 w8 {7 H# e
      losses.append(loss)
    3 ?( k2 l% `/ W( j! i  6 M9 V7 K9 c5 ^
      loss.backward() # autograd0 e. b  A, e( v9 u9 _
      with torch.no_grad():* q- `- W; g/ F; l: q: {, ]
        w  -= w.grad*0.0001   # 回归 w
    : y& u( M( s7 B6 M5 ~7 t; N. D  ~) |' j    b  -= b.grad*0.0001    # 回归 b / k8 x7 I1 d, B, I
      w.grad.zero_()  
    3 s9 P/ @" ?4 z" H  b.grad.zero_()
      i0 |; Q+ c" `$ P. I
    0 B2 Z+ N5 m! K6 t  i: Wprint(w.item(),b.item()) #结果& S0 M9 u/ Q% u1 ]# X% h
      y, H' L( M! ^% h" }8 e
    Output: 27.26387596130371  0.4974517822265625
    * @- |% f/ k$ E6 x) n5 ?----------------------------------------------
    & e" J: k% E! {, s' X: J; `, k最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    1 Z6 K8 \, P, i, g8 k' O高手们帮看看是神马原因?: E* X2 D. C9 g4 G0 r/ k/ O( S% \

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    6 G& ]* `' I+ g, b- Z+ Z1 B/ d" m: {$ d$ U
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    3 |6 D# S, j! _- _+ u-------
    1 ~  w, R9 x4 G' d& b! f) Y; J9 s不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    8 {% u& \) D0 e- e7 K! L7 K0 u-------8 Z6 {. h% M1 Z
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    8 k& H3 {) l; g7 B. \; x没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?' |) e- a! V' t* a+ w
    -------
    % _( E. b7 p/ m& w; s不好意思, ...

    6 Y: v! L# ]  \3 I0 _: E6 s" u* v/ h. E谢谢,算法应该没问题,就是最简单的线性回归。# {1 Z4 m; d$ B# }. N& ]
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 1 u  R% A' B% n5 t, ?2 c
    雷达 发表于 2023-2-14 21:52
    + U) v. `: ^* B谢谢,算法应该没问题,就是最简单的线性回归。& U. \0 q6 Q; M  R
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    " m% f3 j  M+ e/ X. p" [+ {( m
    . X6 d. Y6 u% I刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。1 y$ }9 e  |4 o' O2 F5 Z

    ( o; O! }- Z  b! y/ J" {' o9 f! A或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    7 Z. {2 t6 g. f3 {4 Q
    老福 发表于 2023-2-14 22:00
    # H8 l9 C% I1 T" B刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。+ \7 _, h, T( ]! a/ }3 v

    3 E- f- O. h" [! ?2 X5 G; ^% ^或者把b但的起点改为1试试。 ...
    ; w) c: Z+ B0 U2 J3 {% ~" Q7 J
    . q7 O) N! P5 q$ k1 \
    你是对的。" ^  o' i5 [+ r" Z3 t% z  i7 r
    去掉了随机部分
    $ Z0 Z( a5 k# {8 J#y = (x*27+15+random.randint(-2,3)).reshape(-1)& R( `' k- g9 H/ v, S
    y = (x*27+15).reshape(-1)% [; R: u1 j- f2 O6 y, U2 E

    ! {. b* _3 ^' W3 r: y循环次数加成10倍,就看到 b 收敛了# c  s& ^. i/ I- A5 B# h
    w , b
    1 U  i9 Y- v  n27.002620697021484 14.826167106628418( b4 H8 v5 C& u$ {6 G3 F

    7 M4 r3 Q% m' v和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-5-18 15:27 , Processed in 0.062804 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表