设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 14065|回复: 145
打印 上一主题 下一主题

[科技前沿] 真有在人机大战前放炮的:谷歌AlphaGo是科学欺诈

[复制链接]
  • TA的每日心情

    2020-11-20 06:24
  • 签到天数: 1618 天

    [LV.Master]无

    跳转到指定楼层
    楼主
    发表于 2016-3-7 18:19:23 | 只看该作者 |只看大图 回帖奖励 |正序浏览 |阅读模式
    自从谷歌改名AlphaBeta之后,她的围棋人工智能程序也就改成了AlphaGo。Go这个音是唐朝时期“棋”这个字的发音的近似,现在考证类似“国”这个音发短促些。
    ) I+ j# F  q% H5 T9 t7 H& n$ O* A. d' U5 q
    可见语音的变化之大。
    " x. t$ {; t+ B$ R
    * [: F" V" U$ K. c8 U1 U扯远了,今天,看见人工智能学家刘锋  (计算机博士,互联网进化论作者,人工智能学家主编)质疑谷歌的文章,我这里全文引用,之后在回复里面对某些段落做点评。这样是为了首先保证文章的完整性和阅读的连续性。  Y- e  _, D( r! {4 D2 L. m. X
    0 E0 \4 s" e5 f) w
    “把大象关进冰箱要几步”涉及的科学漏洞
    5 r5 N* @7 ~, }' U5 d
    - r# L3 T2 v( u: v9 u  在讨论谷歌围棋AI及其比赛问题之前,我们先看那个著名的笑话“把大象关进冰箱要几步“,2000年中国春晚,赵本山、宋丹丹的小品《钟点工》,曾经用到了这个笑话:问“把大象放进冰箱总共分几步?”答:“三步,第一步把冰箱门打开;第二步把大象放进去,第三步把冰箱门带上”。8 O8 [1 N& _" G  I! T

    0 U! f! m" W( O7 e- p( n4 B( H  小品中的情景只是一个笑话,但从科研角度看,因为故意忽视最为关键的第二步,使得这个原本伟大的科学实验,变成了笑话段子。本文提出谷歌围棋AI及其比赛有科学欺诈表现,根源也在这里。( v' F  R2 R9 y0 {, N- I
    $ c3 Y4 W' m. v
      谷歌围棋AI在Nature上究竟说了什么- c# |+ U' L  W2 k( K
    4 c* P9 S' N) b7 \; Z
      谷歌在Nature发表论文阐述了其围棋AI程序AlphaGo的运行原理,这个原理描述相对专业,这里我们也力争用通俗易懂的语言描述谷歌究竟说了什么,谷歌围棋AI程序AlphaGo在下棋过程中主要通过四步完成工作,它们分别是:
    5 S7 w: ]  d* |# [3 I  b
    . K: P3 z+ R' R2 J3 a  第一步快速判断:用于快速的观察围棋的盘面,类似于人观察盘面获得的第一反应! ?/ J3 |6 ^* N( I

    6 ?+ X6 U$ D% |. R8 z/ q5 z* o  第二步深度模仿 :AlphaGo学习近万盘人类历史高手的棋局来进行模仿学习,用得到的经验进行判断。这个深度模仿能够根据盘面产生类似人类棋手的走法。& E/ N/ @1 O2 ?" v

    $ P. C8 ?4 }/ l3 E) v! W7 l: c, v3 }" c  第三步自学成长:AlphaGo不断与“自己”对战,下了3000万盘棋局,总结出经验作为棋局中的评估依据。& @; q( f3 r5 H) h1 M6 \& r9 i

    ! \$ ^! ^8 e8 f& G. n1 s  第四步全局分析:利用第三步学习结果对整个盘面的赢面判断,实现从全局分析整个棋局。
    % X. _- M" `/ [
    - g! |9 u& A0 V+ a9 s) P( u# L- L0 a  判断欺诈的第一个原因,谷歌的把大象关冰箱问题
    + `9 I. Q8 i% w6 r2 B5 H, M9 V" V3 r
    " C8 J/ Z* U) Y) `  Nature论文阐述的AlphaGo基本原理,按照人工智能专家的评价:”其基本原理并没有新东西“,但核心价值是学习了近万盘人类历史高手的棋局,和自我对战下的3000万盘棋局总结的经验。
    : A8 D8 V/ C  x! t8 r9 p% y
    ( B' X1 p$ A2 i4 r$ J, f  请注意,这个关键内容,也就是AlphaGo到底终结出什么围棋规律,或者其神经网络的权重值是什么,谷歌并没有发表出来。也就是谷歌在”大象关进冰箱要几步“问题上,说出了如何打开围棋战胜人类的冰箱大门,和如何关上围棋战胜人类的冰箱大门,但唯独在第二步围棋如何战胜人类的方法塞进冰箱,同样做了隐藏。3 B0 ?1 a9 d( S& o5 @
    * ?0 r( \4 r% _
      我们知道,围棋之所以很难被人工智能攻破,战胜人类高手,就是其可能的组合数异常庞大。至于多么异常,2016年1月普林斯顿的研究人员给出了最新研究结果:对于一个19x19的围棋棋盘而言,一共有361个位置,而每个位置可以单独放置黑棋、白棋或者留空,理论上所有的可能组合是3^361种。但根据围棋规则,不是所有位置都可合法落子,例如在围棋术语中没有气的位置就不能落子。那么排除掉这些不合法的棋局后总共还剩多少种呢?& S* z& k3 D1 v3 w
    5 ^/ H- s6 @( H. @6 B; C0 e
      普林斯顿的研究人员给出的19x19格围棋的精确合法棋局数:208168199381979984699478633344862770286522453884530548425639456820927419612738015378525648451698519643907259916015628128546089888314427129715319317557736620397247064840935- X7 ~/ \9 T, A" l9 Z$ s# l6 J

    / g; ^) Z' u% ~/ a  我们给它多分几行:3 z2 B2 H1 E, y1 `
    0 D+ m" ^2 X. m* c5 e  V& {3 J
      2081681993819799846- f, {+ l. _2 w2 D. _; w6 O
    - _9 Q/ p7 e: v
      9947863334486277028
    , e% G2 l7 D/ K, G9 _
    7 J0 m7 O5 _9 k+ S, v  6522453884530548425
    ; S( c% j2 a& S& t
    2 P8 d4 `2 L: {  s2 E  6394568209274196127# u9 P, L- C- c1 `! u8 d

      U" [, Y" c9 H/ S, S* [  3801537852564845169
    ' H7 m( B7 N7 U0 X8 K, B( @0 r( I: \9 n( G
      8519643907259916015
    ( N" A" p& _! c+ I. Y, L0 g3 G6 y' {
      6281285460898883144. w% \9 o0 p& {0 N' S. }2 q

    / t; W- R- T1 C0 [  2712971531931755773
    $ K2 A( ~1 J' f0 \# r7 S* w
    ! K$ p8 A2 Z3 E* I  66203972470648409351 H+ z* R* h6 b5 k0 g4 [+ q0 i6 {$ P

    , e. x; F( a8 N; D+ b, ~6 }" C' z  不用数了,一共171位数! 这个数字比我们地球所有的沙粒数量还要多!比人类已知宇宙的所有星球数量还要多!对比一下,谷歌学习的近万盘人类棋局是5位数,谷歌自行对战的3000万盘是8位数。而围棋所有可能的棋局盘数是171位数。如果规避还有可能的重复变化,我们把大头去掉,那也有70位数的棋局变化。2 m! G$ j: b* v9 }, w2 o7 `
    0 \8 q  e5 Y+ b5 D- l& _8 s
      第一也就是说谷歌以幼儿园规模的知识量,就要获得诺贝尔奖级的知识规律,这违背了科学发展规律和常识。+ J$ E( [% x$ ]9 q. ]
    & e9 }  _) M( z1 V
      第二,如果谷歌通过学习和自行对战学到了超出寻常的规律,或者其神经网络权重值达到新的高度状态。但谷歌不愿意公开这个最重要最关键的内容,其他研究者就无法真正了解谷歌围棋的真实水平。在这种情况下,匆忙举办获得巨大商业利益,没有第三方真正监督,无法洗脱作弊嫌疑的世界冠军比赛。受到科学欺诈指控也属必然。3 i& O3 ]) v6 U: I

    ; Y+ I& \0 d3 E! Q3 w  判断欺诈的第二个原因,密室实验与棋手放水
    0 ~8 V2 ~* {* }# y) n7 U4 D
    ' {8 O, T0 p: D% c  G  从科学实验的严谨性说,谷歌在论文中阐述的实验方法,表现不及格甚至恶劣,我们知道在物理,化学,生物,计算机等领域,进行实验时,要求实验对象必须达到一定数量,并进行多次独立实验。才能相对确保结果的稳定性和可靠性。譬如一个受到污染的试管,无论我们重复多少次实验,其结果也一定是不可靠的。
    ( j2 N9 ^' w  p3 V  q$ w( T" v% O# L+ k4 q/ h# J4 ]/ H
      谷歌在这篇论文中 对其他围棋程序选取了众多测试对象,并进行了495次实验,但对人类测试者,却只选取了一位曾经获得欧洲围棋冠军的棋手,并签署严格的保密协议,原本可以很容易邀请更多选手,但却没有按照科学规范进行多次实验。先不谈谷歌和棋手之间有无利益交易,就这一点,谷歌在Nature发表的论文从实验角度是不合格的。9 Y1 e; m+ `, b1 }; e
    / C9 k  G& H: L% ~3 i
      更重要的问题出在与谷歌对战的欧洲围棋冠军樊麾身上,在对战棋谱公布后的二个月里,大量职业围棋高手含蓄或公开指出樊麾水平发挥失常,或不求进取,或就是放水。
    4 C9 e* n3 h) Q0 D, k, }- N* B, ~$ E3 q3 t, E, q* r
      多次战胜李世石,当前世界最优秀的围棋选手柯洁评价道:“他可能也是好久不下棋了,实力表现非常糟糕”。前北京市高校围棋冠军王烁在财新发布的文章中评价道:“这五局棋下得反而是很平庸。樊麾抵抗不足,五盘棋没有什么激烈的战斗,开局、定式、占大场、小规模接触战,收官,对抗度很差。”9 x4 Q. e* A1 e. ?# w; T
    , D2 n" U4 P3 R0 g; Q# P
      虽然欧洲围棋冠军樊麾多次辩解“我发挥失常,当时崩溃了“,但更多棋友评价欧洲围棋冠军樊麾,“发挥有技术变形”,“樊麾的表现只有业4水准,关键地方明显放水”,“很明显樊麾是谷歌公司的托,全是50年前的招法极其保守,不输才怪”,“对于谷歌,没有什么谎言是不能用1千万美金解决的”。
    0 U! g, ^6 S4 }# [2 _) ]; d7 b: y% y; }7 D+ N& j- e
      除此之外,谷歌也没有向Facebook那样把围棋程序放到互联网上,光明磊落的接受大众的考验,作为与谷歌AlphaGo原理相同facebook围棋程序DarkForest,目前水平相当于业余5段,与职业选手依然有巨大的差距。# W+ q6 D! e0 J# Z- e9 F- h# p6 {

    ; O0 y$ {7 J3 z! o# u# S, S  同时谷歌的论文结论也存在不可重复问题,Facebook围棋项目负责人田渊栋在评价谷歌围棋AI最为关键的快速走子策略时讲到”对此AlphaGo只提供了局部特征的数目,而没有说明特征的具体细节。我最近也实验了他们的办法,达到了25.1%的准确率和4-5微秒的走子速度,然而全系统整合下来并没有复现他们的水平。我感觉上24.2%并不能完全概括他们快速走子的棋力,因为只要走错关键的一步,局面判断就完全错误了“。1 a2 a2 f/ J# S, f

    9 c1 \) |' t2 X" E2 q1 n9 o  从上述情况看,谷歌在进行围棋实验的过程中,刻意违反科学实验规范,存在采用密室孤立实验,这些问题在3月9日与韩国选手李世石的比赛中没有消除。人们常说,互联网上,你不知道你的对面坐的是人还是条狗。同样对于谷歌围棋比赛,我们完全可以质疑,与李世石对弈的究竟是程序还是人?如何保证李世石没有被利益收买?4 _0 R9 R* R( F6 d
    7 K. u" Y% M7 o3 l1 X+ v6 M
      判断欺诈的第三个原因,过度追求市场影响与提高股价
      d; ?6 |/ g/ Y$ R$ T) T  L: m3 w- m! G) b5 S5 ]* P
      谷歌选择欧洲围棋冠军和前围棋冠军李世石进行世界轰动的比赛,而且没有严格的第三方监督,排除作弊的可能,表明谷歌并不是追求科学的严谨和荣誉,而是在追求品牌和影响力最大化,从而获得巨大的经济利益。
    6 J$ Y. Y6 A6 l9 Z) j9 u! C; c% z+ h7 b- @, h7 J
      事实也证明这一点,2016年1月28日曝出了谷歌人工智能围棋击败欧洲冠军的消息,随后是谷歌拿出100万美元作为奖金挑战李世石。当日谷歌股价大幅上涨,涨幅4.42%,换算成市值涨了200亿美元。从宣传效果是看,谷歌这次的“广告”做非常巧妙。2016年2月26日彭博社报道,谷歌旗下设计围棋AI的公司DeepMind正推进自身医疗技术发展,因为其在围棋领域的影响,已经获得不菲的订单。, ~3 o' O6 ^- a$ ]3 P

    + O9 Z+ e7 ^4 }# i7 i6 B' A1 K& ^& r  谷歌的技术期货路径和消除欺诈指控的方法& N! J# e5 q# ]& p5 t  N8 P
    7 z+ U7 a0 Z) j0 e( }
      西方谚语说”一个动物,如果它走起来像鸭子 叫起来像鸭子 它就是鸭子“,同样,对于谷歌围棋Ai及其比赛,如果它回避公开如何从3000万盘(8位数)棋局获得171位天文数字棋局的规律或神经网络权重值,回避不愿大范围邀请棋手参与实验,回避收买选手嫌疑,回避不在互联网上公开对战接受监督,那么谷歌的围棋比赛可以看作一场精心策划的科学骗局或有欺诈嫌疑。
    1 w9 |2 G- p9 \3 r/ g
    1 R6 c% N) s, I( T6 S; o  商业中有一种做法叫产品期货,消费者购买商品后,要等到半年或一年后才能拿到,那时技术,原料成本大幅下降,商家因此获得利润。同样,谷歌的围棋程序应该获得一定进展,但远没有到达能够挑战职业选手或九段高手的地步,谷歌通过市场和技术手段,拔高其围棋水平。故意回避公开监督或公开大范围对战。等待未来水平继续提升后,可能会进行公开,这种做法也可以称作 ”技术期货路径。
    - X+ A* p: K. i1 [. @* \& D* |. B+ S
      谷歌可以消除欺诈指控的嫌疑,不是与李世石下棋,而是:
    * i' E3 H, l) m% E
    : N% T! G3 M6 \* F* `  1。完整公布或开源其利用3000万盘棋局和学习人类棋谱总结的规律,或公开其神经网络权重值参数,让其他实验者可以重复谷歌的实验结果,还原谷歌对战成绩。: A! K1 h9 z% a

    / M  w0 j2 k0 g# E3 [, `  2。将谷歌围棋AI程序AlphaGo放在互联网上,接受百人,千人的同时对战。并检测对战结果,消除作弊嫌疑。6 ]- i; r; \; B
    , T/ W2 j9 O8 g6 k8 q% x
      这两条谷歌能做出任意一条,都可以看作是消除欺诈指控的强有力证据,但在未来一年或更长时间里,谷歌没有任何动作,那么谷歌将持续背负有科学欺诈嫌疑,利用科学炒作获得巨大经济利益的指控。

    评分

    参与人数 4爱元 +28 收起 理由
    蓦然回首 + 4 谢谢分享
    逍遥探花 + 8 涨姿势
    皇家骑警总监 + 8
    jellobean + 8

    查看全部评分

    该用户从未签到

    115#
    发表于 2016-4-6 21:10:50 | 只看该作者
    武工队 发表于 2016-4-6 00:38
    7 a5 |# J# X& [: i0 f他的意思是,作为顶级学术论文而言,重复率不够
    , U/ z* x4 q4 `2 t/ E6 R1 ~
    ) E$ I7 _2 i- A8 G; C* C审稿的时候面对为什么实验不足这样的问题,如果回答为了 ...

      x9 O% Y# O3 L' w' X- M( c他要求海测,至少要上一万台大型服务器吧,这个因为钱不够也要打回?如果没有一万台,肯定连不上啊4 b% V. U4 T8 O! v7 P
    如果只是一个人,大概是可以的,那台机器开着就是了
  • TA的每日心情
    擦汗
    2017-2-2 05:24
  • 签到天数: 262 天

    [LV.8]合体

    114#
    发表于 2016-4-6 00:40:56 | 只看该作者
    定风波 发表于 2016-3-13 11:27, n" ?/ j$ y3 S" }- z, R7 w
    你造不出宝马的概念车,那宝马就是骗子吗?什么逻辑。人家辛苦研发的东西你一句话不放出来就是偏子就骗到 ...

    # `+ }# Q3 Y: x6 O$ D& o宝马是商品,用户那么多,试验过性能的人成千上万
  • TA的每日心情
    擦汗
    2017-2-2 05:24
  • 签到天数: 262 天

    [LV.8]合体

    113#
    发表于 2016-4-6 00:38:31 | 只看该作者
    一叶飞刀 发表于 2016-4-5 22:15
    4 e: [" V! v4 _$ j# ^' c0 b如果要验证,你打算怎么验证?如果是用九段来验证,那么必须使用大型机一对一,你觉得这种机器跟PC一样省 ...
    5 l3 y" _& Q; Z& g. P6 ~! d/ B
    他的意思是,作为顶级学术论文而言,重复率不够
    " G2 `8 g& u; B9 Z8 a2 f
    2 q/ N% Q$ U0 K, L* A0 v5 q审稿的时候面对为什么实验不足这样的问题,如果回答为了省电,肯定要被打回去的

    该用户从未签到

    112#
    发表于 2016-4-5 22:15:36 | 只看该作者
    本帖最后由 一叶飞刀 于 2016-4-5 22:19 编辑 2 [+ T. `. O0 P( K
    snark 发表于 2016-3-13 22:41
    8 U/ w% V+ P; l' H) S8 p自始至终都在说学术欺诈,而不是说欺诈。

    : \! N3 V2 P8 `+ B9 l" S+ ]
    1 X7 U+ _2 k8 l* _0 C如果要验证,你打算怎么验证?如果是用九段来验证,那么必须使用大型机一对一,你觉得这种机器跟PC一样省电是吧?- i: E0 v) N) ^( y+ c  x# e0 c
    就算是真开了,你也会说你连不上,Google在弄虚作假——无论如何Google也不可能买上上万台大型机来做这个事。
    # x: B3 i" W8 |+ W如果是造假,买通一个李世石是不够的,因为很多九段对于第一盘,都认为是李世石领先,要么被买通了,要么Google的排局能力已经能骗过九段了,你打算采取哪种猜想呢?
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    111#
    发表于 2016-3-13 22:41:37 | 只看该作者
    定风波 发表于 2016-3-13 11:27
    0 P2 S* x8 q& b% p; \8 ?你造不出宝马的概念车,那宝马就是骗子吗?什么逻辑。人家辛苦研发的东西你一句话不放出来就是偏子就骗到 ...
    ( X. i, y2 j" f9 m0 Z* Y
    自始至终都在说学术欺诈,而不是说欺诈。0 l3 a' W# M& @( z
    8 K4 D2 v* L" h: i. j: q; e
    ! `  Z, D. h8 V2 }, c! ?8 M% U5 u- w
  • TA的每日心情
    郁闷
    2019-4-22 08:49
  • 签到天数: 38 天

    [LV.5]元婴

    110#
    发表于 2016-3-13 11:27:34 | 只看该作者
    snark 发表于 2016-3-13 05:42! t/ Y" h4 h+ G! x/ R
    如果不允许别人重复那就应该给大家验证其性能的机会。7 t2 `4 \4 I6 J: z9 S" i# f, f
    不然不就是骗子吗 ...

    % v2 u( v" W0 Y你造不出宝马的概念车,那宝马就是骗子吗?什么逻辑。人家辛苦研发的东西你一句话不放出来就是偏子就骗到手,谁傻?这个系统平移的话应用领域多着去了,我看很多关键连专利都不会去申请。
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    109#
    发表于 2016-3-13 09:31:56 | 只看该作者
    月映空山 发表于 2016-3-13 06:063 x! R& s& C3 b$ \( I
    都下了三盘了, 这不叫演示什么叫演示。你难道要的是源码?
    除此之外,谷歌也没有向Facebook那样把围棋程序放到互联网上,光明磊落的接受大众的考验
    ( k, h4 k/ E0 W  h7 Y
    facebook这才叫经得起大众考验。
    + U% C% ]+ g3 J, w5 ?
      m' j) y8 ~& r3 Y% |# g4 dAlphaGo两次五番棋,棋手都签保密协议,说个不好听的话,每盘棋都是预先定好的棋谱,其实啥程序都没有,就目前披露的事实看也不是完全没有可能.
    : a# T% V: r0 P7 o6 D这程序没公开源码,也没给其他人机会去验证AlphaGo的棋力。这不是学术的做法,但是据此在Nature发表了一篇学术论文,article,这就不得不让人怀疑了啊。2 f6 r1 g$ x! H( p% a4 X
    公开信息允许其他研究人员重复实验过程,或者提供条件允许其他人验证你的实验结果,在我看来是学术研究最起码的要求。这两点AlphaGo都没有做到,这才是被人质疑学术欺诈的原因。

    点评

    Non-Disclosure Agreement是有的,至少之前欧洲冠军签过,以至于很多比赛细节不能说。没有的只不过是不能打劫的保密协议。这是我查到的信息  发表于 2016-3-16 00:06
    并没有保密协议,这种谎言就不要传播了。  发表于 2016-3-15 13:50
  • TA的每日心情
    开心
    2016-3-8 09:59
  • 签到天数: 2 天

    [LV.1]炼气

    108#
    发表于 2016-3-13 06:06:52 | 只看该作者
    snark 发表于 2016-3-13 05:41
    7 o( C( h$ R" d: N  y! I既不肯给设计图,也不肯拿实物出来演示,那就不能让人相信发动机的性能 ...
    / X% M, Q3 g4 }' K
    都下了三盘了, 这不叫演示什么叫演示。你难道要的是源码?
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    107#
    发表于 2016-3-13 05:44:24 | 只看该作者
    四处张望 发表于 2016-3-12 14:11
    9 \, a* v2 T5 Z+ e) l0 ]它的算法并不是很新鲜的东西,但是它达到的结果是里程碑性质的,作为一个文章而不是论文,不觉得有任何不 ...
    + {( S, j7 i+ s
    作为一件新闻当然没问题,可是前面有人提到这玩意发了篇Nature的research article。
    / l1 X0 T0 A& g- x( o" ^这就不合适了吧& g7 J; \* R! ]0 I# l
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    106#
    发表于 2016-3-13 05:42:17 | 只看该作者
    定风波 发表于 2016-3-12 23:434 j! b- h7 i' m) W; }* K/ O+ m# s9 H
    为什么要重复?技术的东西肯定不希望别人也能做出来啊,至少不能原样做出来。 ...

    6 t/ I/ e& R0 }3 d; s. J* A( {如果不允许别人重复那就应该给大家验证其性能的机会。
    4 S7 J" _6 E. }, D不然不就是骗子吗
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    105#
    发表于 2016-3-13 05:41:03 | 只看该作者
    月映空山 发表于 2016-3-12 21:562 e4 z3 k& l2 J+ E8 P6 A) t
    晕倒,造发动机还要给设计图才有掌声啊?

    8 u% n! O+ A. ^% t既不肯给设计图,也不肯拿实物出来演示,那就不能让人相信发动机的性能
  • TA的每日心情
    郁闷
    2019-4-22 08:49
  • 签到天数: 38 天

    [LV.5]元婴

    104#
    发表于 2016-3-12 23:43:32 | 只看该作者
    snark 发表于 2016-3-12 05:327 V1 O9 |: k0 h/ C" K: T4 n' K- V( Y. u, m
    我倒不是觉得一定要公开具体参数- ^5 b3 P/ G9 B2 E
    而是要提供足够证据支持结论,要给出可以证伪的机会,才能让人信服,才 ...
    3 f) c: v/ `  C, n# O: ]4 @
    为什么要重复?技术的东西肯定不希望别人也能做出来啊,至少不能原样做出来。
  • TA的每日心情
    开心
    2016-3-8 09:59
  • 签到天数: 2 天

    [LV.1]炼气

    103#
    发表于 2016-3-12 21:56:39 | 只看该作者
    snark 发表于 2016-3-12 13:26: E9 J: F' v* P9 S8 |+ k
    这和地位无关吧+ C4 ^, N+ {; T& ]7 g% E
    帖子提到facebook搞的围棋程序网络公开,谁都可以挑战,公认业余五段水平。# v: \2 I. R8 m: u+ M+ q
    AlphaGo之前 ...
    9 E" A! R/ m: ^- g1 v
    晕倒,造发动机还要给设计图才有掌声啊?
  • TA的每日心情
    慵懒
    前天 02:38
  • 签到天数: 1481 天

    [LV.10]大乘

    102#
    发表于 2016-3-12 14:11:00 | 只看该作者
    snark 发表于 2016-3-12 13:26
    + Z. S0 z5 i( Y4 F8 |6 |; g' a这和地位无关吧
    $ g: D1 W( H  F帖子提到facebook搞的围棋程序网络公开,谁都可以挑战,公认业余五段水平。
    , ]7 @8 L8 Z. s0 CAlphaGo之前 ...
    1 C8 D' b- }7 b1 z. W
    它的算法并不是很新鲜的东西,但是它达到的结果是里程碑性质的,作为一个文章而不是论文,不觉得有任何不妥。
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    101#
    发表于 2016-3-12 13:26:24 | 只看该作者
    四处张望 发表于 2016-3-12 10:24  @1 q7 ?3 k9 m8 q6 V
    那你可能不太明白围棋在人工智能领域的地位

    " j3 G: W( J* N. _. I* i这和地位无关吧- N0 j* @1 W6 H' P+ @
    帖子提到facebook搞的围棋程序网络公开,谁都可以挑战,公认业余五段水平。
    # g2 I; b4 |+ K, ?) ]- ?3 I3 V: WAlphaGo之前下赢了签署保密协议的欧洲冠军,目前在和签了保密协议的韩国棋手对弈并赢了前两局。
    + [5 V8 Q9 Q8 K" B! E6 J: |两相比较,你觉得这样就能客观评价AlphaGo的棋力?
    4 |! A0 q& Y# V6 w$ n正是围棋在人工智能中的地位高,才不能仅仅用两次签署保密协议的五番棋作为棋力的评判标准啊。; [5 t9 O6 S+ E7 o1 h7 R8 C

    0 X3 b( X2 J0 D航空发动机作为工业桂冠最耀眼的宝石,可以和围棋在人工智能的地位相比吗?6 M  `, y* i" \) h, x
    我总不能仅仅声称造了性能卓越的发动机,既不给你看设计图也不给你实物验证性能,然后等着大家的掌声吧。我觉得帖子提出的AlphaGo的学术论文没有给出干货的说法没问题。
    : B* |. m& j2 i0 l& {* W- o9 m你可以用商业机密的理由不公开,但这样你就别扯学术的大旗
  • TA的每日心情
    无聊
    2016-1-14 10:34
  • 签到天数: 2 天

    [LV.1]炼气

    100#
    发表于 2016-3-12 11:43:09 | 只看该作者
    李喆:这两盘棋 没人会比李世石做得更好!; O7 p* b: t! N  [

    # C2 e- N& y  D李喆,围棋职业六段棋手,龙星战冠军,AlphaGo与李世石九段比赛,新浪直播解说嘉宾。# N5 i5 r: P- D5 A7 O6 e# G

    4 d6 J: M! W$ Z- p4 g  引言    Q% ?8 B' O; i0 X
      我不知道这篇文章要怎么开头。0 k: N5 S- A  W1 `7 h
      没有言语能够形容我现在的心情。
      ~/ T$ Y6 {$ V6 c  19年前,围棋入门课,用十个棋子在中腹摆出两眼活棋。
    + Y' i# [( ]" W  o" u  4年前,挥别围棋赛场,进了大学。' y0 p! D, s! |& @$ [' W
      怎么也想不到,在今天,竟然会为了一张棋谱,我哭了。
    & x9 q1 i; u- ?  哭得很开心。
    3 q3 n$ E8 x7 b' K  我不知道这世界上还有几人与我此时有同样的感受。或许有,绝不会多。! F9 f- Q- d. R6 p! e/ M
      我不奢求读到此文的人都能理解我在说什么。
    : Q& o9 H6 r# H/ k4 e+ `8 P/ F  V  但是,我要把我看到的记下来。
    / i7 N$ J4 k5 Y! M* M$ D- j  不是纪念,而是感激。
    $ S3 \  j/ ]! S2 N- }& f  我发现,在情绪中,我只能记录下我的情绪,却无法写出这情绪的由来。虽然我自认为清楚地知道它的由来。
    ' P$ Z0 U1 b, Z+ I6 x$ i1 w  写一篇抒情的文章很容易,但没有什么太大的价值。我看到的东西,这似乎应该用“美”来表示的这种东西,难以抽象成语言将它描绘。于是,我只好等到情绪消退,从理性出发,试着把因果呈现。
    3 d1 ~) S) L) d& ]; _  这样,会有更多人享受到这种美吗?
    " Y$ ?0 T# y- L  我不知道。) x, X1 E( n" U2 E! A8 X& |7 M
      或许可以试试。! e! _; q. M- D; Q5 x( Q) q
      深夜。终于可以动笔。
    7 ~& S$ Z! k# O- `2 r  G: K/ R# L5 m' k6 ]
      2016年3月10日,AlphaGo对阵李世石,人机大战第二局。: d6 ~: M$ e& E/ F( e( b
    : `; B: I7 l( ]2 G' Q9 D
      对于这盘棋,虽然分歧远小于上一盘,但职业棋手之间仍然有许多互不相同的看法。7 y6 ^$ ?( ?1 ^% B3 @, q) k3 U
    5 W  r" Q7 Z* K  Q7 f9 ^
      或许随着时间的前行,这些看法最终会汇流为一。但在今天,在故事发生的当下,面对经验以外的事情,人类观点的多元无法避免。我的观点同样也是这多元中的一元,正是人类思想的多元性丰富了我们的世界。
    " E. t3 v4 K4 g8 ^4 G! l2 E$ i: y8 U9 }: r! d0 S6 ]' [
      在敲完上面这一串字之后,我原本准备神游到中午的状态,从头梳理一遍我的所见所思,将我看到的那无法用语言直接描述的感受的由来渐次呈现。
    : s' X' j! f- a' y
    # U5 A- f0 I, [. B  然而,事实教育我们不要在写文章的时候刷微信微博新闻朋友圈……
    ; I& v6 p2 ], m) |$ W$ e" L8 s
    7 `' g7 p, P' Q! B3 U  一个小时之后,我不得不再次改变写法。
    4 p  E. p' O4 e) N
      }& ]0 X; o3 {4 F! p& j' V/ D2 s  这两盘棋 ,没人会比李世石做得更好!1 @* d% W8 n6 W" A
    ( A/ @) }: O- K% d# M& z
      是的,这就是我文章的标题。
    : L& r# n8 }3 ~; `) w" }! S3 ^/ r+ l" O  \+ F
      我知道我说服不了所有人。这样的标题也不是我一向的风格。
    ' C, ~2 e# O, H- e# a/ Z# M5 _/ E% f/ ~6 k  t  ^* H5 s( Y
      但是,在铺天盖地的对李世石的质疑声中,我必须把我看到的讲出来。4 ?! }" O0 {, }% f( P* z3 K- p
    . s1 y( S& ?2 a: V/ X
      因为,我不相信这些质疑是出于恶意。我只能理解为有些我看到了的东西人们没有看到。每个人的认知体系不同,对待事物的态度也不尽相同,对此倒没什么好指责的。8 B/ f& t  {; g

    0 Y- y4 \6 M  d& V3 `* S, N  在小说《冰与火之歌》之中,有一场“黑水河之战”。守方的指挥者是一个侏儒,用尽了各种策略,最后亲上战场被割掉了鼻子,终于抵挡住了对方的进攻,拯救了那座城市。但在战争结束后,他被解除了职位,甚至成为阶下囚。他所做的一切,人们并没有看到。& Y. [1 U' F+ q
    ; O/ e* r) |0 S! a( S
    《冰与火之歌》电影截图《冰与火之歌》电影截图
    " D) C' `! i2 i& F( j* C6 C8 b( D  没有关系,我把我看到的东西讲出来。9 I8 r( d( K  c3 b/ ~0 r- I) c

    ) ]& @! \, e: D, v4 [' H, d  我只希望,读者能耐心看完这一章,再做判断。! Y' N2 a3 n7 [+ _- ~

    - {2 z7 i' A3 P& _" x$ h+ S) F  在阅读本章之前,建议先读昨天那篇“【火线速递】——李世石的策略与AlphaGo的弱点”,会帮助理解此文。
    + l* ~/ P1 s* s7 z( `6 w
    2 w- v  F8 B1 ?; ~  0.莫须有的“协议禁劫”' J$ e$ ]& j+ }: `5 v. g- g( F# j1 V' [5 e
    , w0 \) V4 x! ?6 i. [( f
      这一节是本文最没有价值的部分,也是我最不想写的部分。谣言自破,本不需我来回应。但一方面我对谣言扩散到圈外而感到羞愧,另一方面也能帮助大家稍微理解AlphaGo的算法。5 o8 o1 h4 H1 G6 a' s
    2 a, K& C7 I  R& f2 ?4 R
      关于“协议禁劫”的质疑大概来自“AlphaGo七盘棋都没出现劫争”这一说法。2 {5 O8 a5 J! ]9 h) }1 V7 \' z' H

    ) V6 D  V9 B" ^% a  A1 n: `  或许DeepMind会官方回应此事,或许在接下来的对局谣言自散。
    " i! p: }8 G6 x' [4 t0 Z3 E  T$ m3 d6 P6 A/ [
      但不需要这些证明,难道我们就不能分辨了吗?. O3 \' v4 M/ w
      T- c3 n# e, z$ G9 Q9 d# a
      由弱到强,我先给出三个回应。
    + L* [- W9 n; R1 N, q- |5 G" R! l
    : x1 u8 K. o" ?3 _$ e. {% y- o  1,懂围棋的朋友,你真的相信李世石作为一名世界顶级棋士在代表人类出战的历史时刻会签这样的协议?不懂围棋的朋友,你真的相信谷歌团队会签这种改变围棋玩法的协议?% J* ~/ M7 y; Z5 X& N: W% @
    7 J3 y. k1 x* ~) v8 }% L2 k
      2,AlphaGo的算法决定了他在不打劫就能获胜的条件下会尽量避免劫争,因为优势下的劫争增加了搜索的不确定性,常常会使他对胜率的估计降低。这也是我在上一篇里谈到的逃避劫争问题的本质。但是,非胜不可的劫,电脑必然会打。可逻辑推断或参考第3条。4 g" E/ F  P+ y. X: z
    ! m5 J7 y3 n6 E* J# K# a
      3,难道不能去看一眼去年10月AlphaGo对樊麾的棋谱吗?第三局、第五局,都出现了劫争。其中第三局马上消劫形成转换;第五局劫争过程持续18手,亦形成转换。
    : m' G, `6 J- B$ M3 W% N- j/ R1 x: ~" E0 L( F$ T6 l3 I
      在围棋受到空前关注的时刻,我认为圈内人有辟谣的义务,不助长谣言则是底线。+ Q: H$ Z. p4 B8 B4 ]% P7 B

    6 c- x% q) }" c( K1 N: a% |  q" K  1.AlphaGo算法的关键特点
    1 D- H0 ~) |" q  Z8 f  d4 |- C3 R5 U# F  f4 y  k0 R8 i- X; W5 Y
      很多人说发现了AlghaGo的很多失误,不能理解这么弱的一个AI怎么能赢李世石,所以blablabla……2 c* D) P, M% g$ {

    " [' {4 l4 F* |  如果你看过上一篇分析仍然这么认为,那可能是我没有讲清楚。绝大多数对AlphaGo实力的错误估计,都是因为对AlphaGo算法原理的不了解。- Q+ l- D- h! u! y" n. \
    / U9 k4 {! U/ o. I- p6 y
      强调一下:
    8 q& ?& l# v  u5 o6 W' y4 B7 W& H) ?; e/ E% M; L! C2 v
      AlphaGo的算法决定其落子的决策基于“胜率”而不是“最优”!" x) [+ u6 U$ p% h! H

    4 d! [  ~" L' n$ s1 X. G/ R  所有质疑AI失误的同学请记住这一点。
    ( l$ G9 m) c3 j9 B' m
    + e! i6 ~6 _5 `! \: |% t  这也是这篇文章整个分析的逻辑起点。4 h8 r, D% {/ u3 o
      C( n& R, S. V
      这意味着,我们人类所谓的“失误”对于”AI“而言很可能不是失误。
      }: c) ^- t+ M1 @; K3 ~( P' H; |& K2 ?
      2.第一局李世石在做什么?
    , z* w) d8 p: _# R0 K% l; A+ ]( E. N
      第一局下完,有棋手提出”李世石心态不对,太过急躁,电脑计算力肯定强,应该慢慢下跟它拼形势判断,它的判断力肯定不行”。
    4 l  \  X, x# T  U- X  y; }
    ' j+ i& Y6 u, \) {* J  说得好。李世石第二局就是这么做的。; w2 s8 R; g9 ?* H+ \1 ]
    : J3 h& W) C% S3 Z# |# ?
      只是,在第一局之前,几乎没有人认为李世石的乱战能力会不如电脑。0 c* @) m/ O' |
    # o: g3 I' [' n( _& M) z& D0 P
    / N2 m7 W( D  g
      在上一篇中,我谈到在赛前对AlphaGo算法的分析认为,它在面对“开放性复杂局面”的时候可能会变弱,因为深度学习加蒙特卡洛的剪枝和搜索在面对开放式复杂局面时可能会变得失效。* x/ F2 X% [2 p+ `5 G* l

    % N, b/ n3 t" P: o8 ]  第一局,李世石上来先试探了无谱布局(你说李世石没用什么策略?好吧),然后马上导入开放式复杂局面,呈现出六七块棋纵横交错的场景。% n! a9 @: t/ M; ~# w' z5 d9 _* }/ M

    / G8 |, o  x, s( K* r+ @  结果,第一策略失败。起码下到中盘收兵为止,赛后职业棋手基本上都认为李世石亏损。
    ' k/ i" d! k& Z8 ]7 t5 R
    3 f/ b& e- F% V$ q0 Z  如果是我在场上,或许也会在第一盘选择这样的第一策略,但我只会考虑一盘棋试一个策略,毕竟有五盘棋的空间。
    & R( o+ N# F: r; d3 I6 z
    : t5 m* Q$ s( W& V/ b5 W: F& h  然而,李世石在中盘及时收手,第77、79手主动停战转向收空,导入细棋局面。' m% x) I3 B- ^" T! D$ S5 V
    6 I) g% Q6 j1 r: F& E  B% W
      他在第一盘竟然试探了两个策略!
    0 p  _2 Q3 W- u4 U; {: Y
    0 g/ G# H" ~2 s9 t) ^  那么,你可能会问,如果李世石原本形势不利,怎么能导向细棋甚至反而领先呢?那不是说明AI出现了足以颠倒胜负的错误吗?, h( Q' p, e& q- ~  x8 {$ Q/ _4 O

    2 u, I# a1 Z; u" |9 K! ]$ j! V在昨天,对此问题我还不能完全肯定地回答,但在今天我可以确认:' Y5 e! t9 f" V2 x
    3 j& c- Q9 n2 J: W- K6 M
      第一局所谓李世石的领先和细棋都是人类经验带来的错觉!从开局战斗到最后结束,一直是AlphaGo优势!
    ( E7 S4 X+ s4 B8 T# W+ L
    / T( L! a4 H3 S! `% n  a2 Q  这一判断也符合AlphaGo自己的胜率走势。5 v* ~* z0 s) R

    6 _( @2 W( j" c3 q7 S* D7 A) n  在上一篇,我提出AlphaGo对局面的判断是基于一手对方没有算到的严厉手段(102),我们认为它在左上的缓手(80)和左下的恶手(86),确实并不肯定好,但在AI看来却是最接近胜利的选择。观战棋手认为左下之后黑棋已经逆转甚至大胜,是由于7 P" \3 u$ i' a1 y8 o2 K
    # P9 s) }  r$ T' y
      1) “左下白棋大亏”, H9 m+ y2 }- x2 Z5 J

    2 `. [( @1 z6 Y. Z  2)对第102手没有充分的准备。5 A$ A; O1 }2 T0 f: D

    & ^; n7 D: u# _- m" S  3)人类的傲慢自负。8 V# K* i$ U( p2 @; _3 ^" S

    * y& R7 _% L# A0 F6 T) Q  然而,8 O. }# K# S! @6 H

    9 Q( {$ @. ]$ k/ Q7 ], G- p  1)是一个依靠经验的局部判断,并不具有能构成证明的准确性;2 \3 `/ R% ^; L# ]
    ; N3 f- s: A+ u' s9 S/ Q
      2)AlphaGo的局面判断基于有102这一手;
    1 e% \0 s9 R% x( \7 K
    - q: P8 Q/ G5 n( W5 r+ x8 k8 @& c  3)人类的情绪降低了判断能力。7 b* x7 o" W$ w

    . A) m, d) p; [. K8 a% G$ w# e  102手一出,李世石长考无果,局部大亏。然而,这个大亏根本就在AlphaGo的判断之中,对它而言,这只是搜索树中可能出现的一个分支。+ v7 [! ~1 l5 T
    + \' j' |1 v% K  Y- l
      至于很多人认为后面黑右下走好还能收——确实是能收,但恐怕不能赢了。当然,跟我下或许你能赢,但对AlphaGo不行,这是从AlphaGo的算法和下法的逻辑推出来的。当然,这个结论的得出依赖于AlphaGo在对阵人类时这套方法不会出现问题。基于这两天它这套方法在对人类时还没有出现任何问题(关于失误问题请看上一章或上一篇),我只能极大程度地相信它。这个信念只有在AlphaGo这套方法在对阵人类出现问题而败北时才会动摇,才会需要去寻找它的问题在哪里,以及人类能够怎么去利用。
    * w9 B% {  o. c, M1 ]. x. h5 v3 ?3 R" h
      有趣或者说可怕的是,对于人类而言无比闪耀的”胜负手”102,包含了如此多的计算、判断和预谋,对于AI而言却只是它这一局平凡的93手棋中平凡的一手。$ \5 f) N9 V# ^5 P9 z: p

    ; g+ [1 G+ U' b' }% V$ M/ T  这样的话,李世石的第二策略起到什么作用了呢?
    5 W- V% n  K' }
    9 g5 [6 }  C: T) O/ I9 y  非常大的作用。对于第一局的80和86手,我们在经验上认为它们可能是不好的棋,但无法严格证明。但对于后面的136手和142手,我们可以严格证明它们肯定劣于另一个选点。这使我们确认了AI的一个弱点,即“缺乏逻辑能力”(见上一篇)。如果再补充一条,可以认为“缺乏局部封闭搜索能力”(这一条是否算弱点可讨论)。
    4 x' [5 [$ e4 Q7 \) r9 m0 f! i
    " }# o1 @& ]3 k* z  因为逻辑能力的缺乏,导致AI有时会出现人类看来明显的失误。
    + Y2 m6 Y' j  [* ~, I4 |; `( E9 O1 k* o9 W# G8 J7 k3 e
      但我们认为的不可理解的失误,只是在它看来不会降低胜率的选择。确实,我们可以指出他的一些基于逻辑的可证明的局部亏损,比如无谓的绝对先手交换,比如目数的白白亏损。在对第一盘的总结中,我认为这可能会是电脑的一个弱点(对AI而言不是失误),即“缺乏逻辑”而导致的局部小损,而这可能是人类仅有的两个突破口之一。AI在优势时会在局部有所退让以确保胜利,在均势时如果也退让岂不是人类就有了领先机会?因此我提出:
    # S$ Y; D; A# d5 L0 c$ v/ H! |
    / h  C! j6 G' [  E5 j0 S  1,我最期待的策略是,李世石按照人类研究很深的套路开局,因为AI并不会背套路。即使不能凭此占优势,也要尽可能保持局面的均势。在这个条件下,AI或许会在一些简单的局部因逻辑缺失而有所亏损,人类牢牢把握住这些微小的利益,最终取得小胜。不过,这似乎并不是李世石常用的风格。
    , n: i! ^4 J$ g7 r* b. `. N2 ?: g# @: g* e: }; B3 c% w
      这是第一局之后我分析认为针对电脑弱点的最优策略。% ?1 m8 n7 N2 V4 Z
    2 {1 b+ S& f6 {3 T* n/ I
      3.第二局李世石在做什么?
    & ^, Q# {8 j" p8 }: H9 N  X* B2 w6 q# u
      如果是你,在第一局的下法失败之后,第二局你会怎么下?0 t; C) ]$ Z: }- F) v
    0 h9 S& f  R8 p4 p
      我的想法是,通过第一局我意识到AI的强大可能超乎之前的想象,在我认为他最可能失败的地方他居然成功了,但好在我也看到了他可能的弱点。我根据它最可能的弱点制定了一套新的策略,然后严格按照这一策略执行。
    7 j) S/ F0 i, n9 a7 R/ p% J. G. b3 [' j. z3 h
      这是因为,我发现可针对AI弱点执行的策略并不多,而第一局我使用两个策略失败了。我可能需要更专注于一个策略的执行,毕竟后面还有三盘的空间。这是我在第一局后会做出的决定。2 N( c* {: ~- X- c1 u& x9 D

    7 w; P! W: n! E* J$ [9 G9 B  m  或许有人会问:”瞧你说得这么玄乎,你又不是李世石,他又没说,你怎么证其有?”( ]' s2 L0 |" I& \% W' B# j
    ! U& m5 \+ K# o# G3 G' Q% d
      是的,我不能证其有。即使他说了也不能完全证其有。我只是用棋谱信息加上AI算法来做的合理推测。当然,李世石有可能并没有制定什么第几策略。如果是这样的话,他就太天才了——别人用知识和推理达到的方案,他仅凭意识就做到了。
    $ G/ d9 w& k/ g' \- E# w5 L' E/ v0 @7 A
      前面说了这么多,总还得用棋谱说话嘛。那么让我们看看第二局到底发生了什么。
    ) b1 A1 v# p8 j# F1 O: `( R  A* U# Y% i, z: Q& t4 G2 H: r- }# k
      我个人认为,对于这一局,传统的棋评解说意义已经不大了。+ J9 r! G! P9 q7 d- g) c+ I
    & S+ U* Z  ?) A2 e) {: u
    ! r7 x: F$ U. U, ~% R* \- J
      先看第13手。右下先虎之后脱先中国流,这又是“职业棋谱中从未出现过的布局”。看到这一步,李世石站起来,出去抽了根烟。0 m- m9 t4 W* O+ ^% q
    8 B/ W# d! ]) X" G5 c# y+ m$ r
      下面请允许我趁李世石出去抽烟时暂时代入他来思考。(画风突变如有不适请勿见怪)。* o) a# {8 u* m3 P2 E9 r

    : _! j( J2 u+ F# z0 y  此局我下决心执行一个策略,这个策略是针对AI弱点的攻击。这个策略简单说是:”熟练开局,争优保平。细微局面,等待失误。“(原因在前面讲得很清楚了)5 W+ r, n3 n  T) S) q  k
    , `6 H; y, n3 `$ D- }
      于是我开局选择了最普通的布局应对。白方这一布局在历史上经久不衰,没有千局也有几百局实战了(感兴趣可以去搜一下)。经过昨天试探,AI不会背谱,人类整体的经验很可能是最有力的,我要尽可能导入到熟悉的套路中。. N  k- u2 ?3 A1 ]0 O

    + C; Y  y! F  T0 Y' r  下到12手,我心里还有一点兴奋:这个布局我是见得多了,白棋总是不亏的。, `* v! I% T/ w- d) O. z/ w. z

    ' Y  e( g8 F. C) c9 Q: D7 z  然后,看到对方落下黑13。0 F& u# ^* Q4 f$ K
    % k2 I8 U% n" n1 b$ ]7 L
      纳尼?1 ^7 g$ H( Z+ M

    # W' z! F5 M+ E7 v  定式不下完?
    8 e  Q0 k1 s" Z. i: K+ o# Z
    ' j! Z3 z; _) g# A; n( _  这还能脱先?
    4 X8 k$ b- O) [4 W) ~
    $ l8 m4 d& V1 K& C0 D  我勒个去,AI你不会是知道我在想什么,跟我玩心理战吧?8 f" A/ O5 U8 F; ~
    / D/ |$ u$ Y$ {& s& S' v
      啥时候通过图灵测试的?* o" A# |5 M7 Q2 z+ q

    : r$ w) _4 k9 r) h  好吧让我想想。你定式不下玩就脱先我得制裁你啊,夹击如何?
    # L' h1 @# c8 \* l* Z5 k$ U" ~2 q! q6 W3 V

    5 k! `. V' ~! M# |0 s8 ?8 S) c9 m  我拆1,你拆2,我攻3,你抢4……这棋失控了啊,这局面没人下过啊?
    / t. N  {, e" \$ v) Q, r: w! d% q1 k
    / C, Y: u# R6 u! N& a0 b& j# t  我这棋好不好呢?下边会攻成什么样?是否足以抵消黑上边阵势?- n" ~! v4 u# R0 [9 o) l
    7 N# M5 U! d$ ]. m  F, h3 x
      以下省略几十个脑海中飞速出现的变化图……+ h0 `; {6 q! Y

    7 `, F5 R5 ~+ C3 Z" z* a  判断不清,好像没啥把握。& J" O% k4 Y! m5 M3 v; J

    3 ~% E! ~  r7 N; T4 R6 |; w8 T" a  怎么办?策略就这么被破了?
    % H  q7 v+ W8 L* y2 ?+ F; @
    4 n! O. M) D  ^5 {' W  有了!我就当右下黑棋没交换虎那一下不就行了!. i6 K. ~: o- [  g
    ! i" Q8 {4 v. N
      咱谱着该走哪还走哪,机器你能怎么着?- x; C, V1 a/ J6 Z0 Y) r

    7 R5 }. I1 k9 ]% f4 C7 c8 g9 j& |* D  哈,我咋这么机智呢?; ?& q* h# [) l' b
    4 x0 k( f, n* p, L
      AlphaGo你有我这么机智吗?- {" Q) p* ~( T, d$ P( R

    ! [" i8 n6 l8 |6 E  一盒烟正好抽完,李世石回到了座位上,落下第14手。9 c, V  l9 K$ M# p* k+ c5 K/ O; O% @

    0 n# z- y; [# n( W1 c8 c# l( l
    , O' Y; k( }5 t; @  这是右下没有虎和拆一交换时最常见的下法,也不知有几百盘。而且这时黑棋虎白棋也多半会拆一。& Q5 ?$ P3 d0 w9 V5 B4 R9 K

    . U& T7 @6 P+ C  好了,这个小故事告一段落。我并不是说这就一定是李世石的心理过程,而是说,如果是我,我会这么做。6 x4 F3 d1 d3 E/ y' U4 O

    2 q9 J2 h* g* I4 J( F+ W% ^! c$ ]  这盘棋技术上无与伦比的精彩我想留到第二部分再谈,那里有更加精彩的新世界,但在这里暂时先略过。
    $ H& C# @5 I& d' e1 |1 _1 M" o+ t: B1 _7 P- o. \  z( J4 M0 q3 j
      再简单回应一下所有认为李世石后来84、146、172这三手棋没选择打劫有问题的观点。$ i7 Y" \( e: Z! D
    - y8 ~$ {$ M# _+ ]2 Z
      1)认为李世石不选择打劫是因为签了协议的人。
    ) j6 w1 N) k9 f& q8 c; Z( d
    , w; ]0 G3 w1 |# E. M. D9 v7 j: K  您好,再见。; n- s1 t9 R* B
    & ~+ N/ A7 A, t9 _
      2)认为李世石不选择打劫实在太怂了的人:% c  L& D1 U1 k, d, y

    , B5 o( {" o# c& I3 c. P  如果你看完前面的分析还这么认为,那请回答:打劫能赢?' k$ v3 A4 J4 E, E5 U8 r9 _5 ]

    9 Z( q- }. W' G  当然,你可以说84托虎明显优于实战,146应该夹进去才能争胜,172不冲不足以平民愤……
    4 Y/ O9 z; G0 N/ {
    ! o- ~* w0 d( j6 U  那句话怎么说来着……你以为你以为的就是你以为的吗?(这句话用来看人和AI真是金句了)9 W7 A2 t9 ]+ G& A3 e( `; @  h  C% W
    ; f: C3 ~8 n  V: L# i+ R# H: o
      对AI来说,气势是什么?血性是什么?胜负感是什么?5 Y  |( w& M6 E+ L( b

    4 X3 p: s+ l0 x: F( i  AI只看:胜率是什么。
    $ F" }4 b$ D  I1 {4 H% z5 C3 }
    ; g5 b; `. J, d) _& Z! X9 B' M( J  的确,我这不也是我以为的?
    / [# S  h. ?0 x
    & w2 }2 V! r  E6 ~. q- v  好吧,请告诉我托虎做劫在当时为什么比实战好,后两处哪一处你认为会对胜负产生影响?给一个有效辩护吧,不要摆几步说个看不清就赢了。! Y% r7 v1 |  V3 Z1 @
    % Q6 I3 m* i+ p; I7 L
      在我看来,这盘棋李世石完整地贯彻了他的策略。+ ^5 q; v; Y* M9 R% d

    " C6 ^! C: e/ }5 b, w+ t% M3 j  可惜的是仍然并未取胜。原本预计在熟练的布局套路下能在前半盘占优或持平,然后在后半盘等待AI因逻辑缺失而造成的局部小亏损。然而,在形势接近的情况下,电脑的局部“失误”变得比第一局更小、更难确认(比如15、117等先手不保留)。
    0 I; V: O1 \! R8 b  X: r" ?6 ?( l* E& d2 `( B& V% l
      这可能是一件非常可怕的事情。它告诉我们,在形势接近的情况下,AI的“失误”也会变少,甚至消失(不被人发现)。AlphaGo形势越好,他的”失误”可能越多。我们基于这些”失误“对它进行棋力的判断,只会造成对它无止尽的误解。
    ! Y# r( K' z/ ?  Q  D' X- v8 B  f2 p
      还是把上一篇文章的结语在这里引用一下:, @0 g1 C( P6 H8 `

    9 Y" ^7 E1 @" f9 h$ u' Z9 A  如果我们只用人类思考围棋的方式来理解AlphaGo,或许我们将永远都不知道是怎么输的。
    4 j0 W* r8 r( _: {* p4 m/ i  w: P8 i# F; }1 y3 k
      读到这里,相信大家对AlphaGo有了更直观的认识。) E9 V: k4 }# I. N# o7 |

    % k$ |- X0 s  h4 x- ?  或许有人会想到这一点:这么看来,AlphaGo岂不是遇强更强?
    $ F5 C6 h+ g7 F( t5 I. N  i+ B
    ( x1 j+ Z2 k9 c7 n  的确是!( Y5 d( s4 k7 m6 b0 E5 o

    " O, f" C: o% g! i0 H- l  它的目标只有赢,不求最优。
      n  j- I8 S$ ^! u' ]$ |2 F" E- w6 S
      在对手弱的情况下,它可能选择的类似胜算的点就更多。
    : B( {. o- z: F. H8 v7 o1 P9 [% i  F$ v% u0 q/ E% s8 a
      在对手强的情况下,它可能选择的类似胜算的点就更少。
    ; @' N* o5 x9 l. k" V* K  I6 }) G0 ^
      后者,意味着更精确,意味着在人类思维的意义上更少失误。
    ) \+ _. J( K  q- E$ D: \* N- P6 j# }9 d5 `: k7 t+ ~
      那么,AlphaGo的极限在哪里?我不知道。
    3 x. T1 }) {6 X; v& T$ w& d: _; ]7 s6 R
      但我认为AlphaGo饶天下一先是指日可待的事情。. m6 I4 u6 Q5 q4 x8 H& E* U
    + `% ?/ }' H% ^- x1 F- K. V
      虽然我赛前和现在都无比希望李世石能获胜,因为人机相持的时间越长,可供围棋界反思的时间就越长。
    8 B' w5 M) ]; V' A) S* J& l
    * ?+ m- ~" A3 a' Y+ U  但是,理智告诉我,AI真的绝尘而去了。6 o" \) t  L$ w# O  t3 j

    - i$ Z% @6 Q3 p* L7 D  让我们回顾一下老罗的这段话:
    ' u! g. }/ _+ D/ V$ c
    : m2 M2 J- O1 \* ~7 ?0 a, K  “人工智能就像一列火车,它临近时你听到了轰隆隆的声音,你在不断期待着它的到来。他终于到了,一闪而过,随后便远远地把你抛在身后。”
    * f0 a1 y' b$ N4 j2 d# V4 U5 k  D' D& s; b9 }# J& h; Z) w
      围棋AI,是这段话最好的注脚。
    $ S* `$ i( n- m
    , J3 C3 Q3 K1 O( g4 E- c1 S' J  看完第二盘之后所有认为AlphaGo 只是后半盘强的人,如果你能理解前面提到的知识和逻辑,那你也应该能理解这一点:  ~- Y" B( ~# l- g* z
    & R9 q& V( k7 H. U5 I% r5 ?
      是李世石的强大逼出了AlphGo的后半盘。0 ^6 c, P9 i, h8 m3 c* q" S0 D

    + [9 k' b  g2 w3 Z4 ^  为什么第一盘AI的后半盘”失误“更多?因为”失误”时AI已经胜定。
    ! E( f2 Q& e+ ]; E2 ^' o) O' Y
    : M: ^5 ^! O- w/ W0 \5 ?$ _6 n  第二局赛后的采访中,Demis Hassabis表示程序中间一度认为形势接近(根据胜率显示),而李世石表示自己是完败。; V  y2 t- ?" D( ?, @1 Q
    2 K. r; ~. ^# ]
      如果说第一局李世石输棋之后还有曾经领先的错觉,这一局他自己则完全没有了错觉。即使在棋界几乎公认为AlphaGo明显亏损的左下角定型之后,李世石都不觉得自己有过任何优势。正是这种正确(保守?)的认识加上前半盘相对熟练的格局,使得AlphaGo一度认为局势接近(很好奇AlphaGo有没有认为自己落后过)。这也激发出AlphaGo强劲的后半盘,在对阵世界顶尖棋士时,仅仅通过收官就将胜负差距扩大到盘面十多目。$ M0 q! m- r! q; I+ i" _# G6 _

    2 F& `- x+ Y# S- Q: t) b' ~4 {. h+ R3 t  对于这件事情的夸张程度,棋手们能否正视?人类面对不能理解的事物,总是用固有的知识体系来理解。但是,新时代真的来了。
    / l. Z- e! p4 y' v5 A  K0 j# q( E4 B. G- `
      4.李世石,直面AI的围棋英雄
    % D4 ~- T7 J7 W8 i$ K8 S
    - O3 u4 ^9 ^4 M2 z/ |  读到这里,我希望有一部分人能够理解在李世石和AlphaGo之间究竟发生了什么。
    ( U3 V0 u4 E1 y. I- \$ @2 ?" n- j) b. o+ W! a# _# q. l
      这一节,我是对你们说的。
    ) g- c3 ~# @, {) I8 y
    6 S& O2 F( s& |1 g& z& {  从古至今,我们从来不知道在围棋技术的浩瀚空间里,人类到底站在了什么位置。是离天只有三尺远?还是仍然站在地平线?
    9 P/ m+ `' ]3 ~) G. s: T6 U5 s
    : I0 g+ C9 C& [. c6 G+ K, c/ b  如果把穷尽看作天,把入门看作地,人类今天对围棋的认识究竟在什么层级?
    5 b4 c- {7 L) m8 O
    . i2 V9 B1 h' d9 @/ @" B, z  藤泽秀行先生曾说:”围棋,我只知百分之五”。相信包括我在内的绝大部分棋手,都曾认为这是谦辞。往正面解,是敬畏心;往负面解,不知是什么心。% v. D9 [1 t. ~8 `( M4 X. [5 m* q6 y. C
    ; q- Y$ Q/ h* c, k8 q# d* @0 ]2 ~7 S
      真的是谦辞吗?' S3 q, Q+ K- t4 [3 L

    $ s' N6 q7 w3 F  `  纵向看不清,横向比较一下总可以吧。其他有职业体系的棋类项目,变化比围棋少很多,未知的东西少很多,那么其职业选手是不是很可能相比我们在各自体系中站在更高的层级?
    * m8 Y# l8 H+ g, K/ |* i* y8 y0 a' ]. t9 W8 t0 n4 l
      可是,他们都早已接受了AI的层级在人类之上这一事实。. v- y9 H  F  e/ }* P5 V  p

    : o' a* x6 Q7 U+ ?. C' R0 d  诚然,在不短的时间里围棋是仅存的硕果,围棋选手看着用机器训练的同事们,发出”围棋永不会被机器打败”的豪言,似乎在捍卫着什么了不得的东西。
    & o7 j* i( C/ [/ J, Q6 y
    & ]+ }# h- _3 C* x) {, P! m3 [  并不是我想要戳破这种幻象,而是事实摆在眼前,不由你不信。; D) [: P5 U! X! s" ]# M7 _
    2 W' s$ f+ I% `* P3 w: \- K$ j4 G
      国际象棋遭遇深蓝挑战时,人机之间还相持了一段时间。直到今天,在国象和象棋,虽然人不能战胜AI,守和还是可能的。一方面AI的技术层级可能并没有比人类高出太多,另一方面和棋的空间是一个很大的缓冲带。3 y. v( b, V0 w4 ^" G

    % g6 G1 V6 ^6 w" l% j, R  围棋呢?确实围棋更难于被AI攻破,可是一旦攻破,会有多少高出人类的空间?围棋AI离天还有多远?人类棋手离天又有多远?没人能给出准确的回答。
    $ `) N+ _, E8 f2 \! {5 g8 B
    ! a* x; v3 o/ E) |  如果没有围棋AI,我们将永远不知道自己在围棋的天地之间究竟处于什么位置。
    ' O, x: {* @; F# z: r
    ' q0 ?$ P1 O( q  ^4 a  围棋AI是我们唯一的参照者。
    6 R/ P; A& P8 G3 v/ ~* x; K
    0 j0 c2 Z$ X! R  虽然在围棋被穷尽之前我们仍然不能准确地定位自己究竟处在什么位置,但是,6 j  I7 I) `. X9 T. [' L  }3 A

    ; {" w9 }5 [# w+ v" S  }& C( Q  我们不再孤独。; D" G! Y. {3 z2 L2 q# A

    : ~' V) ~) _# `8 n& {  多年以后,围棋书上将会如何讲述这次李世石代表人类围棋最高水平与新生AI对决时做出的种种努力,又将会如何评价面对忽然之间凌驾于人类之上的围棋AI时李世石的表现,我并不能肯定。
    9 w5 w/ O7 ?- A- i
    # J5 W" H8 D4 _  N" I$ `  我只是希望在这个连李世石的职业精神都会受到质疑的时代里,把我看到的事情告诉大家。是不是真相,请自行判断。
    . o3 ~! r2 S& ^" h
    % Y  Y7 j1 b6 Z/ y: G. B9 V1 U$ C  “李世石面对AlphaGo,并未因五个月之前的棋谱而有丝毫轻视,他做了非常充分的准备。他抛开人类的偏见和自负,试图理解AlphaGo运算的机理,并找出其中可能存在的弱点。在比赛伊始,他就对AlphaGo可能存在的弱点进行了直指要害的攻击,并且在失败后迅速调整,继而展开了第二次、第三次针对性攻击。正是他的策略针对性,使人们更好地理解了AlphaGo的强度和特点,以及不同于人类的决策模式。他在第二局中就已经找到了足以在中盘接近甚至抗衡AlphaGo的布局策略,使人类第一次见识到AlphaGo梦幻般的后半盘。”2 O& G) Y8 ]! h# W! U" ~+ e
    ( I  _; S: Q1 b
      ——这是我对李世石在人机大战前两局表现的评价。
    2 @& P: z& [3 @+ a' I+ x$ j8 E2 C1 n- u% ]1 U* v2 W+ F
      从这两盘来看,我不认为这个世界上还有哪一个人能够代替李世石将这件事做得更好。
    9 f9 _9 H# J5 w
    - Q+ C2 B" Q. H! I  写到这里,天已经亮了。! T" h* n( }) B, u

    1 i4 y! Y- X- N5 Q% I- c# i  但是故事还远没有结束。
    # B/ k" r4 J* z  ~+ }" }5 d
    ; b5 b' F/ H1 X5 A( `+ G- u  5.在后三盘可以做什么" H/ E& Y+ |( F  X* Z. `# R
    4 A% b7 g* Q4 b
      第二盘之后,我在上一篇文章中推测得出的最优策略已经被AI强大的实力证明难以取胜。虽然这一策略在最大限度上利用了人类集体的经验,从而能够在中盘取得接近的局势,但在这种情况下AlphaGo的后半盘不是限时人类所能抵挡的。那些认为李世石发挥太差、自己上去可以不失误的选手,既低估了人性的弱点,又低估了AlphaGo的实力。5 q% [- t% `9 v
    9 H& s# A' N4 L4 k* a2 |
      昨天给出的次优策略则是关于劫争:
    $ Q/ p& N3 f1 G: K, f  l* y0 c/ g6 X* z' {
      2,另一个策略是在局面选择中尽可能制造劫争,即制造对方不开劫就不利的局面。当然,AlphaGo目前没展现出复杂劫争的能力并不能证明它没有这种能力,因此这种策略是存在风险的,太过刻意是不行的,还要考虑局面的自然和均衡。- b: H5 b( P7 s$ G
    3 ]. V4 J5 Y" p# J7 M1 o
      但是在看完第二盘AlphaGo的表现之后,我认为这一策略实际上也已经破产了。AlphaGo的算法使得它只会去打那些能影响到胜负的劫争,与胜负无关的劫他就不会打了。
    ; N' S6 K, j8 y. Q
    5 V" Q8 @8 c3 O# F  K# n& v0 ?  虽然如此,我觉得李世石还是会去试试。我在第一局时只看到了AlphaGo的两个弱点,第二局则基本证明这两个弱点都是人类所无法利用的。AlphaGo在尽可能避开劫争的条件下仍然能完胜李世石,这才是关于劫争方面应该关注的焦点。
    . \( x: n# \2 b% I5 ^" G0 ?- U  s: V4 @. z# V8 ^) O2 g
      关于弱点,李世石在第二局赛后表示,没找到AlphaGo的弱点。我认为他非常诚实,而且他确实已尽力寻找。; v' z* ]9 s) R

    # `2 k& K+ B" h/ |) `$ \! Z6 N& V  虽然我非常希望李世石在这次比赛能够获胜,为围棋行业的发展争取时间。但在我看来,后三盘在正常情况下李世石将毫无胜算。4 T3 M8 v+ y2 [$ C! K  Q6 @* z

    / h" @7 D& E/ Z  空中开局是否有效?我认为无效,但或许比较有趣。
    ) r! W/ W/ L4 V9 ~# v' Q: S2 ^
    & @; V. @4 A- N  如果不去找bug,剩下的事情就只有——跟AI学棋。
    0 i3 P1 h) B$ b
    , l7 n& {, s- i( I. o6 `. I6 u! R) c  6.人类如何跟AlphaGo学棋; m* Y( e5 W) e" C" Z' Q% h; P
    0 w% q# A; H. y1 R/ K. S
      这是个不小的话题,在未来一段时期内会被围棋界的人反复拿出来讨论。在这里我只是简单开个头,或有不确之处。# I# g9 }/ }) c
    2 ?9 u5 r5 r% R5 B4 ^+ R# [  M
      首先一句话:AlphaGo的棋既容易学又不容易学。
    ) ]8 L9 ^" m% C. c) {9 u
    $ o7 b$ \9 ], F* N  ?2 R  为什么不容易学?因为ALphaGo所有的着法都是从全局考虑并基于它认为的胜率,如果只是单纯地模仿它的下法,将会掉入巨大的陷阱。
    ( W; P8 x8 n4 w; U7 g
    / n& B! G8 h3 N) \4 E9 `9 s  陷阱1:AlphaGo的一些下法本身就不是最优,甚至不如人类的选择。例如第一局中的那两个典型”失误“。如果真要学局部的下法,或许只好期待他左右互搏时拿出最强功力(或者对人类的让目对局,总之需要给它增加难度以减少选择。)6 G2 r5 o4 g3 D" k$ m% f
    . q4 ^- ]; W8 B, l. W3 D
    9 h. a1 `/ m* ?8 M
      陷阱2:AlphaGo的下法基于全局,全局形势稍有不同可能就不适用。例如第二局AlphaGo在左下的下法,几乎所有人都认为局部明显亏损。但AlphaGo是基于上边和右边的情况而在左下做出的选择(对此我将在第二部分解说……学习),这对棋手思维的拓宽有巨大的好处,但具体的着法却不宜照搬。即使是天外飞仙的第37手,也是在独特的局面下才是当时的好棋,如果对任何高拆二都跑去肩冲就成了东施效颦。9 N$ r3 L- B" q' ^" L$ R8 ~2 ~9 z

    8 V6 f5 o( l; h; k7 J. X  为什么容易学?因为AlphaGo的围棋技术层级已经在人类之上,它每一盘下出来的招都值得棋手反复思考推敲。仅仅两盘,就已经有这么多的亮点、更多的不解,这绝对是史无前例的棋谱。
    ; E! `( p& p3 A9 z* q
    2 ^: q) s. ~. o4 {% T' R  AlphaGo给出选点的思维方式与人类不同,但我们却可以用人类的方式去理解它,这是一件多么美妙的事情!同一个点,AlphaGo通过数据的方式来给出,人类却用道理的方式来接收,围棋的数与道在这种对话中得到完美的呈现。, |* O$ H7 A6 `, I
    9 q; ~% j7 M8 S9 M
      此文的第二部分原本准备用棋谱解读的方式来呈现我从第二局中看到的无法用言语来表达的震撼和美,但本文或许已经太长,两部分关联性又较弱,更主要的是,天色已大亮……留在下一篇吧。
    3 \  D/ L: ^/ V
    / ^4 c( X0 T: w" i9 \: L  想念吴清源大师。

    点评

    谢谢老七又搬运一遍~~~  发表于 2016-3-12 12:03
  • TA的每日心情
    慵懒
    前天 02:38
  • 签到天数: 1481 天

    [LV.10]大乘

    99#
    发表于 2016-3-12 10:24:17 | 只看该作者
    snark 发表于 2016-3-12 05:324 t/ X6 m! Q5 W, J7 Q; z  X4 D" M/ \& ]
    我倒不是觉得一定要公开具体参数
    ' J! b: u. \/ m3 B而是要提供足够证据支持结论,要给出可以证伪的机会,才能让人信服,才 ...

    ( a$ R0 p4 }. {那你可能不太明白围棋在人工智能领域的地位
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    98#
    发表于 2016-3-12 05:32:29 | 只看该作者
    sitan 发表于 2016-3-12 04:11. U7 a9 y2 g0 |# M: B; V6 J8 [
    Nature 最热爱这种花里胡哨的东西了,图多好看啊。Science不一定爱发这样的。
    $ o0 W4 z4 `' w) B  X$ @9 ?你导师说的是无利益的情况 ...
    8 a% \* [- g1 o- _, ^. r0 j
    我倒不是觉得一定要公开具体参数
    ; y3 @/ n7 [* E而是要提供足够证据支持结论,要给出可以证伪的机会,才能让人信服,才算是学术。
    # M6 F: v( v! u' L  n, c3 ?Google声称根据某算法思路设计AlphaGo,但是不公开设计的细节,导致该算法思路不可以被其他课题组重复,同时又不给出机会让其他课题组验证AlphaGo的围棋水平,导致其他课题组无法验证AlphaGo的围棋水平。这不就像是车库里的喷火龙吗?
    $ q$ f7 f; K4 w* j" D. d+ J2 p两个棋手签的保密协议,我就搞不懂究竟保密啥。
  • TA的每日心情
    郁闷
    2021-2-7 21:58
  • 签到天数: 530 天

    [LV.9]渡劫

    97#
    发表于 2016-3-12 05:16:52 | 只看该作者
    冰蚁 发表于 2016-3-12 03:53( J6 w6 @- D/ W. f" o
    那你岂不是把比如 IEEE 底下的好多专业期刊 (journal,proceeding ) 全搞成"学术"欺诈了。那里面有学校 ...
    3 x* L9 d4 y5 j
    我可能说的不确切吧
    4 E7 A+ u' {* Z; {  h4 O我指的论文应该仅限于research article4 y/ p3 A# u: V, Y3 q- i" t
    或者完善一下6 b* @' m) T) C# _) n
    按industry的搞法发学术论文才是学术欺诈
    2 v! j" T! l2 Z+ k; Z8 W$ @  j8 q( `这样就没问题了吧. S5 V, U. c/ p1 P! }- ^
    / m8 ~1 o' D3 K$ k

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2024-5-25 23:51 , Processed in 0.080085 second(s), 24 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表