注册 登录
爱吱声 返回首页

gordon的个人空间 http://aswetalk.net/bbs/?663 [收藏] [复制] [分享] [RSS]

日志

对“三论”的狂热,以及对中国的影响

已有 245 次阅读2016-9-19 16:51 | 中国, 影响

        其实 “信息论” 没有什么用,在其它领域到底能不能 “应用上”,还需要实证。

        纪念我的青年时代,天真又愚蠢


注:其实论证才是困难的

       想起自己如此多的努力,而且大多做的都是无用功,不免有些伤感。

******************************************************************************

早些时候,信息理论迷住的人群比想象的要多的多。在语言学、心理学、经济学、生物学、甚至音乐和艺术领域的人都开始融合信息理论到他们的科目中。

John R. Pierce 是香农以前的同事,同时也是加利福尼亚斯坦福大学的荣誉退休教授。他就将信息论的「普遍滥用(widespread abuse)」对比成其他两个意义深远、遭受诸多误解的科学思想:海森堡的不确定性原理(Heisenberg’s uncertainty principle)和爱因斯坦的相对论。


一些物理学家走了非常长的路去论证信息理论的熵在数学上等同于热力学熵。结果证明那是真是的,但却无关紧要,据香农前同 事、贝尔实验室的老将 David Slepian说,他在信息编码领域也非常有影响。Slepian说,许多工程师也「还真正理解这一理论就跳进乐队花车」。香农的著作激发了 1956 年美国电子工程师协会信息理信息理论学会的成立,其他致力于经济、生物系统、和其他应用的下属学会也快速成立。在 20 世纪 70 年代,美国电机及电子工程师学会会刊信息理论版(the IEEE Transactions  on Information Theory)发表了一篇社论,题目为《信息理论,光合作用和宗教》谴责了对香农理论的过度外延。(编者按:事实上,这篇 Peter Elias 的社论标题为《两篇著名的论文》,发表于 1958 年 9 月。)


香农同样怀疑一些对他理论的使用,同时,他也做着自己的研究。在 20 世纪 50 年代,他做了一个关于语言冗余的家庭实验,参与的有:香农的太太,贝尔计算机科学家 Betty ;另一个贝尔科学家、IEEE 前会长 Bernard Oliver 以及 Oliver 的妻子。试验中,一个人提供一个词的开头几个字母,或者提供句子里的单词,然后其他人将会试着猜测剩下的是什么。香农也指导了贝尔实验室的一个实验,实验 里工作人员对文本中不同字母出现的次数进行统计、排序。


此外,香农建议将信息理论应用到生物系统中,因为应用到这一领域至少没那么牵强附会。「神经系统是一个复杂的交流系统,并且它用复杂的方式处理信息,」他说。当问到他是否认为机器能够「思考」时,他回答道:「当然啦。我是一个机器,你是一个机器,我们都思考,不是吗?」


确实如此,香农在信息理论的研究和他对小发明的喜爱了导致他早早产生了对智能机器的迷恋。香农是最早提议计算机与人类下棋的科学家之一;在 1950 年,他为《科学美国人》写了一篇文章,解释如何完成这一任务。


香农并不只是限制于象棋。他还建造了一个能够玩硬币配对(the game of penny-matching)游戏的「读心」机器,在这个游戏中,一方猜测另一方选择了正面或反面。香农在贝尔实验室的同事 David W. Hagelbarger,开发了这个机器的原型;这个机器记录并分析对手过去的选择,从而找寻规律,预测接下来的选择。因为人类总是会陷入到一种模式中, 机器在那个时候已经有了超过 50% 的胜率。之后,香农建造了自己的机器版本,对 Hagelbarger 的机器进行了挑战,成就了如今的一场传奇决斗。


他还构建了机器能够早桌游 Hex 上打败任何人类,在那个年代,Hex 在数学圈内非常流行。事实上,香农自定义了这个桌球游戏,让人类一方能得到更多的 hex。为了获得胜利,机器要做的就是拿到中心 hex,然后匹配对手的路数就行。


机器可以立刻移动。但是为了表达出机器在思考下一步,香农给它的电路增加了一个延时开关。才华出众的哈佛大学数学家 Andrew Gleason,曾与这个机器进行了挑战, 言称没有机器能打败他。而当 Gleason 被虐得体无完肤,仍要求再次挑战时,香农才告诉他自己机器的秘密。


1950 年,香农制造了一个机器老鼠,在没有协助的情况下能够学习如何通过迷宫,最终找到奶酪。香农将其命名为「Theseus」(忒修斯,希腊神话中的英雄,为 解救希腊的童男童女,自告奋勇到克里特岛除掉弥诺陶洛斯),最终除掉 Minotaur 并找到了走出可怕迷宫的路。事实上,老鼠的「大脑」位于迷宫地板下的一堆真空管室中;电路控制着磁铁的移动,进而控制着老鼠的移动。


1977 年 IEEE Spectrum 的编辑给读者出了个难题:创造一个可以通过试错法走出迷宫的微型老鼠,它的大脑是独立的外接电脑,能从之前的错误中吸取经验,当再次通过相同的迷宫时,不 允许出错。一位香农之前同事告诉编辑 ,香农早在二十多年前就已经创造了一个类似的微型老鼠。


考虑到五十年代的技术难以达到相应的水平,编辑因此电话联系了香农。香农开玩笑说,他用这个「智能老鼠」骗了全国各地很 多人。窗帘附近的桌子下藏着真空管和丝杠是至关重要的。他轻笑道。1979 年,当 Spectrum 隆重地为神奇的微型老鼠迷宫竞赛颁奖时,香农把 Theseus 从阁楼中取下,装进他的旅行车中。将它展示给竞争微型老鼠的人观看。


当被问及人工智能的前景时,香农指出在当时计算机尽管拥有超强的运算能力,但在处理原始信息方面还没达到人类智能的水准。他认为仅仅在机器复制人类的视觉能力方面就已经是一项相当艰巨的任务了。但是,他补充道:「我认为,几十年后机器智能超越人类是完全可以预期的。」


杂耍的统一场论


1956 年,香农离开了他在贝尔实验室的终身职位(后来的十多年间,他仍保留着会员资格),成为了 MIT 通信科学系的教授。后来的几年里,他痴迷于杂耍。并且制造了几台杂耍机,还构想了所谓的「杂耍统一场论」:如果 B 代表球的数量,H 代表手的数量,D 表示球在手中度过的时间,F 则代表着每个球的飞行时间,E 代表每只手不拿球的时间,那么B/H=(D+F)/(D+E)。(不幸的是,该理论并不能帮助香农同时扔四个以上的球,他辩解称是他手小的缘故。)


他在诗歌领域也有所涉猎。他的作品中有一篇向 Rubik’s Cube 致敬的诗歌。(也即magic cube,魔方),一个风行于 20 世纪 70 年代末的玩具。「论魔方之规则」,定下了诗的韵格,「Ta-Ra-Ra-Boom-De-Aye。」诗曰:


敬汝魔方常净,涂之以凡士林。

须谨记兮拇指,手胼胝而指滞。

不外借且不求,野夫转其两际。

唯不可接受者,茫然兮不得解。

茫然不可解兮,且其可怪也欤?

纵你勤且持,其解茫然不可寻。


香农自己有一种避免「不可解」窘境的天赋, 根据曾在 MIT 师从香农并和他合著论文的Elwyn Berlekamp 的说法,「总有很多无关紧要的但可解的问题,和一些影响重大却无解的问题。香农总有一种神秘的本能和能力,可以想出那些影响重大的问题的解决办法。」


然而,20 世纪 50 年代末,香农在信息论领域成果寥寥。一些前贝尔实验室的同事认为香农到MIT的时候已经精疲力尽而且对他所创造的领域感到厌倦了。


但是香农否认了这种看法。他说,他在整个六十年代都在持续研究信息论领域的各种问题,尽管他觉得他的多数调查没有重要到可以发表的程度,但也还是发表了一些论文。香农提出「许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究。」


在六十年代,香农也不再出席由他创造的领域的专业会议。 Berlekamp 提出了一个可能的解释。据他回忆,1973 年,他说服了香农在国际信息论研讨会上作第一次年度香农讲座。但是香农几乎是在临近开始的前一分钟退却了。Berlekamp 说「我从没有见过像他那样怯场的人。听众们对他敬若神明。我想,他大概担心他不能像他显赫的名声一样满足崇拜者的期望吧。」


Berlekamp 说香农最终做了一个鼓舞人心的演讲,他预见了一些有关宇宙反馈和自然界自我指涉的观点。


尽管如此,香农再次消失在公众的视野中。近年来,受到妻子的鼓励,香农开始出现在一些小型会议上,同时参观一些开展信息论研究的实验室。


1985 年,他在出人意料地出现在英国布莱顿举办的国际信息论研讨会上。此前会议开展得十分顺利,当说明那个带着羞涩微笑在会议上踱步的白发老人正是克劳德·香农的消息传遍大厅和会议室时,会议上很多人甚至不知道香农仍然在世。


宴会上,会议组织者终于说服香农为听众致辞。他讲了几分钟——担心他的听众厌倦,他后来回想起——然后,从他的口袋里拿 出三个小球,玩起了杂耍。观众兴高采烈地喝彩欢呼,然后依次排开,索要签名。 Robert J. McEliece 是加州科技研究院的电力工程教授,同时也是会议主持人,他说:「就好像牛顿出现在了物理学会议一般。」





膜拜

鸡蛋

鲜花

路过

雷人

开心

感动

难过

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 注册

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2024-6-26 13:31 , Processed in 0.025207 second(s), 17 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

返回顶部