他25岁进贝尔实验室,32岁提信息论,40岁办达特茅斯会议,晚年患上阿兹海默 | 人物志

整理 | 琥珀算法

出品 | AI科技大本营(ID:rgznai100)编程

有人说:如今的创新主要是把几十年前的理论成果,经过技术和工程来实现。现在产业发展遇到了瓶颈,须要新的理论突破和基础技术的发明。人类的文明和技术不断推动,旧的不去,新的不来,如何才能剔除那些阻碍咱们进步的绊脚石,为人类提供新的发展空间呢?微信

1956 年达特茅斯会议被普遍认为是 “人工智能(Artificial Intelligence)” 概念诞生的标志性事件,会议的主要发起四人组分别是:约翰 · 麦卡锡(John McCarthy)、马文 · 闵斯基(Marvin L. Minsky)、Nathaniel Rochester、克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。然而,就是这样“一小群”科学家发起的会议催生了后来为人们所认知的人工智能革命,其中讨论的关于自动计算机、如何为计算机编程使其可以使用、语言神经网络、计算规模理论、自我改造、抽象、随机性与创造性等议题,直到现在都是人工智能领域致力于积极解决的难题。网络

今天,咱们就来说讲会议发起人之一的克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。函数

你们都知道计算领域最高奖项是图灵奖, 从 1966 年起,由美国计算机学会(ACM)为了记念图灵的卓越贡献而设立。不久前颁给深度学习三巨头 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 的奖项正是图灵奖。一样,在信息领域,为表彰作出卓越贡献的科学家和工程师,香农奖的地位一样重要。学习

在首届 IEEE 学会设立的香农奖项颁奖典礼上,香农领取了以本身名字命名的香农奖。编码

美国数学家、电子工程师和密码学家,被誉为信息论的创始人……人工智能

1937 年,21 岁的香农在其硕士论文中提出,将布尔代数应用于电子领域,能构建并解决任何逻辑和数值关系,被誉为有史以来最具水平的硕士论文之一。1948 年,香农发表了《通讯的数学理论》论文,提出了信息熵的概念,并建立了信息论。翻译

如今天才这个词用的太随意,实际上天才是不多见的,真正配得上这个词的人很少。实际上,香农的学术贡献已经不须要世人再多赘言了。视频

除了是信息论之父外,香农仍是一位投资人、发明爱好者、解谜爱好者和爱搞恶做剧的人。

还有一则故事是,香农居然是托马斯 · 爱迪生的远方亲戚。

再回到 1956 年,麦卡锡邀请他一同发起达特茅斯会议时,香农已经是贝尔实验室的顶尖级大佬了。

有人总结道:“由香农所开创的信息论,不仅仅是信息通讯科学的基石,直至今日,仍然是是深度学习的重要理论依据。信息论综合运用了微积分、几率论和统计学等诸多学科,在深度学习中,也起到了很是重要的做用:如常见的交叉熵损失函数;在最大信息增益的基础上构建决策树;在 NLP 和演讲中普遍使用的 Viterbi 算法;在机器翻译中经常使用的 RNN 和各类类型的模型中广泛使用的编码器和解码器等。”

近日出版的《香农传》一书,全面回顾了香农精彩的一辈子。从 0 到 1 开创信息时代,将一切信息彻底抽象为比特,将一切信号都用 0 和 1 进行编码,一个很是了不得的突破。

试想:如何将一段视频压缩至 50% 以上,同时不损失任何信息,但压缩也是有限度的,更高的压缩会使文件下载和分享更为方便,但压缩后的文件质量会永久受损?

绝不过誉地讲,若是没有这个理论,也就没有了标准压缩图片、或是压缩文件、高清电影、数字通信等。但它的影响远不止此,尽管信息的数学理论没法说明任何关于数据的意义,可是它打开了一种新的可能,关乎咱们如何理解自身,使得咱们都可以用数据测量和编码。

或许,会有人追问谁才是真正的人工智能奠定者?是约翰 · 冯 · 诺依曼?仍是艾伦 · 图灵?说实话,缺了谁都不行。

1916 年 4 月 30 日,香农出生于美国密歇根州一个叫作 Gaylord 的小镇,1936 年得到密歇根大学的数学与电气工程学士学位 ,1940 年得到 MIT 数学硕士和博士学位,1941 年进入贝尔实验室工做。晚年,香农患上阿尔兹海默症,在与病魔抗争了很长一段时间后,2001 年 2 月 26 日,香农逝世,享年 84 岁。

忘了说一句,今天是 4 月 30 日,也是信息科学之父香农的 103 周年诞辰。

生日快乐,香农!

(本文为AI科技大本营整理文章,转载请微信联系 1092722531)