90后美女学霸传奇人生:出身清华姚班,成斯坦福AI实验室负责人高徒

出品 | AI科技大本营(ID: rgznai100)程序员

 

今天给你们介绍一位斯坦福博士毕业生的传奇人生算法

她的一篇名为“Neural Reading Comprehension and Beyond”的博士论文火了安全

 

640?wx_fmt=png

 

在论文提交后的短短四周内就得到了超过 2700 的查阅量微信

 

她就是 90 后美女学霸陈丹琦网络

640?wx_fmt=png

https://cs.stanford.edu/~danqi/数据结构

 

小姐姐籍贯湖南长沙框架

小学三年级起学习奥数,从小就对数学有着特殊的天赋机器学习

中学就读于”百年老校“雅礼中学性能

期间,陈丹琦又迷上了信息学学习

高中时,便得到了国际信息学奥林匹克金奖

还上了当年的新闻,成为湖南省第一位入选信息学国家队的女选手

被媒体称做“透着周笔畅似的微笑”的女生

 

640?wx_fmt=png

 

在此期间,她还提出了 CDQ 分治算法,以及插头 DP(轮廓线动态规划)

 

640?wx_fmt=png

 

随后她又进入了清华学堂计算机科学实验室(姚班)

并在毕业时荣获清华大学 2012 届优秀本科毕业论文,以及姚期智院士亲自颁发的获奖证书的殊荣

 

640?wx_fmt=png

 

而这仅仅只是她在算法/数据结构和理论计算机科学方面

以后,在斯坦福大学学习的六年多的时间里,新的研究领域正向她打开……

人工智能以及天然语言处理领域的相关研究

 

期间,她还担任过:

微软亚洲研究院实习生(ML&WSM小组)

微软研究院雷蒙德研究实习生(NLP小组)

纽约市 Facebook AI Research 研究实习生

 

目前,陈丹琦正访问美国西雅图的 Facebook AI Research 和华盛顿大学

主要研究方向是深度学习在天然语言处理中的应用,尤为是文本理解和知识表示/推理之间的交叉领域

 

640?wx_fmt=jpeg

 

据悉,2019 年秋季,陈丹将加入普林斯顿大学计算机科学系担任助理教授

 

她的求学经历、成长历程

无不彰显出她的”学霸“气质

 

然而 在她的成长历程中,她却一直心怀感谢

对她的父母、她的爱人、她的朋友、她的老师

 

她的父亲,同时仍是当年国防科大的数学副教授

对于父母,她心怀感恩,值得骄傲

 

她的爱人,俞华程,与她一同毕业姚班,进入斯坦福攻读算计博士学位

仅用 4 年时间便发表数篇重要论文提早毕业,现于哈佛大学作博士后

 

640?wx_fmt=png

 

对于爱人,她感念他儿时起的十多年陪伴,钦佩他的”谦逊、专一、聪慧与努力“

http://theory.stanford.edu/~yuhch123/

 

固然,这次她最要首先感谢的就是她的博士论文指导老师、斯坦福大学语言学和计算机科学教授 Christopher Manning

 

要知道在计算机领域,博士毕业的难度可想而知

 

做为斯坦福人工智能实验室(SAIL)小组成员之一的 Chris Manning

 

在天然语言领域多有建树,其主讲的斯坦福 CS224n 课程(期间陈丹也做为助教)

 

640?wx_fmt=png

 

与李飞飞的 CS231n 同为天然语言处理和计算机视觉领域的”必修课“

 

去年 11 月,Chris 也成为斯坦福实验室的新负责人,与回归斯坦福的李飞飞开始新的合做

 

那么,Chris 与爱徒陈丹

是否会成为下一个天然语言处理界的”李飞飞与李佳的 CP“呢?

 

 


 

 

下面,咱们试图透过陈丹的博士毕业论文”Neural Reading Comprehension and Beyond“,了解她目前在天然语言处理领域的成果。

 

Christopher Manning 评论称:“陈丹是采用神经网络进行天然语言理解的先驱。她的这个模型简单、干净、成功率高,吸引了很多人的关注。”

 

该篇论文主要讨论了“人工智能中最难以琢磨且长期存在的挑战之一”:教机器如何理解人类语言。经过改进性能,经过验证和推广的模型以及问答系统的潜在应用以推动天然语言处理技术的方法。

 

论文连接:

https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf

 

如下为论文摘要及论文框架部分(AI科技大本营作了不改变原文的翻译):

 

摘要

 

教机器理解人类语言文本是人工智能所面临的最困难、长期存在的挑战之一。而本文探讨的就是阅读理解问题:如何创建一种计算机系统,使其能真正的读懂文本并回答问题。一方面,咱们认为阅读理解是评价计算机系统对人类语言理解能力的一项重要指标。另外一方面,若是真的能够构建高效的阅读理解系统,那么这将成为自动问答和对话系统应用落地的关键技术。 

 

这篇论文专一于神经阅读理解,一类基于深度神经网络的阅读理解模型。与稀疏的、手动的、基于特征的传统模型相比,这种端到端神经模型被证实在学习丰富语言现象方面更有效,在现代阅读理解的各项指标上都有大幅度的提高。

 

论文主要由两部分组成。第一部分主要分析神经阅读理解的本质,介绍在创建有效的神经阅读理解模型中咱们所作的努力,更重要的是理解神经阅读理解模型实际中学到了什么,以及要解决当前的任务模型理解深度须要达到什么程度。咱们还总结了这一领域的最新进展,讨论了将来的发展方向和有待解决的问题。

 

在第二部分,咱们探讨的是如何把神经阅读理解模型的最新研究成果应用在实际中。为此,咱们探索了两个新课题:

 

(1)如何将信息检索技术与神经阅读理解相结合,解决大规模开放域问题的问答;

(2)如何基于阅读理解模型从目前的单向制问答方式转变为对话式的问答系统。咱们把这些方法应用在 DRQA 和 COQA 项目中,并证实了其有效性。咱们相信,将来这些方法在语言技术领域中将会有很大的发展前景。

 

详细章节介绍

 

(第一部分)

 

第二章主要阐述了阅读理解任务的历史与近年发展概况。而后定义了问题公式与主要分类,并简短讨论阅读理解与通用问题回答间的区别;最后,探讨近年来神经阅读理解由大规模数据集和神经模型二者带来的成功。

 

第三章内容主要基于她们本身的研究工做。先介绍了神经阅读理解的所有模型。从非神经网络方法,基于特征分类的方法开始,讨论它们与端到端的神经方法有哪些区别。而后到神经网络方法,介绍了她们本身的提出的方法“THE STANFORD ATTENTIVE READER ”,以及此方法应用到 CNN/DAILY MAIL 和 SQUAD 两个表明性数据集上的实验结果。更重要的是还深刻分析了神经网络模型之因此有更好的理解能力到底学习了什么。最后,总结了近年来神经阅读理解模型在不一样方面取得的进展。

 

第四章主要探讨了关于这个领域将来的研究工做于开放性研究问题。

 

(第二部分)

 

第五章中,咱们将开放域问答任务视为阅读理解的应用之一。如何将高性能的神经阅读理解系统与有效的信息检索技术结合,构建新一代开放域问答系统。同时以咱们的研究工做为基础,介绍了 DRQA 系统,包括其关键部分与如何为其构造训练数据,并对其在多个任务基准中进行评估。从而探讨 DRQA 系统的局限性与将来的工做方向。

 

第六章研究了对话式问答系统,即机器必须理解一段文字内容后回答对话中出现的一系列问题。在简要回顾对话系统相关论文后发现,构建信息搜寻对话主体的关键是对话问答。以后对 CoQA 进行了介绍,一个为对话问答系统构建的新颖数据集,从文本段落的 8k 对话中收集的 12.7 万个问答与答案,对此进行深度分析与构建几个模型。基于咱们 2019 年现阶段的一些工做,咱们也对此领域的将来方向进行了探讨。

 

最后在第七章进行论文的总结。

 

 


 

 

或许当你读到这里,你或许已对陈丹过去的精彩人生感到羡慕,对她目前的学术成果有所赞扬,但或许你不知道的是:

在她走出国门留学海外的生涯里,遇到过多少的难题和挫折?

 

例如同为 Chris Manning 学生的齐鹏,与陈丹同来自清华,也是个至关的厉害人物

 

640?wx_fmt=png

 

2012 年,齐鹏以 89.9% 的GPA(Top 5)从清华毕业

 

同年,在多哈举办的 2012 神经信息处理国际会议上

与其指导老师胡晓林,中科院院士、计算机系教授张钹共同撰写的论文《用于建模视觉皮层V2区神经元的层次化K-均值算法》(Hierarchical K-Means Algorithm for Modeling Visual Area V2 Neurons)得到最佳论文奖

 

2013 年,齐鹏成为吴恩达的学生,在斯坦福继续深造

 

2015 年,齐鹏在 Chris Manning 的指导下攻读博士学位期间,除了曾与陈丹共同发 Paper 以外,还作了其余工做:

 

好比两人最新发表的文章,就介绍了斯坦福大学 NLP 组推出的最新的机器阅读数据集——CoQA 和 HotpotQ

 

虽然,陈丹和齐鹏都属于天之骄子,但读博历程向来艰辛,特别是在另外一个陌生语言的国度

 

正如陈丹在博士论文的致谢里所写:

 

“按照要求,我得在斯坦福修 5 门英语课程,对这个国家也知之甚少,甚至从未据说过”天然语言处理“这一律念。

 

从结巴的英语,到 156 页的英语论文,其中艰辛可想而知

 

而齐鹏在读博以前还动手翻译了 Philip J. Guo 的回忆录《The Ph.D. Grind》

 

这本书记述了从 2006 年到 2012 年 Philip J. Guo 在斯坦福⼤学攻读博⼠研究⽣期间六年的求学经历,可见齐鹏在决定读博以前必然作了不少心理准备

 

在”译者序“里,齐鹏写道:

 

640?wx_fmt=png    

“借原做者致礼的这句话,再次表达对他们的敬意:献给全部热爱创造的⼈。“

 

连接:file:///Users/Mryong/Downloads/phd-grind-chn.pdf

 

咱们也愿借陈丹和齐鹏这样的学子

向全部计算机领域热爱创造的人表达敬意

 

(本文为AI科技大本营原创文章,转载请微信联系 1092722531)

 

2019年人工智能系统学:

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

 

群招募

 

扫码添加小助手微信,回复:公司+研究方向(学校+研究方向),邀你加入技术交流群。技术群审核较严,敬请谅解。

640?wx_fmt=jpeg

推荐阅读:

                         640?wx_fmt=png

点击“阅读原文”,查看历史精彩文章。