我和NLP的故事（转载）

正值ACL录用结果发布，国内的老师和同窗们又是一次大丰收，在这里再次恭喜全部论文被录用的老师和同窗们！我人品爆发，也收获了本身硕士阶段的第二篇ACL论文。原本只是想单纯分享下本身中论文的喜悦，但没成想收到这么多老师和同窗的祝贺与鼓励，实在是受宠若惊，在这里也再次感谢各位老师和同窗，期待与你们在ACL进行面对面的交流。 个人微博发布后，龙星镖局大神发来邀请，但愿我能写一篇小文讲一讲本身的研究。但做为一个小硕士生诚然没什么拿的出手的成果，思来想去，就讲一讲这几年来作NLP研究的经历与感觉好了，但愿可以对在国内读研的，和我一样迷茫过的同窗有一些帮助。

第一次接触天然语言处理是在本科三年级的时候，那时候我在哈尔滨工业大学网络智能实验室跟关毅老师作WI输入法，当时我负责作的是拼音输入法的智能纠错功能。在这期间了解到了语言模型和隐马尔科夫模型的概念。尽管当时尚未很深刻的理解其背后深入的原理，但我马上就被其背后所蕴藏的智慧迷住了，今后决定这就是我要研究的方向。到了大四的时候，收到了百度NLP部门实习的offer，此次实习对个人人生规划产生了巨大的影响。尽管当时已经保研到北大，可是和大多数同龄人同样，开始怀疑是继续读书好仍是直接工做好。带着试试看的思想，决定先去实习感觉一下。当时实习所在的部门大牛云集，包括NLP界顶顶有名的王海峰老师，吴华老师等等，各类PhD、大神就更数不胜数了。随着实习的进行，我进一步感觉到了NLP的魅力，我但愿有一天我也可以设计本身的模型，但愿个人模型可以上线改变亿万人的生活。但理想很丰满，现实很骨感，我开始意识到本身的知识储备是多么不足。因而我坚决了本身的决定：读研

既然选择了读研，就要为读研作充分的准备。在本科毕业后的暑假，我没有选择处处旅游，而是选择把本身关在家里补充各类知识。当时看了Andrew Ng斯坦福的公开课以及Coursera的公开课，看完了大半本英文原版的《Speech Recognition and Language Processing》，看了一遍《Pattern Recognition and Machine Learning》。固然，这两本书我看完第一遍后也就看懂了其中30%的内容，因此后续读研后又读了不少遍。一直到如今，PRML我大概总共读了4遍，但说实话，这本圣经可能我到如今也只能真正理解其中60%--70%的内容。固然，这对于我来讲也足够了，由于我并无想成为ML领域的专家，因此不少内容就没有细细研究。

因为实习时受的“刺激”，开始读研时就踌躇满志必定要利用好研究生三年作最顶级的研究，因此在开学的第一天我就给导师发了封邮件，立志要在硕士期间发表一篇顶级会议论文。这个目标当时对我来讲简直是痴人说梦，由于实验室的历史上几乎没有硕士生可以在读研期间发表顶级论文。在这里不得不提一下个人导师常宝宝老师，若是没有他个人目标不可能实现。在我发完那封慷慨激昂的邮件后，导师表示很是鼓励。和国内大多数的导师不一样，常老师历来没有对咱们的研究内容作强制规定，也历来没有要求咱们去作外面的项目，相反，他鼓励咱们寻找咱们本身的研究方向，作本身感兴趣的内容。同时，他的学术水平也很是高，能在我遇到困难的时候给予很是细节的指导。这些外界的优良条件为后续的研究铺平了道路。

研一上的时候由于知识储备有限，因此和导师讨论了下研究内容，导师决定作Topic Model相关的内容。由于相对来说Topic Model比较好入门。通过几番讨论后，造成了人生中第一个idea并很快完成了代码的编写，实验效果也很不错。因而在研一上学期我就迎来了本身人生中第一次投稿——ACL2013。个人英文写做能力其实并很差，当时写完论文后，导师几乎是所有推翻了重写了一遍。那时候还正好遇上过年，我深入的记得初一的晚上，我和导师在电话里远程讨论如何修改论文。通过无数次的雕琢，个人第一篇paper《Inducing Word Sense with Automatically Learned Hidden Concepts》就这样诞生了。我兴致冲冲的投了稿，期待结果，但最终结果是：reject。论文被拒心情天然是沮丧的，我一直认为审稿人并无理解咱们论文的核心思想，因而心中怒骂审稿人。但常老师教导我不管结果如何，都要以平和的心态面对，积极修改论文。就这样，个人研一上以一篇被reject的论文结束了。

研一下的时候继续修改了这篇论文，而且随着上课和日常读论文的积累，知识量有了进一步的提高，也提出了本身的一个idea，实验效果也不错。由于上次被拒的阴影，决定先从国内的会议试试，导师也表示支持。因而写了篇CCL投了。同时和大四保研的师弟一块儿进一步改进了那篇被拒的论文，增长了新的模型，投了EMNLP。结果是CCL录用了，EMNLP又被拒了。迎来了本身人生中第一篇论文录用固然甚是开心，但离本身中顶会的目标还差很远，天然心有不甘。这时的心情相对来说仍是很沮丧的，论文连续两次被拒让我怀疑idea是否是真是的是有问题，以致于我开始渐渐对这篇论文失去了信心，因此也没有进一步去改这篇论文。研一眼看着就要结束了，本身尚未一个独特的研究方向，就开始各类普遍的阅读文献。就在这时我看到了深度学习的一些内容。当时深度学习的内容尚未今天这么全面爆发，我以为这个这应该是一次百年不遇的机会，因而开始专一与深度学习方面文献的阅读。

研二上学期是欢乐的一学期。个人师兄的一篇论文被IJCNLP录用，但师兄已经毕业不能开会，因而老师决定派我去参加，就这样我迎来了本身人生中第一次国际会议以及本身人生中第一次oral presentation。会议是在日本开，各类吃喝玩乐天然就不用说了，但给我最大快感的是和同行老师、同窗们交流。我感觉到了出国开会并和领域的大牛们交流idea是多么爽的一件事，因此此次会议更加坚决了我要发一篇属于本身的顶会论文的决心。开会回来后趁着兴奋劲产生了本身在深度学习方面的第一个idea，基于深度学习的分词模型。当时，包括如今，深度学习在结构化模型中的应用仍是不多。所谓的结构化模型就是模型的输出不是简单的分类，而是一个具体的结构。例如序列标注模型、句法分析都属于结构化模型范围内。当时阅读了大量这方面的文献，以为既然最大熵能够扩展为CRF，普通感知机模型能够扩展为结构化感知机模型，那神经网络也必定能够扩展为结构化的神经网络模型。分词固然是最简单的序列标注模型，因而我针对序列模型的特色，提出了Max Margin Tensor Neural Network，这个工做也是受到深度学习界的大牛Richard Socher的启发。有了研一写文章的经验，这篇文章很快就完成了，固然又是几经修改，最后在deadline以前和以前那篇屡投屡拒的文章一块儿投了ACL2014.

研二下学期是丰收的一学期。我迎来了本身第一篇ACL论文《Max Margin Tensor Neural Network for Chinese Word Segmentation》，论文的来之不易可能只有投过稿的人才能体会到吧。。。。从写论文，改论文，投稿，出review，到揣测审稿人心思，到response，再到焦虑的等待。当打开邮件，看到delighted的那一刹那，我怒吼了一声“我X！中了！“，当时真的是眼泪都出来了，而后跑向导师办公室向导师报喜。至于另一篇，依旧是被拒。。。。导师和我基本上已经放弃了那篇，因而改也没改就又投了COLING，没想到也中了（或许真是人品攒够了）。这学期还和师弟一块儿搞了一个无监督分词的模型，后来投到EMNLP也被录用了。第一次参加ACL、COLING的我被各路大神吓的都不敢说话，但后来鼓起勇气走上前和以前只有在paper和公开课里才能见到的大牛们交流时，发现他们都很是和善，并且会很是鼓励咱们这些年轻的研究者。IJCNLP，ACL，COLING这三次会议让个人眼界大开，也极大地提升了个人交流能力，这对我后来面试facebook也起到了很重要的做用，固然这就是题外话了。

幸福来的太快，有种飘飘然的感受。这时候导师找我谈话，但愿能再接再励，不要骄傲，继续在深度学习领域发力。研三上学期开始尝试了不少idea，但大多数都夭折了，后来决定在dependency parsing领域尝试一下深度学习模型的效果，这也是我当初给本身选择的方向中一个重要的分支，即基于树结构的结构化模型。当时对dependency parsing只有基本概念的了解，对不少前人的工做都没有深刻的研究。因而找来大量的文献，天天把本身扎在文献里，看前人的方法、看各类算法、实现前人的模型。后来也造成了本身初步的idea，而后实现了下发现效果确实不错，就这样个人第二篇ACL，也是此次ACL被录用的文章《An Effective Netural Network Model for Graph-based Dependency Parsing》诞生了。和往年同样，依旧是在大年三十的夜里反复的修改论文，直到最近论文被录用。

回首本身研究生的几年，可以完成本身的目标有两个不可或缺的缘由：一、导师无私的支持 二、运气。我不想灌太多鸡汤，说些经过本身不断努力终于实现理想之类的。想实现本身的目标努力是不可或缺的必要条件，想不努力就成功是几乎不可能的。但努力不是充分条件，不少时候论文是否被录用，找工做是否可以拿到offer都取决于”天时地利人和“。因此即便咱们被拒了也不要气馁，极可能就是此次运气稍稍差一点。固然有句话我一直很喜欢，那就是”越努力，越幸运“，所谓厚积薄发，我相信孜孜不倦努力的人是不会太倒霉的。抛去这些主观因素，这短短三年的研究也积累了一些客观的投稿的经验，写在这里分享给你们，但愿可以对和我同样在国内读研的同窗们有帮助吧：

1. 文章不是越高深越容易中，相反，可以被录用的论文一般都讲的通俗易懂。最开始投稿的时候，我追求一些高大上的词汇，罗列显得高大上的公式，但事实证实，审稿人是不可能有时间细细地去看公式，揣测模型的。因此咱们写论文时必定要用最通俗的语言，解释清咱们的motivation，解释为何咱们的模型可以work
2. 对于咱们这些经验尚浅的研究人员，idea的来源无非两种：老方法新任务，老任务新方法。我采用的就是老任务新方法的策略，很幸运本身可以很早就遇上深度学习这个高潮，并及时作了一些改进和应用。
3. 永远不要以为本身的idea太水就不作了。其实大部分的工做都是increamental的，可以产生颠覆性影响的模型是不多的，只要有必定的改进思路，咱们就能够尝试去作，并写成文章。不少时候，咱们以为咱们的idea水是由于咱们太了解本身的研究领域了，以致于以为咱们的idea显而易见。然而实际上，对于外人而言，极可能咱们的idea是有其自身价值的。
4. 没有idea时，大量阅读文献是一个很是好的方式，说不定某篇文章就会给咱们很大的启发
5. 要多读英文的参考资料，一方面大部分的资料都是直接用英语撰写的，看翻译过来的内容不免会有信息的丢失。另外一方面，大量阅读英文的资料可以对咱们的语感有很大帮助，在写论文时才能作到下笔有神，表意清晰。
6. 审稿人的水平天然是良莠不齐的，不少时候审稿人的确会提一些比较诡异的问题。即便这样，在response的时候也不要言辞激烈，以为本身是上帝，审稿人都是XX。回复必定要不卑不亢，平下心回答好审稿人提出的问题，该认可错误就认可。通常来说，审稿人都是刀子嘴豆腐心，可能最终的结果没有咱们实际想象的那么坏

以上就是我做为国内一个普通研究生的研究经历，但愿可以对和我同样的同窗有所帮助。顶会的梦想其实并非那么高不可攀，我相信咱们国内的青年研究者只要肯努力都可以产出很是优秀的论文。仍是那句话“越努力，越幸运”，祝全部人好运！