2018年天然语言处理最值得关注的研究、论文和代码

摘要： NLP 与情感分析、加强学习、深度学习的交叉领域，整年干货大合集。

2018年对于天然语言处理（NPL）是颇有意义的一年，见证了许多新的研究方向和尖端成果。Elvis Saravia 是计算语言学专家，也是2019 计算语言学会年度大会北美分部的项目委员之一。他总结了2018年 NLP 的重要进展，包括加强学习、情感分析和深度学习等领域。
点击文章中的连接，可得到每一项研究的详细信息、论文或者代码。

综合领域

• Facebook 研究员们发明了一种机器翻译的新方法，只须要使用单一语言语料库，这对于缺少资料的语言很是有用。
• Young 和同事更新了他们近期发表的论文《基于深度学习的天然语言处理的最新趋势》，增长了 NLP 文献中最新的 SQuAD 结果。
• Bloomberg 研究员 Yi Yang 发表了 RNN 卷积筛选建模的最新论文及代码，称体现了语言中的长期依存性和组合性。
• 百度发布了 Deep Voice 3，是一项基于注意、彻底卷积的文字语音转换神经系统，比目前的循环系统在神经语音合成方面快几个量级。
• Pair2vec 是一种学习文字嵌入对的新方法，能体现隐含关系的背景知识。
• 百度发布了名为同声翻译与预测及可控延迟（STACL）的机器翻译算法，可以同时进行多个翻译。在同声传译时，这项技术不须要等发言者暂停发言，而能够预测发言者的下一个词语。
• Deep INFOMAX 是一种学习无监督表征的方法，将输入和高层特征矢量之间的共同信息最大化。

• 蒙特利尔大学的 AI 研究团队 MILA 发表了多个超赞的研究成果，记录了天然语言生成（NLG）任务中 GAN 的限制。
• 聊天机器人是 NLP 的一个重要研究领域，创业公司 lang.ai 如何使用无监督 AI 来解决打造聊天机器人的重要挑战之一：理解用户到底想要什么。
• 这个模型提供了一种新方法进行文字生成，能够实现更强的解读性和控制性。
• 谷歌 AI 发表了论文，探索语言建模的极限。
• 亚马逊研究员提出了一种语言建模方法，这种新的训练策略的重要性在于，在现实中，要得到大量的训练数据来创建一种新能力常常是不现实的。

加强学习

许多研究员认为加强学习是机器学习的最前端。 咱们来看看这个领域内，2018年都有哪些重大进展。

• David Ha 的“世界模型”，目标是研究个体可否在其自身的梦境中学习，须要利用加强学习来学习一项规则，依靠世界模型中抽取的特征来解决制定的任务。
• OpenAI 开发了一个相似人类的机器人手，经过加强学习算法得到操纵物体的灵活性。
• DeepMind 在《天然》杂志发布了一篇论文，讨论虚拟环境中，人工个体的网格表征怎样经过矢量导航找到解决。
• TextWorld 是以文字游戏为灵感的学习环境，用于训练加强学习代理。

• Google研究员开发了一项名为 MnasNet 的技术，是一种自动化神经网络架构搜索方法，用于经过加强学习设计移动化机器学习模型。
• OpenAI Five 利用加强学习，能在复杂游戏 Dota 2 中战胜业余水准的人类选手。
• DeepMind 开发了名为 PopArt 的技术，利用加强学习在多任务环境中具备高精确度。
• 三星的 CozNet 是一种加强学习算法，在两项知名的NPL比赛中展示了顶尖表现。
• Arel 使用对抗奖励学习来说故事，解决故事评估维度的局限。
• Metacar 是为无人驾驶汽车而设计的加强学习环境，在以 Tensorflow.js 打造的浏览器上使用。
• OpenAI 发布的 Gym Retro 平台提供 1000多个游戏，进行加强学习研究。

情感分析

机器学习系统须要更深的理解能力，才能与人类在情感层面互动。

• 这篇新论文提出了“层级化CVAE用于精准的仇恨言论分类”，可以理解40多个群体和13中不一样类别的仇恨言论。
• 这篇论文讨论如何使用简单的支持向量机变量得到最佳结果，并指出模型方面须要注意的几点。目前大部分情感分析都是基于神经方法，研究时须要注意模型和特征的选择。
• 这篇论文定量分析了推特表情肤色修改器的使用效果。

• 这篇论文讨论如何使用深度卷积神经网络检测讽刺。另外，这项新研究使用眼动追踪、NLP和深度学习算法检测讽刺。
• 研究员开发了一项成为“情感聊天机器”的方法，这个聊天机器人不只能给出符合事实与逻辑的答案，还能在聊天中加入悲伤、厌烦等情绪。
• Lei Zhang 等研究员发表了一篇论文，综合归纳了深度学习方法如何用于情感分析。
• 这个双向异步框架能够在聊天中生成有意义的情感回复。
• 这项研究使用计算机视觉方法，研究语境中的情感识别。
• 这篇在2018 NAACL 大会上发表的论文，提出了一种方法可使用简单的递归神经网络模拟情感流。
  

深度学习

• DeepMind 与哈佛大学教师 Wouter Kool 合做发表了论文，研究人类如何使用大脑来作决定，以及这些研究结果能如何启发人工智能的研究。
• 这篇论文引入了“群组归一化”的概念，能够有效替代批归一化，被认为是深度学习的一项重要技术。
• Sperichal CNN 是一种打造卷积神经网络的新方法。
• BAIR 发布了一篇文章，讨论目前循环神经网络和前馈神经网络在解决各类问题时的优缺点。
• Facebook 的 AI 研究小组开发了一项新技术，能将 AI 模型运行效率提高16%。这能提升 AI 模型的训练速度，并简化模型的量化和运行。
• 这篇《天然》杂志论文，介绍了一种能够预测地震后余震位置的深度学习方法。
• DeepMind 研究员开发了一种新方法，利用神经算数逻辑单元（NALU）改善神经网络，追踪时间、用数字图片运行算数、数图片中的物体个数等等。
• DARTS 是一种架构搜索算法，能够设计高性能的图像分类卷积架构。
• 这篇论文《实证验证序列建模中的通用卷积网络和神经网络》，讨论了序列建模中 CNN 和 RNN 的区别。
• 图形神经网络如何帮助推断潜在关系结构、模拟多代理和物理动态。
• 谷歌 AI 研究团队发布了一篇论文，提出了一种改进版的 RNN，可以提升自动数据解读的精确度。
• Distill 发布了新研究，能够在一个数据源的语境下分析另外一个数据。
  
• 若是没有任何数据、也没有任何人类知识工程，有可能习得精准的认知模型吗？这项研究会告诉你答案。
• 这篇论文详细描述了针对深度神经网络的批归一化研究。
• 这篇论文回顾了神经网络中，如何更好地进行批训练。
• 这篇论文讨论如何正确评估深度半监督学习算法。

---

本文做者：【方向】

阅读原文

本文为云栖社区原创内容，未经容许不得转载。