四个问题，Yoshua等27位前沿研究者，这是一份NLP领域的请回答2018

Yoshua Bengio

1.你认为目前NLP面临最大的三个问题是什么？

基础语言学习，即共同窗习世界模型以及如何用天然语言处理中引用模型；
在深度学习框架内融合语言理解和推理；
常识的理解，只有解决了上述两个问题，才能解决常识问题。

2.哪些因素让这个领域走向了错误的方向？

是贪婪。

咱们老是在乎短时间回报，咱们老是想办法利用一切咱们可支配的数据训练模型，而后但愿模型可以智能的理解和生成语言。可是，若是咱们不能创建世界模型，不能深层次的理解世界是如何运做的，咱们永远不会找到智能语言的秘密，即便咱们设计的神经网络模型有多么精巧。所以，咱们必需要紧牙关，致力于用NLP解决AI，而不是孤立的理解天然语言处理。

4.你对研究生开始他们的NLP项目有什么建议？

普遍阅读，不要局限于阅读NLP论文。阅读大量机器学习，深度学习，强化学习论文。博士学位是一我的一辈子中实现追求目标的大好时机，即便是朝着这个目标迈出一小步也是值得珍惜的。

Kevin Gimpel

1.你认为NLP目前最大的三个问题是什么？

最大的问题与天然语言的理解有关，即便在生成任务中，全部的挑战均可以这么理解：计算机不理解文字对人的做用是什么。

设计的模型应该像人类那样阅读和理解文本，经过造成文本世界的表示法，包括对象、设置、目标愿望、信念等要素。固然，还要有人类理解文字背后所需的其余因素。

在设计出理想模型以前，全部的进步都基于提升模型模式匹配的能力。模式匹配对于开发和改善产品是有效的。我不认为仅仅须要模式匹配就能产生一台“理性”机器。

2. 过去十年中，在NLP方面，最有影响力的一部做品是什么？

《天然语言处理几乎从零开始（Natural Language Processing (Almost) from Scratch）》，这一论文由 Ronan Collobert、Jason Weston、Leon Bottou、Michael Karlen、Koray Kavukcuoglu和 Pavel Kuksa等人协力完成，并在2011年发表。简单来讲，它以Colobert和Weston在2008年的一篇论文为基础，但对其进行了扩展与发挥。该论文介绍了当前NLP设计常见的几种方法，例如，使用神经网络进行NLP多任务学习、使用未标记数据进行预训练词嵌入等等。

3. 是什么缘由致使咱们踏进了天然语言处理的“陷阱”

我认为是当前NLP传统的处理方法，例如采用的传统的监督学习，其中有一条假设是，测试数据与训练数据服从相同的几率分布，这与现实实际彻底不符合。至少，真实的测试数据与训练数据在时间上的分布是不一样的，有时甚至是几十年的差距！因此，咱们应该致力于域外学习，时间迁移等。

传统的无监督学习和传统的监督学习都是不现实的，因此很高兴看到NLP研究人员最近关注混合使用，不管给它们起什么名字，半监督也好，弱监督也可，它们都是一种混合的设置。

4. 你对NLP的研究生如今开始他们的项目有什么建议？

不要惧怕创新，要敢于尝试新鲜事物。一般来讲，风险越大，收益也越大。若是失败了，或者说不符合预期，你也可能在过程当中学到许多很是有趣的事情，很是有可能为你发表论文积累材料