RNN失宠、强化学习风头正劲，ICLR 2019的八点参会总结

上周，深度学习顶会 ICLR 2019 在新奥尔良落幕。毕业于斯坦福大学、现就任于英伟达的计算机科学家Chip Huyen参加了此次会议，并总结出了参会的8点感觉。

选自huyenchip，做者：Chip Huyen，机器之心编译。

1. 包容性

ICLR 2019 组织者强调包容性在AI中的重要性，前两个主要演讲——Sasha Rush的开场致辞和Cynthia Dwork的受邀演讲——都是有关公平和平等的。如下是一些使人担心的统计数据：

• 只有8.6%的展现者（oral和poster）和15%的参会者是女性；

• 2/3的LGBTQ+研究者没有以专业身份出席；

• 8名受邀演讲者均为白人。

Sasha Rush开场致辞的一页PPT。

不幸的是，这种状况彷佛并无引发AI研究者的注意和反思。其余的workshop都爆满，但AI for Social Good workshop却门可罗雀，直到Yoshua Bengio出现。在我参与的众多ICLR交流活动中，没有人提到过多样性，直到有一次我大声问出来为何我被邀请到这个并不适合个人科技活动，一位朋友告诉我说，“说出来可能有点冒犯，请你来是由于你是女性。”

这种现象出现的一个缘由是，这类话题并不是“技术性”的，所以在上面花时间并不会对你的研究生涯有所助益。另外一个缘由是，社会宣传仍然存在一些问题。一位朋友曾告诉我，不要理睬那个在群聊中挑衅个人家伙，由于“他喜欢取笑那些探讨平等和多样性的人”。我有些朋友不会在网上谈论任何有关多样性的话题，由于他们不想“和那种话题扯上关系”。

2. 无监督表征学习 & 迁移学习

无监督表征学习的主要目标是从无标注数据中发现有用的数据表征，以完成后续任务。在NLP中，无监督表征学习一般是利用语言建模完成的。而后将学到的表征用到情感分析、命名实体识别、机器翻译等任务中。

去年有一些比较使人振奋的论文是关于NLP无监督表征学习的，包括ELMo (Peters et al.)、ULMFiT (Howard et al.)、OpenAI’s GPT (Radford et al.)、BERT (Devlin et al.)，固然，还有「危险性太大而不能公布的GPT-2」。

完整的GPT-2模型在ICLR上进行了展现，效果惊人。你能够输入任意提示，由它来完成后续文本创做。

GPT-2应用网站：https://talktotransformer.com/

Adam King利用GPT-2作成的应用网站。输入为“what does Amazon want to do”（ps：实际转化速度较慢，动画为删减绝大部分重复帧以后的效果）。网站地址：https://talktotransformer.com/

GPT-2能够写出各类文章、科学论文甚至是编造词汇的定义。可是GPT-2如今看起来尚未彻底达到人类水平。该团队正在致力于GPT-3的研究，这个模型更大，也可能更好。

虽然计算机视觉是首个成功应用迁移学习的社区，但其基本任务——在ImageNet上训练分类模型——仍然是监督式的。天然语言处理社区和计算机视觉社区都在问同一个问题：「怎样才能将无监督表征学习应用到图像上？」

尽管那些最有名的实验室已经开始研究，但只有一篇论文出如今ICLR大会上：「Meta-Learning Update Rules for Unsupervised Representation Learning」(Metz et al.)。该研究团队没有更新权重，而是用算法更新学习规则。接下来在少许标注样本上微调从学得学习规则中学到的表征，来解决图像分类问题。他们可以在MNIST和Fashion MNIST上找到准确率大于70%的学习规则。做者不打算公布代码，由于“它与计算有关”。外层循环须要大约10万训练步，在256个GPU上须要200个小时的训练时间。

元学习的内、外循环（Metz et al.）。

我有一种感受，在不久的未来，咱们会看到更多这样的论文。可使用无监督学习的任务包括：自动编码、预测图像旋转（Gidaris等人的论文《Unsupervised Representation Learning by Predicting Image Rotations》在ICLR 2018上很火）、预测视频中的下一帧。

3. ML的复古

机器学习领域的想法和时尚相似，都是循环式的。在poster session四处走走感受像走在记忆的回廊上。即便最受期待的ICLR辩论也终结在「先验 vs 结构」的话题上，而这是去年Yann LeCun 和 Christopher Manning讨论过的话题，这种讨论相似贝叶斯学派和频率学派之间的经年辩论。

MIT媒体实验室的「Grounded Language Learning and Understanding」项目在2001年就中断了，可是grounded language learning今年带着两篇论文重回舞台，不过它穿上了强化学习的外衣：

• DOM-Q-NET: Grounded RL on Structured Language (Jia et al.)：给出一个用天然语言表达的目标，该强化学习算法经过填充字段和点击连接学习导航网页。

• BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning (Chevalier-Boisvert et al.)：一个和OpenAI Gym兼容的平台，具有一个手工制做的bot agent，该智能体能够模拟人类教师指导智能体学习合成语言。

我对这两篇论文的想法和AnonReviewer4同样：

「……这里提出的方法和语义解析文献中研究的方法很是相似，尽管这篇论文仅引用了最近的深度强化学习论文。我认为做者会从语义解析文章中受益良多，语义解析社区也能够从这篇论文中获得一些启发……可是这两个社区实际上交流并很少，即便在某些状况下咱们研究的是相似的问题。」

肯定性有限状态自动机（DFA）也有两篇论文登上了ICLR 2019的舞台：

• Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks (Michalenko et al.)

• Learning Finite State Representations of Recurrent Policy Networks (Koul et al.)

两篇论文的主要动机是，由于RNN中的隐藏态空间很大，是否有可能把状态数量减小到有限的数量？我质疑DFA是否可以有效地在语言中表明RNN，但我很喜欢在训练阶段学习RNN，而后把它转换到DFA进行推理的想法，如同 Koul等人的论文所示。结果获得的有限表征在游戏Pong中只须要3个离散记忆状态和10个观察状态，它也能帮助解释RNN。

从RNN学习一个DFA的三个阶段（koul等人）。

提取自动机（Koul等人）

4. RNN失宠

2018到2019年的提交论文主题变化反映出：RNN出现大幅降低。这也在乎料之中，由于RNN虽然适用于序列数据，但也存在极大缺陷：它们没法并行化，于是没法利用2012年以来最大的研究驱动因素——算力。RNN在计算机视觉和强化学习领域并不流行，而在一度流行的天然语言处理领域，它们也正在被基于注意力的架构取代。

RNN失宠。（图源： ICLR 2019补充统计数据）

这是否意味着RNN将死亡。并不是如此。ICLR 2019的最佳论文之一《 Ordered neurons: Integrating tree structures into Recurrent Neural Networks》 就和RNN有关。除了这篇最佳论文和上文提到的两篇关于自动机的论文之外，ICLR 2019还接收了9篇关于RNN的论文，其中大部分研究深刻挖掘RNN的数学基础知识，而不是探索RNN的新应用。

在工业界，RNN仍然很活跃，尤为是处理时序数据的公司，好比贸易公司。而不幸的是，这些公司一般不会发表本身的研究。即便如今RNN对研究者不是那么有吸引力，咱们也知道将来它可能「卷土重来」。

5. GAN仍然势头强劲

相比去年，GAN的相对变化呈负数，但相关论文的数量实际上有所增加，从大约70篇增加到了100篇左右。Ian Goodfellow 受邀发表了以GAN为主题的演讲，一如既往受到了众多关注。

ICLR 2019第一个poster session是关于GAN的。出现了不少新的GAN架构、对已有GAN架构的改进，以及GAN分析。GAN应用囊括图像生成、文本生成、音频合成等多个领域，有 PATE-GAN、GANSynth、ProbGAN、InstaGAN、RelGAN、MisGAN、SPIGAN、LayoutGAN、KnockoffGAN等不一样架构。

GAN poster session揭示了社区对GAN的反应是多么地两极分化。一些非GAN研究者如此评论：「我等不及想让GAN这波风潮赶忙过去」、「一有人提到对抗，个人脑子就宕机。」他们多是嫉妒吧。

6. 缺少生物启发式深度学习

鉴于你们对基因测序和CRISPR婴儿的忧虑和讨论，ICLR居然没有出现不少结合深度学习和生物学的论文，这使人惊讶。关于这个话题一共有6篇论文：

两篇关于生物启发式架构：

• Biologically-Plausible Learning Algorithms Can Scale to Large Datasets (Xiao et al.)

• A Unified Theory of Early Visual Representations from Retina to Cortex through Anatomically Constrained Deep CNNs (Lindsey et al.)

一篇关于RNA设计：

• Learning to Design RNA (Runge et al.)

三篇关于蛋白质控制（protein manipulation）：

• Human-level Protein Localization with Convolutional Neural Networks (Rumetshofer et al.)

• Learning Protein Structure with a Differentiable Simulator (Ingraham et al.)

• Learning protein sequence embeddings using information from structure (Bepler et al.)

受视网膜启发的卷积神经网络 (Lindsey et al.)

没有一篇论文是关于基因组学的，也没有一个workshop是关于这个话题的。这挺让人难过的，不过对生物学感兴趣的深度学习研究者或对深度学习感兴趣的生物学家而言，这是一个巨大的机会。

7. 强化学习仍然是提交论文中最热门的话题

ICLR 2019大会上的研究论文代表强化学习社区正在从无模型方法转向样本高效的基于模型的算法和元学习算法。这种转变极可能受到 TD3 (Fujimoto et al., 2018) 和 SAC (Haarnoja et al., 2018) 设置的Mujoco连续控制基准上的极高分数，以及 R2D2 (Kapturowski et al., ICLR 2019) 设置的Atari离散控制人物上的极高分数的启发。

基于模型的算法（即从数据中学习环境模型，而后利用该模型规划或生成更多数据）在使用1/10-1/100的经验进行训练时，仍能达到和无模型算法同样的渐近性能。这种优点代表基于模型的算法适合现实世界任务。当学得的模拟器可能有缺陷时，其偏差能够经过更复杂的动态模型获得缓解，好比模拟器的集成 (Rajeswaran et al.)。将强化学习应用到现实世界问题的另外一种方式是，使模拟器支持任意复杂的随机化：在多样化的模拟环境中训练的策略可能认为现实世界是「另外一次随机化」，并取得成功 (OpenAI)。

可在多个任务上执行快速迁移学习的元学习算法使得样本效率和性能获得大幅改善 (ProMP (Rothfuss et al.)、PEARL (Rakelly et al.))。这些改善使咱们更加接近「强化学习的ImageNet时刻」，即咱们可使用从其余任务上学习的控制策略，而不用从头开始训练策略（目前在复杂任务上这还是没法实现的）。

在六个基准任务上，PEARL (Rakelly et al.) 的渐近性能和元训练样本效率都优于以前的元强化学习方法。

ICLR 2019接收论文中的很大一部分，以及Structure and Priors in RL (SPiRL) workshop中的全部论文，是关于如何将环境知识集成到学习算法的。尽管早期深度强化学习算法的主要优点之一是通常性（如DQN对全部Atari游戏使用一样的架构，而无需了解其中哪个特定游戏），可是新算法展现出集成先验知识有助于解决更复杂的任务。例如，在Transporter Network (Jakab et al.) 中，智能体使用先验知识执行具有更多信息的结构探索。

总结来讲，过去5年，强化学习社区开发了大量有效的工具来解决无模型强化学习难题。如今，是时候提出更采样高效、可迁移的算法在现实世界问题上利用强化学习了。

此外，Sergey Levine多是今年接收论文最多的做者，有15篇之多。

8. 大部分接收论文很快就会被遗忘

在会上，我问一位知名研究者他如何看待今年的接收论文。他轻笑道：「大部分接收论文会议一结束就会被遗忘。」像机器学习这样快速发展的领域，SOTA结果几周甚至几天后就可能被打破，大部分接收论文还没正式展现就已经被超越也就不使人惊讶了。例如，ICLR 2018论文中8篇对抗样本论文中的7篇在大会开始前已经被打破。

大会上我常常听到的一个评论是，论文接收/拒收很随机。我不说名字，但一些广为人知或者引用很高的论文就曾被大会拒收过。此外，许多接收论文可能也无人引用。

做为这个领域的一份子，我常常面临存在危机。不管我想到了什么灵感，彷佛总有其余人已经在作了，且作得更好、更快。若是一篇论文对任何人都没有帮助，那又有什么发表的意义呢？谁能帮我解惑！

结论

固然，还有不少没有覆盖到的趋势，例如：

• 优化和正则化：Adam和SGD的争论仍在继续。今年ICLR大会提出了许多新技术，其中一些至关使人激动。看起来，每一个实验室都在开发本身的优化器，咱们团队一样如此。

• 评估度量：随着生成模型愈来愈流行，咱们不可避免地须要提出新的度量标准，以评估生成的输出。

若是你想要了解更多，David Abel发布了一个55页的ICLR 2019笔记。想了解ICLR 2019热点的人，下面这张图会有所帮助：

看起来，应该写一篇名为「A robust probabilistic framework for universal, transferrable unsupervised meta-learning」的论文（必定能火）。

我真的很享受ICLR，这个大会够大，能找到不少志同道合的朋友，也够小，不用事事都排队，4天的会议也刚恰好。相比之下，NeurIPS就有点太长，参会四天后我就会边看poster边想：「看看全部这些知识，我应该如今就掌握，但却并不想。」

我在ICLR大会上最大的收获不只是思路，还有动力。许多我这个年纪的研究者做出的卓越成果让我看到了研究之美，激励我更努力地工做。用一周的时间追论文见老朋友也很是nice。

原文连接：
huyenchip.com/2019/05/12/…