再说深度学习是黑匣子，就把这篇文章糊 Ta 脸上

昨天，Google Brain 推了一篇十分有趣的 paper ——《The building blocks of interpretability》（中译：画出黑盒子里的风景）。本文在此简单介绍一下这篇有趣的 paper ，以及人们在“开箱”过程当中作出的努力，为何咱们迫切须要把深度学习的黑箱拆开，这个工做有怎样的应用？

                                    

                                         鬼畜的可视化——万里长征第一步

                               被论文吓跑准备左上角的别动！论文无非就是说了：

                          “我终于知道我训练出来的神经元它是干啥的，怎么干的”

                                             ヾ(｡｀Д´｡)我擦，干净利落！

你们知道机器学习是喂数据，而后吐答案，中间是咱们的模型。整个过程就是将咱们须要的特征 (feature) 导入模型（好比咱们用房子面积、房子离市中心的距离等，来获得一个房价）。

然而在图像识别里，好比说你要识别一只猫，按照传统机器学习的思路就是把猫耳朵猫脑壳猫肚子猫毛毛猫的特征等一堆东西给所有作出来——这特么不累死你？机器学习的本意并不是如此的【机械化运动】，而卷积神经网络正好能够自动抓。因而乎猫耳朵猫脑壳猫啥啥就所有的不用作了——而后丢进模型中训练走起就行了。然而问题就是，

                              我用卷积神经网络提出来的特征到底是个什么鬼？

在大名鼎鼎的 CS231n 中，Justin Johnson 将模型获得的权重矩阵的行向量可视化，获得了一串很鬼畜的图片。这特么什么鬼？在不远的过去，就有大佬对每一个神经元进行可视化，但愿获得到底是哪些输入让这些神经元获得相对较高的响应。（所谓的激活函数不就是这样的一个筛选响应的东西吗？）[2][3]

可是结果第一层是长这样的（这啥玩意？）：

                                                            第一层神经网络

第二层是长这样的（这不是高中的时候观察的洋葱上表皮细胞的排列吗？）：

感受仍是不大对劲，咱们看第四层好了，哎呀挺好看的——但是为何长这样！！

                                    神级的可视化：.让你听懂神级网络作决定的缘由

然而论文的工做就很厉害了，它是怎么作的呢？它们将神经元组合起来，获得一个虽然这个图像狰狞，可是我仍是能够勉强看得懂你是个啥玩意的结果。

论文给出了卷积神经网络提取出来的人能看得懂的特征（与之相对的是上面宛如洋葱表皮细胞的可视化），就至关于咱们在以前提到的手工提出花瓶是个啥特征（好比圆圆的，肚子胖胖的等等），哎呀这个你看，咱们经过获得的花瓶的几个特征里，最像花瓶的可不是那一个吗？而那一个特征，还真的是置信几率最高的。

更有意思的是你会发现其所甄别的特征对应的位置。哎呀这下不就懂了吗？

                                                             两种解释

这种可解释性与丘成桐先生的工做不一样[4]，几何大佬丘成桐先生试图找到一个几何学观点下的对 GAN 的解释，将成果以及凸几何类比[5]。认为 Discriminator 就是 WGAN 中判别器中计算 Wasserstein 距离，而 Generator 用来计算 Brenier 势能。认为 Brenier 势能能够用计算Wasserstein 距离来获得[6]。

而这个东西在低维下是根本不须要一个 GANs 的过程的（即 Generator VS Discriminator 得 Nash 均衡），是有一个解析解的。因此说丘成桐先生不通常，他们的想法是经过最优传输理论及其各类降维近似，直接取代神经网络，从而使得黑箱透明。

以上的解释是你别来了，我用一堆东西来 Duang 的一下作的比你更好了，整个过程——严谨数学证实。然而咱们不能期望现阶段这样的工做一个个爆发而后疯狂运用，这是不现实。

丘成桐：得到了数学界的诺贝尔奖（菲尔茨奖）的丘成桐先生是对近代拓扑学、代数几何学等作出了巨大的贡献的人。

                                                                  算法权力

Google 的论文所提供的是一个权力——解释权[7]。即解释算法输出的权力，这种权利主要是指我的权利——能够解释为对我的有重大影响的决定，尤为是法律上或财务上。例如，你说我想上清华，而后清华拒绝了你。你有权力知道为啥被拒了。好比这个时候，清华表示咱们不要高考分没到我们线上而且你又没自主招生加分 blahblahblah。

在法律问题裁定上，假如在之前，咱们用一个什么算法，你说哇它老牛逼了。可是有人不服咋办？那么这个时候，这个算法可以被认为是可接受做为断定凭证的吗？俗话说的好，骂人也要名正言顺的骂人。

       

而问题更严重的是你能保证你的算法不偏不倚，是个公正的算法吗？算法就不能有偏见吗？OpenAI 和 DeepMind 提出一些质疑[8][9]，甚至有一些畅销书做家也提到相似的内容。

例如咱们的用来作法律裁定的算法中多是输入一大堆我的信息，例若有种族、所住的街区等等，输出是裁定的刑期。假如某些群体他符合某些状况，那么是否是由于算法的偏好而可能被判更长的刑期？或者说，你怎么能保证大量的输入数据中，法官对其作出的判决是 100% 无偏见的呢？

这个时候 OpenAI 和 DeepMind 就认为，搞不定数据输入是否是没问题？ok啊，我若是彻底无监督，用强化学习来作呢？那就没有这个问题了对吧？另外一种作法是在咱们在全部的人工智能模型中创建 “不肯定性” - 基本上可让人类纠正将来的行为，而不是彻底理解。然而即便如此，机器学习/深度学习算法其实仍是很难做为一个裁定。

本文做者：limber

若是喜欢这篇文章的？对深度学习感兴趣？推荐优达学城的深度学习纳米学位项目，体验一流师资、挑战硅谷独家实战项目！