机器学习瓶颈 - 从黑盒白盒之争提及

瓶颈

任何事物的发展都会遇到瓶颈。半导体业界的摩尔定律在很长的一段时间里面一直是有效的，可是在近几年也快走到尽头了。
机器学习在AlphaGo打败人类棋手以后，名声大噪，我也是在那次比赛以后开始研究机器学习的。机器学习这项技术是否是有一个天花板，这个天花板在哪里，咱们如今的技术发展离开这个天花板到底有多远，咱们是在地板上呢，仍是快触碰到天花板了呢？

在五年前，Intel公司的CEO就抛出了没法继续摩尔定律的危机说。摩尔定律由英特尔联合创始人戈登-摩尔（Gordon Moore）提出，意思是说：当价格不变时，集成电路上可容纳的晶体管数目，约每隔 18 个月便会增长一倍，性能也将提高一倍。换言之，每一美圆所能买到的电脑性能，将每隔 18 个月翻两倍以上。这个定律虽然奏效了数十年，可是从2018年开始，这个定律就已经失效

黑盒白盒之争

在知乎上有这样一篇文章

https://zhuanlan.zhihu.com/p/21362413?fc=1&group_id=821400638150828032#comment-145854724

大概的意思是用一个神经网络来调控另外一个神经网络！
之前，虽然咱们不知道AlphaGo是怎么想的，可是咱们知道它是怎么学的，
之后，咱们不但不知道AlphaGo是怎么想的，咱们还不知道它是怎么学的！！！

人工智能究竟是黑盒仍是白盒？在评论里面关于这个话题，你们产生了很大的分歧。
做为传统的程序员，个人观点以下：固然若是您有时间，能够看一下评论，很是精彩。

1.ML 归根究竟是程序，若是LOG足够多的话，若是你足够耐心的话，你确定能够知道，结果是如何产生的。
2.用神经网络去优化神经网络，其本质是同样的，就想加法变成乘法，可是尚未脱离实数的范围，到达一个更高的维度。
3.ML的程序，包括无监督的程序，都是人写的，都是按照人的想法在执行的，因此，为何人不知道机器是怎么想的？即便这个程序表现得再难以想象，但结果应该都在人的预料之中。AlphaGo为何会作决定，背后是程序，程序的背后是写程序的人的想法。除非是真正的随机函数，否则，写程序的人确定知道程序是如何运行和预想结果的。
总结：不知道程序是怎么想的，只是由于你不肯意去阅读程序的日志和不肯意调试程序。若是有无穷的时间，你单步调试全部的代码，你确定知道这个结果是怎么来的。

若是整个机器学习慢慢进入黑盒的时代，则能够预测，瓶颈快到了。咱们不知道机器究竟是怎么学习的，咱们就没法进行改进。就像咱们不知道雨水的造成机理，咱们光在地上求雨是徒劳的。

随机森林和Dropout

不少算法中，均可以看到随机的影子，RF的话，也就是屡次随机抽取样本，训练模型，这些模型再进行平均操做。固然，这是根据中心极限理论得出的好方法。神经网络的Dropout也是如此，随机的将一些神经节点进行屏蔽。可是随机就意味着失控，意味着人工很难干预结果。包括梯度降低，是否能收敛到全局最优解，很大程度上也是有运气成分在里面的。初始值，学习率都是影响结果的因素。

调参数和巨大模型

如今不少机器学习的比赛，已经从技术比拼转向资源比拼了。
神经网络的层数愈来愈长，愈来愈深，微软的神经网络是152层。
阿里巴巴的机器学习模型，已是3GB的庞然大物了。
整个业界都从硬件和物理层面去得到精度的收益了。
同时，超参数的选取，如今也都是经验论:

神经网络的层数

咱们首先须要肯定网络的层数和每层的节点数。关于第一个问题，实际上并无什么理论化的方法，你们都是根据经验来拍，若是没有经验的话就随便拍一个。而后，你能够多试几个值，训练不一样层数的神经网络，看看哪一个效果最好就用哪一个。嗯，如今你可能明白为何说深度学习是个手艺活了，有些手艺很让人无语，而有些手艺仍是颇有技术含量的。

K聚类的K取多少，天然语言处理的主题模型，主题数选择多少比较合适等等。都尚未，或者难以找到理论依据。

机器学习仍是数理统计

机器学习的本质就是数理统计？答案可能没这么简单
http://tech.sina.com.cn/roll/2017-03-27/doc-ifycspxp0038858.shtml

若是从传统意义上的数据分析师的观点来讲，这个问题的答案很简单，无非是下面这两点：
机器学习本质上是一种算法，这种算法由数据分析习得，并且不依赖于规则导向的程序设计；
统计建模则是以数据为基础，利用数学方程式来探究变量变化规律的一套规范化流程。

有一种观点就是机器学习只是数理统计的一个华丽包装而已。
在天然语言处理里面，本来是语言学家占主导的，而后慢慢的统计学家开始占上风，特别是在翻译领域，基本上都是靠强大的计算能力和巨大的模型在处理问题，也就是说从规则到统计的转变。
若是说，机器学习的本质仍是统计学的话，统计学，几率学这些东西，其实已经发展到尽头，很难再有什么革命性的突破了。是否是也意味着机器学习也走到尽头了呢？

脑科学研究

机器学习在很大程度上是对于大脑工做原理的仿生学。我以为，机器学习的发展确定和人类对于大脑研究的发展密不可分，神经网络就是一个例子。也有可能在多年以后，咱们会发现大脑的工做原理和咱们如今的认知彻底不一样，这样的话，当前的机器学习颇有可能会被彻底推翻，走向一条新的道路。