谷歌最新开源软件库， 5 行代码构建无限宽度网络集成模型

技术编辑：王治治丨发自 思否疗养院
SegmentFault 思否报道丨公众号：SegmentFault

---

近日，谷歌开源了一个用 JAX 编写的软件库 Neural Tangents，这是一个用于高性能机器学习研究的系统，只在帮助同时构建宽度可变的 AI 模型。

最厉害的是，它让数据科学家们只需使用五行代码就能够一次性构建和训练无限宽网络的集成模型。谷歌表示，这可让人们对模型的行为有“史无前例的 洞察力，并帮助打开机器学习的黑匣子”。

---

正如谷歌高级研究科学家 Samuel S. Schoenholz 和研究工程师 Roman Novak 在一篇文章中所解释的那样，令人工智能研究取得进展的关键洞察力之一是，增长模型的宽度会致使更多的行为规律性，并使其更容易理解。

经过重复实验，全部的神经网络模型都包含以相互链接的层级排列的神经元（数学函数），它们从输入数据中传输信号，并缓慢调整每一个链接的突触强度（权重）。这就是它们如何提取特征并学习进行预测的方式。

而容许无限宽的机器学习模型倾向于收敛到另外一类更简单的模型，称为高斯过程。

在这个极限中，复杂的现象归结为简单的线性代数方程，能够做为研究人工智能的透镜。可是，推导出无限宽极限的有限模型须要数学专业知识，必须针对每一个架构分别求出。并且，一旦推导出无限宽模型后，要想出一个高效、可扩展的实现，须要工程上的熟练程度，可能须要几个月的时间。

这次谷歌开源的软件库 Neural Tangents，则能够大幅下降操做难度和时间，让数据科学家们只需使用 5 行代码就能够一次性的构建和训练无限宽度网络的集成模型。而且根据谷歌工做人员表示，所构建的模型基本能够应用于任何的常模模型问题。

"咱们看到，模仿有限神经网络、无限宽网络的性能遵循相似的层次结构，全链接网络的性能比卷积网络差，而卷积网络的性能又比宽残差网络差，"研究人员写道。"然而，与常规训练不一样的是，这些模型的学习动态是彻底可牵引的闭合形式，这使得人们能够对其行为有新的洞察力。"

---

GitHub 地址：
https://github.com/google/neu...

Google Colaboratory 笔记：
https://colab.research.google...