[学习笔记][深度学习]神经网络究竟是什么？

我认为大脑本质上就是一台计算机，而知觉和意识则像是计算机程序，也会随着计算机的关闭（人的死亡）而中止。理论上，这些知觉和意识是能够从新创造于一个神经网络中的，可是这太难了，由于这将须要一我的全部的记忆。 ——史蒂芬·霍金

起源

出于对更高生产力的追求，人类从未中止发明新的工具以帮助其更快／更好的完成工做；从而能够天天什么都不用作，躺在家里的沙发上。这些工具备的能够提升人类的工做效率，有的则能够替代人类的工做。当下的人们彷佛对于后者更感兴趣，才萌生了试图让计算机像人类同样拥有学习能力的想法，使计算机变得更像一个生命体。（生命体具有的特征：自我复制，不断学习，自我管理，必定程度自我修复）和其余不少的发明同样，神经网络的发明也一样来自于大天然带给人类的灵感。人类的学习／认知／或者决策行为，其实是群体行为，大脑其实为此乱作一团，而其中个体，则是神经元。神经元与神经元直接或者间接链接并保持沟通，神经元如果认为是时候的话，则会向相应的其余神经元发送电流进行信号传输，随后可能如同链式反应同样，最终反应到人类最表层的意识。

简介

随着计算机运算能力的逐步突破，人类不由试图将大脑这“天工之做”仿造在计算机之上，也就创造了当今的神经网络架构。受益于Google Alpha Go和Tesla自动驾驶伤亡事故的媒体传播，神经网络这两年逐渐进入大众视野，可是其思想实则起源于上世纪40年代，神经元计算模型初次面世。可是因为最初的神经元模型只能进行正向的传播运算，并不具有从结果学习的能力，因此不能算做真正的智能。上世纪80年代末，反向传播算法面世，使得神经网络可以根据样本结果反向修正各神经元的计算行为，从而使得神经网络真正有了学习的能力。反向传播也成了神经网络的核心思想，可是苦于当时并无足够强大的计算机，该思想和模型并没可以普遍应用于实际的场景中。而现在，在有了足够强大的计算能力的状况下，神经网络的实现已经能够走入寻常百姓家，不只验证了三十年前神经网络思想的正确性，近年来也有不少新的网络架构被发明出来。其在诸多人工智能课题中的表现甚是抢眼，甚至端了不少传统机器学习算法的饭碗，稳得一X。

稍微技术一点来讲，神经网络能够被理解为一个函数，与其余全部函数同样，给定输入参数，便可返回输出结果。一个复杂神经网络中可能包含成数以万计的神经元，而每一个神经元则被模拟为储存单个数值的变量。神经元既能够用做输入 x，也能够用做结果 y，神经元之间的信息传播被模拟成了输入 x 与神经元之间相连的传播权重 w 的运算过程。与生物神经元同样，一般神经元不会直接把上一层传递来的信息不加思索地传给它的下一层神经元，而是通过一番判断来决定是否进行信号发送以及发送什么样的信号，神经网络将此行为定义为神经元的激活。以上图右侧为例，神经网络的输入为（x1, x2, x3, x4）,则神经元 y 的输入为：

y(in) = x1·w1 + x2·w2 + x3·w3 + x4·w4 + b= Σ(xi·wi) + b

其中 b 为偏重值，神经元 y 的输入则为：

y(out) = f(y(in))

其中 f 为激活函数。

以上描述的就是一个拥有5个神经元的神经网络（感知器）的一次正向传播。然而这个神经网络所计算出来的输出结果可能并不是所愿，由于咱们并不知道权重 w 和偏重 b 的值，目前的这些权重都只是猜想而已。为了使这个神经网络正常工做，咱们则须要用大量的输入以及相对应的已知输出结果来不断修正这些值，直到神经网络可以有比较好的表现。这个过程即为反向传播，修正事后的权重和偏重则是神经网络模型中重要的一部分。

实际应用中，神经网络一般除了输入层和输出层以后，还会有1个或多个隐藏层，用于记录计算中途的隐性特征信息，能够理解为潜意识，或者脑路。咱们不必定须要知道潜意识里到底发生了什么，可是须要它。

成功用例

神经网络的应用可谓五花八门，凡是模棱两可，乍看使人抓耳挠腮，却实际有不少历史数据的问题，均可以用神经网络尝试一下。常见的成功用例有：

• 模式识别
• 商务分析
• 风格迁移
• 自动驾驶
• 吟诗做对
• 机器翻译
• 内容总结
• 人机AI
• 内容推荐
• 编码压缩
• 图片降噪

盗图一张（调皮）：

怎么样，是否是火烧眉毛想要本身摸一摸

本文及以后

本文的意图在于开一个坑，省得本身偷懒。将在随后记录分享深度学习知识，内容既会包含模型结构和算法原理解析，也会包含具体的神经网络实现。大体会提到如下网络类型：

• 深度正向传播：简单的分类
• 自动编码：教会计算机手写数字
• CNN：图像识别
• RNN：趋势预测
• LSTM：语义分析
• GAN：内容生成

下一篇

[深度学习][学习笔记]个人第一个神经网络：Hello World！