浅谈神经网络

前言

如今做为一个业余机器学习爱好者，神经网络博大精深，这里我只敢浅谈一下。这篇文章参考了不少大神们的分享，我添加了一些个人理解(私货)。可能会有一些问题、不许确或者错误的地方，请你们多多包涵。

人工智能

人工智能在如今生活中运用很普遍，在抖音中也有不少应用场景。好比在“抖音天然”活动中，经过人工智能技术，抖音能够高速精准地识别出视频中的动植物。利用人工智能来识别物体就是当前一个不错的解决方案。那么神经网络和人工智能的关系是什么呢？神经网络是机器学习中一种学习方案，而机器学习是人工智能中的一个分支，那么什么是人工智能呢？人工智能 (artificial intelligence，缩写为AI) 指创造并运用算法构建动态计算环境来模拟人类智能过程的基础。人工智能的定义能够分为两部分，即“人工”和“智能”。“人工”即由人设计，为人创造、制造。关于什么是“智能”，较有争议性。

• 人工智障

function ArtificialIntelligenceAdd(a, b) {

    return a + b

}
复制代码

• 经过文字描述生成代码：
  • GPT-3 写前端
  • 测试网站

大佬们将人工智能定义为“系统正确解释外部数据，从这些数据中学习，并利用这些知识经过灵活地实现特定目标和任务的能力”。简单来讲，人工智能努力的目标是让计算机像人类同样思考和行动。目前来讲机器学习在解决一些须要大量重复工做的场景中，有不错的表现。

机器学习

机器学习是一类从数据中自动分析得到规律，并利用规律对未知数据进行预测。因此对于机器学来讲，最重要的就是两方面：数据和学习方法。以下图所示，深色部分表明的更多的是学习方法，浅色部分表明更多的是数据。二者的结合中就有机器学习，而深度学习是机器学习的子集。 当前机器学习的方法大致上分为四种类型：监督学习、无监督学习、半监督学习和强化学习。

监督学习

从给定的训练数据集中学习出一个函数，当新的数据到来时，能够根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也能够说是特征和目标。在监督学习的训练集中的目标是由人标注的，也就是须要人在机器学习以前就先把每一个特征都标记好正确的结果，正确的标准须要人训练前定义好。

• 举个例子：我要作一个加法模型，给入两个输入(x1, x2, x3)，模型给一个输出 y。那么咱们须要如今准备好模型训练的数据，这些数据可能就像下面表中的，机器再经过某些方法(好比神经网络)来找寻(x1, x2, x3)和 y 之间的规律。

x1	x2	x3(干扰信息)	y
1	3	11	4
2	6	12	8
7	1	13	8
3	3	14	6

在监督学习中，咱们须要在模型学习前就准好了数据，而且知道数据对应的基准真相(ground truth)。模型学习是要悟出来一个如何把输入变成输出的方法(函数)。监督学习极度依赖数据的可靠性。监督学习目前应用最为普遍，由于目的性很明确，并且有大量的数据清洗师，所以在业界也落地最多而且最有效果。

无监督学习

和监督学习相似，从给定的训练数据集中学习出一个函数，可是训练集没有人为标注的结果，也就是没有基准真相。想办法让机器本身探索出数据之间的关系。简单来讲就是找类似。

• 举个例子：无监督学习中的运用比较多的场景之一就是聚类，也就是找出每一个数据的相同点，把类似的汇集起来。好比下面是一些动物的数据：

眼睛数量	足的数量	手的数量	耳朵数量	使用工具	刷抖音	动物
2	2	2	2	1	1	人类
2	2	2	2	1	0	黑猩猩
2	4	0	2	0	0	猫
2	4	0	2	0	0	狗
2	0	0	2	0	0	鲤鱼
2	0	0	2	0	0	鲫鱼

若是根据上面的数据分类，明显可得第一二个数据比较相近，第三四数据比较相近，第五六数据比较相近。聚类的无监督学习就是根据这种数据，经过一些方法，不须要人为的标注基准真相，就能够作到聚合分类的做用。好比仍是上面的例子中，假设机器总结出来的规律是：把每一个特征的值加起来，总和就是分类的结果。经过观察结果能够发现，差值大于 2 就基本不算属于一类。好比把小明(人类)的数据和他家旺财(狗)的数据根据这个方法带入一下，就会推导出这两组数据不属于同一类。而黑猩猩又介于人类和猫狗这一类之间。监督学习更像人为先定好最终的目标的范围，机器经过输入数据给出一个范围内的答案。无监督学习会相似经过机器帮人来发掘一些信息，在经过发掘的信息来进一步处理。更不严谨的来讲就是监督学习是人教机器作事，无监督学习就是机器教人作事。

半监督学习

半监督学习是有监督和无监督学习的组合，对训练中的部分数据进行标记。也就是数据标记了，可是没全标记。毕竟干净准确的数据标记是费时又费力的，所以经过结合一些标记好的数据和大量未标记的数据结合来让模型学习，在很多状况下能够节省人力也能让机器学明白。

强化学习

为了达成目标，随着环境的变更，而逐步调整其行为，并评估每个行动以后所到的回馈是正向的或负向的。对比监督/无监督学习，监督/无监督学习像是一次性的输入输出行为，而强化学习像是对于外界一系列变化的反馈，反馈通常是奖励和惩罚。

• 举个例子：有个段子说让 AI 学习狼抓羊，最后狼选择撞死本身。这个段子就是强化学习的过程。假设这个段子中是一个 2D 的地图，那么狼每秒钟都要选择向上下左右一个方向移动，移动后若是碰到羊就有奖励(正反馈)，可是只要抓不到羊，每秒钟都会负反馈(惩罚)。找到一种规律，能让狼得分最高，就是强化学习的过程。

神经网络

不论是监督学习、无监督学习仍是强化学习，总要有个具体的学习方法吧。人工神经网络(Artificial Neural Network，ANN)就是目前最火也是相对最有效的学习方法。也是神经网络的活跃和可塑性，促使了深度学习的诞生。

发展历史

先回顾一下神经网络的发展历史。

• 最先在1943 年，沃伦·麦卡洛克和沃尔特·皮茨基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。
• 1975 年，保罗·韦伯斯对神经网络作重大改进，发明的反向传播算法。
• 1980s 年，卷积神经网络(CNN/ Convolutional neural network)的概念被提出。不过由于硬件计算力的限制，神经网络的发展和研究都进步的缓慢了很长时间。
• 1993 年，一家在后来改变了业界的公司创建了——NVIDIA。
• 1999 年，NVIDIA 发明了 GPU——GeForce 256，GPU 可并行运行大量计算的能力带来不同的体验，也带来新的想法。
• 2006 年，革命性的框架CUDA亮相。CUDA 自己是由 NVIDIA 推出的通用并行计算架构，基于 CUDA 编程能够利用 GPUs 的并行计算引擎来更加高效地解决比较复杂的计算难题，使 GPU 再也不局限于图片渲染领域。
• 正所谓大力出奇迹，只要机器计算(枚举)地够快，没有什么答案是算(背)不出来的。和图像最相近的 CNN 就爆发了，大约从2010 年开始，各类基于机器学习的图像处理方案如雨后春笋般层出不穷，并且效果都很好。由于 CNN 十分优秀的表现，学术界和工业界愈来愈多的先驱们结合使用 GPU，又开始对神经网络开始了大规模的研究。
• 随时 GPU 的算力愈来愈强，模型的大小(深度)也愈来愈大，大约在2014 年出现了残差神经网络，该网络有效解决了网络过深致使机器难以学习的问题，极大解放了神经网络的深度限制，因而出现了深度学习的概念。

工做原理

这里举一个利用神经网络作监督学习的例子。假设我统计了我 4 个周的体重和奶茶数量，想找一个出一个函数来表明出奶茶杯数和体重的关系，本身找太麻烦了，但愿经过训练机器找出一个 f(x) = wx + bf(x)=wx+b 这样的公式简单预测一下。x 就是每周的奶茶数量，也是训练过程当中的输入，也就是特征。每周统计的体重就是基准真相。f(x)f(x)的结果是机器每次预测出来的体重。w 和 b 的值一开始都是随机的，经过数次迭代，让机器找到最合适的 w 和 b 值。

• w 通常被称为 weight 或者参数、权重。
• b 通常被称为 bias 或者偏置。

这个过程当中有 2 个问题：1. 怎么知道训练的结果好很差。2. 如何根据结果来矫正模型。

损失函数(Loss Function)

损失函数就是来反映模型训练效果的方法。损失函数经过计算每轮预测结果和真实结果的差值来展现学习的成果。损失函数或简单或复杂，只要有效反映出预测值和基准真相的差距便可，一个比较简单的损失函数以下:

function simpleLossFun(prediction, groundtruth) {

    return Math.abs(prediction - groundtruth);

}
复制代码

机器(模型)在学习过程当中的目的只有一个，就是将损失值最小化。

反向传播(Back Propagation)

如何来矫正模型就须要用到反向传播。反向传播就是用来计算梯度，基本上全部的优化算法都是在反向传播算出梯度以后进行改进的。在这个例子中，矫正模型就是矫正 w 和 b 的数值，尤为是 w 对 f(x)f(x)最为重要。有效能体现 w 和 f(x)f(x)的关系就是对函数求导，\frac{\partial f(x)}{\partial x} = w'∂x∂f(x)​=w′，求导经过极限的概念对 f(x)f(x)进行局部的线性逼近，w' 就反应了 f(x)f(x)在 x 这一点的变化率/梯度，借用大佬的话：

函数关于每一个变量的导数指明了整个表达式对于该变量的敏感程度。

这里也能够引入向量的角度来看待求导，经过求导得出的导数(梯度)，w'，表明了正负表明了变化的方向，导数的大小表明了变化的力度，经过调整 w 能够影响到 w'，也就影响了这一点上的向量的大小和方向，从而影响了整个线段的走向。同理也能够带入物理的角度，求导也是求瞬时速度，速度的大小和方向也随 w 变化而变化。所以在咱们不修改 x，而能够经过求得梯度 w'，后续再根据 w' 来调整 w 来影响预测值，使 loss 的数值不断下降。

多特征函数

单一特征信息很难让模型预测出正确的结果，通常须要多维度特征信息。继续咱们以前奶茶和体重的例子，我仍是想找出一个函数来预测我体重的变化的规律。我发现有时候我喝了多好杯奶茶，可是体重增加不明显，有时候我不怎么喝奶茶，可是体重仍是往上涨。我以为可能会个人运动量，杯子大小，喝可乐的数量等等信息有关，这些信息以前的模型不知道，因此只根据奶茶数量预测的体重变化就不许。以前机器只考虑奶茶杯数一个特征的 f(x) = wx + bf(x)=wx+b 换成神经网络的图，大概以下： 若是把这些新的信息都给机器，这些新信息每个对于模型都是一个新的特征，若是咱们用以前的方法构建函数，就会变成:f(x_1, x_2, x_3, ...., x_n) = w_1x_1 + b_1 + w_2x_2 + b_2 + w_3x_3 + b_3 + .... + w_nx_n + b_nf(x1​,x2​,x3​,....,xn​)=w1​x1​+b1​+w2​x2​+b2​+w3​x3​+b3​+....+wn​xn​+bn​ 这样的多元函数在求导时能够结合高斯消元法来作。换成神经网络大概相似于 可是如状况比这个还复杂呢(可能性很大)？光考虑单一组合(奶茶数量、可乐数量、运动量)等等已经不够了呢？也许机器须要排列组合多种状况，好比奶茶+可乐一组，运动量+写代码量一组，不一样的组合之间结合怎么一块儿学习呢？方案也很简单，就是套娃。在外面再套一层参数，经过这层参数来结合来融合各类状况。 那么模型的函数可能就变成了：f(x_1, x_2, x_3, ...., x_n) = w_{11}(w_1x_1 + b_1 + w_2x_2 + b_2 + w_3x_3 + b_3 + .... + w_nx_n + b_n) \\ \hspace{3cm}+ w_{12}(w_1x_1 + b_1 + w_2x_2 + b_2 + w_3x_3 + b_3 + .... + w_nx_n + b_n) \\ \hspace{3cm}+ .... \\ \hspace{3cm}+ w_{1n}(w_1x_1 + b_1 + w_2x_2 + b_2 + w_3x_3 + b_3 + .... + w_nx_n + b_n)f(x1​,x2​,x3​,....,xn​)=w11​(w1​x1​+b1​+w2​x2​+b2​+w3​x3​+b3​+....+wn​xn​+bn​)+w12​(w1​x1​+b1​+w2​x2​+b2​+w3​x3​+b3​+....+wn​xn​+bn​)+....+w1n​(w1​x1​+b1​+w2​x2​+b2​+w3​x3​+b3​+....+wn​xn​+bn​)神经网络就相似： 在求导的时候，因为套了一层娃，这里能够根据求复合函数导数的链式法则引入中间函数，这个中间函数是 g_1(x_2, x_3, ...., x_n)g1​(x2​,x3​,....,xn​)，让 f(x_1,x_2, x_3, ...., x_n)f(x1​,x2​,x3​,....,xn​)变成 f(x_1, g_1)f(x1​,g1​)，以此类推，咱们能够对 g_{n-1}(x_n, g_n)gn−1​(xn​,gn​)求道得出值，并一步一步向后把链条上全部节点的导数求出。借用 CS231N 的图：

更新参数

计算完每一个 weight 的梯度以后，咱们须要用梯度来更新参数。新的问题就是每次更新多少呢？这里须要引入新的参数：学习率(learning rate)。(学习率 * 梯度) 就是每次模型中 weight 更新的大小。那么又一个新的问题来了，学习率该怎么设置呢？ 左边的状况就是每次都只更新一点点，好比梯度的百万分之一，这样能够是能够，可是太费机器也太费时间。右边的状况是每次更新很大，这样会致使错过最佳答案，越错越离谱。中间这样每一轮培训学习率都在递减的状况是最好的，因此须要再引入新的参数：衰减参数(decay)。衰减参数能够是一个固定小数，好比 1/2，每一轮学习率都乘以衰减参数，达到一开始变化大，越到后面变化越小的效果。这样真实的 weight 变化可能就是 w - (w' *lr* decay)。

整体过程

模型的一轮培训过程分为 4 步

1. **向前传播：**模型接受输入，预测结果
2. **计算 Loss：**计算预测和真实值的损失值
3. **反向传播：**计算出每一个 weight 的梯度
4. **矫正参数：**根据梯度、学习率和衰减参数来更新参数

通常来讲模型培训的过程也是围绕着 4 步。设计向前传播的过程，设计 loss 函数，根据准确率来调整学习率，衰减参数，初始 weight 等。经过不断循环上述 4 步骤 n 轮，模型最终拟合出来一个函数，这个函数就是咱们要的模型。

全能的神经网络？

www.zhihu.com/question/26…

引用

CS231n Convolutional Neural Networks for Visual Recognition机器学习维基百科CS231n 课程笔记翻译：反向传播笔记梯度降低法是如何运用到神经网络中的卷积神经网络 CNN 彻底指南终极版（一）前端工程师学人工智能人工神经网络维基百科反向传播算法维基百科回顾 NVIDIA 26 年发展历程，持续创新才是核心算法#03--详解最小二乘法原理和代码_tclxspy 的博客-CSDN 博客_最小二乘法代码浅谈高斯消元法的几何意义 欢迎关注「 字节前端 ByteFE 」

简历投递联系邮箱「tech@bytedance.com」