通俗易懂的深度学习

简介

深度学习是机器学习研究中的一个新的领域，其动机在于创建、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

算法导论和机器学习的异同

相同点：都是输入，计算，获得结果。
差别：
算法导论：
以f(x)=wx为例，其实就是人为的设定w的过程。但x是离散变量不是连续变量，否则就是高中数学题了。

机器学习： 以f(x)=wx为例，是经过一个训练集(x,y)，优化w的过程。

神经网络

神经网络是机器学习的一种，就是将许多个单一“神经元”联结在一块儿，这样，一个“神经元”的输出就能够是另外一个“神经元”的输入。
通常超过8层的神经网络模型就叫深度学习。
深度学习解决了浅层神经网络多层传递以后梯度消失和局部最优解的问题。

主要的两类深度学习

监督学习：
回归和分类，回归问题一般是用来预测一个值，如预测房价、将来的天气状况等等。分类问题是用于将事物打上一个标签，一般结果为离散值。例如判断一幅图片上的动物是一只猫仍是一只狗。

无监督学习：
无监督学习里典型的例子就是聚类了。聚类的目的在于把类似的东西聚在一块儿，而咱们并不关心这一类是什么。

神经网络基础

注：第二层、第三层的z和a不是同一个值。
输入：整个训练集表示为:

n表明第几个样本，i表明某同样本中某个参数。下面为举例说明一个样本简写为:

输出:

权重：随机初始化，神经网络其实就是计算最佳的权重。

偏置：

计算过程：好比第二层

激活函数：好比激活函数为sigmoid时，第二层

以上是 正向传播的内容。获得模型后只需计算到该步。

反向传播：梯度降低法更新权重w。其中α为步长。

损失函数（Loss Function）：是定义在单个样本上的，算的是一个样本的偏差。以均方偏差损失函数为例：

代价函数（Cost Function）：是定义在整个训练集上的，是全部样本偏差的平均，也就是损失函数的平均。

附，矩阵操做

全部的计算过程若是都是这种形式，计算就会显得很复杂。

因此神经网络中普遍的使用了矩阵操做。

因此上述一次计算能够变成(与线代计算过程不一样，tensorflow具备广播机制)：

Tensorflow

安装

python环境Anaconda集成安装

ide Pycharm等

配置清华源

conda config --add channels mirrors.tuna.tsinghua.edu.cn/anaconda/pk…

conda config --set show_channel_urls yes

建立一个python环境

conda create -n tensorflow python=版本号

activate tensorflow（退出deactivate tensorflow）

pip清华源安装tensorflow

pip install -i pypi.tuna.tsinghua.edu.cn/simple tensorflow

或者全局设置pip源。C:\Users\用户名\pip\pip.ini，默认状况下pip文件夹和pip.ini都未建立，自行建立，pip中添加如下内容。

[global]

index-url = pypi.tuna.tsinghua.edu.cn/simple

使用pip install tensorflow

案例

tensorflow mnist

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
 
 
# MNIST数据存放的路径
file = "./MNIST"
 
# 导入数据
mnist = input_data.read_data_sets(file, one_hot=True)
 
# 模型的输入和输出
x = tf.placeholder(tf.float32, shape=[None, 784])
y_ = tf.placeholder(tf.float32, shape=[None, 10])
 
# 模型的权重和偏移量
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
 
# 建立Session
sess = tf.InteractiveSession()
# 初始化权重变量
sess.run(tf.global_variables_initializer())
 
# SoftMax激活函数
y = tf.nn.softmax(tf.matmul(x, W) + b)
 
# 交叉熵损失函数
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
 
# 梯度降低法训练
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
for i in range(1000):
    batch = mnist.train.next_batch(50)
    train_step.run(feed_dict={x: batch[0], y_: batch[1]})
 
 
# 测试
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_:mnist.test.labels}))
复制代码

参考连接： 吴恩达给你的人工智能第一课

mooc.study.163.com/smartSpec/d…

机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？

www.zhihu.com/question/24…

人工智能、机器学习和深度学习的区别?

www.zhihu.com/question/57…

如何简单形象又有趣地讲解神经网络是什么？

www.zhihu.com/question/22…

深刻浅出--梯度降低法及其实现

www.jianshu.com/p/c7e642877…

深刻梯度降低(Gradient Descent)算法

www.cnblogs.com/ooon/p/4947…

梯度降低（Gradient Descent）小结（写了梯度降低和梯度上升）

www.cnblogs.com/pinard/p/59…

一文弄懂神经网络中的反向传播法——BackPropagation

www.cnblogs.com/charlotte77…

基于字符的卷积神经网络实现文本分类（char-level CNN）-论文详解及tensorflow实现

blog.csdn.net/irving_zhan…

数据挖掘系列（10）——卷积神经网络算法的一个实现