深度学习概述深度学习知识结构介绍

本系列基本内容:
1. 深度学习知识结构图
2. 追本溯源:深度学习基础
3. 什么正在发生?
4. 一个深度学习开发实例的分析

目的:1.了解深度学习发展
           2. 串联深度学习基本概念
           3. 掌握深度学习模型设计基本思想

1、深度学习知识结构图


首先咱们以线性回归和神经网络为出发点,由于它们是整个深度学习的数据基础。

    一、 线性回归是根据数据拟合一个线性模型的过程,即 利用数理统计中的回归分析,来肯定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一。拟合目标的方法有不少种,主要使用的是梯度降低的方式。线性回归主要是解决数据呈线性分布时的预测问题,如天气,空气湿度等来推测将来的趋势,但不少状况下使用线性回归来预测的效果是不理想的,所以咱们须要加入一些非线性的激励(经过引入非线性的方程使得模型拟合时具备非线性的能力)。

    二、线性模型经过非线性的激励能够造成 神经网络 。所以若是是非线性的问题,那么用神经网络模型能够更好的解决。神经网络的基本单位是神经元,这些神经元其实是一些小的线性模型加上非线性激励的过程。

    传统的神经网络在时间和空间上进行扩展获得了CNN和RNN。
    其中 CNN叫作卷积神经网络,神经网络的神经元在计算时使用二维的卷积和的方式进行,使得运算在二维空间上进行扩展。而递归神经网络则是在时间上进行扩展。
     RNN叫作递归神经网络,和CNN相比,递归神经网络是在时间上进行扩展,即考虑当前问题的同时也要考虑上一个状态的结果做为当前状态的输入。所以是传统神经网络在时间上的扩展获得的。
    由于RNN只考虑上一个状态,而 LSTM( Long Short-Term Memory )改进,它不只考虑上一个计算状态,还会考虑好久以前的状态。
    在此基础上,咱们就能够据此完成不少任务。
    其中CNN的应用相对来讲更加普遍,大多数用与图像的处理。
    1) 目标分类, CNN经过训练后就能够获得用于目标分类基本模型,在这个模型的基础上经过迁移学习能够用于不一样的具体目的的事件,包括人脸识别,物品识别,场景识别,文字识别等等。
    2) 目标检测,经过图片找到目标(人/物)的具体位置。应用场景:安防,自动驾驶。
    
    而RNN因为它是在时域上的扩展,若是数据带有时间的属性,那么使用RNN的效果很是好,好比说话时词语之间先后时间关系的相互依赖。所以它的直接应用就是NLP-天然语言处理。

    总结:CNN-用于图像处理,RNN用于语音处理。
    而对于有些任务既有空间方面的信息又有时间方面的信息,所以能够将两者结合起来。如视频分类(既想知道根据图片获得信息,又想知道图片与图片之间的依赖关系),能够经过CNN提取特征做为LSTM的输入获得一个模型,或者使用LSTM作一个特征提取的工具,将feature提取出来做为CNN的输入让CNN来处理。
    
CNN的其余应用:
    1) CNN还能够用于生成 对抗网络,即,CNN是能够用于识别一个图片是什么,如今,咱们使用CNN去生成一个图片,而后用CNN判别网络去判断以前生成的图片是否是对的,这两个任务进行一个对抗,慢慢的,生成网络所产生的图片愈来愈正确,判别网络判别的效果愈来愈准确。
    2) 加强学习。
    以上就是对整个深度学习知识体系的概要介绍。