深度学习基础（常见的网络2）

LeNet：基于渐变的学习应用于文档识别

AlexNet：具备深卷积神经网络的ImageNet分类

ZFNet：可视化和理解卷积网络

VGGNet：用于大规模图像识别的很是深的卷积网络

NiN：网络中的网络

GoogLeNet：卷入更深刻

Inception-v3：从新思考计算机视觉的初始架构

ResNet：图像识别的深度残差学习

Stochastic_Depth：具备随机深度的深层网络

WResNet：很是深的网络的加权残差

Inception-ResNet：Inception-v4，inception-resnet以及剩余链接对学习的影响

Fractalnet：没有残差的超深层神经网络

WRN：宽残留网络

ResNeXt：深层神经网络的聚合残差变换

DenseNet：密集链接的卷积网络

PyramidNet：深金字塔残留网络

DPN：双路径网络

SqueezeNet：AlexNet级准确度，参数减小50倍，模型尺寸小于0.5MB

MobileNets：用于移动视觉应用的高效卷积神经网络

ShuffleNet：移动设备极高效的卷积神经网络

又能够这样分类：

CNN：

总结：利用权值共享【卷积操做】将神经网络原本的全链接层替换为非全链接层，使输入能够为尺度可变的张量。

可用结构：

（Max, mean）Pooling:降维;

全链接层：分类；

循环神经网络（RNNs）--推荐文章

是一类人工神经网络，单元之间的链接造成一个有向循环。这使得它能够表现出动态的时间行为。与前馈神经网络不一样 ，RNN可使用其内部存储器来处理任意输入序列。

 

 

这使得它们适用于诸如不分段，链接手写识别或语音识别等任务。

递归神经网络（RNNs）--推荐文章

是一种经过在一个结构上递归及应用相同一组权重来建立的深度神经网络，经过遍历给定拓扑顺序的结构，对可变大小的输入结构产生结构化的预测或标量预测。

 

 

在天然语言处理中，RNNs已经成功地用于学习序列和树结构 ，主要是基于词嵌入的短语和句子连续表示 。

 

长短时间记忆网络（LSTMs）-- 推荐文章

 

长期短时间记忆 - 这是一种循环型神经网络（RNN），容许数据在网络中向前和向后流动。

 

 

LSTM适合于处理和预测时间序列中间隔和延迟很是长的重要事件，隐马尔可夫模型和其余序列学习方法给LSTM带来了优点 。

 

GAN：

总结：利用两个网络对抗生成模型，生成器与辨别器，生成器输入图像，生成所需图像，辨别器辨别所需图像与生成图像，使生成器的生成图像骗过辨别器。

可用结构：

CNN；(Recursive)Residual Network(残差(递归)网络);FCN(全卷积网络)；convolutional LSTM；

Autoencoder:

是一种人工神经网络，用于高效编码的无监督学习。

与GAN同样，并非单纯的网络结构，只是相似PCA同样的东西，在无监督学习中的框架，利用conv与deconv降维升维来进行学习，分别叫作encoder与decoder编码解码，通常基于卷积网络，encoder后至关于学习到了特征，而decoder后至关于还原了图像，既能够用输入图像进行训练，训练好一层加深一层。再能够利用有监督微调，从而达到分类或者图像转换的目的。

可用结构：

CNN；Residual Network；

自动编码器的目的是学习一组数据的表示（编码），一般用于降维。 近来，自动编码器概念已经愈来愈普遍地应用于数据生成模型的学习当中。

残差网络Resnet：

利用上一级的输入与结果相加来使深层网络效果更好（一个残差块通常不小于两层）。

 

U-NET

也是encoder-decoder,利用前一encoder的信息与decoder信息结合，二者一一对应，共享信息。

 

[深度]强化学习 -- 推荐文章与 推荐文章

强化学习是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，强化学习中由环境提供的强化信号是对产生动做的好坏做一种评价(一般为标量信号)

它的原理是：若是Agent的某个行为策略致使环境正的奖赏(强化信号)，那么Agent之后产生这个行为策略的趋势便会增强。Agent的目标是在每一个离散状态发现最优策略以使指望的折扣奖赏和最大。