《论文翻译》Xception

目录

• 深度可分离网络-Xception
  • 注释
  • 1. 摘要
  • 2. 介绍
  • 3. Inception假设
  • 4. 卷积和分离卷积之间的联系
  • 4. 先验工做
  • 5. Xception 架构
  • 6. 我的理解
  • 单词汇总

深度可分离网络-Xception

注释

• 本系列《论文翻译》仅表明我的观点
• 目的提升英文阅读能力
• 错误之处较多，欢迎读者修正，在此感谢

1. 摘要

  咱们提出了一种关于inception的解释，其介于正常卷积网络和深度可分离卷积之间（先进行分离卷积而后进行点卷积）。就此而论，深度可分离卷积能够被视为inception最大质量的跨越。这项工做受到Inception的启发，将会成为一个新网络架构的基准，同时Inception的卷积网络也将被替代。咱们将此网络命名为Xception，在ImageNet数据集上略微强于Inception V3，当在大数据集上明显的超过Inception V3。当Xception和Inception V3具备相同的参数，表现能力不会提升，可是效率会提高。

翻译太烂，本身都没看懂

2. 介绍

  今年来卷积神经网络做为计算机视觉的主要算法，同时开发设计他们的结构做为主要注意点。卷积神经网络的设计能够追溯到LeNet模型，进行简单的卷积堆叠提取特征和经过max-pooling对空间进行降采样。2012年，这种思想结构被提炼到AlexNet网络中，使用大量的max-pooling结构，对网络的每一层进行提取，得到大量的特征。因为ImageNet竞赛的驱动，随之而来的是网络愈来愈深的趋势。最著名的就是VGG网络等

  此时出现一种Inception新的架构，在2014年被发明称之为GoogLeNet，以后陆续提高精确的升级到了V二、V3等版本。自从Inception架构的提出，其成为在ImageNet等数据集上最好的网络系列之一。

  Inception系列是由Inception的基础模块构成，其中包括几个版本。以下图一所示为标准形式，同时也出如今Inception V3之中。这与早期的VGG网络有所不一样，他是由渐渐的卷积网络堆叠而成。

  然而Inception的结构和基本卷积相似（卷积特征提取结构），从经验上来看，此结构能够经过不多的参数得到大量的特征。他们如何工做，和传统卷积有何区别？

3. Inception假设

  一个卷积层能够学习三维空间的滤波器权重，经过一个二维空间尺寸（长和宽）+一个通道空间。所以，一个单卷积核的任务能够同时映射跨通道的相关性和空间的相关性。

  Inception模型的背后想法是使过程更简单、更高效的分解一系列独立的夸通道相关性和夸空间相关性操做。更精确的说，典型的Inception结构首先经过1×1的卷积研究夸通道的相关性，映射输入数据到3-4个相互独立的空间，和输入相似，以后经过规则的3×3或5×5卷积将全部相关性映射进3D空间之中。事实上，Inception模块的假设是跨通道的相关性和空间相关性相关分离，而不是倾向于将他们联合。

  考虑一个简化版本的Inception模块，仅使用一种大小的卷积同时不包括pooling跳跃层。Inception模块能够被从新描述成一个大的1×1卷积+空间卷积，操做于输出通道没有重叠的段落。这个表达天然的出现如下几个问题：这个假设比以前的Inception的假设更合理吗？跨通道相关性和空间相关性能够彻底分离吗？

4. 卷积和分离卷积之间的联系

  Inception模块是一个极其伟大的创做，其基于一个很强的假设，第一次使用1×1卷积去映射不一样的通道，同时分离映射空间联系在每个输出通道上。具体详见图4所示。咱们注意到这个很强的模块和深度可分离卷积基本一致，模块被使用再2014年的网络中，自从被包含在TF框架之中就更受欢迎了。

  一个深度可分离卷积，在深度学习框架中一般被称为可分离卷积，其实有深度卷积组成，空间卷积相互独立的执行，随后是点卷积操做，经过深度卷积将输出映射到一个新的通道空间。这也是和空间卷积相区别，因此在图像处理领域一般称为深度可分离卷积。

  Inception模块和深度可分离卷积模块有两个很小的区别：

• 操做顺序不一样：深度可分离卷积一般是先进行空间卷积以后再进行1×1卷积，而Inception则相反。
• 是否纯在非线性链接。在Inception中，两个操做以后都要进行非线性的RELU操做，然而Xception一般没有非线性链接。

  咱们认为第一个区别不是很是重要，尤为是由于这些操做被应用于一些堆叠操做。第二个区别很是重要，咱们再实验部分进行了研究（详细见图10）

  咱们注意到一些Inception的中间概述，位于标准Inception模块和深度可分离卷积之间。事实上，在正常卷积和可分离卷积之间存在一个可分离的范围，一些独立通道的分割进行参数化，用于执行空间卷积。正常卷积（1×1卷积）在一个极端的范围，用于联系单个段落的状况。可分离卷积做用于其余极端状况，每一个通道的段落。Inception模块位于之间，分割几百个通道到3-4个段落。这些中间的属性彷佛还未被探索。

  在进行这个讨论以后，咱们建议使用深度可分离卷积替代Inception模块，经过堆叠可分离卷积模块的性能将在原始网络之上。经过TF中的可分离卷积工具进行实现。在下文中，咱们提出一个基于以上探索的卷积网络架构，和Inception V3参数数量相等，同时在两个大型图像分类任务上进行对比表现。

4. 先验工做

  当前的工做很大程度上依赖先前的努力：

就是一些以前的网络架构，VGG、Inception-V1-V2-V三、ResNet等

5. Xception 架构

网络基础架构在图4所示，后面基本都是一些分析和前面说的同样。

做者所用网络以下图5所示，和Inception V3参数相同

6. 我的理解

  本文其实就两个观点，第一个是为何Inception有做用。第二个是咱们更进一步放大第一个问题。如下根据我的理解说明这两个问题。

• 针对第一个问题为何Inception有做用

说明	正常网络	Inception
输入	100×100×50	100×100×50
卷积	50×3×3×25	（block1）+（block2）+（block3）
参数	nums	nums
输出	100×100×25	100×100×25

正常卷积所使用的的卷积大小彻底相同==>看到的特征大小（尺度）基本相似（相同）

Inception使用的卷积核不一样==>看到的特征大小（尺度）基本有差别（不相同）

正常卷积所有通道都使用，不存在夸空间问题（卷积只是考虑空间联系，未跨空间）

Inception使用一张图三个/四个不一样的卷积处理，最后进行叠加，已经进行了跨空间。

• 针对第二个问题优势继续放大

文中对两个优势进行讨论：

1. 跨通道问题（文中已经说明这个优势对结果不明显，详细见原文1.2节）

2. 在跨统计以后不接非线性RELU（文中说相当重要，详细见原文1.2节）

我的认为直接链接RELU破坏了跨空间之间的联系点，须要再进行卷积操做以后方可链接RELU。

第一个问题确定是有做用的，只不过链接的太多可能做用不明显。

单词汇总

• intermediate：中介

• inspired by： 由。。。。启发（受到。。。鼓舞）

• outperform：超过

• emerged：出现，暴露

• sub-sampling：次采样（下采样==upSampling）

• what follow was：随之而来

• At this point：此时

• canonical：标准

• This is a departure from：与。。。。不一样

• conceptually：概念（concept）

• come afte：紧随

• This idea behind：背后的想法

• decouple：解耦合（couple夫妇）

• reformulate：再叙述（formulate叙述）

• segment：分割、段落、分段

• cornerstone：基石、基础

• continuum：链接（continue）

• identical：统一

• inclusion：包含（include）

• perform independently：独立执行

• projecting：突出

• minor：微小

• implement：执行

• whereas：然而

• presence：存在（present）

• absence：缺陷、缺乏（absent）

• investigate：调查、研究

• spectrum：范围、光谱

• in what follows：在下文

• present：当前、提出