文章下载地址：A Surface Defect Detection Method Based on Positive Samples
第一部分 论文中文翻译
摘要：基于机器视觉的表面缺陷检测和分类能够大大提升工业生产的效率。利用足够的已标记图像，基于卷积神经网络的缺陷检测方法已经实现了现有技术的检测效果。 然而在实际应用中，缺陷样本或负样本一般难以预先收集，而且手动标记须要耗费大量时间。本文提出了一种仅基于正样本训练的新型缺陷检测框架。 其检测原理是创建一个重建网络，若是它们存在，能够修复样本中的缺陷区域，而后在输入样本和重建样本之间进行比较，以指示准确的缺陷区域。 咱们将GAN和自编码结合起来重建缺陷图像，并使用LBP特征进行图像局部对比以检测缺陷。在算法的训练过程当中，只须要正样本，无需缺陷样本和手动标签。本文利用织物图像和DAGM2007数据集进行了验证明验。实验代表，所提出的GAN + LBP算法和具备足够训练样本的监督训练算法具备较高的检测精度。 因为其无监督特性，具备较高的实际应用价值。html
关键词：Positive samples， Surface defect detection， Autoencoder， GANnode
一、介绍python
表面缺陷检测在工业生产过程当中起着很是重要的做用。它对市场上最终产品的质量和声誉产生重大影响。传统上，表面缺陷由人类目视检测，这是主观的，昂贵的，低效的和不许确的。算法
机器视觉系统可能替代人类视觉，但在实际应用中也遇到许多问题和挑战，特别是近年间用于区分缺陷和非缺陷的传统图像特征是基于经验手动设计的。传统图像特征提取算法的特征一般处于较低水平。在复杂的场景变化（例如照明变化，透视失真，遮挡，物体变形等）的状况下，所提取的特征一般不足以处理它们，所以许多算法在实际环境中不适用。现在，深度学习在提取图像特征方面表现的很是强大。卷积神经网络在各类监督问题上都达到了高精度，如分类，目标定位，语义分割等。spring
Faghih-Roohi等人[1]使用深度卷积神经网络在轨道表面进行缺陷检测。它将轨道图像分为6类，包括1类非缺陷图像和5类缺陷图像，而后用DCNN对它们进行分类；刘等人[2]提出了一种two-stage方法，它将选择性搜索的区域识别和卷积神经网络结合。它检测并识别所得区域，而后完成对胶囊表面缺陷的检测; Yu等人[3]使用两个FCN[4]语义分割网络来检测缺陷。其中一个是粗定位，另外一个是精定位。它能够准确地绘制缺陷轮廓，而且在DAGM2007[12]的数据集上实现了比原始FCN更高的精度，而且能够实时完成。数据库
全部上述算法都使用监督学习来检测缺陷。 在工业检测的实际应用中须要考虑两个问题：微信
训练样本中缺乏缺陷/负样本。在实际问题中，训练样本中的缺陷图像老是较少，由于事先很难收集大量的缺陷样本。所以，训练过程当中的正样本和负样本的数量极不平衡，所以生成的模型可能不稳定甚至无效。在缺陷外观多变且不可预测的场景中，监督学习的检测方法一般没法达到所需的精度。网络
手动标注代价高。在实际的缺陷检测应用中，一般存在许多不一样的缺陷，检测标准和质量指标每每不一样。这须要手动标记大量训练样本以知足特定需求，这须要大量人力资源。框架
针对上述监督学习算法实际应用中存在的问题，提出了一种基于正样本训练的缺陷检测方法。训练过程只需提供足够的正样本，无需提供缺陷样本，也无需手动标记，能够实现缺陷检测的效果。ide
二、相关工做
2.1 基于正样本的缺陷修复模型
咱们提出的模型的灵感来自一系列基于GAN[5]的修复和检测模型。图1所示是GAN原理的示意图。生成器G接收高斯随机信号以产生图像，辨别器D接收真或假图像，并输出几率为真的图像。在发生器和鉴别器的连续对抗中，将改善所生成图像的真实度。
Yeh等人[6]使用GAN进行图像修复。首先，它使用完好陷图片来训练GAN模型。而后，当修复已知位置缺陷时，咱们优化生成器G的输入z，以便咱们能够找到最佳的z，使得y和缺陷图像的正常部分最大程度接近。图片y是恢复的图像。 Schlegl等人[7]基于图像重建实现缺陷检测。首先，它使用中间层的重建偏差来完成重建模块，事先不知道缺陷的位置。其次，重建图像与原始图像之间存在差别。若是差别很大，那就是缺陷。因为重建和修复的错误，该模型的缺点直接经过差分方法来区分从新配置偏差和小缺陷是很困难的。
这两个模型的明显缺点是它们使用梯度优化来找到正确的z，从而进一步得到修复图片。这个过程须要耗费大量时间，这是不切实际的。因此咱们但愿使用autoencoder来复原缺陷图像。
2.2 Autoencoder
Pix2pix[8]使用自编码器与GAN配合解决图像生成任务。它能够生成清晰逼真的图像。为了在细节和边缘部分得到更好的结果，pix2pix使用跳跃链接结构，如Unet[9]。该结构不适合去除整个缺陷，所以不在咱们的模型中使用。通常图像生成任务是指给黑白图片上色，将简单笔画转换成照片等任务。咱们使用相似的结构来实现缺陷图像到复原图像之间的转换。
在上述研究的基础上，本文完成了如下工做：（1）咱们使用自编码器来恢复图像。 咱们能够实时完成图像修复功能，并经过GAN损失提升图像质量；（2）咱们在训练中使用人工缺陷，而且咱们不依赖于大量完整和真实的缺陷样本和手工标注；（3）咱们使用LBP[10]来比较复原的图像和原始的图像，从而更准确地找到缺陷的位置。
综上所述，咱们提出了一种缺陷检测模型，该模型基于无需人工标注的正样本进行训练。
三、方案
本文提出的模型的通常框架如图2所示。在训练阶段，x是从训练集中随机拍摄的随机图片。 C（x~|x）是一我的工制造缺陷模块。其功能是自动生成缺陷样本。 x~是它的输出。EN和DE构成自动编码器G。EN是编码器，DE是解码器，整个自动编码器能够看做GAN模型中的生成器。G的任务是找出有缺陷的图片。D是辨别器，D的输出是其判别该图片为正样本的几率。
在测试阶段，咱们将测试图片x输入到自动编码器G中，得到复原的图像y。而后使用LBP算法提取x和y的特征，并比较x的每一个像素的特征，其中x和y之间的特征差别很大的位置即为缺陷。
3.1 Objective
缺陷样本在通过自编码器后应该与原始正样本相同。 这里咱们引用pix2pix，使用L1距离来表征它们的类似程度。 L1距离比L2距离更适合不太模糊得图像。重构偏差定义以下：
若是重构偏差仅用做目标函数，则所得到图像的边缘会模糊而且细节丢失。 根据pix2pix中的实验，引入了判别网络，而且能够添加GAN损失以改善图像模糊问题并加强图像的精确度。GAN的目标能够表示为：
所以，总体优化目标是找到生成网络G的参数，并使其知足要求：
λ是平衡GAN损失和重构偏差的参数，其由实验肯定。在某种程度上，GAN损失的引入将与重构偏差竞争，但它能够改善图像的质量和重要细节的描述。
3.2 网络结构和人造缺陷
咱们提出的模型的网络结构称为DCGAN[11]。在生成器和辨别器网络中，添加了batchnorm层。 LeakyRelu层用于辨别器网络，Relu层用于生成器网络。编码器结构大体相似于辨别器。
在咱们的模型中，自动编码器只须要将原图修复到最近接近的示例样本，而不须要知道缺陷的具体形式。所以，当样本附加足够的随机缺陷时，网络将可以学习重建图像的信息。在实际训练中，咱们手动随机生成块，位置，大小，灰度值以及添加到图片中的缺陷块数量，如图3所示，训练网络自动修复缺陷。
数据加强方面，咱们采用0.5和2之间的随机调整，并在-180和180°之间添加随机旋转，并为图像添加随机高斯模糊。
3.3 获取缺陷的位置
因为重建图像的细节信息上存在一些偏差，咱们不该直接划分重建图像和原始图像来直接获得缺陷的位置。咱们使用LBP[10]算法进行特征提取，而后搜索每一个像素周围最匹配的像素。LBP算法是一种非参数算法，具备光照不变性的特色，适用于密集点。
得到有缺陷图像的步骤如图4所示。原始图像x和修复图像y由LBP算法处理获得特征图x+和y+。对于x+的每一个像素点，搜索y+的对应位置处的最近的特征值点，即该像素的点做为匹配点。在两个匹配点的特征值之间进行比较，获得绝对值。得到的值越小，则该点是缺陷的可能性越低。而后使用固定阈值二值化，即可以获得缺陷的位置。
4 实验
4.1 准备
本文使用织物图片和纹理表面图片来测试实验模型的性能。包括3种织物图片和1种纹理表面图片。织物的图像来自数据库[13]，纹理表面图像来自DAGM 2007[12]的数据集。在本文中，咱们比较了监督语义分割模型[4]和本文提出的缺陷检测模型。
开发环境以下：CPU：Intel®Xeon（R）E5620@2.40GHZ * 16，GPU：GTX1080，内存：16 G，python 2.7.12和mxnet。 咱们经过Adam进行训练，并将初始学习率设置为0.0002，并将批量大小设置为64。
4.2 结论
咱们使用整张图片的平均准确性做为实验中模型性能的评估指标。
纹理表面：纹理表面具备良好的一致性，所以他们在训练集上有足够的缺陷样原本学习（表1和表2）。
图5所示为缺陷检测结果的示例。
织物图片：因为真实场景中织物样本的形式不一样，训练集中的缺陷样本相对稀少。在该实验中存在5种类型的缺陷，每类缺陷有5张图片，还有25张正样本。对于监督语义分割模型，每种形式的缺陷图像中的3个用做训练集，而且2用做测试集（表3和4）。
如图6所示，它是一些缺陷检测结果的例子。
实验代表，在规则模式背景下，当标记缺陷样本足够时，咱们模型的准确性和监督语义分割接近，当带有注释的缺陷样本不充足时，咱们的模型能够得到更高的精度。在时间消耗方面，咱们的模型能够实现实时检测。
5 结论
在本文中，咱们结合自动编码器和GAN，提出了一种基于正样本训练的缺陷检测模型，无需人工标签。 在训练中，结合人工缺陷和数据加强方法，该模型能够自动修复图案规则的纹理图像的缺陷，并经过比较原始图像和修复图像的特征来得到缺陷的具体位置。能够在织物图像和纹理平面上实时检测缺陷的位置。此外，当训练缺陷实例不多时，咱们能够得到比监督语义分割更好的结果。
若是背景过于复杂和随机，则自动编码器重建和修复图像是很困难的。相关的缺陷检测问题未来还有待研究。
致谢：这项工做获得了国家天然科学基金深圳联合基金支持的重点项目（Gran No. U1613217）的部分支持。
参考文献：
1. Faghih-Roohi, S., et al.: Deep convolutional neural networks for detection of rail surface defects. In: International Joint Conference on Neural Networks. IEEE (2016)
2. Liu, R., et al.: Region-convolutional neural network for detecting capsule surface defects. Boletín Técnico 55(3), 92–100 (2017)
3. Yu, Z., Wu, X., Gu, X.: Fully Convolutional networks for surface defect inspection in industrial environment. In: Liu, M., Chen, H., Vincze, M. (eds.) ICVS 2017. LNCS, vol. 10528, pp. 417–426. Springer, Cham (2017). https://doi.org/10.1007/978-3-319-68345 4_37
4. Long, J., Shelhamer, E., Darrell, T.: Fully convolutional networks for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3431–3440 (2015)
5. Goodfellow, I., et al.: Generative adversarial nets. In: Advances in Neural Information Processing Systems (2014)
6. Yeh, R., et al.: Semantic image inpainting with perceptual and contextual losses (2016). arXiv preprint arXiv:1607.07539
7. Schlegl, T., Seeböck, P., Waldstein, Sebastian M., Schmidt-Erfurth, U., Langs, G.:Unsupervised anomaly detection with generative adversarial networks to guide marker discovery. In: Niethammer, M., Styner, M., Aylward, S., Zhu, H., Oguz, I., Yap, P.-T., Shen, D. (eds.) IPMI 2017. LNCS, vol. 10265, pp. 146–157. Springer, Cham (2017). https://doi.org/ 10.1007/978-3-319-59050-9_12
8. Isola, P., et al.: Image-to-image translation with conditional adversarial networks (2017). arXiv preprint
9. Ronneberger, O., Fischer, P., Brox, T.: U-Net: convolutional networks for biomedical image segmentation. In: Navab, N., Hornegger, J., Wells, W.M., Frangi, A.F. (eds.) MICCAI 2015. LNCS, vol. 9351, pp. 234–241. Springer, Cham (2015). https://doi.org/ 10.1007/978-3-319-24574-4_28
10. Ojala, T., Pietikäinen, M., Harwood, D.: A comparative study of texture measures with classification based on featured distributions. Pattern Recogn. 29(1), 51–596 (1996)
11. Radford, A., Luke M., Chintala, S.: Unsupervised representation learning with deep convolutional generative adversarial networks (2015). arXiv preprint arXiv:1511.06434
12. HCI: Weakly Supervised Learning for Industrial Optical Inspection. https://hci.iwr.uniheidelberg.de/node/3616. Accessed 13 Nov 2017
13. Ngan, H.Y.T., Pang, G.K.H., Yung, N.H.C.: Automated fabric defect detection—a review. Image Vis. Comput. 29(7), 442–458 (2011)
若是这篇文章帮助到了你，或者你有任何问题，欢迎扫码关注微信公众号：一刻AI 在后台留言便可，让咱们一块儿学习一块儿进步！
第二部分 论文理解