此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以 及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些 也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己 所用，或者从中得到灵感，这就够了。
8. Edge Detection
边缘检测也是图像处理中的一个基本任务。传统的边缘检测方法有基于梯度 算子，尤其是 Sobel 算子，以及经典的 Canny 边缘检测。到现在，Canny 边缘检 测及其思想仍在广泛使用。关于 Canny 算法的具体细节可以在 Sonka 的书以及 canny 自己的论文中找到，网上也可以搜到。最快最直接的方法就是看 OpenCV 的源代码，非常好懂。在边缘检测方面，Berkeley 的大牛 J Malik 和他的学生 在 2004 年的 PAMI 提出的方法效果非常好，当然也比较复杂。在复杂度要求不高 的情况下，还是值得一试的。MIT的Bill Freeman早期的代表作Steerable Filter 在边缘检测方面效果也非常好，并且便于实现。这里给出了几篇比较好的文献， 包括一篇最新的综述。边缘检测是图像处理和计算机视觉中任何方向都无法逃避 的一个问题，这方面研究多深都不为过。
[1980] theory of edge detection
[1983 Canny Thesis] find edge
[1986 PAMI] A Computational Approach to Edge Detection
[1990 PAMI] Scale-space and edge detection using anisotropic diffusion
[1991 PAMI] The design and use of steerable filters
[1995 PR] Multiresolution edge detection techniques
[1996 TIP] Optimal edge detection in two-dimensional images
[1998 PAMI] Local Scale Control for Edge Detection and Blur Estimation
[2003 PAMI] Statistical edge detection_ learning and evaluating edge cues
[2004 IEEE] Edge Detection Revisited
[2004 PAMI] Design of steerable filters for feature detection using canny-like criteria
[2004 PAMI] Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
[2011 IVC] Edge and line oriented contour detection State of the art
翻译
二维图像中的最佳边缘检测——http://tongtianta.site/upload
作者：
摘要 -本文提出了一种新的边缘检测方案，该方案通过在高斯拉普拉斯(LOG)的零交叉轮廓的指导下，基于基于曲线分段的检测功能来检测二维(2-D)边缘，从而接近真正的边缘位置。在信噪比(SNR)和边缘定位精度方面，检测功能被证明是最佳的。它还保留了LOG在比例空间中唯一保留的漂亮比例属性。
Ⅰ 简介
设计用于二维(2-D)图像的准确且鲁棒的边缘检测算法的困难主要来自两个方面。首先，在选择一个运算符以追求最佳整体边缘检测性能时需要权衡取舍。基于Yuille和Poggio的结果[11]，应使用二维高斯Laplacian-of-Gaussian(LOG)运算符[6]，因为唯一在2-D尺度空间中具有受限过零行为的算子，这反过来为尺度空间操作奠定了必要的基础。但是，像LOG这样的各向同性算子在信噪比(SNR)和cdge定位精度(ELA)方面不是最佳的。 Canny边缘检测器[2]比LOG具有更好的SNR和ELA。然而，其输出的局部极值在二维尺度空间中可能具有不受约束的行为[11]。此外，通过简单地基于线性恒定横截面边缘模型扩展其一维(1-D)版本，即可获得Canny边缘检测器的2-D版本。结果，除了在检测到的边缘是具有恒定强度的直线的情况下之外，即使在SNR和ELA方面，二维坎尼边缘检测器也不是最佳的。例如，在[1]和[10]中可以找到寻找最佳边缘检测器的最新努力。不幸的是，建立更精确的二维边缘模型的问题仍然被忽略。
其次，很难在二维标度空间中找到可靠的组合方法，因为滤波后的二维信号的二阶导数的零交叉通常在标度空间中的行为比1-维复杂得多。 D过零。例如，可以在[7]和[9]中找到关于检测尺度空间中的边缘的最新工作，并且可以在[5]中找到关于尺度空间的一般性讨论。有关与边缘检测有关的一般问题的更详尽讨论，请参见我们的技术报告[8]。
在本文中，我们介绍了一种新的2D边缘检测功能，该功能不仅实现了SNR和ELA的最佳检测二维图像边缘的功能，而且还保留了LOG在比例空间中的良好缩放特性。我们还将简要讨论相关的问题，包括边缘正则化，自适应阈值化和比例空间组合。可以在[8]中找到本文的更详细版本。
Ⅱ 最佳2D边缘检测和边缘规则调整
通常，由于线性恒定横截面边缘模型只能以合理的精度表示2-D边缘的一小部分，因此假设这种模型的边缘检测算法通常会通过逐点提取边缘像素来检测边缘方式。这种方法的缺点是双重的。首先，它会限制SNR和ELA方面的最佳边缘检测性能，这将在第II-C节中看到。其次，它直接导致边缘检测结果中众所周知的条纹问题。在下文中，我们介绍了更精确的二维边缘模型，并基于这种模型开发了最佳的二维边缘检测功能。我们将新边缘检测器的SNR和ELA与Canny边缘检测器的SNR和ELA进行比较。
A.参数二维边缘模型
假设2D边缘在像平面中具有轨迹
，其中u是轨迹的参数。然后，可以将二维边缘周围的强度表面建模为局部坐标(u，v)的参数化[3]，如下所示：
其中v是强度梯度方向上的参数坐标，A(u)是幅度函数，P(u，v)是边缘的轮廓函数，并且[-L，L] x [-D，D]定义边缘表面的支撑区域。请注意，如果我们将设为像平面上的一条直线，将A(U)设为一个常数，则上述模型会退化为恒定横截面模型。对于真实图像中的阶跃边缘，P(u， V)可以建模为高斯函数和理想阶跃函数的卷积，即
高斯方差2(u)确定边缘轮廓的比例。请注意，我们已经减去了卷积之前阶跃函数的平均值。可以以类似于阶梯边缘的方式找到其他类型边缘的轮廓函数。参见图1所示的示例2-D边缘及其相应的恒定横截面边缘模型和参数化边缘模型。
图1：示例二维边缘及其表面模型 (a)Lena图片中短边部分周围的强度表面。 (b)恒定横截面边缘模型。 (e)针对(b)中边缘的第II-A节所述的参数化2-D边缘模型。 (d)基于(c)中的参数2-D边缘模型，构造了Ⅱ-B部分所述的最佳2-D边缘检测功能。
B. 最佳二维边缘检测功能
令E(u，v)是要在图像中检测到的轨迹的边缘。假设是一条规则曲线，即曲线的切线定义在曲线的每个点上。我们构造具有两个函数fl(u)和fg(u， v)的二维边缘检测功能Qedge，如下所示进行优化：
其中v0(u)是参数u相对于参数的轨迹
假设图像中具有方差的加性高斯白噪声，并使用由(2-1)定义的2-D边缘模型，我们在[8]中表明边缘检测功能Qedge的输出SNR为
ELA是
如果我们假设二维边缘的轮廓函数具有相同的比例因子(u)，则通过调用(2-2)，可以将上述输出SNR和ELA简化如下：
可以通过最大化SNR和最小化ELA来优化边缘检测功能Qedge。如果未选择其他约束，则可以通过使用Cauchy-Schwartz 柯西-施瓦茨不等式获得最佳解。即，沿着边缘轨迹的最佳检测函数为
阶跃边缘在梯度方向上的最佳检测函数为
以上结果也被认为是信息论中的匹配滤波器。
在实践中，图像中边缘轨迹的确切位置无法事先知道。确实，这就是边缘检测的目的。但是，通过首先对图像应用一些非最佳边缘检测器(在我们的情况下为LOG)，可以大致定位边缘。为了确定边缘的真实位置，我们然后搜索轨迹v(u)，该轨迹在对应的LOG零交叉轮廓周围的某个邻域中最大化检测功能Qedge的响应。我们选择LOG作为我们的初步边缘检测器，因为它在标度空间中具有最佳的标度属性。因此，使用LOG零交叉轮廓作为其初始条件，最佳边缘检测功能Qedge继承了LOG的良好缩放属性。在[8]中引用了有关实现边缘检测功能Qedge的其他细节。
C. 改善Canny Edge检测器的SNR和ELA
令E(u，v)为具有要在图像中检测的轨迹的边缘。假设是弯曲的或E(u，v)的幅度不均匀，则我们有
即，边缘检测功能Qedge通过Canny边缘检测器同时提高了SNR和ELA达(2-10)中定义的数量倍。在E(u，v)具有弯曲轨迹但幅度A(u)均匀的情况下，上述系数只是边缘总长度的平方根，即
边缘检测功能Qedge具有比Canny边缘检测器更好的SNR和ELA的原因，主要是因为在边缘弯曲和/或沿边缘的幅度的情况下，Qedge总是逐段检测边缘，而Canny检测器是点向检测是不均匀的。沿边缘方向增加的检测范围提高了输出SNR，并降低了将虚假响应声明为边缘的可能性。因此，它提高了ELA。
D. 边缘正则化
由于噪声和离散误差，使边缘检测功能Qedge最大化的轨迹v0*(u)的数值最优解可能不连续或不平滑。为了提高连续性和/或平滑度，我们定义了与边缘关联的能量泛函，然后最小化边缘的总能量泛函以获得具有该边缘某些期望的连续性和/或平滑度特征的最佳轨迹。边缘能量泛函的数学形式以及使总能量泛函最小化的数值过程与[4]中报道的相似，并在[8]中进行了引用。
Ⅲ 检测不同尺度下的显着边缘
边缘可能会在各种强度以及真实图像的比例范围内出现。为了生成完整而干净的边缘图，需要一些阈值，并且必须自适应地选择它们。来自不同规模的检测结果也需要合并。我们将在本节中讨论所有这些问题。
A.评估边缘的显着性
为了得出自适应阈值机制，我们首先需要一个过程来估计图像中的噪声水平。在这里，我们介绍一种全局噪声估计方法。在步骤1中，它计算候选边缘段上每个点的高斯模糊图像中的梯度大小，并将该点的大小指定为其强度。然后将所有强度均等化为强度的整个范围。在步骤2中，该方法为每个候选边缘段计算归一化强度。我们计算所有通道中所有候选边缘段的归一化强度。然后可以为每个通道构建计算出的边缘段强度的直方图。由于图像中的随机噪声，总是可以在如上构建的直方图中的低强度端找到高斯分布。最后，在步骤3中，该方法将直方图的低强度部分拟合为高斯分布。有关示例，请参见图2。高斯的均值和方差反映了平均总体噪声水平和噪声的扩展范围。基于这些值，可以得出阈值机制[8]。
图2：在两个不同通道中Lena图片的候选边缘片段的归一化强度的直方图。 (a) = 2.5的通道1中的直方图。 (b)与(a)相对应的拟合高斯分布用于噪声估计。 (c)通道2中的直方图，= 3.2。 (d)与(c)相对应的拟合高斯分布用于噪声估计。
为了生成与人类视觉系统感知的边缘检测结果相似的边缘检测结果，我们还采用了两个附加的阈值标准，这些标准是根据来自生物视觉系统的生理证据选择的。第一个标准基于生理证据，即在生物视觉系统中部署了不平衡的高斯差分(DOG)运算符。我们通过将加权函数应用于候选边缘片段的归一化强度的评估，从而在边缘检测方案中实现此标准，从而抑制了绝对强度较低的候选边缘片段的强度。第二个标准基于在许多生物视觉系统中发现的侧向抑制的视觉行为。我们通过推断具有更干净邻域的零交叉轮廓可能暗示着更高的可能性成为图像中的显着边缘，从而实现了这一标准。参见图3。
图3：以不同的比例记录Lena图片的零交叉轮廓。 (a)=2.5 处的LOG零交叉轮廓，(b)=3.2 处的LOG零交叉轮廓，(c)=3.9 的LOG零交叉轮廓。 (d)在=4.6 处的LOG过零轮廓。 输入强度图像请参见图5(a)。 从上面的图像中可以看出，具有更干净邻域的零交叉轮廓通常对应于图片中更明显的边缘。
B.合并不同比例的边
我们的边缘检测方案通过组合来自不同比例通道的检测到的显着边缘候选来生成最终边缘图。由于较小的检测功能尺度始终可以提供更好的ELA，并且只有具有高SNR的显着边缘才能通过显着性测试幸存，因此最终边缘图始终会合并所有最小尺度的所有检测到的显着边缘候选者。然后，合并过程可以继续检查较大比例的检测结果中是否存在新的显着边缘。我们的边缘检测方案保留了LOG零交叉轮廓的良好缩放特性，并且由于Qedge的最佳ELA性能，我们在大型通道中的候选边缘不会远离真实边缘位置；这确保了我们的缩放比例空间方法对真实图像可靠地执行。此外，我们在每个比例尺通道中的边缘候选对象都是曲线段，而不是点；因此，与其他现有方法相比，我们的方法对噪声的敏感性较低。
IV 实验结果
图4：二维边缘检测方案的实现示意图。
所提出的2-D边缘检测方案已经在大量真实图像上实施和测试。图4给出了我们的实现图。细节在[8]中提到。该方案的计算主要包括获得LOG零交叉轮廓和优化轮廓。获得LOG零交叉轮廓的成本主要是二维卷积的成本；优化一个轮廓的成本主要是将稀疏矩阵求逆的成本，该矩阵的阶数为 O(N)，其中N为轮廓的长度，这是由于在我们的实现中使用了稀疏矩阵技术。细节在[8]中提到。
图5：Lena图片上边缘检测结果的比较。 (a)输入强度图像。 (b)通过提出的二维边缘检测功能Qedse在 = 2.5处检测到边缘。 (c) = 2.5的2-D Canny边缘检测器检测到的边缘。 (c)由Marr-Hildreth边缘检测器( = 2.5)检测到的边缘。
图6：在Lena图片上更多的边缘检测结果：(a)由建议的2-D边缘检测功能Qedge在min = 2.5和max = 6.7的所有七个通道中检测到重叠的边缘候选。 (b)通过在建议的二维边缘检测方案中使用的比例空间组合过程生成的最终边缘图。
在第II-C节中，我们在建议的二维边缘检测功能Qedge和Canny边缘检测器之间以SNR和ELA给出了封闭形式的性能比较。图5显示了Qedge，Canny边缘检测器和Marr-Hildreth边缘检测器在Lena图片上的实际边缘检测结果，所有这些均为= 2.5。从图5可以看出，通过Qedge进行的边缘检测结果是干净的，同时边缘保持连续且平滑。另一方面，当边缘开始失去连续性时，Marr-Hildreth边缘检测器的结果在选定的阈值处似乎有噪声。 Canny边缘检测器的结果似乎比Marr-Hildreth边缘检测器的结果要好。然而，尽管其边缘图仍比图5(b)所示的Qedge包含更多的虚假边缘，但其检测到的边缘也不如Qedge所检测到的边缘连续和平滑。图6(a)显示了Qedge在min = 2.5和max = 6.7的所有七个通道中检测到的Lena图像上重叠的候选边缘。图6(b)给出了Lena图片的最终边缘图，该图像由我们的二维边缘检测方案中实现的比例空间组合过程生成。
Ⅴ 总结
我们提出了一种新的2-D边缘检测功能，该功能源自自适应2-D边缘模型。检测功能在SNR和ELA方面最适合检测2D图像中的边缘，并且保留了LOG运算符在比例空间中良好的缩放行为。它根据边缘段而不是边缘点检测边缘。这保证了检测到的边缘的连续性，并大大减少了随机噪声对检测结果的影响。所提出的边缘检测方案还采用边缘正则化程序来增强检测到的边缘上的期望的平滑度和刚度。还引入了全局噪声估计程序和其他两个基于生理的标准，以对图像中的全局噪声水平提供可靠的估计，并微调边缘检测结果，以使其与图像检测到的结果相似。人类视觉系统。最终，基于图像的连续性和所检测边缘的比例空间中的缩放特性，建立了可靠的比例空间组合过程。
参考文献
[1] K.L.Boyer and S.Sarkar,"Comments on ‘On the localization performance measure and optimal edge detection',"IEEE Trans.Pattern Anal. Machine lnnelt,vol.16,no.1,pp.106-108,1994.[2] J.Canny,"A computational approach to edge detection,"IEEE Trans. Patterm Anal.Machine Intell.,vol.PAMI-8,no.6,pp.679-698,1986.[3] M.P.D.Carmo,Differential Geometry of Curves and Surfaces.Englewood Cliffs,NJ:Prentice-Hall,1976.[4] M.Kass,A.Witkin,and D.Terzopoulos,"Snakes:Active contour models,”Int.J.Comput.Vision,pp.321-331,1988.[5] T.lindeberg,Scale Space Theory in Computer Vision:The Klewer Intemational Series in Engineering and Computer Science. Dordrecht, The Netherlands:Kluwer,1994.[6] D.Marr and E.Hildreth,"Theory of edge detection,"in Proc.Roy.Soc. London.,vol.B.207,pp.187-217,1980.[7] P.Perona and J.Malik,“Scale space and edge detection using anisotropic diffusion,”IEEE Trans.Patterm Anal.Machine Intell.,vol.12,no.7,pp.629-639,1990.[8] R.J.Qian and T.S.Huang,"A 2-D edge detection scheme for general visual processing."Tech.Rep.Beckman Inst.,UIUC,no.UIUC-Bl-AI-RCV-94-04,1994.[9] M.Tabb and N.Ahuja,"Multiscale image segmentation using a recent transformation,”in Proc.ARPA lImage Understand.Workshop,1994,vol. 2.[10] H.D.Tagare and R.J.P.deFigueiredo,"On the localization performance measure and optimal edge detection,"IEEE Trans.Pattern Anal. Machine Intell.,vol.12,no.12,pp.1186-1190,1990.[11] A.L.Yuille and T.A.Poggio,"Scaling theorems for zero crossings." IEEE Trans.Patten Anal.Machine Intell.,vol.PAMI-8,no.1,pp. 16-25，1986.