halcon小结

持更

应用范围

（罗列自官方帮助文档，之后有空了按照需求展开叙述）

1. 安全系统
2. 表面检测
3. 定位
4. 二维测量比较
5. 二维码识别
6. 二维位置定位
7. 二维物体识别
8. 光学字符识别
9. 机器人视觉
10. 交通监视和驾驶辅助系统
11. 三维测量比较
12. 三维物体定位
13. 三维物体识别
14. 特征检测
15. 完整性检测
16. 颜色检测
17. 一维码识别
18. 印刷检测

方法

1. Blob分析 对前景/背景分离后的二值图像，进行连通域提取和标记。核心思想是将一块区域内 灰度突变 的范围找出来。 threshold, connection, union, select_shape 这个用得太多了，就不举例了。

2. Hough转换 霍夫变换，一种使用参数估计作特征提取的技术。结合边缘检测使用，有的规则的边缘，好比近似直线或者圆可能有部分小区域被挡住了，使用霍夫变换能够估计出边缘实际的形状。 举例： 这张图上面的边缘附近有一些特别亮的区域，致使这个边缘检测到的结果会与实际咱们关心的边缘不一致，使用边缘检测结合霍夫变换，能够估计出上边缘的实际状况，近似的是下图中的这条红线： 使用霍夫变换获得边缘线的同时，还能够获得边缘线相对于垂直方向的角度。

   算子多以hough开头

3. 边缘提取

   1. 像素精度 sobel_amp：使用sobel算法求边界，这里用来求边界的卷积模板是已经定义好的3*3模板，若是给大于3的模板尺寸，会自动先用S-2的其余定义的模板对图像作光滑处理。这里求边缘时作卷积在对应位置乘积以后还有一些操做，可选； derivate_gauss：经过求导求边缘，这里的求导方法有多种可选，有的能够用来求垂直边缘，有的求水平边缘，有的都能求出来 edges_image：使用Deriche，Lanser，Shen或者Canny过滤器求边缘，网上关于这些算法究竟是怎么回事的介绍几乎找不到，只能知道有这些选项 edges_color，frei_amp，kirsch_amp， laplace，prewitt_amp，roberts，robinson_amp等等，这些不一样的求边缘算法主要在定义的卷积核不一样上。 举例：
   2. 亚像素精度，精度上比像素精度更高一些，不罗列了，算子名称中多包含contours，sub pix，xld edges_sub_pix：使用Deriche，Lanser，Shen或者Canny过滤器求边缘

4. 变化的模板 1. create_variation_model相关算子。 使用没有问题的图片建立模板，或者使用一些没有问题的图片训练模板，再在目标图像上找匹配，能够用于识别单一的变化不大的物体，可以准确的识别出匹配的图像，经过与模板图像作比对，可以找出缺陷。 直接拿halcon中的图举例： 2. create_shape_model/create_scaled_shape_model相关算子。 3. create_metrology_model相关算子。

5. 定位 主要仍是结合图片上一些已知特征作特征筛选来作定位，或者经过模板匹配来作定位

6. 对焦测距 利用多倍聚焦提取深度 depth_from_focus，同一物体不一样聚焦下的图组成的多通道图片提取深度（是否能够用在对理论上是同一平面的物体检测凹陷或凸起上？这个模型可能只是一个估计出来的模型，是否可以发现细小的凹陷或凸起？须要解决的问题还有怎样一次性快速获取到不一样倍数聚焦下的图片，感受上有点相似于3d建模）

7. 多目立体视觉 须要在摄像机标定获得的参数的基础上作。 经过不彻底相同的角度拍摄的多张标定后的图片重建3d表面，reconstruct_surface_stereo

8. 二维码识别 用于二维图像上的二维码识别和解析，支持五种主流的编码和3种GS1编码模式的二维码。

9. 分类器

   1. 根据内部已经定义好的特征（6大类：颜色，灰度，区域，旋转，缩放，纹理），自动选择合适的特征作训练，训练的对象是属于某一种类的那个区域的特征（相关算子：get_feature_names,calculate_features,create_class_train_data,add_sample_class_train_data,select_feature_set_knn,classify_class_knn等）
   2. 使用各类分类器作分类，须要把模板图片本身分好类，用模板图片作训练，各类分类器的使用都是差很少的，都是create_class_xxx，add_samples_image_class_xxx, train_class_xxx, classify_image_class_gmm。
   3. 二维多通道图像根据两个通道的特征结合起来基于二维直方图作分类
   4. 两张单通道图像基于二维直方图作聚类分割

10. 光度立体法 用多张不一样光源拍摄的同一物体的图片重建物体表面，经过对重建表面后获取到的梯度图像或者反射图像再处理可以相对容易的找出凹凸的缺陷 photometric_stereo 更适合用在表面漫反射的物体上，不适合表面有较强镜面反射的物体上。

11. 光学字符检测和识别

    1. 本身训练并检测须要识别的字符：create_ocv_proj, train_ocv_proj, do_ocv_simple
    2. 使用各类分类器作光学字符检测：create_ocr_class_xxx, write_ocr_trainf, append_ocr_trainf, train_ocr_class_xxx
    3. 根据已有的模型直接检测图片种的字符，已有的模型有多种可选：create_text_model_reader, find_text
    4. 直接作字符检测：select_characters

12. 基于样本的识别 经过一些图片做为样本训练以后再识别同类物体，每张图片是一种物体 create_sample_identifier, add_sample_identifier_object_info, prepare_sample_identifier, train_sample_identifier, apply_sample_identifier, get_sample_identifier_object_info

13. 激光三角测量 运用线结构光，举的例子代码太长了，还待研究。。。

14. 几何测量 角度测量，图上的各类距离测量（这个可能能够用于测量缺陷长度）

15. 几何转换 缩放，旋转，扭曲，平移

16. 快速傅里叶变换 将图片转换到频率域上，使用特定的过滤器作卷积，达到某种效果。可能用到的滤波器：平滑滤波器（gauss filter, binomial filter能够用来抑制细小的噪声），带通滤波器（bandpass filter容许特定的波形经过）等。 在频率域上作处理，去除除了中心点以外的高亮点能够去除图象上的噪声。 处理先后： 处理前频谱图： 处理后频谱图：

17. 轮廓线处理，和边缘有点相似，不过轮廓线通常是亚像素精度的 找轮廓线，分割轮廓线，根据轮廓作图形拟合 gen_contours_skeleton_xld

18. 模板匹配 基于点，灰度值，描述符，相关性，形状，组件的模板匹配，能够处理轻微的变形 参考：http://www.javashuo.com/article/p-nypakgqi-dg.html

19. 偏折术 能够应用于3d建模，适合于表面有反光的物体的建模。具体用法待研究。

20. 拼接 针对不在同一平面的物体或不能一次性拍摄完整的物体，拍摄多张照片后，将这些图像拼接到一个平面上。 例如柱状塑料瓶的包装纸，一个很大的房间的全局图。 这里面用到的一个技术是将坐标转换到世界坐标系中，这个技术也要求摄像机已经作过标定。

21. 三维匹配

    1. 表面变形
    2. 基于表面
    3. 基于形状

22. 摄像机标定 目的是为了创建空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，须要创建摄像机成像的几何模型，求解这个模型的参数。须要求解出摄像头的畸变参数。 通常图像的四边畸变得比较厉害，拍摄的用于标定的图片应尽可能将标定板放在四周的都有一些。

    根据标定后的参数，能够用于校订拍摄到的畸变图片，校订过的图片能够用来作测量等处理。 标定后作校订举例： 校订前： 校订后：

23. 深度学习 处理分类，目标检测，语义分割。halcon中提供了三种预训练好的模型可供再训练。

24. 特征提取及分析 经过提取到区域的中心，孔洞，纹理，离心率，致密性，面积，凸度，等一系列特征作分析

25. 形态学 膨胀，腐蚀，开，闭，区域填充，扩展，连通

26. 一维码识别 一维条形码的检测

27. 运动检测 针对同一场景下的连续拍照，有几种经常使用的手段：

    1. 作光流检测，定位移动的物体
    2. 作图像减法，经过减到的结果检测发生位移的物体
    3. 对两张图片作动态阈值分割，可以找出不一样区域
    4. 作场景流检测，定位

缩写词

1. HNF：Hesse normal form，第一次在hough变换中遇到。
2. ROI：region of interest，感兴趣区域
3. DFF：depth from focus

附录：

1. 已经定义好的过滤器大类：
   1. 算数相关：灰度的加减乘除，乘方，开方，三角函数，正反变换
   2. 位运算
   3. 颜色变换，图像通道处理
   4. 求边缘
   5. 图像加强
   6. 傅里叶变换
   7. 几何变换：缩放，移动，镜像，旋转
   8. 图像修复相关
   9. 寻找线条
   10. 噪声相关：添加噪声
   11. 光流
   12. 角点检测
   13. 场景流
   14. 光滑图像
   15. 提取纹理
   16. 维纳滤波：下降平稳噪声