OpenCV开发笔记（六十五）：红胖子8分钟带你深刻了解ORB特征点（图文并茂+浅显易懂+程序源码）
若该文为原创文章，未经容许不得转载
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客导航：http://www.javashuo.com/article/p-wxwjppoc-mo.html
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/106926496
各位读者，知识无穷而人力有穷，要么改需求，要么找专业人士，要么本身研究
红胖子(红模仿)的博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等）持续更新中…（点击传送门）算法
上一篇：《OpenCV开发笔记（六十四）：红胖子8分钟带你深刻了解SURF特征点（图文并茂+浅显易懂+程序源码）》
下一篇：持续补充中…机器学习
红胖子，来也！
识别除了传统的模板匹配以外就是体征点了，前面介绍了Suft特征点，还有一个传统的就会ORB特征点了。
其实识别的特征点多种多样，既能够本身写也可使用opencv为咱们提供的，通常来讲根据特征点的特性和效率，选择适合咱们场景的特征就能够了。
本篇，介绍ORB特征提取。ide
ORB是ORiented Brief的简称，是briedf算法的改进版，于2011年在《ORB：an fficient alternative to SIFT or SURF》中提出。
ORB算法分为两部分，分别是特征点提取和特征点描述：函数
- 特征提取：由FAST（Features from Accelerated Segment Test）算法发展来的；
- 特征点描述：根据BRIEF（Binary Robust IndependentElementary Features）特征描述算法改进的。
ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上作了改进与优化。听说，ORB算法的速度是sift的100倍，是surf的10倍。学习
该特征描述子是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，组合成一个二进制传，并将这个二进制串做为该特征点的特征描述子。
Brief的速度快，可是使用灰度值做为描述字计算的源头，毫无疑问会有一些显而易见的问题：优化
- 旋转后灰度变了致使没法识别，因其不具有旋转不变形；
- 因为是计算灰度，噪声灰度化则没法去噪，因此对噪声敏感；
- 尺度不一样影响灰度计算，因此也不具有尺度不变形；
ORB是试图使其具有旋转不变性和下降噪声敏感度而提出的。
该步可以提取大量的特征点，可是有很大一部分的特征点的质量不高。从图像中选取一点P，以P为圆心画一个半径为N像素半径的圆。圆周上若是有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点。
ui
通俗来讲就是使用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，以此来筛选出最优的FAST特征点。.net
使用非极大值抑制算法去除临近位置多个特征点的问题。为每个特征点计算出其响应大小。计算方式是特征点P和其周围16个特征点误差的绝对值和。在比较临近的特征点中，保留响应值较大的特征点，删除其他的特征点。code
ORB算法提出使用矩（moment）法来肯定FAST特征点的方向。也就是说经过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心造成一个向量做为该特征点的方向。orm
cv::Ptr<cv::ORB> _pOrb = cv::ORB::create(); std::vector<cv::KeyPoint> keyPoints1; //特征点检测 _pOrb->detect(srcMat, keyPoints1);
static Ptr<ORB> create(int nfeatures=500,
float scaleFactor=1.2f,
int nlevels=8,
int edgeThreshold=31,
int firstLevel=0,
int WTA_K=2,
int scoreType=ORB::HARRIS_SCORE,
int patchSize=31,
int fastThreshold=20);
- 参数一：int类型的nfeatures，用于ORB的，保留最大的关键点数，默认值500；
- 参数二：float类型的scaleFactor，比例因子，大于1时为金字塔抽取比。的等于2表示经典的金字塔，每个下一层的像素比上一层少4倍，可是比例系数太大了将显著下降特征匹配分数。另外一方面，太接近1个比例因子这意味着要覆盖必定的范围，你须要更多的金字塔级别，因此速度会受影响的，默认值1.2f；
- 参数三：int类型的nlevels，nlevels金字塔级别的数目。最小级别的线性大小等于输入图像线性大小/功率（缩放因子，nlevels-第一级），默认值为8；
- 参数四：int类型的edgeThreshold，edgeThreshold这是未检测到功能的边框大小。它应该大体匹配patchSize参数。；
- 参数五：int类型的firstLevel，要将源图像放置到的金字塔级别。之前的图层已填充使用放大的源图像；
- 参数六：int类型的WTA_K，生成定向简短描述符的每一个元素的点数。这个默认值2是指取一个随机点对并比较它们的亮度，因此咱们获得0/1的响应。其余可能的值是3和4。例如，3表示咱们取3随机点（固然，这些点坐标是随机的，可是它们是由预约义的种子，所以简短描述符的每一个元素都是从像素肯定地计算出来的矩形），找到最大亮度点和获胜者的输出索引（0、1或2）。如此输出将占用2位，所以须要一个特殊的汉明距离变量，表示为NORM_HAMMING2（每箱2位）。当WTA_K=4时，咱们取4个随机点计算每一个点bin（也将占用可能值为0、一、2或3的2位）。；
- 参数七：int类型的scoreType，HARRIS_SCORES表示使用HARRIS算法对特征进行排序（分数写入KeyPoint::score，用于保留最佳nfeatures功能）；FAST_SCORE是产生稍微不稳定关键点的参数的替代值，但计算起来要快一点；
- 参数八：int类型的patchSize，定向简短描述符使用的修补程序的大小。固然，在较小的金字塔层特征覆盖的感知图像区域将更大；
- 参数九：int类型的fastThreshold，快速阈值；
void xfeatures2d::SURT::detect( InputArray image,
std::vector<KeyPoint>& keypoints,
InputArray mask=noArray() );
- 参数一：InputArray类型的image，输入cv::Mat；
- 参数二：std::Vector类型的keypoints，检测到的关键点；
- 参数三：InputArray类型的mask，默认为空，指定在何处查找关键点的掩码（可选）。它必须是8位整数感兴趣区域中具备非零值的矩阵。；
void xfeatures2d::SURT::compute( InputArray image,
std::vector<KeyPoint>& keypoints,
OutputArray descriptors );
- 参数一：InputArray类型的image，输入cv::Mat；
- 参数二：std::Vector类型的keypoints，描述符不能为其已删除计算的。有时能够添加新的关键点，例如：SIFT duplicates keypoint有几个主要的方向（每一个方向）；
- 参数三：OutputArray类型的descriptors，计算描述符；
// 该函数结合了detect和compute，参照detect和compute函数参数
void xfeatures2d::SURT::detectAndCompute( InputArray image,
InputArray mask,
std::vector<KeyPoint>& keypoints,
OutputArray descriptors,
bool useProvidedKeypoints=false );
void drawKeypoints( InputArray image,
const std::vector<KeyPoint>& keypoints,
InputOutputArray outImage,
const Scalar& color=Scalar::all(-1),
int flags=DrawMatchesFlags::DEFAULT );
- 参数一：InputArray类型的image，；
- 参数二：std::Vector类型的keypoints，原图的关键点；
- 参数三：InputOutputArray类型的outImage，其内容取决于定义在输出图像。请参阅参数五的标志flag）；
- 参数四：cv::Scalar类型的color，绘制关键点的颜色，默认为Scalar::all(-1)随机颜色，每一个点都是这个颜色，那么随机时，每一个点都是随机的；
- 参数五：int类型的flags，默认为DEFAULT，具体参照DrawMatchesFlags枚举以下：
本源码中包含了“透视变换”，请参照博文《OpenCV开发笔记（五十一）：红胖子8分钟带你深刻了解透视变换（图文并茂+浅显易懂+程序源码）》
根据前面连续三篇的特征点，咱们其实能够猜到了全部的匹配都是这样提取特征点，而后使用一些算法来匹配，至于使用什么特征点提取就是须要开发者根据实际的经验去选取，单一的特征点/多种特征点提取混合/本身写特征点等等多种方式去提取特征点，为后一步的特征点匹配作准备，特征点通用的就到此篇，后续会根据实际开发项目中使用的到随时以新的篇章博文去补充。
《OpenCV开发笔记（六十三）：红胖子8分钟带你深刻了解SIFT特征点（图文并茂+浅显易懂+程序源码）》
《OpenCV开发笔记（六十四）：红胖子8分钟带你深刻了解SURF特征点（图文并茂+浅显易懂+程序源码》
《OpenCV开发笔记（六十五）：红胖子8分钟带你深刻了解ORB特征点（图文并茂+浅显易懂+程序源码）》
void OpenCVManager::testOrbFeatureDetector()
{
QString fileName1 = "13.jpg";
int width = 400;
int height = 300;
cv::Mat srcMat = cv::imread(fileName1.toStdString());
cv::resize(srcMat, srcMat, cv::Size(width, height));
cv::String windowName = _windowTitle.toStdString();
cvui::init(windowName);
cv::Mat windowMat = cv::Mat(cv::Size(srcMat.cols * 2, srcMat.rows * 3),
srcMat.type());
cv::Ptr<cv::ORB> _pObr = cv::ORB::create();
int k1x = 0;
int k1y = 0;
int k2x = 100;
int k2y = 0;
int k3x = 100;
int k3y = 100;
int k4x = 0;
int k4y = 100;
while(true)
{
windowMat = cv::Scalar(0, 0, 0);
cv::Mat mat;
// 原图先copy到左边
mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
cv::Range(srcMat.cols * 0, srcMat.cols * 1));
cv::addWeighted(mat, 0.0f, srcMat, 1.0f, 0.0f, mat);
{
std::vector<cv::KeyPoint> keyPoints1;
std::vector<cv::KeyPoint> keyPoints2;
cvui::printf(windowMat, 0 + width * 1, 10 + height * 0, "k1x");
cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0, 165, &k1x, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 70 + height * 0, "k1y");
cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0, 165, &k1y, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0, "k2x");
cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0, 165, &k2x, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0, "k2y");
cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0, 165, &k2y, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 10 + height * 0 + height / 2, "k3x");
cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0 + height / 2, 165, &k3x, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 70 + height * 0 + height / 2, "k3y");
cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0 + height / 2, 165, &k3y, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0 + height / 2, "k4x");
cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0 + height / 2, 165, &k4x, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0 + height / 2, "k4y");
cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0 + height / 2, 165, &k4y, 0, 100);
std::vector<cv::Point2f> srcPoints;
std::vector<cv::Point2f> dstPoints;
srcPoints.push_back(cv::Point2f(0.0f, 0.0f));
srcPoints.push_back(cv::Point2f(srcMat.cols - 1, 0.0f));
srcPoints.push_back(cv::Point2f(srcMat.cols - 1, srcMat.rows - 1));
srcPoints.push_back(cv::Point2f(0.0f, srcMat.rows - 1));
dstPoints.push_back(cv::Point2f(srcMat.cols * k1x / 100.0f, srcMat.rows * k1y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k2x / 100.0f, srcMat.rows * k2y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k3x / 100.0f, srcMat.rows * k3y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k4x / 100.0f, srcMat.rows * k4y / 100.0f));
cv::Mat M = cv::getPerspectiveTransform(srcPoints, dstPoints);
cv::Mat srcMat2;
cv::warpPerspective(srcMat,
srcMat2,
M,
cv::Size(srcMat.cols, srcMat.rows),
cv::INTER_LINEAR,
cv::BORDER_CONSTANT,
cv::Scalar::all(0));
mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
cv::Range(srcMat.cols * 1, srcMat.cols * 2));
cv::addWeighted(mat, 0.0f, srcMat2, 1.0f, 0.0f, mat);
//特征点检测
_pObr->detect(srcMat, keyPoints1);
//绘制特征点(关键点)
cv::Mat resultShowMat;
cv::drawKeypoints(srcMat,
keyPoints1,
resultShowMat,
cv::Scalar(0, 0, 255),
cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
cv::Range(srcMat.cols * 0, srcMat.cols * 1));
cv::addWeighted(mat, 0.0f, resultShowMat, 1.0f, 0.0f, mat);
//特征点检测
_pObr->detect(srcMat2, keyPoints2);
//绘制特征点(关键点)
cv::Mat resultShowMat2;
cv::drawKeypoints(srcMat2,
keyPoints2,
resultShowMat2,
cv::Scalar(0, 0, 255),
cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
cv::Range(srcMat.cols * 1, srcMat.cols * 2));
cv::addWeighted(mat, 0.0f, resultShowMat2, 1.0f, 0.0f, mat);
cv::imshow(windowName, windowMat);
}
// 更新
cvui::update();
// 显示
// esc键退出
if(cv::waitKey(25) == 27)
{
break;
}
}
}
对应版本号v1.59.0
上一篇：《OpenCV开发笔记（六十四）：红胖子8分钟带你深刻了解SURF特征点（图文并茂+浅显易懂+程序源码）》
下一篇：持续补充中…