若該文為原創文章，未經允許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/106926496
各位讀者，知識無窮而人力有窮，要麼改需求，要麼找專業人士，要麼自己研究
紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中…（點擊傳送門）
OpenCV開發專欄（點擊傳送門）
上一篇：《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深入了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼）》
下一篇：持續補充中…
前言
紅胖子，來也！
識別除了傳統的模板匹配之外就是體征點了，前面介紹了Suft特徵點，還有一個傳統的就會ORB特徵點了。
其實識別的特徵點多種多樣，既可以自己寫也可以使用opencv為我們提供的，一般來說根據特徵點的特性和效率，選擇適合我們場景的特徵就可以了。
本篇，介紹ORB特徵提取。
Demo
ORB特徵點
概述
ORB是ORiented Brief的簡稱，是briedf算法的改進版，於2011年在《ORB：an fficient alternative to SIFT or SURF》中提出。
ORB算法分為兩部分，分別是特徵點提取和特徵點描述：
- 特徵提取：由FAST（Features from Accelerated Segment Test）算法發展來的；
- 特徵點描述：根據BRIEF（Binary Robust IndependentElementary Features）特徵描述算法改進的。
ORB特徵是將FAST特徵點的檢測方法與BRIEF特徵描述子結合起來，並在它們原來的基礎上做了改進與優化。據說，ORB算法的速度是sift的100倍，是surf的10倍。
Brief描述子
該特徵描述子是在特徵點附近隨機選取若干點對，將這些點對的灰度值的大小，組合成一個二進制串，組合成一個二進制傳，並將這個二進制串作為該特徵點的特徵描述子。
Brief的速度快，但是使用灰度值作為描述字計算的源頭，毫無疑問會有一些顯而易見的問題：
- 旋轉后灰度變了導致無法識別，因其不具備旋轉不變形；
- 由於是計算灰度，噪聲灰度化則無法去噪，所以對噪聲敏感；
- 尺度不同影響灰度計算，所以也不具備尺度不變形；
ORB是試圖使其具備旋轉不變性和降低噪聲敏感度而提出的。
特徵檢測步驟
步驟一：使用brief算子的方式初步提取。
該步能夠提取大量的特徵點，但是有很大一部分的特徵點的質量不高。從圖像中選取一點P，以P為圓心畫一個半徑為N像素半徑的圓。圓周上如果有連續n個像素點的灰度值比P點的灰度值大或者小，則認為P為特徵點。
步驟二：機器學習的方法篩選最優特徵點。
通俗來說就是使用ID3算法訓練一個決策樹，將特徵點圓周上的16個像素輸入決策樹中，以此來篩選出最優的FAST特徵點。
步驟三：非極大值抑制去除局部較密集特徵點。
使用非極大值抑制算法去除臨近位置多個特徵點的問題。為每一個特徵點計算出其響應大小。計算方式是特徵點P和其周圍16個特徵點偏差的絕對值和。在比較臨近的特徵點中，保留響應值較大的特徵點，刪除其餘的特徵點。
步驟四：使用金字塔來實現多尺度不變形。
步驟五：使用圖像的矩判斷特徵點的旋轉不變性
ORB算法提出使用矩（moment）法來確定FAST特徵點的方向。也就是說通過矩來計算特徵點以r為半徑範圍內的質心，特徵點坐標到質心形成一個向量作為該特徵點的方向。
ORB類的使用
cv::Ptr<cv::ORB> _pOrb = cv::ORB::create();
std::vector<cv::KeyPoint> keyPoints1;
//特徵點檢測
_pOrb->detect(srcMat, keyPoints1);
ORB相關函數原型
static Ptr<ORB> create(int nfeatures=500,
float scaleFactor=1.2f,
int nlevels=8,
int edgeThreshold=31,
int firstLevel=0,
int WTA_K=2,
int scoreType=ORB::HARRIS_SCORE,
int patchSize=31,
int fastThreshold=20);
- 參數一：int類型的nfeatures，用於ORB的，保留最大的關鍵點數，默認值500；
- 參數二：float類型的scaleFactor，比例因子，大於1時為金字塔抽取比。的等於2表示經典的金字塔，每一個下一層的像素比上一層少4倍，但是比例係數太大了將顯著降低特徵匹配分數。另一方面，太接近1個比例因子這意味着要覆蓋一定的範圍，你需要更多的金字塔級別，所以速度會受影響的，默認值1.2f；
- 參數三：int類型的nlevels，nlevels金字塔級別的數目。最小級別的線性大小等於輸入圖像線性大小/功率（縮放因子，nlevels-第一級），默認值為8；
- 參數四：int類型的edgeThreshold，edgeThreshold這是未檢測到功能的邊框大小。它應該大致匹配patchSize參數。；
- 參數五：int類型的firstLevel，要將源圖像放置到的金字塔級別。以前的圖層已填充使用放大的源圖像；
- 參數六：int類型的WTA_K，生成定向簡短描述符的每個元素的點數。這個默認值2是指取一個隨機點對並比較它們的亮度，所以我們得到0/1的響應。其他可能的值是3和4。例如，3表示我們取3隨機點（當然，這些點坐標是隨機的，但是它們是由預定義的種子，因此簡短描述符的每個元素都是從像素確定地計算出來的矩形），找到最大亮度點和獲勝者的輸出索引（0、1或2）。如此輸出將佔用2位，因此需要一個特殊的漢明距離變量，表示為NORM_HAMMING2（每箱2位）。當WTA_K=4時，我們取4個隨機點計算每個點bin（也將佔用可能值為0、1、2或3的2位）。；
- 參數七：int類型的scoreType，HARRIS_SCORES表示使用HARRIS算法對特徵進行排序（分數寫入KeyPoint::score，用於保留最佳nfeatures功能）；FAST_SCORE是產生稍微不穩定關鍵點的參數的替代值，但計算起來要快一點；
- 參數八：int類型的patchSize，定向簡短描述符使用的修補程序的大小。當然，在較小的金字塔層特徵覆蓋的感知圖像區域將更大；
- 參數九：int類型的fastThreshold，快速閾值；
void xfeatures2d::SURT::detect( InputArray image,
std::vector<KeyPoint>& keypoints,
InputArray mask=noArray() );
- 參數一：InputArray類型的image，輸入cv::Mat；
- 參數二：std::Vector類型的keypoints，檢測到的關鍵點；
- 參數三：InputArray類型的mask，默認為空，指定在何處查找關鍵點的掩碼（可選）。它必須是8位整數感興趣區域中具有非零值的矩陣。；
void xfeatures2d::SURT::compute( InputArray image,
std::vector<KeyPoint>& keypoints,
OutputArray descriptors );
- 參數一：InputArray類型的image，輸入cv::Mat；
- 參數二：std::Vector類型的keypoints，描述符不能為其已刪除計算的。有時可以添加新的關鍵點，例如：SIFT duplicates keypoint有幾個主要的方向（每個方向）；
- 參數三：OutputArray類型的descriptors，計算描述符；
// 該函數結合了detect和compute，參照detect和compute函數參數
void xfeatures2d::SURT::detectAndCompute( InputArray image,
InputArray mask,
std::vector<KeyPoint>& keypoints,
OutputArray descriptors,
bool useProvidedKeypoints=false );
繪製關鍵點函數原型
void drawKeypoints( InputArray image,
const std::vector<KeyPoint>& keypoints,
InputOutputArray outImage,
const Scalar& color=Scalar::all(-1),
int flags=DrawMatchesFlags::DEFAULT );
- 參數一：InputArray類型的image，；
- 參數二：std::Vector類型的keypoints，原圖的關鍵點；
- 參數三：InputOutputArray類型的outImage，其內容取決於定義在輸出圖像。請參閱參數五的標誌flag）；
- 參數四：cv::Scalar類型的color，繪製關鍵點的顏色，默認為Scalar::all(-1)隨機顏色，每個點都是這個顏色，那麼隨機時，每個點都是隨機的；
- 參數五：int類型的flags，默認為DEFAULT，具體參照DrawMatchesFlags枚舉如下：
相關博客
本源碼中包含了“透視變換”，請參照博文《OpenCV開發筆記（五十一）：紅胖子8分鐘帶你深入了解透視變換（圖文並茂+淺顯易懂+程序源碼）》
特徵點總結
根據前面連續三篇的特徵點，我們其實可以猜到了所有的匹配都是這樣提取特徵點，然後使用一些算法來匹配，至於使用什麼特徵點提取就是需要開發者根據實際的經驗去選取，單一的特徵點/多種特徵點提取混合/自己寫特徵點等等多種方式去提取特徵點，為後一步的特徵點匹配做準備，特徵點通用的就到此篇，後續會根據實際開發項目中使用的到隨時以新的篇章博文去補充。
《OpenCV開發筆記（六十三）：紅胖子8分鐘帶你深入了解SIFT特徵點（圖文並茂+淺顯易懂+程序源碼）》
《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深入了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼》
《OpenCV開發筆記（六十五）：紅胖子8分鐘帶你深入了解ORB特徵點（圖文並茂+淺顯易懂+程序源碼）》
Demo源碼
void OpenCVManager::testOrbFeatureDetector()
{
QString fileName1 = "13.jpg";
int width = 400;
int height = 300;
cv::Mat srcMat = cv::imread(fileName1.toStdString());
cv::resize(srcMat, srcMat, cv::Size(width, height));
cv::String windowName = _windowTitle.toStdString();
cvui::init(windowName);
cv::Mat windowMat = cv::Mat(cv::Size(srcMat.cols * 2, srcMat.rows * 3),
srcMat.type());
cv::Ptr<cv::ORB> _pObr = cv::ORB::create();
int k1x = 0;
int k1y = 0;
int k2x = 100;
int k2y = 0;
int k3x = 100;
int k3y = 100;
int k4x = 0;
int k4y = 100;
while(true)
{
windowMat = cv::Scalar(0, 0, 0);
cv::Mat mat;
// 原圖先copy到左邊
mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
cv::Range(srcMat.cols * 0, srcMat.cols * 1));
cv::addWeighted(mat, 0.0f, srcMat, 1.0f, 0.0f, mat);
{
std::vector<cv::KeyPoint> keyPoints1;
std::vector<cv::KeyPoint> keyPoints2;
cvui::printf(windowMat, 0 + width * 1, 10 + height * 0, "k1x");
cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0, 165, &k1x, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 70 + height * 0, "k1y");
cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0, 165, &k1y, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0, "k2x");
cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0, 165, &k2x, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0, "k2y");
cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0, 165, &k2y, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 10 + height * 0 + height / 2, "k3x");
cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0 + height / 2, 165, &k3x, 0, 100);
cvui::printf(windowMat, 0 + width * 1, 70 + height * 0 + height / 2, "k3y");
cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0 + height / 2, 165, &k3y, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0 + height / 2, "k4x");
cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0 + height / 2, 165, &k4x, 0, 100);
cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0 + height / 2, "k4y");
cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0 + height / 2, 165, &k4y, 0, 100);
std::vector<cv::Point2f> srcPoints;
std::vector<cv::Point2f> dstPoints;
srcPoints.push_back(cv::Point2f(0.0f, 0.0f));
srcPoints.push_back(cv::Point2f(srcMat.cols - 1, 0.0f));
srcPoints.push_back(cv::Point2f(srcMat.cols - 1, srcMat.rows - 1));
srcPoints.push_back(cv::Point2f(0.0f, srcMat.rows - 1));
dstPoints.push_back(cv::Point2f(srcMat.cols * k1x / 100.0f, srcMat.rows * k1y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k2x / 100.0f, srcMat.rows * k2y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k3x / 100.0f, srcMat.rows * k3y / 100.0f));
dstPoints.push_back(cv::Point2f(srcMat.cols * k4x / 100.0f, srcMat.rows * k4y / 100.0f));
cv::Mat M = cv::getPerspectiveTransform(srcPoints, dstPoints);
cv::Mat srcMat2;
cv::warpPerspective(srcMat,
srcMat2,
M,
cv::Size(srcMat.cols, srcMat.rows),
cv::INTER_LINEAR,
cv::BORDER_CONSTANT,
cv::Scalar::all(0));
mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
cv::Range(srcMat.cols * 1, srcMat.cols * 2));
cv::addWeighted(mat, 0.0f, srcMat2, 1.0f, 0.0f, mat);
//特徵點檢測
_pObr->detect(srcMat, keyPoints1);
//繪製特徵點(關鍵點)
cv::Mat resultShowMat;
cv::drawKeypoints(srcMat,
keyPoints1,
resultShowMat,
cv::Scalar(0, 0, 255),
cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
cv::Range(srcMat.cols * 0, srcMat.cols * 1));
cv::addWeighted(mat, 0.0f, resultShowMat, 1.0f, 0.0f, mat);
//特徵點檢測
_pObr->detect(srcMat2, keyPoints2);
//繪製特徵點(關鍵點)
cv::Mat resultShowMat2;
cv::drawKeypoints(srcMat2,
keyPoints2,
resultShowMat2,
cv::Scalar(0, 0, 255),
cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
cv::Range(srcMat.cols * 1, srcMat.cols * 2));
cv::addWeighted(mat, 0.0f, resultShowMat2, 1.0f, 0.0f, mat);
cv::imshow(windowName, windowMat);
}
// 更新
cvui::update();
// 显示
// esc鍵退出
if(cv::waitKey(25) == 27)
{
break;
}
}
}
工程模板：對應版本號v1.59.0
對應版本號v1.59.0
上一篇：《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深入了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼）》
下一篇：持續補充中…
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/106926496
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】
※教你寫出一流的銷售文案?
※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益
※回頭車貨運收費標準
※別再煩惱如何寫文案,掌握八大原則!
※超省錢租車方案