本發(fā)明涉及圖像識別技術(shù)領(lǐng)域,尤其涉及一種圖像特征匹配的方法。
背景技術(shù):
隨著信息化和智能化的發(fā)展,越來越多的領(lǐng)域需要進(jìn)行圖像識別處理。圖像特征匹配是圖像識別的一種重要實(shí)現(xiàn)手段。特征匹配是指通過分別提取兩個或多個圖像的特征(點(diǎn)、線、面等特征),對特征進(jìn)行參數(shù)描述,然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法?;谔卣鞯钠ヅ渌幚淼膱D像一般包含的特征有顏色特征、紋理特征、形狀特征、空間位置特征等。
特征匹配首先對圖像進(jìn)行預(yù)處理來提取其高層次的特征,然后建立兩幅圖像之間特征的匹配對應(yīng)關(guān)系,通常使用的特征基元有點(diǎn)特征、邊緣特征和區(qū)域特征。特征匹配需要用到許多諸如矩陣的運(yùn)算、梯度的求解、還有傅立葉變換和泰勒展開等數(shù)學(xué)運(yùn)算。常用的特征提取與匹配方法有:統(tǒng)計(jì)方法、幾何法、模型法、信號處理法、邊界特征法、傅氏形狀描述法、幾何參數(shù)法、形狀不變矩法等。
基于圖像特征的匹配方法可以克服利用圖象灰度信息進(jìn)行匹配的缺點(diǎn),由于圖像的特征點(diǎn)比較像素點(diǎn)要少很多,大大減少了匹配過程的計(jì)算量;同時,特征點(diǎn)的匹配度量值對位置的變化比較敏感,可以大大提高匹配的精確程度;而且,特征點(diǎn)的提取過程可以減少噪聲的影響,對灰度變化,圖像形變以及遮擋等都有較好的適應(yīng)能力。所以基于圖像特征的匹配在實(shí)際中的應(yīng)用越來越廣泛。所使用的特征基元有點(diǎn)特征(明顯點(diǎn),角點(diǎn),邊緣點(diǎn)等),邊緣線段等。
尺度不變特征變換(SIFT,The Scale Invariant Feature Transform),是檢測圖像中具有唯一性、對圖像平移、旋轉(zhuǎn)、縮放、甚至仿射變換(如從不同角度拍攝圖片)保持不變性的圖像局部特征的一種有效方法??梢匀菀椎貞?yīng)用到圖像匹配的應(yīng)用中,如目標(biāo)檢測與識別,或者計(jì)算圖像間的幾何變換。申請?zhí)枮?01310045501.7的中國專利介紹了一種改進(jìn)型SIFT圖像特征匹配算法,通過建立K-dtree二叉樹,用BBF在K-d樹搜索最近鄰特征點(diǎn),歐式距離判別匹配的特征點(diǎn)對,再通過二次匹配后獲取最終的匹配點(diǎn)。申請?zhí)枮?01410392413.9的中國專利通過在目標(biāo)圖像和參考圖像特征點(diǎn)提取和特征描述子構(gòu)建之間加入釣魚(fishing)策略來獲取一定比例的特征點(diǎn),從而實(shí)現(xiàn)特征點(diǎn)匹配。
發(fā)表于西安交通大學(xué)學(xué)報(bào)的論文《一種改進(jìn)的SIFT圖像立體匹配算法》中,作者李丹、孫海濤、王海莉等人提出一種改進(jìn)的立體視覺特征點(diǎn)匹配算法,采用24維特征描述符代替128維特征描述符和引入最小優(yōu)先級隊(duì)列的限制條件和匹配精度更高的馬氏距離判斷兩幅圖像的特征點(diǎn)匹配,縮短了計(jì)算時間,但正確匹配率平均為89.65%,匹配率比較低。
綜上所述,目前大部分圖像特征匹配算法都是在理想的光照環(huán)境下運(yùn)行,一旦脫離這個前提,其匹配效果難以保證;大多沒有考慮比較特殊的環(huán)境,目標(biāo)圖像比較簡單,特征點(diǎn)數(shù)量相對較少,這類算法的魯棒性較差,擴(kuò)展性受到很大限制;在對匹配的特征點(diǎn)進(jìn)行篩選時比較耗時,或者是匹配的準(zhǔn)確度不高,而不能同時滿足低耗時、高匹配率的要求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在解決上面描述的問題。本發(fā)明的一個目的是提供一種解決以上問題中的任何一個的一種圖像特征匹配的方法。具體地,本發(fā)明提供能夠?qū)崿F(xiàn)戶內(nèi)兼戶外環(huán)境下采集的目標(biāo)圖像與模板圖像的準(zhǔn)確匹配,可實(shí)現(xiàn)在采集的圖像中準(zhǔn)確的分割出設(shè)備區(qū)域,魯棒性強(qiáng), 擴(kuò)展性好。。
根據(jù)本發(fā)明的第一方面,提供一種圖像特征匹配的方法,包括如下步驟:
利用尺度不變特征變換SIFT算法提取采集圖像中的采集特征點(diǎn),將采集特征點(diǎn)與模版圖像的模版特征點(diǎn)進(jìn)行匹配,獲取采集圖像和模版圖像二者間匹配的匹配特征點(diǎn);
從采集圖像和模版圖像的每一對匹配特征點(diǎn)的坐標(biāo)差值組成的差值點(diǎn)集合中,篩選出落入以第一極值點(diǎn)為中心且具有第一半徑R的靶心區(qū)域的有效差值點(diǎn),再以篩選出的有效差值點(diǎn)對應(yīng)的成對的匹配特征點(diǎn)作為有效特征點(diǎn);
利用篩選出的有效特征點(diǎn)和計(jì)算獲取的投影變換矩陣,通過坐標(biāo)映射變換算法實(shí)現(xiàn)將模板圖像中的目標(biāo)區(qū)域準(zhǔn)確映射到采集圖像中。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:
采用數(shù)學(xué)形態(tài)學(xué)的開操作對采集圖像進(jìn)行包括用于消除反光光斑和陰影的圖像預(yù)處理。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:
采用自適應(yīng)局部直方圖均衡算法對采集圖像進(jìn)行用于突出圖像細(xì)節(jié)的圖像增強(qiáng)處理。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:采用數(shù)學(xué)形態(tài)學(xué)的開操作對采集圖像進(jìn)行包括用于消除反光光斑和陰影的圖像預(yù)處理;采用自適應(yīng)局部直方圖均衡算法對采集圖像進(jìn)行用于突出圖像細(xì)節(jié)的圖像增強(qiáng)處理。
所述的篩選出落入以第一極值點(diǎn)為中心且具有第一半徑R的靶心區(qū)域的有效差值點(diǎn)步驟,具體分為:
將每一對匹配特征點(diǎn)的坐標(biāo)差值組成的差值點(diǎn)集合中的點(diǎn)置于 二維坐標(biāo)系中;
根據(jù)中心極限定理采用高斯濾波函數(shù)計(jì)算得出該差值點(diǎn)集合的第一極值點(diǎn);
在所述二維坐標(biāo)系中確定具有第一半徑R且以所述第一極值點(diǎn)為中心的靶心區(qū)域;
篩選出落入靶心區(qū)域的差值點(diǎn)作為有效差值點(diǎn)。
本發(fā)明的圖像匹配方法成功實(shí)現(xiàn)巡檢圖像與模板圖像的匹配,實(shí)現(xiàn)了戶內(nèi)兼戶外環(huán)境下采集的目標(biāo)圖像與模板圖像的準(zhǔn)確匹配,可實(shí)現(xiàn)在采集的圖像中準(zhǔn)確的分割出設(shè)備區(qū)域,繼而為后續(xù)的目標(biāo)識別提供強(qiáng)有力的圖像支持。同時經(jīng)驗(yàn)證這種方法對室外環(huán)境下獲取的圖像間的匹配也是適用的,因此這種算法具有很好的普適性和魯棒性。
參照附圖來閱讀對于示例性實(shí)施例的以下描述,本發(fā)明的其他特性特征和優(yōu)點(diǎn)將變得清晰。
附圖說明
并入到說明書中并且構(gòu)成說明書的一部分的附圖示出了本發(fā)明的實(shí)施例,并且與描述一起用于解釋本發(fā)明的原理。在這些附圖中,類似的附圖標(biāo)記用于表示類似的要素。下面描述中的附圖是本發(fā)明的一些實(shí)施例,而不是全部實(shí)施例。對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,可以根據(jù)這些附圖獲得其他的附圖。
圖1示例性地示出了本發(fā)明的圖像特征匹配方法的流程圖;
圖2示例性地示出了圖像特征匹配方法的具體實(shí)施例的流程圖;
圖3示例性地示出了圖像特征匹配方法的具體實(shí)施例的中獲取的巡檢采集圖像;
圖4示例性地示出了巡檢采集圖像去除光斑和陰影的灰度圖像;
圖5示例性地示出了灰度圖像進(jìn)行自適應(yīng)直方圖均衡化圖像增 強(qiáng)的圖像;
圖6示例性地示出了采用RANSAC算法篩選特征點(diǎn)后的匹配情況示意圖;
圖7示例性地示出了靶心命中特征點(diǎn)篩選后的匹配情況示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。需要說明的是,在不沖突的情況下,本申請中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。
本發(fā)明主要是為了解決閥廳巡檢機(jī)器人對換流站閥廳內(nèi)設(shè)備的巡檢圖像與模板圖像間的匹配,該特殊的應(yīng)用環(huán)境下獲取的圖像存在光照不均或陰影的干擾,同時閥廳內(nèi)的設(shè)備結(jié)構(gòu)復(fù)雜且密集,針對這種特殊情況需提高匹配的精確度和匹配的速度。
如圖1所示,本發(fā)明所提供的一種圖像特征匹配的方法,包括如下步驟:
S101:獲取匹配特征點(diǎn);
利用尺度不變特征變換SIFT算法提取采集圖像中的采集特征點(diǎn),將采集特征點(diǎn)與模版圖像的模版特征點(diǎn)進(jìn)行匹配,獲取采集圖像和模版圖像二者間匹配的匹配特征點(diǎn);
S102:獲取有效特征點(diǎn);
從采集圖像和模版圖像的每一對匹配特征點(diǎn)的坐標(biāo)差值組成的差值點(diǎn)集合中,篩選出落入以第一極值點(diǎn)為中心且具有第一半徑R的圓中的差值點(diǎn),再以篩選出的差值點(diǎn)對應(yīng)的成對的匹配特征點(diǎn)作為 有效特征點(diǎn);
S103:根據(jù)有效特征點(diǎn)進(jìn)行目標(biāo)區(qū)域映射;
利用篩選出的有效特征點(diǎn)和計(jì)算獲取的投影變換矩陣,通過坐標(biāo)映射變換算法實(shí)現(xiàn)將模板圖像中的目標(biāo)區(qū)域準(zhǔn)確映射到采集圖像中。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:采用數(shù)學(xué)形態(tài)學(xué)的開操作對采集圖像進(jìn)行包括用于消除反光光斑和陰影的圖像預(yù)處理。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:采用自適應(yīng)局部直方圖均衡算法對采集圖像進(jìn)行用于突出圖像細(xì)節(jié)的圖像增強(qiáng)處理。
所述方法在提取采集圖像中的采集特征點(diǎn)之前進(jìn)一步包括如下步驟:采用數(shù)學(xué)形態(tài)學(xué)的開操作對采集圖像進(jìn)行包括用于消除反光光斑和陰影的圖像預(yù)處理;采用自適應(yīng)局部直方圖均衡算法對預(yù)處理后的采集圖像進(jìn)行用于突出圖像細(xì)節(jié)的圖像增強(qiáng)處理。
如圖2所示,進(jìn)一步給出了本發(fā)明的圖像特征匹配的方法的具體實(shí)施例的流程圖。
步驟S201,獲取巡檢時的采集圖像;
步驟S202,使用數(shù)學(xué)形態(tài)學(xué)“開”操作對巡檢圖像進(jìn)行預(yù)處理,以消除反光光斑和陰影的影響;
步驟S203,使用自適應(yīng)局部直方圖均衡算法對圖像信息進(jìn)行增強(qiáng),以突出圖像中的細(xì)節(jié)部分;
步驟S204,利用SIFT算法提取巡檢圖像中的采集特征點(diǎn),并與設(shè)備中的模板圖像進(jìn)行匹配,獲取二者間匹配的匹配特征點(diǎn);
步驟205,采用靶心命中過濾所述匹配特征點(diǎn)的方式對獲取到的匹配特征點(diǎn)進(jìn)行篩選,獲取有效特征點(diǎn),以提高配準(zhǔn)概率、縮短計(jì)算的時耗;
步驟206,依靠命中靶心的有效特征點(diǎn)和計(jì)算獲取的投影變換矩陣,通過坐標(biāo)映射變換算法實(shí)現(xiàn)將模板中目標(biāo)區(qū)域準(zhǔn)確的映射到巡檢獲得的采集圖像中。
其中,步驟S205的具體實(shí)現(xiàn)步驟又可分為:
第一步,對SIFT算法提取的兩幅圖像中的每一對匹配特征點(diǎn)分別進(jìn)行X坐標(biāo)、Y坐標(biāo)相減,得到差值坐標(biāo){d1(dx1,dy1),…,dn(dxn,dyn)}的集合D;
第二步,集合D中的點(diǎn)在二維坐標(biāo)系中,成正態(tài)分布;
第三步,根據(jù)中心極限定理,采用高斯濾波函數(shù)計(jì)算得出集合D的極值di(dxi,dyi);
第四步,在集合D所在的二維坐標(biāo)系中,以極值di(dxi,dyi)為中心做半徑為R的靶心,凡集合D中的點(diǎn)落在靶心區(qū)域之內(nèi)的均為有效命中,得到集合D的子集
第五步,集合所對應(yīng)的成對的匹配特征點(diǎn)為有效特征點(diǎn)(即為命中靶心的特征點(diǎn)),則過濾了其它誤差較大的特征點(diǎn)。
進(jìn)一步地,在具體實(shí)施中,圖3是巡檢機(jī)器人采集到的巡檢圖像,圖4是對巡檢圖像通過預(yù)處理去除光斑和陰影后的灰度圖像;圖5是對灰度圖像進(jìn)行自適應(yīng)直方圖均衡化后的增強(qiáng)圖像。
進(jìn)一步地,作為對比,圖6給出了采用RANSAC算法對特征點(diǎn)進(jìn)行篩選后匹配的結(jié)果,圖7給出了本發(fā)明解決方案中提出的靶心命中特征點(diǎn)的方式對特征點(diǎn)進(jìn)行篩選后匹配的結(jié)果,顯然后者篩選的特征點(diǎn)比前者少,繼而縮短了算法時間,同時兼具了匹配的準(zhǔn)確性。
進(jìn)一步地,表1給出了RANSAC算法與靶心命中方式效率數(shù)據(jù)。
表1.RANSAC算法與靶心命中方式效率比較
表1是在同一軟硬環(huán)境和相同的運(yùn)算條件下,分別采用RANSAC算法、靶心命中方式篩選特征點(diǎn)來實(shí)現(xiàn)巡檢圖像與模板圖像進(jìn)行匹配的結(jié)果比較。從對比數(shù)據(jù)可以看出,發(fā)明的圖像特征匹配方法所提出的特征點(diǎn)匹配算法在成功率與時效方面都優(yōu)于傳統(tǒng)的RANSAC算法,適用于圖像的特征匹配應(yīng)用,尤其適合巡檢機(jī)器人在閥廳中進(jìn)行巡檢任務(wù)的場景應(yīng)用。
本發(fā)明經(jīng)對巡檢機(jī)器人在換流站閥廳采集的大量圖像進(jìn)行測試,證實(shí)此圖像匹配方法較之前的方法大大提高了圖像特征匹配的準(zhǔn)確率和縮短了時耗,增強(qiáng)了巡檢機(jī)器人的續(xù)航能力。本發(fā)明的圖像匹配方法成功實(shí)現(xiàn)巡檢圖像與模板圖像的匹配,可實(shí)現(xiàn)在采集的圖像中準(zhǔn)確的分割出設(shè)備區(qū)域,繼而為后續(xù)的目標(biāo)識別提供強(qiáng)有力的圖像支持。同時經(jīng)驗(yàn)證這種方法對室外環(huán)境下獲取的圖像間的匹配也是適用的,因此這種算法具有很好的普適性和魯棒性。
本發(fā)明實(shí)現(xiàn)了戶內(nèi)兼戶外環(huán)境下采集的目標(biāo)圖像與模板圖像的準(zhǔn)確匹配,繼而獲取準(zhǔn)確的設(shè)備區(qū)域,技術(shù)關(guān)鍵點(diǎn)是采集圖像的預(yù)處理、圖像特征點(diǎn)的匹配、可適應(yīng)室內(nèi)室外的環(huán)境。
上面描述的內(nèi)容可以單獨(dú)地或者以各種方式組合起來實(shí)施,而這些變型方式都在本發(fā)明的保護(hù)范圍之內(nèi)。
最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制。盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。