專(zhuān)利名稱(chēng)：匹配圖像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及數(shù)字圖像處理領(lǐng)域。更具體地，本發(fā)明涉及一種將圖像與另一圖像匹配的方法和系統(tǒng)。
背景技術(shù)：
圖像匹配是用于計(jì)算機(jī)視覺(jué)、對(duì)象識(shí)別、運(yùn)動(dòng)跟蹤、3D建模等中的基本技術(shù)。實(shí)施圖像匹配用來(lái)檢查兩個(gè)圖像是否具有相同內(nèi)容。該兩個(gè)圖像不需要完全相同。例如，可旋轉(zhuǎn)一個(gè)圖像或從不同視角使用一個(gè)圖像，在與另一個(gè)圖像比較時(shí)，或者其可以是另一個(gè)圖像的縮放版本。進(jìn)一步地，可在不同的光照條件下使用該兩個(gè)圖像。盡管在該兩個(gè)圖像中有這樣的變化，他們包含相同的內(nèi)容，場(chǎng)景或?qū)ο?。因此，使用圖像匹配技術(shù)來(lái)有效地匹配圖像。常見(jiàn)圖像匹配算法利用了對(duì)象或場(chǎng)景的圖像包含多個(gè)特征點(diǎn)的事實(shí)。特征點(diǎn)是在圖像中的特定點(diǎn)，其對(duì)于在圖像旋轉(zhuǎn)、成比例、視角或光照環(huán)境中的變化而言是健壯的。這意味著這些特征點(diǎn)將經(jīng)常出現(xiàn)在兩個(gè)圖像中，即使該兩個(gè)圖像在較早描述的方式中不同。 因此，該圖像匹配算法的第一階段是找到在該圖像中的這些特征點(diǎn)。通常，構(gòu)建圖像金字塔用來(lái)確定該圖像的特征點(diǎn)。該圖像金字塔是該圖像的尺度空間表示，即，其包含了各種金字塔圖像，其每一個(gè)是以特定尺度的圖像表示。該尺度空間表示使得該圖像匹配算法來(lái)匹配在整個(gè)尺度上不同的圖像。在確定了該圖像金字塔中該金字塔圖像的特征點(diǎn)后，基于在該特征點(diǎn)處的本地圖像梯度來(lái)確定該特征點(diǎn)的取向。這些取向?qū)τ谛D(zhuǎn)提供了該特征點(diǎn)的不變性。該特征向量表示為在局部變形和照明中的顯著變化作準(zhǔn)備，即，該特征向量對(duì)于在光照環(huán)境中的變形和變化而言是不變的。該特征點(diǎn)，他們的取向和該金字塔圖像的特征向量形成了該圖像的完全表示。這些表示可在圖像中比較以找到匹配圖像?；趫D像的特征點(diǎn)匹配，一對(duì)圖像相匹配。可將該對(duì)圖像確定為匹配，當(dāng)充分?jǐn)?shù)量的特征點(diǎn)與另一個(gè)圖像的相應(yīng)特征點(diǎn)在視覺(jué)上和幾何上都匹配時(shí)。相互接近的特征向量在視覺(jué)上相同，該對(duì)應(yīng)特征點(diǎn)被稱(chēng)為‘假定對(duì)應(yīng)’或‘對(duì)應(yīng)’。 一般地，該假定對(duì)應(yīng)由統(tǒng)計(jì)算法來(lái)處理以測(cè)試幾何上的一致。一般地，對(duì)于圖像的幾何匹配，所用的統(tǒng)計(jì)算法是隨機(jī)取樣一致性(RANSAC)算法，盡管可使用RANSAC類(lèi)似算法的其他變體或其他統(tǒng)計(jì)算法。在RANSAC中，一小組假定對(duì)應(yīng)被隨機(jī)取樣。此后，使用這些取樣特征點(diǎn)來(lái)生成幾何變換。在生成該變換后，確定了適合該模型的假定對(duì)應(yīng)。適合該模型的假定對(duì)應(yīng)在幾何上是一致的并被稱(chēng)為‘內(nèi)窗層’。此后確定了該內(nèi)窗層的總數(shù)。重復(fù)上述步驟，直到重復(fù)/試驗(yàn)的次數(shù)大于預(yù)定閾值或該圖像的內(nèi)窗層數(shù)量足夠多到將圖像確定為匹配。該RANSAC算法返回具有對(duì)應(yīng)于該模型的最高數(shù)量?jī)?nèi)窗層的模型。與使用該類(lèi)型方法相關(guān)的一個(gè)問(wèn)題在于，該統(tǒng)計(jì)算法所生成的該組可能變換可能大于該組物理有效變換。例如，該變換可能翻動(dòng)矩形的一邊，導(dǎo)致不可能獲取堅(jiān)固對(duì)象的旋轉(zhuǎn)。在另一實(shí)施例中，其可能翻動(dòng)該整個(gè)矩形，僅僅通過(guò)拍攝該對(duì)象的倒影來(lái)實(shí)現(xiàn)變換。這可能引導(dǎo)不正確的圖像匹配。進(jìn)一步地，這可能導(dǎo)致無(wú)用的計(jì)算，因?yàn)檫M(jìn)行了該變換所生成的參數(shù)/點(diǎn)的分析，即使該變換本身可能是物理上無(wú)效或不切實(shí)際的。在該假定對(duì)應(yīng)中的每一個(gè)特征點(diǎn)具有與其相關(guān)的取向。在需要旋轉(zhuǎn)不變性的應(yīng)用中，對(duì)于成為有效的變換，更可取的應(yīng)當(dāng)保留在假定對(duì)應(yīng)中兩個(gè)特征點(diǎn)的取向。使用RANSAC 的許多應(yīng)用并不考慮這個(gè)限制。即使確定了該假定對(duì)應(yīng)是緊密匹配，一般地，該假定對(duì)應(yīng)單獨(dú)無(wú)法確保該圖像對(duì)形成最后的匹配。假定對(duì)應(yīng)僅僅給出在該圖像對(duì)特征點(diǎn)之間視覺(jué)相似性相關(guān)的信息。這一般不足以確定在該圖像對(duì)之間的最后匹配。存在一種可能，兩個(gè)圖像的對(duì)應(yīng)區(qū)域可能生成多個(gè)假定對(duì)應(yīng)。例如，如果圖像特征在超過(guò)一個(gè)尺度處顯著，可生成多個(gè)特征點(diǎn)，也許形成多個(gè)假定對(duì)應(yīng)。選擇這些假定對(duì)應(yīng)之一以生成另一個(gè)假定對(duì)應(yīng)將同樣成為內(nèi)窗層的該變換方式，因而創(chuàng)建了錯(cuò)誤意義的信息，即用該變換的匹配的該兩個(gè)圖像是真正匹配。移走一組對(duì)應(yīng)特征點(diǎn)的所有除了一個(gè)，先驗(yàn)是錯(cuò)誤的方式，因?yàn)閷?duì)應(yīng)不同查詢(xún)圖像可能不存在多個(gè)假定對(duì)應(yīng)，以及決不告訴哪一個(gè)是最好，因?yàn)榭赡懿淮嬖诙鄠€(gè)被錯(cuò)誤解釋的假定對(duì)應(yīng)。換句話說(shuō)，僅僅使用假定對(duì)應(yīng)一般無(wú)法提供足夠信息以便建立在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的清楚匹配。而且，該兩個(gè)圖像可共享該圖像的元件或一小部分，類(lèi)似公司或其他實(shí)體的標(biāo)記， 會(huì)成為可能。該圖像同樣可能共享以相同字體的文本片段。這些共享元件可能創(chuàng)建了足夠的內(nèi)窗層用來(lái)宣布圖像匹配，而實(shí)際上該兩個(gè)圖像不相同。進(jìn)一步地，可能存在的情況是， 查詢(xún)圖像可能具有多個(gè)圖像對(duì)象，其中每一個(gè)表示在分開(kāi)的數(shù)據(jù)庫(kù)圖像中。該數(shù)據(jù)庫(kù)圖像是多個(gè)該查詢(xún)圖像需要進(jìn)行匹配的圖像。存在對(duì)一種克服上述限制的改善的圖像匹配方法的需求。發(fā)明概述本發(fā)明的一個(gè)目的是提供一種將查詢(xún)圖像匹配于多個(gè)圖像的方法、系統(tǒng)和計(jì)算機(jī)
程序產(chǎn)品。本發(fā)明的一個(gè)目的是提供一種確定幾何一致對(duì)應(yīng)的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)本發(fā)明的一個(gè)目的是提供一種生成物理有效變換的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)本發(fā)明的一個(gè)目的是提供一種將來(lái)自不同視角和/或光照環(huán)境所捕獲的同一對(duì)象或場(chǎng)景的兩個(gè)或多個(gè)圖像匹配的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。本發(fā)明的各個(gè)實(shí)施方案提供了一種圖像匹配的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。首先，該假定對(duì)應(yīng)圖像，即具有充分多數(shù)量的假定對(duì)應(yīng)的圖像，從多個(gè)圖像處確定，通過(guò)在該多個(gè)圖像和該查詢(xún)圖像之間尋找假定對(duì)應(yīng)。此后，在對(duì)該圖像確定進(jìn)行變換之前，實(shí)施拓?fù)涞葍r(jià)測(cè)試用來(lái)避免任意物理上的無(wú)效變換。在該拓?fù)涞葍r(jià)測(cè)試中，確定了在該假定對(duì)應(yīng)圖像和該查詢(xún)圖像中的假定對(duì)應(yīng)子組的特征點(diǎn)之間的拓?fù)涞葍r(jià)。如果該假定對(duì)應(yīng)的子組在該拓?fù)涞葍r(jià)測(cè)試中失敗，將其丟棄并選擇假定對(duì)應(yīng)的新子組用來(lái)建立該變換。而且，在從該變換處獲取的特征點(diǎn)上實(shí)施取向一致測(cè)試用來(lái)進(jìn)一步測(cè)試該變換的有效性。此后，通過(guò)使用該假定對(duì)應(yīng)的子組實(shí)施運(yùn)動(dòng)估計(jì)來(lái)確定候選匹配。符合該變換的在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的假定對(duì)應(yīng)確定為內(nèi)窗層。
此后，在該圖像的內(nèi)窗層上實(shí)施覆蓋測(cè)試。在該覆蓋測(cè)試中，測(cè)量該查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像二者的內(nèi)窗層所圍起的區(qū)域百分比。將該圖像丟棄作為候選匹配。當(dāng)該兩個(gè)百分比的最大值小于預(yù)定閾值時(shí)。此后，基于一組條件來(lái)識(shí)別出該最后的圖像匹配。該第一條件是該候選圖像的內(nèi)窗層數(shù)量大于內(nèi)窗層的預(yù)定數(shù)量。進(jìn)一步地，該第二條件是與該候選匹配相關(guān)的均方根(RMS)誤差小于預(yù)定閾值。將滿足這些測(cè)試的圖像返回作為最后匹配圖像。可能存在的情況是，超過(guò)一個(gè)圖像滿足這些測(cè)試。在這樣的情況中，來(lái)自該覆蓋測(cè)試的測(cè)量用于確定是否匹配多個(gè)數(shù)據(jù)庫(kù)圖像。如果該圖像的相同區(qū)域匹配多個(gè)數(shù)據(jù)庫(kù)圖像，以該最后匹配圖像包含的內(nèi)窗層數(shù)量的遞減測(cè)序?qū)⑦@些圖像返回。


以下將結(jié)合附圖對(duì)本發(fā)明的各個(gè)實(shí)施方案進(jìn)行描述，該附圖被提供用來(lái)描述而并不限定本發(fā)明，其中相同名稱(chēng)表示相同元件，其中圖1描述了其中可實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施方案的圖像環(huán)境；圖2是描述匹配圖像方法的流程圖，依照本發(fā)明的實(shí)施方案；圖3是描述匹配圖像方法的流程圖，依照本發(fā)明的另一實(shí)施方案；圖4是描述匹配圖像方法的流程圖，依照本發(fā)明的另一實(shí)施方案；圖5，6和7是描繪匹配圖像的具體方法的流程圖，依照本發(fā)明的實(shí)施方案；和圖8是描述可用于匹配圖像的系統(tǒng)的方框圖，依照本發(fā)明的各個(gè)實(shí)施方案。技術(shù)人員應(yīng)當(dāng)明白，為簡(jiǎn)潔和清楚目的對(duì)所述圖中元件進(jìn)行描述，以有助于提高對(duì)本發(fā)明實(shí)施方案的理解。發(fā)明詳述本發(fā)明的各個(gè)實(shí)施方案涉及一種匹配圖像的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。該方法使用了在圖像中出現(xiàn)的特征點(diǎn)用于表示該圖像。該方法的第一步是確定在查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像之間的假定對(duì)應(yīng)。假定對(duì)應(yīng)是視覺(jué)上彼此相同的查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像中的一對(duì)特征向量。在確定了該假定對(duì)應(yīng)之后，在假定對(duì)應(yīng)的子組上實(shí)施拓?fù)涞葍r(jià)測(cè)試以避免形成物理上無(wú)效的變換。在確定了該變換之后，實(shí)施取向一致測(cè)試。為該圖像之一中的該假定對(duì)應(yīng)子組內(nèi)的特征點(diǎn)確定偏移點(diǎn)。將每一個(gè)偏移點(diǎn)以該特征點(diǎn)取向的方向從其對(duì)應(yīng)特征點(diǎn)處置換?；趶脑摷俣▽?duì)應(yīng)子組中特征點(diǎn)處獲取的特征點(diǎn)取向的方向?qū)⒃撟儞Q丟棄，如果正匹配的圖像中任意一個(gè)和其偏移點(diǎn)不同于由預(yù)定限制所估計(jì)的取向。隨后，使用滿足該拓?fù)涞葍r(jià)測(cè)試的假定對(duì)應(yīng)的子組來(lái)實(shí)施運(yùn)動(dòng)估計(jì)。實(shí)施該運(yùn)動(dòng)估計(jì)以確定在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間幾何上一致的假定對(duì)應(yīng)。基于一組條件將該最后的匹配圖像返回。圖1描述了環(huán)境100，其中可實(shí)現(xiàn)本發(fā)明的各個(gè)實(shí)施方案。本發(fā)明可被用于計(jì)算機(jī)視覺(jué)、對(duì)象識(shí)別、運(yùn)動(dòng)跟蹤和3D建模的領(lǐng)域中。該圖像可以是不同格式，例如JPEG、GIF、 BMP等。進(jìn)一步地，這些圖像的質(zhì)量和分辨率從一個(gè)應(yīng)用到另一個(gè)應(yīng)用可變化。同樣，該將被匹配的圖像不需要完全相同，但是可以是彼此的變換版本。因此，該圖像匹配算法需要該圖像以特定格式表示使得該圖像能夠被相互匹配。環(huán)境100包括查詢(xún)圖像102和圖像l(Ma-n的數(shù)據(jù)庫(kù)。搜索該數(shù)據(jù)庫(kù)以尋找匹配查詢(xún)圖像102的圖像(或多個(gè)圖像)。該匹配的圖像不需要與查詢(xún)圖像102完全相同，但是應(yīng)當(dāng)包含與查詢(xún)圖像102相同的內(nèi)容。例如，數(shù)據(jù)庫(kù)104可能包含來(lái)自雜志的平面廣告的復(fù)制，而查詢(xún)圖像102是該相同廣告的拍攝圖像。本發(fā)明的圖像匹配算法在圖像l(Ma-n中尋找查詢(xún)圖像102的匹配，其在以上所述方式中可能不同。通過(guò)根據(jù)特征點(diǎn)和特征向量表示每一個(gè)圖像的方式來(lái)操作該圖像匹配算法。該圖像的特征點(diǎn)、取向和特征向量用于確定在該圖像之間的匹配。本發(fā)明描述了一種匹配圖像的方法和系統(tǒng)。圖2是描述匹配圖像方法的流程圖，依照本發(fā)明的實(shí)施方案。圖2給出了將更可取地實(shí)施在圖像上用于將該圖像與另一個(gè)圖像匹配的主要步驟的概要。隨后結(jié)合圖5，6和 7具體地對(duì)圖2的每一個(gè)步驟進(jìn)行描述。在將該查詢(xún)圖像與該數(shù)據(jù)庫(kù)圖像匹配之前，確定了與該圖像相關(guān)的特征點(diǎn)和特征向量?；谔卣鼽c(diǎn)、該特征點(diǎn)的取向和他們對(duì)應(yīng)特征向量來(lái)對(duì)這些圖像進(jìn)行匹配。在步驟202處，在該查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像的特征點(diǎn)之間尋找假定對(duì)應(yīng)。與他們對(duì)應(yīng)的特征點(diǎn)相關(guān)的特征向量用來(lái)確定該圖像之間的假定對(duì)應(yīng)。一個(gè)假定對(duì)應(yīng)是一對(duì)特征點(diǎn)，一個(gè)來(lái)自于該查詢(xún)圖像，一個(gè)來(lái)自于該數(shù)據(jù)庫(kù)圖像，其在視覺(jué)上彼此相同。可通過(guò)尋找在該查詢(xún)圖像的特征向量和數(shù)據(jù)庫(kù)圖像的特征向量之間的點(diǎn)積來(lái)確定該假定對(duì)應(yīng)。當(dāng)他們特征向量的點(diǎn)積大小大于預(yù)定值時(shí)，該對(duì)特征點(diǎn)是假定對(duì)應(yīng)。當(dāng)該特征向量具有單元長(zhǎng)度時(shí)，該點(diǎn)積的大小等于在該特征向量之間角度的余弦值，并因此測(cè)量他們的緊密度。此后， 在步驟204處，基于在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的假定對(duì)應(yīng)來(lái)選擇假定對(duì)應(yīng)圖像。 更具體地，基于在步驟202所確定假定對(duì)應(yīng)的數(shù)量和在每一個(gè)數(shù)據(jù)庫(kù)圖像中發(fā)現(xiàn)的假定對(duì)應(yīng)的數(shù)量來(lái)將圖像選作為假定對(duì)應(yīng)圖像。換句話說(shuō)，假定對(duì)應(yīng)圖像應(yīng)當(dāng)具有足夠數(shù)量的假定對(duì)應(yīng)，當(dāng)與該數(shù)據(jù)庫(kù)圖像比較時(shí)。在一實(shí)施方案中，假定對(duì)應(yīng)圖像應(yīng)當(dāng)具有至少9個(gè)假定對(duì)應(yīng)。在將圖像選作為假定對(duì)應(yīng)圖像之后，生成變換以解釋在該兩個(gè)圖像之間的相關(guān)運(yùn)動(dòng)。 進(jìn)一步地，對(duì)應(yīng)圖像的子組用于確定該變換的系數(shù)。在步驟206處，檢查該假定對(duì)應(yīng)子組的拓?fù)涞葍r(jià)。如果不具有拓?fù)涞葍r(jià)則丟棄該假定對(duì)應(yīng)的子組。如果兩組對(duì)應(yīng)點(diǎn)拓?fù)涞葍r(jià)，給出兩條線，一個(gè)穿過(guò)一組中的一對(duì)點(diǎn)，另一個(gè)穿過(guò)另一組中的相應(yīng)點(diǎn)，剩余對(duì)應(yīng)點(diǎn)處于每一條線的同一邊(上面或下面)上。這樣做是為了避免具有物理上無(wú)效變換的計(jì)算。在檢查了該假定對(duì)應(yīng)的拓?fù)涞葍r(jià)后，使用在步驟208處的假定對(duì)應(yīng)的該子組來(lái)實(shí)施運(yùn)動(dòng)估計(jì)。為了實(shí)施運(yùn)動(dòng)估計(jì)，確定了在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像(反之也可)之間假定對(duì)應(yīng)的子組中的變換映射特征點(diǎn)。將該變換用于在該查詢(xún)圖像中的假定對(duì)應(yīng)的特征點(diǎn)，并對(duì)應(yīng)于在該數(shù)據(jù)庫(kù)圖像中的該特征點(diǎn)來(lái)獲取變換后的點(diǎn)。進(jìn)一步地，該變換將該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的相對(duì)運(yùn)動(dòng)(旋轉(zhuǎn)、比例變換等)進(jìn)行編碼。將假定對(duì)應(yīng)確定為內(nèi)窗層，當(dāng)該變換后的點(diǎn)在該特征點(diǎn)的預(yù)定限制內(nèi)。在為該數(shù)據(jù)庫(kù)圖像確定了該內(nèi)窗層之后，在步驟210處識(shí)別處最后的匹配。該最后的匹配是其內(nèi)窗層數(shù)量大于預(yù)定閾值的數(shù)據(jù)庫(kù)圖像。該內(nèi)窗層的總數(shù)對(duì)應(yīng)于在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的視覺(jué)和幾何匹配都具有的特征點(diǎn)數(shù)量。 在本發(fā)明的實(shí)施方案中，該預(yù)定閾值是9。進(jìn)一步地，與該數(shù)據(jù)庫(kù)圖像相關(guān)的均方根(RMS) 誤差或近似誤差應(yīng)更可取地小于預(yù)定閾值。在本發(fā)明的一實(shí)施方案中，我們?cè)谒袃?nèi)窗層上計(jì)算最后的變換，計(jì)算在每一個(gè)點(diǎn)的實(shí)際位置和期望位置之間的平方距離，計(jì)算這些平方距離的平均值，將該平方距離的平均值的平方根與該圖像寬度的5%的預(yù)定閾值相比較。圖3是描述匹配圖像方法的流程圖，依照本發(fā)明的另一實(shí)施方案。圖3給出了將更可取地實(shí)施在圖像上用于將該圖像與另一個(gè)圖像匹配的主要步驟的概要。隨后結(jié)合圖5， 6和7具體地對(duì)圖3的每一個(gè)步驟進(jìn)行描述。進(jìn)一步地，本發(fā)明不限于圖3中所述的步驟。
7本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚和理解，圖3所示步驟中多種變化是可能的，用于提高該圖像匹配算法的效率和準(zhǔn)確性。在步驟302處，如結(jié)合圖2所述的一樣，確定在該查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像的特征點(diǎn)之間的假定對(duì)應(yīng)。在使用該假定對(duì)應(yīng)確定了假定對(duì)應(yīng)的圖像后，如結(jié)合圖2所述的一樣，在步驟304處使用假定對(duì)應(yīng)的子組生成變換。如果在該假定對(duì)應(yīng)的子組中存在取向的不一致，在步驟304處計(jì)算的變換將認(rèn)作為無(wú)效。因此，對(duì)于將成為有效的變換，與每一個(gè)特征點(diǎn)相關(guān)的取向應(yīng)保留在特定容許限度之內(nèi)，在該變換用在每一個(gè)特征點(diǎn)上后。為了確定該變換的有效性，在步驟306處實(shí)施取向一致測(cè)試。在從步驟304處所獲取的假定對(duì)應(yīng)上實(shí)施該測(cè)試。為了實(shí)施該取向一致測(cè)試，以該特征點(diǎn)的取向的方向確定了在該假定對(duì)應(yīng)中出現(xiàn)的特征點(diǎn)的偏移點(diǎn)。用于該測(cè)試的特征點(diǎn)或?qū)儆谠摬樵?xún)圖像或?qū)儆谠摂?shù)據(jù)庫(kù)圖像。此后，將該變換用于該偏移點(diǎn)和該特征點(diǎn)。從該變換點(diǎn)處確定該圖像中特征點(diǎn)的期望取向。當(dāng)該特征偏移點(diǎn)的期望取向由于超過(guò)預(yù)定容許限度而不同于步驟304所獲取的特征點(diǎn)的實(shí)際取向時(shí)，該變換是無(wú)效的。該限度必須合理大小，因?yàn)閳D像的透視變形將不準(zhǔn)確地預(yù)留取向。 在本發(fā)明的實(shí)施方案中，使用了 0. 1弧度的限度。將該特征偏移點(diǎn)的期望取向與步驟304 所獲得的特征點(diǎn)的實(shí)際取向相比較。如果該取向的一個(gè)或多個(gè)在該限度之外，丟棄該變形。 否則，如結(jié)合圖2上述的一樣，在步驟308中進(jìn)行運(yùn)動(dòng)估計(jì)。當(dāng)實(shí)施運(yùn)動(dòng)估計(jì)時(shí)，可在運(yùn)動(dòng)估計(jì)所發(fā)現(xiàn)的內(nèi)窗層上再次使用該取向一致測(cè)試。如果內(nèi)窗層不滿足該取向一致測(cè)試，將其丟棄。在確定了該內(nèi)窗層的取向一致后，如結(jié)合圖2所述的一樣，在步驟310處識(shí)別最后的匹配圖像。圖4是描述匹配圖像方法的流程圖，依照本發(fā)明的另一實(shí)施方案。圖4給出了將更可取地實(shí)施在圖像上用于將該圖像與另一個(gè)圖像匹配的主要步驟的概要。隨后結(jié)合圖5， 6和7具體地對(duì)圖4的每一個(gè)步驟進(jìn)行描述。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚和理解，圖4所示步驟中多種變化是可能的，用于提高該圖像匹配算法的效率和準(zhǔn)確性。在步驟402處，基于在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像的特征點(diǎn)之間確定的假定對(duì)應(yīng)，尋找假定對(duì)應(yīng)圖像。已經(jīng)結(jié)合圖2對(duì)該步驟進(jìn)行了具體描述。在確定了該假定對(duì)應(yīng)后， 從該假定對(duì)應(yīng)處隨機(jī)取樣假定對(duì)應(yīng)的子組。使用該假定對(duì)應(yīng)的子組，如結(jié)合圖2所述的一樣，在步驟404處實(shí)施運(yùn)動(dòng)估計(jì)?；趶牟襟E402處確定的假定對(duì)應(yīng)來(lái)實(shí)施該運(yùn)動(dòng)估計(jì)以確定該內(nèi)窗層組。在實(shí)施運(yùn)動(dòng)估計(jì)之后，在步驟406處確定該數(shù)據(jù)庫(kù)圖像的覆蓋。該覆蓋測(cè)試確定了該數(shù)據(jù)庫(kù)圖像的內(nèi)窗層的覆蓋。在該覆蓋測(cè)試中，為該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像都確定了相對(duì)于該圖像區(qū)域的該內(nèi)窗層區(qū)域的比例。在本發(fā)明的一實(shí)施方案中，該內(nèi)窗層的區(qū)域是由該內(nèi)窗層的凸包形成的多邊形區(qū)域。該凸包是封閉該所有內(nèi)窗層的最小多邊形。在本發(fā)明的另一實(shí)施方案中，該內(nèi)窗層的區(qū)域是封閉該所有內(nèi)窗層的最小軸對(duì)齊邊界矩形的區(qū)域。這樣的矩形應(yīng)當(dāng)具有平行(水平或垂直)于該圖像邊界的一邊。當(dāng)該兩個(gè)比例的最大值小于預(yù)定閾值時(shí)，拒絕該數(shù)據(jù)庫(kù)圖像。實(shí)施該覆蓋測(cè)試以確定該整個(gè)數(shù)據(jù)庫(kù)圖像正匹配于該查詢(xún)圖像，僅替代正比較圖像中出現(xiàn)的共同元件。在實(shí)施該覆蓋測(cè)試之后，如結(jié)合圖2所述的一樣，在步驟406處識(shí)別最后的匹配圖像。圖5，6和7描繪了描述匹配圖像的具體方法的流程圖。為了將該查詢(xún)圖像匹配于其他圖像，以特征點(diǎn)、該特征點(diǎn)取向和相應(yīng)特征向量的形式來(lái)表示這些圖像?？稍趫D像中比較這樣的表示以找到匹配圖像。在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間獨(dú)立地實(shí)施該圖像匹配方法。但是，為了減少歧義，將該圖像匹配算法的以下說(shuō)明就單個(gè)數(shù)據(jù)庫(kù)圖像而言進(jìn)行解釋。為了匹配該兩個(gè)圖像，識(shí)別出在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的假定對(duì)應(yīng)。假定對(duì)應(yīng)是在彼此視覺(jué)相同的查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像中的一對(duì)特征點(diǎn)。在步驟502處，計(jì)算在該查詢(xún)圖像的特征向量和該數(shù)據(jù)庫(kù)圖像的特征向量之間的點(diǎn)積?？上喑藘蓚€(gè)矩陣來(lái)進(jìn)行在該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像中特征向量的點(diǎn)積計(jì)算，一個(gè)矩陣的行對(duì)應(yīng)一個(gè)圖像的特征向量，另一個(gè)矩陣的行對(duì)應(yīng)另一個(gè)圖像的特征向量。點(diǎn)積是對(duì)單元向量之間的歐幾里得距離的快速估算。在步驟504處，大于預(yù)定大小的點(diǎn)積指示了哪一對(duì)特征向量是假定對(duì)應(yīng)。在本發(fā)明的一實(shí)施方案中，該預(yù)定大小是0. 93。可將一個(gè)圖像的特征向量涉及到多個(gè)假定對(duì)應(yīng)中。 對(duì)該現(xiàn)象的一個(gè)合理理由是，對(duì)應(yīng)于該特征向量的特征點(diǎn)是通用的，例如在黑背景上的90 度白色相框。如果將特征向量涉及到太多的假定對(duì)應(yīng)中，其將降低實(shí)施運(yùn)動(dòng)估計(jì)的能力，因?yàn)槟切┘俣▽?duì)應(yīng)中最多一個(gè)是正確的。這是因?yàn)樵揜ANSAC算法(運(yùn)動(dòng)估計(jì)算法)依靠將成為內(nèi)窗層的該對(duì)應(yīng)的某些百分比，以及如果該對(duì)應(yīng)的實(shí)際百分比為低，其變得非常難于隨機(jī)地選擇僅僅由內(nèi)窗層構(gòu)成的子組。在本發(fā)明的一實(shí)施方案中，不再考慮對(duì)涉及在超過(guò) 6個(gè)假定對(duì)應(yīng)中的特征向量進(jìn)行估計(jì)。在步驟506中，在該數(shù)據(jù)庫(kù)圖像的假定對(duì)應(yīng)的數(shù)量上實(shí)施檢查。將該假定對(duì)應(yīng)的數(shù)量與預(yù)定閾值比較。如果該數(shù)據(jù)庫(kù)圖像的假定預(yù)定的數(shù)量小于預(yù)定閾值，在步驟508處將該數(shù)據(jù)庫(kù)圖像丟棄。更可取地，該閾值應(yīng)當(dāng)至少是用于在步驟510中所選子組的假定對(duì)應(yīng)數(shù)量和在步驟524中需要確認(rèn)匹配的內(nèi)窗層數(shù)量中的較大者，該閾值可以同樣基于在其他數(shù)據(jù)庫(kù)圖像中發(fā)現(xiàn)的假定對(duì)應(yīng)數(shù)量以避免對(duì)不可能是該查詢(xún)圖像的匹配的圖像進(jìn)行計(jì)算。該步驟確保了計(jì)算開(kāi)銷(xiāo)大的運(yùn)動(dòng)估計(jì)不實(shí)施于比許多其他圖像具有更少對(duì)應(yīng)的圖像。在確定了該假定對(duì)應(yīng)和決定尋求哪些圖像后，將運(yùn)動(dòng)估計(jì)實(shí)施于這些假定匹配圖像上。在該運(yùn)動(dòng)估計(jì)的處理中，生成了幾何上的變換?；谠撟儞Q將該查詢(xún)圖像的特征點(diǎn)映射到該數(shù)據(jù)庫(kù)圖像的特征點(diǎn)。為本發(fā)明所選擇的變換是單應(yīng)性。單應(yīng)性是對(duì)該查詢(xún)圖像的旋轉(zhuǎn)、比例化和縮短進(jìn)行編碼的變換。從步驟510到516中提供了該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的運(yùn)動(dòng)估計(jì)說(shuō)明。在步驟510處，從步驟506處所獲取的假定對(duì)應(yīng)隨機(jī)選擇假定對(duì)應(yīng)的一個(gè)子組。在本發(fā)明的實(shí)施方案中，該子組可包含4個(gè)被隨機(jī)取樣的假定對(duì)應(yīng)，因?yàn)?個(gè)假定對(duì)應(yīng)中的最小量對(duì)于生成單應(yīng)性是必須的。在步驟512處，將拓?fù)涞葍r(jià)測(cè)試實(shí)施于該假定對(duì)應(yīng)的子組上。兩組點(diǎn)是拓?fù)涞葍r(jià)的，如果對(duì)于通過(guò)在兩組中任意其他點(diǎn)的任意點(diǎn)所拉伸的任意光線而言，該剩余點(diǎn)或者在該光線的左邊或者在該光線的右邊。作為處理拓?fù)涞葍r(jià)測(cè)試中的第一步，在該圖像之一中的兩個(gè)特征點(diǎn)與直線連接，作為在另一個(gè)圖像中的對(duì)應(yīng)點(diǎn)。選擇另一個(gè)對(duì)應(yīng)，計(jì)算從該查詢(xún)圖像中特征點(diǎn)到該查詢(xún)圖像中該線的標(biāo)記距離。為該數(shù)據(jù)庫(kù)圖像進(jìn)行相同的計(jì)算。如果該兩個(gè)標(biāo)記不同，該假定對(duì)應(yīng)的子組非拓?fù)涞葍r(jià)。如果該兩個(gè)標(biāo)記相同，測(cè)試另一個(gè)對(duì)應(yīng)。但是，相框情況可能發(fā)生，當(dāng)該兩個(gè)對(duì)應(yīng)點(diǎn)位于他們各自線上或非常接近于他們。在該情況中，根據(jù)該線實(shí)施測(cè)試用來(lái)確定該三個(gè)點(diǎn)的順序(生成該線的兩個(gè)點(diǎn)加上被測(cè)試的點(diǎn))。如果該點(diǎn)具有參照該線的相同熟悉，該對(duì)應(yīng)點(diǎn)是拓?fù)涞葍r(jià)的。如果該假定對(duì)應(yīng)的子組失敗于該拓?fù)涞葍r(jià)測(cè)試，導(dǎo)致物理上的無(wú)效變換，因此將在步驟514中將其丟棄，并在步驟510中選擇假定對(duì)應(yīng)的一個(gè)新的子組。當(dāng)該假定對(duì)應(yīng)的子組通過(guò)該拓?fù)涞葍r(jià)測(cè)試時(shí)，在從步驟510處所獲取的假定對(duì)應(yīng)子組上在步驟516處實(shí)施該運(yùn)動(dòng)估計(jì)。該運(yùn)動(dòng)估計(jì)的步驟生成變換。該變換用于將該查詢(xún)圖像的特征點(diǎn)映射到該數(shù)據(jù)庫(kù)圖像的特征點(diǎn)。為本發(fā)明所選擇的變換是單應(yīng)性。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，可同樣使用該變換而非單應(yīng)性以處理運(yùn)動(dòng)估計(jì)。例如，從三個(gè)假定對(duì)應(yīng)的取樣子組處生成的仿射變換，可用于運(yùn)動(dòng)估計(jì)。校正在該假定對(duì)應(yīng)的子組中的假定對(duì)應(yīng)以將他們的質(zhì)心放在(0，0)處，以及離起源處^的平均距離。這些點(diǎn)是同類(lèi)的并具有該形式|x ^ j，其中W= 1。這樣處理是使得該計(jì)算在數(shù)字上穩(wěn)定，通過(guò)估計(jì)一個(gè)自由度所需的計(jì)算。在校正了該假定對(duì)應(yīng)之后，從假定對(duì)應(yīng)處創(chuàng)建兩個(gè)限制。將這些限制表示為兩行的矩陣
"0 0 0 -W2R V, P1I21 ^2 1 _ W2P1 0 0 0 X2P1其中P1 = [X1 Υι W1]和己=[x2 y2 W2]是在假定對(duì)應(yīng)中的兩個(gè)點(diǎn)。該4個(gè)假定對(duì)應(yīng)創(chuàng)建了 8X9的矩陣。該矩陣的奇異值分解(SVD)的最右的奇異向量是在由上到下順序中該單應(yīng)性的系數(shù)。這些系數(shù)將把該一個(gè)圖像中的4個(gè)特征點(diǎn)映射到在另一個(gè)圖像中的特征點(diǎn)。在步驟516處所確定的單應(yīng)性可能是拓?fù)溆行У?，但是該特征點(diǎn)所強(qiáng)加的取向限制可能使其不切實(shí)際。對(duì)于可行的該單應(yīng)性，與每一個(gè)特征點(diǎn)相關(guān)的取向應(yīng)當(dāng)保留在特定容許限度之內(nèi)，在已經(jīng)將該單應(yīng)性應(yīng)用于每一個(gè)特征點(diǎn)之后。為了確定該單應(yīng)性的可行性， 在步驟518處實(shí)施取向一致測(cè)試。將該測(cè)試實(shí)施于從步驟510所獲取的假定對(duì)應(yīng)上。在該取向一致測(cè)試中，在該假定對(duì)應(yīng)的子組中從該圖像之一處的特征點(diǎn)的偏移點(diǎn)以該特征點(diǎn)取向的方向來(lái)確定。此后，將該單應(yīng)性應(yīng)用于這些偏移點(diǎn)。從在另一圖像中特征點(diǎn)和他們對(duì)應(yīng)變換的偏移點(diǎn)之間的位移處獲取在該圖像中特征點(diǎn)的期望取向。該單應(yīng)性是不切實(shí)際的， 當(dāng)在應(yīng)用該單應(yīng)性后獲取的該特征點(diǎn)的期望取向，由于超過(guò)預(yù)定容許限度而不同于該特征點(diǎn)的實(shí)際取向時(shí)。在這樣的情況中，在步驟514處丟棄該假定對(duì)應(yīng)的子組，并在步驟510處選擇新的子組。在一實(shí)施方案中，該預(yù)定容許限度是0.1弧度。由于該取向測(cè)試沒(méi)有對(duì)該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像之間的透視變形很好地進(jìn)行說(shuō)明，大的限度是必要的。在步驟520處，將從該點(diǎn)的偏移處所獲得的特征點(diǎn)的取向與從步驟518處所獲得的特征點(diǎn)的取向進(jìn)行比較。如果在應(yīng)用該變換之后，該特征點(diǎn)的取向未保留一致，該單應(yīng)性被認(rèn)為不切實(shí)際。在這樣的情況中，在步驟514處將該假定對(duì)應(yīng)的子組丟棄，并在步驟510 處選擇假定對(duì)應(yīng)的一個(gè)新子組以生成新的變換。在步驟522處從該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像中假定對(duì)應(yīng)的特征點(diǎn)處計(jì)算內(nèi)窗層。 內(nèi)窗層是通過(guò)單應(yīng)性彼此映射的假定對(duì)應(yīng)。該內(nèi)窗層的數(shù)量是對(duì)該兩個(gè)圖像之間匹配的測(cè)量。在計(jì)算該內(nèi)窗層之前，確定了該單應(yīng)性的條件數(shù)。在理論上，僅僅需要具有3階的3X3 矩陣的單應(yīng)性。但是，為了該算法的數(shù)字穩(wěn)定性。需要成為妥善調(diào)整矩陣的更強(qiáng)限制。為該最大奇異值對(duì)該最小奇異值的比值的條件數(shù)，應(yīng)當(dāng)小于107。此后，將假定對(duì)應(yīng)確定為可能的內(nèi)窗層，當(dāng)在每一個(gè)圖像單應(yīng)性之下的他們期望值和該實(shí)際特征點(diǎn)之間的距離在預(yù)定限度之內(nèi)時(shí)。如果P1和P2是一對(duì)對(duì)應(yīng)特征點(diǎn)，將該變換H應(yīng)用于該前向和反向兩個(gè)方向用來(lái)確定該期望特征點(diǎn)位置Hpi和H—、。將這些期望特征點(diǎn)重新校正以將他們的w組件作為 1。此后，計(jì)算該Hpi-P2和P1-H-1P2W L2-正方形標(biāo)準(zhǔn)。如果這些差的總和小于預(yù)定閾值，該假定對(duì)應(yīng)P1和P2是可能的內(nèi)窗層。在本發(fā)明的實(shí)施方案中，該預(yù)定閾值是0. 01。在確定了該可能的內(nèi)窗層之后，較早所述的取向一致測(cè)試實(shí)施在該可能的內(nèi)窗層之上。將不滿足該取向一致測(cè)試的可能的內(nèi)窗層丟棄，并將剩下的內(nèi)窗層確定為該數(shù)據(jù)庫(kù)圖像的內(nèi)窗層。這些內(nèi)窗層用于使用最少正方形匹配來(lái)計(jì)算最后的單應(yīng)性。該單應(yīng)性用于映射在該圖像對(duì)之間的點(diǎn)，并且確定了與該數(shù)據(jù)庫(kù)圖像相關(guān)的該均方根(RMS)誤差或估算誤差。在建立了該內(nèi)窗層之后，在步驟5Μ處在為該變換所發(fā)現(xiàn)內(nèi)窗層總數(shù)和該數(shù)據(jù)庫(kù)圖像變換中內(nèi)窗層總數(shù)之間進(jìn)行比較。如果該變換具有超過(guò)迄今為止最佳發(fā)現(xiàn)結(jié)果的內(nèi)窗層，根據(jù)步驟5 保留該變換和其內(nèi)窗層。否則，將其丟棄并在步驟510處選擇假定對(duì)應(yīng)的新的子組。在步驟5 處，關(guān)于是否繼續(xù)該運(yùn)動(dòng)估計(jì)階段作出決定。如果已經(jīng)進(jìn)行了足夠多次試驗(yàn)，該算法繼續(xù)。在本發(fā)明的實(shí)施方案中，使用500次試驗(yàn)?？商鎿Q地，如果迄今為止發(fā)現(xiàn)的最佳變換中內(nèi)窗層數(shù)量是假定對(duì)應(yīng)數(shù)量的足夠高的百分比，該統(tǒng)計(jì)算法可決定將不可能發(fā)現(xiàn)更好的變換，其中該運(yùn)動(dòng)估計(jì)階段很快地終止。在步驟530處，將該數(shù)據(jù)庫(kù)圖像選作為可能的匹配，當(dāng)與該圖像相關(guān)內(nèi)窗層的數(shù)量大于預(yù)定閾值時(shí)。該預(yù)定閾值可能是8個(gè)內(nèi)窗層。此后，在步驟532處檢查該可能匹配的均方根(冊(cè)幻誤差或估算誤差。如果該RMS誤差等于或超過(guò)預(yù)定限度，該處理返回到步驟508，并丟棄該數(shù)據(jù)庫(kù)圖像。在本發(fā)明的一實(shí)施方案中，該預(yù)定RMS誤差限度可能是該數(shù)據(jù)庫(kù)圖像寬度的2.5%。但是，如果該可能匹配的RMS誤差或估算誤差小于該預(yù)定限度，則在步驟534處計(jì)算該可能匹配的內(nèi)窗層的覆蓋。在該覆蓋測(cè)試中，測(cè)量該數(shù)據(jù)庫(kù)和該查詢(xún)圖像二者的內(nèi)窗層所圈起的區(qū)域百分比。該覆蓋測(cè)試用來(lái)避免在該查詢(xún)和數(shù)據(jù)庫(kù)圖像之間僅僅共享該圖像一小部分如標(biāo)記或具有相同字體的文本的情況。將覆蓋定義為該內(nèi)窗層組所圈起的區(qū)域?qū)Ρ仍搱D像區(qū)域的比例?？墒褂脭?shù)個(gè)實(shí)施方案用來(lái)計(jì)算圈起該內(nèi)窗層組的多邊形。在一實(shí)施方案中，X-和y-坐標(biāo)的最小值和最大值用于形成邊界矩形。在另一實(shí)施方案中，計(jì)算該內(nèi)窗層的凸包。如果將圈起該查詢(xún)圖像和數(shù)據(jù)庫(kù)圖像的內(nèi)窗層的多邊形區(qū)域分布標(biāo)注SAm 和Apd，以及將該查詢(xún)圖像和該數(shù)據(jù)庫(kù)圖像的區(qū)域分布標(biāo)注為Atl和Ad，可將該覆蓋C定義為
r n ^j^pq ^pdC = max———ο更可取地，該覆蓋C應(yīng)當(dāng)大于預(yù)定閾值以確定該整個(gè)圖像正被匹配而不是僅僅該圖像的一部分。在步驟536處，將該覆蓋與該預(yù)定覆蓋閾值比較。在本發(fā)明的實(shí)施方案中， 該預(yù)定覆蓋閾值可能是0.3。在步驟538處，通過(guò)所有上述測(cè)試的候選數(shù)據(jù)庫(kù)圖像成為最后的匹配。在步驟MO 處，對(duì)是否存在任意更多的數(shù)據(jù)庫(kù)圖像進(jìn)行檢查。如果存在一些剩下的圖像，則從步驟504 處開(kāi)始重復(fù)該相同程序?？赡艽嬖谶@種情況，將滿足該所有要求的超過(guò)一個(gè)圖像確定為最后的匹配。在該情況中，在步驟542處將該最后的匹配以該內(nèi)窗層數(shù)量的遞減順序進(jìn)行分
11類(lèi)。在步驟544處，將從542處的最后匹配的分類(lèi)列表劃分以對(duì)付該查詢(xún)圖像包含多個(gè)數(shù)據(jù)庫(kù)圖像的情況。我們考查該最后的匹配并將圈起其的內(nèi)窗層的多邊形與圈起最后匹配分類(lèi)列表的當(dāng)前序列的頭部(第一元件)的內(nèi)窗層的多邊形進(jìn)行比較。如果該最后匹配多邊形和該序列頭部多邊形的交叉區(qū)域相對(duì)于該兩個(gè)多邊形軸較小者的區(qū)域的比例大于預(yù)定閾值，將該兩個(gè)匹配認(rèn)定為大體上重疊，并將該最后匹配添加給該序列。如果該最后匹配多邊形大體上不與任意序列頭部多邊形重疊，該最后匹配成為新序列的頭部。以這種方式，可將占據(jù)該圖像不相交區(qū)域的多個(gè)圖像匹配上報(bào)，與他們的位置一起。如果僅僅能夠?qū)⒁粋€(gè)匹配返回給該終端用戶，可使用最接近該圖像中心的序列頭部。圖8是描述可用于匹配圖像的系統(tǒng)元件的方框圖，依照本發(fā)明的各個(gè)實(shí)施方案。 該系統(tǒng)將該查詢(xún)圖像和多個(gè)數(shù)據(jù)庫(kù)圖像的特征表示作為輸入，并以每一個(gè)最后匹配圖像所包含的內(nèi)窗層數(shù)量的遞減順序輸出該最后匹配圖像。圖8包括假定匹配模塊(PMM)802、運(yùn)動(dòng)估計(jì)模塊(MEM) 804、覆蓋測(cè)試模塊(CTM) 806和最后識(shí)別模塊(FIM) 808。將PMM 802配置用來(lái)尋找在該查詢(xún)圖像中視覺(jué)上與數(shù)據(jù)庫(kù)圖像中特征相同的特征。PMM 802計(jì)算查詢(xún)圖像特征向量和數(shù)據(jù)庫(kù)圖像特征向量之間的點(diǎn)積。同樣，PMM 802將該點(diǎn)積與預(yù)定值比較并將其點(diǎn)積大于預(yù)定值的各對(duì)特征點(diǎn)作為假定對(duì)應(yīng)輸出。將這些假定對(duì)應(yīng)輸入到MEM 804中。MEM 804確定了在幾何上一致的一組數(shù)據(jù)庫(kù)圖像，在具有充足假定對(duì)應(yīng)的數(shù)據(jù)庫(kù)圖像組之外。該模塊對(duì)假定對(duì)應(yīng)的子組隨機(jī)取樣以生成變換。將MEM 804同樣配置用來(lái)實(shí)施在該假定對(duì)應(yīng)子組上的拓?fù)涞葍r(jià)測(cè)試以確定在該假定對(duì)應(yīng)子組的每一個(gè)假定對(duì)應(yīng)之間的拓?fù)涞葍r(jià)。進(jìn)一步地，將MEM 804配置用來(lái)確定使用了通過(guò)該拓?fù)涞葍r(jià)測(cè)試的假定匹配子組的變換。MEM 804為在該假定對(duì)應(yīng)子組上的取向一致而對(duì)該變換測(cè)試，并隨后在該變換之下匹配的特征點(diǎn)上。將MEM 804配置用來(lái)為具有大于預(yù)定閾值的內(nèi)窗層的充分多的數(shù)量和具有小于該預(yù)定限度的RMS誤差或估算誤差的每一個(gè)數(shù)據(jù)庫(kù)圖像輸出該結(jié)果內(nèi)窗層。具體來(lái)說(shuō)，由內(nèi)窗層計(jì)算模塊(ICM)SlO來(lái)實(shí)施該任務(wù)。ICM 810計(jì)算來(lái)自在該查詢(xún)圖像和使用該變換的假定對(duì)應(yīng)圖像之間的一組假定對(duì)應(yīng)處的內(nèi)窗層。MEM 804輸出該結(jié)果內(nèi)窗層作為對(duì)CTM 806的輸入，其實(shí)施了在該數(shù)據(jù)庫(kù)圖像上的覆蓋測(cè)試。此后，將滿足該覆蓋測(cè)試的數(shù)據(jù)庫(kù)圖像給出作為對(duì)FIM 808的輸入。FIM 808以每一個(gè)最后匹配所包含內(nèi)窗層數(shù)量的遞減順序?qū)υ撟詈笃ヅ溥M(jìn)行分類(lèi)。進(jìn)一步地，將FIM 808配置用來(lái)將該最后匹配劃分為一個(gè)或多個(gè)序列并提供該序列作為輸出。依照本發(fā)明的各個(gè)實(shí)施方案，本發(fā)明提供了一種有效匹配圖像的方法。本發(fā)明有效地將圖像與一個(gè)或多個(gè)圖像匹配，而將少可能發(fā)生的不必要的計(jì)算。本方法使用了一組測(cè)試用來(lái)將不可能或不切實(shí)際的變換免于測(cè)試，其可能導(dǎo)致將不正確的圖像進(jìn)行匹配或浪
費(fèi)的計(jì)算。同樣，將具有偽造地大批匹配的特征丟棄，當(dāng)這些特征在該圖像上非常常見(jiàn)并對(duì)于真正圖形匹配不起作用時(shí)。實(shí)施覆蓋測(cè)試以確定被匹配的特征覆蓋了該查詢(xún)圖形或該數(shù)據(jù)庫(kù)圖形的顯著區(qū)域，并不僅僅是該圖像的一小部分。可有效地處理包含多個(gè)數(shù)據(jù)庫(kù)圖像的查詢(xún)圖像。如在本發(fā)明或其任意組件中所述的圖像匹配系統(tǒng)，可以用于計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)編程產(chǎn)品的形式來(lái)實(shí)現(xiàn)。該計(jì)算機(jī)編程產(chǎn)品具有計(jì)算機(jī)可使用介質(zhì)，該介質(zhì)具有此處體現(xiàn)為用于匹配該圖像的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)系統(tǒng)的常見(jiàn)實(shí)施例包括通用計(jì)算機(jī)、編程微處理器、微控制器、外部集成電路元件和能夠?qū)嵤┙M成本發(fā)明方法的步驟的其他裝置或裝
置布置。該計(jì)算機(jī)系統(tǒng)通常包括計(jì)算機(jī)、輸入裝置和顯示單元。該計(jì)算機(jī)進(jìn)一步包括微處理器。該微處理器連接到通信總線。該計(jì)算機(jī)同樣包括存儲(chǔ)器。該存儲(chǔ)器可以是隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)。該計(jì)算機(jī)系統(tǒng)進(jìn)一步地包括存儲(chǔ)裝置，其可以是硬盤(pán)或可移動(dòng)存儲(chǔ)驅(qū)動(dòng)器如軟盤(pán)驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器等等。該存儲(chǔ)裝置同樣可以是將計(jì)算機(jī)程序或其他指令裝載進(jìn)該計(jì)算機(jī)系統(tǒng)中的其他相同裝置。該計(jì)算機(jī)系統(tǒng)同樣包括通信單元。該通信單元使得該計(jì)算機(jī)連接到其他數(shù)據(jù)庫(kù)和該互聯(lián)網(wǎng)，通過(guò)輸入/輸出(I/O)接口，使得數(shù)據(jù)從其他數(shù)據(jù)庫(kù)處進(jìn)行傳送和接收。該通信單元可包括調(diào)制解調(diào)器，以太網(wǎng)網(wǎng)卡或使得該計(jì)算機(jī)系統(tǒng)連接到數(shù)據(jù)庫(kù)和如LAN，MAN，WAN和該互聯(lián)網(wǎng)的網(wǎng)絡(luò)的任意其他相同裝置。該計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)通過(guò)輸入裝置來(lái)自用戶的輸入，通過(guò)I/O接口為該系統(tǒng)可訪問(wèn)。為了處理輸入數(shù)據(jù)，該計(jì)算機(jī)系統(tǒng)執(zhí)行存儲(chǔ)在一個(gè)或多個(gè)存儲(chǔ)元件中的一組指令。該存儲(chǔ)元件可同樣根據(jù)需要保留數(shù)據(jù)或其他信息。該存儲(chǔ)元件可以是信息源或在該處理機(jī)器中出現(xiàn)的物理存儲(chǔ)器元件的形式。該可編程指令可包括多種命令，指示該處理機(jī)器以實(shí)現(xiàn)特定任務(wù)，如構(gòu)成本發(fā)明方法的步驟。所述的方法和系統(tǒng)同樣可使用僅僅軟件編程或硬件或通過(guò)該兩種技術(shù)的變換組合來(lái)實(shí)施。本發(fā)明不依賴(lài)于所使用的編程語(yǔ)言和在該計(jì)算機(jī)中的操作系統(tǒng)。可將本發(fā)明的指令寫(xiě)入所有編程語(yǔ)言中，包括但不限于‘C’、‘C++’、‘可視C++’和‘可視Basic’。進(jìn)一步地，該軟件可以是各個(gè)程序的集合，具有大程序的程序模塊或程序模塊一部分的形式，如本發(fā)明中所述。該軟件同樣可包括面向?qū)ο缶幊绦问降哪K化編程。該處理機(jī)器對(duì)輸入數(shù)據(jù)的處理可作為用戶命令的響應(yīng)，作為先前處理或另一個(gè)處理機(jī)器所發(fā)出請(qǐng)求的結(jié)果。同樣能以所有操作系統(tǒng)和平臺(tái)，包括但不限于‘Unix’、‘DOS’和‘Linux’，來(lái)實(shí)施本發(fā)明?？稍谟?jì)算機(jī)可讀介質(zhì)上存儲(chǔ)和傳送該可編程指令?？赏瑯油ㄟ^(guò)在載波上的數(shù)據(jù)信號(hào)來(lái)傳送該可編程指令。可同樣以包括計(jì)算機(jī)可讀介質(zhì)、能實(shí)施上述方法和系統(tǒng)或其眾多可能變體的產(chǎn)品的計(jì)算機(jī)編程產(chǎn)品來(lái)實(shí)現(xiàn)本發(fā)明。條款1. 一種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.檢查在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組中的拓?fù)涞葍r(jià)；和c.使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組，通過(guò)實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配。條款2.如條款1所述的方法，其中從其假定對(duì)應(yīng)數(shù)量大于預(yù)定值和基于在該多個(gè)圖像中發(fā)現(xiàn)的假定對(duì)應(yīng)數(shù)量的值二者的多個(gè)圖像處，選擇該假定對(duì)應(yīng)圖像。條款3.如條款1所述的方法，其中尋找假定對(duì)應(yīng)包括，尋找大于預(yù)定值的、在該多個(gè)圖像之一的特征向量和該查詢(xún)圖像的特征向量之間的向量點(diǎn)積。
條款4.如條款1所述的方法，其中尋找候選匹配包括，計(jì)算在該查詢(xún)圖像和由該估計(jì)的運(yùn)動(dòng)所獲取的假定對(duì)應(yīng)圖像之間的一組假定對(duì)應(yīng)處的一組內(nèi)窗層。條款5.如條款4所述的方法，進(jìn)一步包括測(cè)量由候選匹配和該查詢(xún)圖像二者的內(nèi)窗層所圈起區(qū)域的百分比并當(dāng)兩個(gè)百分比的最大值小于預(yù)定閾值時(shí)拒絕該候選匹配。條款6.如條款1所述的方法，其中實(shí)施該運(yùn)動(dòng)估計(jì)包括，計(jì)算在假定對(duì)應(yīng)的子組中對(duì)應(yīng)特征點(diǎn)之間的變換。條款7.如條款6所述的方法，進(jìn)一步包括在該假定對(duì)應(yīng)的子組中特征點(diǎn)上實(shí)施取向一致測(cè)試。 條款8.如條款7所述的方法進(jìn)一步包括a.為在該圖像之一中該假定對(duì)應(yīng)的子組中的特征點(diǎn)確定偏移點(diǎn)，其中從以該特征點(diǎn)取向的方向中其對(duì)應(yīng)特征點(diǎn)處置換該偏移點(diǎn)；b.對(duì)該偏移點(diǎn)進(jìn)行變換以生成在另一個(gè)圖像中假定對(duì)應(yīng)的子組中對(duì)應(yīng)該特征點(diǎn)的第二偏移點(diǎn)；和c.當(dāng)在該另一個(gè)圖像中假定對(duì)應(yīng)的子組中的特征點(diǎn)和其對(duì)應(yīng)的變換偏移點(diǎn)之間的取向不同于其估計(jì)取向達(dá)預(yù)定限度時(shí)，丟棄該變換。條款9.如條款1所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列，通過(guò)選擇其內(nèi)窗層數(shù)量大于內(nèi)窗層預(yù)定數(shù)量和其估算誤差小于預(yù)定閾值的候選匹配。條款10.如條款1所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列。條款11.如條款10所述的方法，其中識(shí)別最后匹配的一個(gè)或多個(gè)序列包括a.將該候選匹配的序列按內(nèi)窗層的遞減數(shù)量進(jìn)行分類(lèi)；b.將該候選匹配添加到當(dāng)前序列，如果圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域大于預(yù)定閾值；和c.創(chuàng)建由該候選匹配構(gòu)成的新的序列，當(dāng)對(duì)于所有當(dāng)前序列而言，圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域降至預(yù)定閾值以下時(shí)。條款12.如條款1所述的方法，其中使用由該RANSAC程序生成的變換來(lái)實(shí)施該運(yùn)動(dòng)估計(jì)。條款13. —種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)、對(duì)應(yīng)的一組特征取向和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；和b.使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組，通過(guò)實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配，并在該假定對(duì)應(yīng)的子組中的特征點(diǎn)上實(shí)施取向一致測(cè)試。條款14.如條款13所述的方法，進(jìn)一步包括檢查在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組中的拓?fù)涞葍r(jià)，在實(shí)施該取向一致測(cè)試之前。條款15.如條款13所述的方法，其中實(shí)施該取向一致測(cè)試進(jìn)一步包括
a.為在該圖像之一中的假定對(duì)應(yīng)的子組內(nèi)的特征點(diǎn)確定偏移點(diǎn)，其中從以該特征點(diǎn)取向的方向中其對(duì)應(yīng)特征點(diǎn)處置換該偏移點(diǎn)；b.對(duì)該偏移點(diǎn)進(jìn)行變換以生成在另一個(gè)圖像中假定對(duì)應(yīng)的子組中對(duì)應(yīng)該特征點(diǎn)的第二偏移點(diǎn)；和c.當(dāng)在該另一個(gè)圖像中假定對(duì)應(yīng)的子組中的特征點(diǎn)和其對(duì)應(yīng)的變換偏移點(diǎn)之間的取向不同于其估計(jì)取向達(dá)預(yù)定限度時(shí)，丟棄該變換。條款16.如條款13所述的方法，其中尋找候選匹配包括，計(jì)算在該查詢(xún)圖像和由該估計(jì)的運(yùn)動(dòng)所獲取的假定對(duì)應(yīng)圖像之間的一組假定對(duì)應(yīng)處的一組內(nèi)窗層。條款17.如條款13所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列。條款18.如條款17所述的方法，其中識(shí)別最后匹配的一個(gè)或多個(gè)序列包括，當(dāng)該候選匹配的內(nèi)窗層數(shù)量大于預(yù)定內(nèi)窗層數(shù)量且具有少于預(yù)定閾值的估算誤差時(shí)選擇候選匹配。條款19. 一種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.通過(guò)使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配；和c.測(cè)量候選匹配和該查詢(xún)圖像二者的內(nèi)窗層所圈起的區(qū)域百分比，并當(dāng)該兩個(gè)百分比中的最大值小于預(yù)定閾值時(shí)拒絕該候選匹配。條款20. —種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.通過(guò)使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配；和c.從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列，該方法包括i.通過(guò)內(nèi)窗層的遞減順序?qū)υ摵蜻x匹配的序列進(jìn)行分類(lèi)；ii.將該候選匹配添加到當(dāng)前序列，如果圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域大于預(yù)定閾值；和iii.創(chuàng)建由該候選匹配構(gòu)成的新的序列，當(dāng)對(duì)于所有當(dāng)前序列而言，圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域降至預(yù)定閾值以下時(shí)。條款21. —種將查詢(xún)圖像與多個(gè)圖像匹配的系統(tǒng)，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該系統(tǒng)包括a.假定對(duì)應(yīng)模塊，使用該組特征向量從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.運(yùn)動(dòng)估計(jì)模塊，檢查在一個(gè)假定對(duì)應(yīng)圖像和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組
15的拓?fù)涞葍r(jià)以及使用該假定對(duì)應(yīng)子組在該假定對(duì)應(yīng)圖像上實(shí)施運(yùn)動(dòng)估計(jì)；和c.最后識(shí)別模塊，基于該運(yùn)動(dòng)估計(jì)識(shí)別匹配該查詢(xún)圖像的圖像的一個(gè)或多個(gè)序列。條款22.如條款21所述的系統(tǒng)，其中該假定對(duì)應(yīng)模塊包括向量點(diǎn)積模塊，該向量點(diǎn)積模塊適合于a.計(jì)算在該多個(gè)圖像之一的特征向量和該查詢(xún)圖像的特征向量之間的向量點(diǎn)積以尋找假定對(duì)應(yīng)；和b.當(dāng)該假定對(duì)應(yīng)的數(shù)量大于預(yù)定值時(shí)，從該多個(gè)圖像處選擇假定對(duì)應(yīng)圖像。條款23.如條款21所述的系統(tǒng)，其中該運(yùn)動(dòng)估計(jì)模塊包括取向一致檢查模塊，適于a.為在該圖像之一中該假定對(duì)應(yīng)的子組中的特征點(diǎn)確定偏移點(diǎn)，其中從以該特征點(diǎn)取向的方向中其對(duì)應(yīng)特征點(diǎn)處置換該偏移點(diǎn)；b.對(duì)該偏移點(diǎn)進(jìn)行變換以生成在另一個(gè)圖像中假定對(duì)應(yīng)的子組中對(duì)應(yīng)該特征點(diǎn)的第二偏移點(diǎn)；和c.當(dāng)在該另一個(gè)圖像中假定對(duì)應(yīng)的子組中的特征點(diǎn)和其偏移點(diǎn)之間的取向超出預(yù)定限度時(shí)，丟棄該變換。條款24.如條款21所述的系統(tǒng)，其中該運(yùn)動(dòng)估計(jì)模塊進(jìn)一步包括內(nèi)窗層計(jì)算模塊，使用該變換從該查詢(xún)圖像和假定對(duì)應(yīng)圖像之間的假定對(duì)應(yīng)子組處計(jì)算內(nèi)窗層。條款25.如條款21所述的系統(tǒng)，其中該最后識(shí)別模塊適于當(dāng)該候選匹配的內(nèi)窗層數(shù)量大于預(yù)定內(nèi)窗層數(shù)量且具有小于預(yù)定閾值的估算誤差時(shí)選擇一個(gè)或多個(gè)圖像。條款26.如條款21所述的系統(tǒng)，其中在候選匹配和該查詢(xún)圖像二者的內(nèi)窗層所圈起的區(qū)域百分比的最大值小于預(yù)定閾值處，該最后識(shí)別模塊拒絕候選匹配。條款27.如條款21所述的系統(tǒng)，其中該運(yùn)動(dòng)估計(jì)模塊通過(guò)使用由該RANSAC程序生成的變換來(lái)計(jì)算運(yùn)動(dòng)估計(jì)。條款28. —種用于將查詢(xún)圖像與多個(gè)圖像匹配的計(jì)算機(jī)程序產(chǎn)品，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令，實(shí)施a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.檢查在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組中的拓?fù)涞葍r(jià)；和c.使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組，通過(guò)實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配。當(dāng)已經(jīng)描述和說(shuō)明了本發(fā)明的各個(gè)實(shí)施方案時(shí)，應(yīng)當(dāng)清楚，本發(fā)明不僅僅限于這些實(shí)施方案。對(duì)于本領(lǐng)域技術(shù)人員而言，許多修改、變化、變體、替代和等同物將是顯而易見(jiàn)的而不背離如在該權(quán)利要求中所述的本發(fā)明的精神和范圍。
權(quán)利要求
1.一種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；b.檢查在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組中的拓?fù)涞葍r(jià)；和c.使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組，通過(guò)實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配。
2.如權(quán)利要求1所述的方法，其中從其假定對(duì)應(yīng)數(shù)量大于預(yù)定值和基于在該多個(gè)圖像中發(fā)現(xiàn)的假定對(duì)應(yīng)數(shù)量的值二者的多個(gè)圖像處，選擇該假定對(duì)應(yīng)圖像。
3.如權(quán)利要求1所述的方法，其中尋找假定對(duì)應(yīng)包括，尋找大于預(yù)定值的、在該多個(gè)圖像之一的特征向量和該查詢(xún)圖像的特征向量之間的向量點(diǎn)積。
4.如權(quán)利要求1所述的方法，其中尋找候選匹配包括，計(jì)算在該查詢(xún)圖像和由該估計(jì)的運(yùn)動(dòng)所獲取的假定對(duì)應(yīng)圖像之間的一組假定對(duì)應(yīng)處的一組內(nèi)窗層。
5.如權(quán)利要求4所述的方法，進(jìn)一步包括測(cè)量由候選匹配和該查詢(xún)圖像二者的內(nèi)窗層所圈起區(qū)域的百分比并當(dāng)兩個(gè)百分比的最大值小于預(yù)定閾值時(shí)拒絕該候選匹配。
6.如權(quán)利要求1所述的方法，其中實(shí)施該運(yùn)動(dòng)估計(jì)包括，計(jì)算在假定對(duì)應(yīng)的子組中對(duì)應(yīng)特征點(diǎn)之間的變換。
7.如權(quán)利要求6所述的方法，進(jìn)一步包括在該假定對(duì)應(yīng)的子組中特征點(diǎn)上實(shí)施取向一致測(cè)試。
8.如權(quán)利要求7所述的方法進(jìn)一步包括a.為在該圖像之一中該假定對(duì)應(yīng)的子組中的特征點(diǎn)確定偏移點(diǎn)，其中從以該特征點(diǎn)取向的方向中其對(duì)應(yīng)特征點(diǎn)處置換該偏移點(diǎn)；b.對(duì)該偏移點(diǎn)進(jìn)行變換以生成在另一個(gè)圖像中假定對(duì)應(yīng)的子組中對(duì)應(yīng)該特征點(diǎn)的第二偏移點(diǎn)；和c.當(dāng)在該另一個(gè)圖像中假定對(duì)應(yīng)的子組中的特征點(diǎn)和其對(duì)應(yīng)的變換偏移點(diǎn)之間的取向不同于其估計(jì)取向達(dá)預(yù)定限度時(shí)，丟棄該變換。
9.如權(quán)利要求1所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列，通過(guò)選擇其內(nèi)窗層數(shù)量大于內(nèi)窗層預(yù)定數(shù)量和其估算誤差小于預(yù)定閾值的候選匹配。
10.如權(quán)利要求1所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列。
11.如權(quán)利要求10所述的方法，其中識(shí)別最后匹配的一個(gè)或多個(gè)序列包括a.將該候選匹配的序列按內(nèi)窗層的遞減數(shù)量進(jìn)行分類(lèi)；b.將該候選匹配添加到當(dāng)前序列，如果圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域大于預(yù)定閾值；和c.創(chuàng)建由該候選匹配構(gòu)成的新的序列，當(dāng)對(duì)于所有當(dāng)前序列而言，圈起在該查詢(xún)圖像中候選匹配的內(nèi)窗層的多邊形和圈起在該查詢(xún)圖像中當(dāng)前序列的第一元件的內(nèi)窗層的多邊形之間的交叉區(qū)域降至預(yù)定閾值以下時(shí)。
12.如權(quán)利要求1所述的方法，其中使用由該RANSAC程序生成的變換來(lái)實(shí)施該運(yùn)動(dòng)估計(jì)。
13.—種將查詢(xún)圖像與多個(gè)圖像匹配的方法，圖像由一組特征點(diǎn)、對(duì)應(yīng)的一組特征取向和對(duì)應(yīng)的一組特征向量表示，該方法包括a.通過(guò)尋找在該多個(gè)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)，從該多個(gè)圖像處尋找假定對(duì)應(yīng)的圖像；和b.使用在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組，通過(guò)實(shí)施運(yùn)動(dòng)估計(jì)來(lái)尋找候選匹配，并在該假定對(duì)應(yīng)的子組中的特征點(diǎn)上實(shí)施取向一致測(cè)試。
14.如權(quán)利要求13所述的方法，進(jìn)一步包括檢查在該假定對(duì)應(yīng)圖像之一和該查詢(xún)圖像之間的假定對(duì)應(yīng)的子組中的拓?fù)涞葍r(jià)，在實(shí)施該取向一致測(cè)試之前。
15.如權(quán)利要求13所述的方法，其中實(shí)施該取向一致測(cè)試進(jìn)一步包括a.為在該圖像之一中的假定對(duì)應(yīng)的子組內(nèi)的特征點(diǎn)確定偏移點(diǎn)，其中從以該特征點(diǎn)取向的方向中其對(duì)應(yīng)特征點(diǎn)處置換該偏移點(diǎn)；b.對(duì)該偏移點(diǎn)進(jìn)行變換以生成在另一個(gè)圖像中假定對(duì)應(yīng)的子組中對(duì)應(yīng)該特征點(diǎn)的第二偏移點(diǎn)；和c.當(dāng)在該另一個(gè)圖像中假定對(duì)應(yīng)的子組中的特征點(diǎn)和其對(duì)應(yīng)的變換偏移點(diǎn)之間的取向不同于其估計(jì)取向達(dá)預(yù)定限度時(shí)，丟棄該變換。
16.如權(quán)利要求13所述的方法，其中尋找候選匹配包括，計(jì)算在該查詢(xún)圖像和由該估計(jì)的運(yùn)動(dòng)所獲取的假定對(duì)應(yīng)圖像之間的一組假定對(duì)應(yīng)處的一組內(nèi)窗層。
17.如權(quán)利要求13所述的方法，進(jìn)一步包括從該候選匹配處識(shí)別最后匹配的一個(gè)或多個(gè)序列。
18.如權(quán)利要求17所述的方法，其中識(shí)別最后匹配的一個(gè)或多個(gè)序列包括，當(dāng)該候選匹配的內(nèi)窗層數(shù)量大于預(yù)定內(nèi)窗層數(shù)量且具有少于預(yù)定閾值的估算誤差時(shí)選擇候選匹配。
全文摘要
提供一種匹配圖像的方法、系統(tǒng)和計(jì)算機(jī)編程產(chǎn)品。將被匹配的圖像由特征點(diǎn)和特征向量以及與該特征點(diǎn)相關(guān)的取向來(lái)表示。首先，通過(guò)使用特征向量來(lái)確定假定對(duì)應(yīng)。選擇假定對(duì)應(yīng)的子組并確定了該子組的拓?fù)涞葍r(jià)。將該假定對(duì)應(yīng)的拓?fù)涞葍r(jià)子組用來(lái)建立運(yùn)動(dòng)估計(jì)模型。在該假定對(duì)應(yīng)上實(shí)施取向一致測(cè)試且確定了該對(duì)應(yīng)的運(yùn)動(dòng)估計(jì)變換，以避免不切實(shí)際的變換。在滿足取向一致測(cè)試的匹配上實(shí)施覆蓋測(cè)試。拒絕未覆蓋該圖像之一的顯著區(qū)域的候選匹配。按照遞減匹配的順序提供最后的匹配圖像，在多個(gè)圖像滿足所有這些測(cè)試要求的情況中。
文檔編號(hào)G06K9/62GK102341813SQ201080010602
公開(kāi)日2012年2月1日 申請(qǐng)日期2010年1月15日 優(yōu)先權(quán)日2009年1月16日
發(fā)明者D·坦圭, M·A·魯宗 申請(qǐng)人:A9.Com有限公司