專利名稱：用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法和用于匹配特征的方法
用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法和用于匹配特征的方法本發(fā)明涉及一種用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法和用于匹配兩個(gè)或更多圖像的特征的方法。而且，本發(fā)明涉及包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品。引言在計(jì)算機(jī)視覺的領(lǐng)域中的許多應(yīng)用要求在照明和所使用的捕獲硬件可能改變的情況下的在不同視點(diǎn)下的同一場景或物體的兩個(gè)或多個(gè)圖像中找到對(duì)應(yīng)點(diǎn)或其他特征。特征可以是點(diǎn)或一組點(diǎn)(線、線段、在圖像中的區(qū)域或僅為一組像素)。示例應(yīng)用包括窄和寬基線立體匹配、相機(jī)姿態(tài)估計(jì)、圖像檢索、物體識(shí)別和視覺搜索。例如，增強(qiáng)現(xiàn)實(shí)系統(tǒng)允許計(jì)算機(jī)產(chǎn)生的虛擬信息與真實(shí)環(huán)境的視覺印象的疊加。 為此，例如，通過例如顯示設(shè)備的方式將在一個(gè)或多個(gè)圖像中的例如由相機(jī)捕獲的真實(shí)世界的視覺印象與虛擬信息混和，該顯示設(shè)備向用戶顯示增加了虛擬信息的相應(yīng)圖像。虛擬信息和真實(shí)世界的空間對(duì)準(zhǔn)要求通?；谔卣鲗?duì)應(yīng)的相機(jī)姿態(tài)(位置和方位)的計(jì)算。用于獲得這樣的對(duì)應(yīng)性的、例如在David G. Lowe " Distinctive Image Features from Scale-Invariant Keypoints" , International Journal of Computer Vision，60，2 (2004)，頁91-110中描述的通常的方式是首先從具有高重合性的單獨(dú)圖像中提取特征或興趣點(diǎn)(例如，在邊緣、角或局部極點(diǎn))。即，在不同的圖像中提取與相同的物理實(shí)體對(duì)應(yīng)的相同的像素集的概率較高。第二步驟是然后基于其相鄰區(qū)域像素的強(qiáng)度來創(chuàng)建針對(duì)每一個(gè)特征的描述符，這使得能夠進(jìn)行特征的比較并且因此使得能夠進(jìn)行特征的匹配。對(duì)于好的描述符的兩個(gè)主要要求是區(qū)別性，即，不同的特征點(diǎn)導(dǎo)致不同的描述符；以及，下述部分的不變性I)在觀看方位、旋轉(zhuǎn)和比例上的改變，2)在照明上的改變，3)圖像噪聲。這是為了保證以關(guān)于相似性度量的類似方式來描述在不同圖像中的相同特征。為了處理相對(duì)于旋轉(zhuǎn)的不變性，在描述符的構(gòu)造之前，空間規(guī)格化將在特征點(diǎn)周圍的局部相鄰區(qū)域(neighborhood)的像素變換為規(guī)格化的坐標(biāo)系。對(duì)于該不變性關(guān)鍵的是，這種規(guī)格化是可再現(xiàn)的。存在更高級(jí)的方法，但是在最簡單的情況下，規(guī)格化僅由根據(jù)特征方位的平面內(nèi)旋轉(zhuǎn)構(gòu)成。通?；谠谔卣鼽c(diǎn)的相鄰區(qū)域中的像素強(qiáng)度來將方位定義為例如最大梯度的方向。理想上，在特征的規(guī)格化的相鄰區(qū)域中的像素對(duì)于使用不同的觀看方向、旋轉(zhuǎn)和比例獲取的不同的圖像相同。實(shí)際上，它們至少非常類似，與圖2比較。在圖2中，示出在不同場景21和22中的示例性特征點(diǎn)。在示出場景21和22的第一列中，在兩個(gè)不同方位下的同一特征點(diǎn)被示出為在場景21中的特征點(diǎn)F21和在場景22 中的特征點(diǎn)F22。在下一步步驟，在本示例中，基于在相應(yīng)的特征點(diǎn)F21和F22的相鄰區(qū)域中的像素強(qiáng)度將方位定義為最大梯度的方向(由在相應(yīng)的矩形內(nèi)的白線描述)。然后，在描述符dl和d2 (第三列)的構(gòu)造之前，空間規(guī)格化分別將在特征點(diǎn)F21和F22周圍的局部相鄰區(qū)域的像素(在當(dāng)前情況下，在矩形內(nèi)的像素)變換為規(guī)格化的坐標(biāo)系(在第二列中的描述31和32)。因此，描述符dl、d2與最大梯度的對(duì)齊產(chǎn)生非常類似的規(guī)格化相鄰區(qū)域 (如在描述31和32中所示)，并且因此產(chǎn)生類似的描述符dl和d2。這個(gè)屬性在局部特征描述符中是常見的，并且被稱為對(duì)于旋轉(zhuǎn)的不變性。通常，通過構(gòu)造包含不同比例的圖像的圖像金字塔和在每一個(gè)比例級(jí)上執(zhí)行上面的行為來處理對(duì)于比例的不變性。其他手段存儲(chǔ)每一個(gè)特征描述符的比例。存在多種局部特征描述符，其中，在Krystian Mikolajczyk and Cordelia Schmid, " A performance evaluation of local descriptors" , IEEE Transactions onPattern Analysis&Machine Intelligence, 10, 27 (2005)，頁 1615-1630 中給出了 良好的概述和比較。它們的大多數(shù)基于規(guī)格化的局部相鄰區(qū)域像素的強(qiáng)度值或它們的函數(shù)(例如梯度)的直方圖的建立。將最后的描述符表達(dá)為η維向量(如在圖2中的右面所示)，并且可以使用諸如歐幾里得距離的相似性度量將該最后的描述符與其他描述符作比較。在圖3中，示出用于建立特征描述符的標(biāo)準(zhǔn)手段。在步驟SI中，由諸如相機(jī)的捕獲設(shè)備捕獲或從存儲(chǔ)介質(zhì)加載圖像。在步驟S2中，從圖像提取特征點(diǎn)，并且將其存儲(chǔ)在二維描述(參數(shù)u、v)中。在步驟S3中，如上相對(duì)于圖2所述執(zhí)行方位分配，以向參數(shù)u、v增加方位角a。其后，執(zhí)行相鄰區(qū)域的規(guī)格化步驟S4，如上相對(duì)于圖2所述，以獲得規(guī)格化的相鄰區(qū)域像素強(qiáng)度i []。在最后的步驟S5中，基于規(guī)格化的相鄰區(qū)域像素強(qiáng)度i □，對(duì)于相應(yīng)的提取的特征創(chuàng)建以描述符向量d[]形式的特征描述符。存在下述手段該手段可以在步驟S3向特征分配多個(gè)方位角，并且因此對(duì)于每一個(gè)方位執(zhí)行步驟S4和S5，產(chǎn)生每一個(gè)分配的方位一個(gè)描述符。如上所述的標(biāo)準(zhǔn)手段的一個(gè)主要限制是雖然對(duì)于旋轉(zhuǎn)的不變性在許多應(yīng)用中清楚地是局部特征描述符的重要特性，然而，它可能在圖像包含例如作為對(duì)稱窗口的四個(gè)角或單獨(dú)的圓祀(dartboard)部分的多個(gè)全等或近乎全等的特征時(shí)導(dǎo)致不匹配。在示例中，如圖I中所示，在后側(cè)(未示出)具有相機(jī)的移動(dòng)設(shè)備I捕獲真實(shí)物體 3，該真實(shí)物體3在本示例中是具有窗口 4的建筑物。例如，移動(dòng)設(shè)備I可以是在后側(cè)具有用于捕獲窗口 4的圖像的相機(jī)和光學(xué)鏡頭的移動(dòng)電話。在移動(dòng)設(shè)備I的顯示器6上，如所示描述了窗口 4。圖像處理方法從所顯示的圖像提取特征，例如，可以被認(rèn)為是窗口的顯著特征的表示窗口的四角的特征Fl至F4，并且對(duì)于特征Fl至F4的每一個(gè)創(chuàng)建特征描述符。 因?yàn)閷?duì)于旋轉(zhuǎn)的不變性，如在圖I中的左列中示意地所示，理想的局部特征描述符以使得這些特征Fl至F4不可區(qū)分的精確地相同的方式來描述這些特征Fl至F4，如在左列中的規(guī)格化坐標(biāo)系中描述的提取的特征Fl至F4所示。在具有相機(jī)噪聲和圖形失真的真實(shí)世界設(shè)置中，描述符將不會(huì)相同，但是非常類似并且因此實(shí)際上不可區(qū)分。因此，對(duì)于這樣的場景，不匹配的概率很高，這可能導(dǎo)致依賴于這樣的局部特征描述符的任何系統(tǒng)的完全失效。存在下述多種手段假定在直立方位上捕獲所有的相機(jī)圖像，并且因此不必處理方位。在此，可以容易地彼此區(qū)分在不同方位上的全等或近乎全等特征，但是可能的應(yīng)用領(lǐng)域很有限，因?yàn)橄鄼C(jī)方位嚴(yán)重地被約束。因此，提供針對(duì)圖像的至少一個(gè)特征的描述符的方法是有益的，其中，以下述方式來提供描述符可以降低由于在特征匹配處理中在靜態(tài)物體或場景上的不同方位上全等或近乎全等的特征導(dǎo)致的不匹配的概率，而不限制捕獲設(shè)備的方位或移動(dòng)或不需要關(guān)于捕獲設(shè)備的方位或移動(dòng)的先驗(yàn)知識(shí)。方法概述在第一方面，提供了根據(jù)權(quán)利要求I的特征的一種用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法。此外，在另一個(gè)方面，提供了根據(jù)權(quán)利要求12的用于匹配兩個(gè)或更多圖像的特征的方法。本發(fā)明也涉及根據(jù)權(quán)利要求16的包括用于實(shí)現(xiàn)這樣的方法的軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品。具體地說，在第一方面，提供了一種用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法，包括步驟提供由捕獲設(shè)備捕獲的圖像以及從圖像提取至少一個(gè)特征；并且，向所述至少一個(gè)特征分配描述符，所述描述符取決于指示方位的至少一個(gè)參數(shù)，其中，根據(jù)由跟蹤系統(tǒng)測量的所述捕獲設(shè)備的絕對(duì)或相對(duì)方位確定所述至少一個(gè)參數(shù)。具體地說，在本發(fā)明的上下文中的所述跟蹤系統(tǒng)確定物體特別是所述捕獲設(shè)備的至少一個(gè)方位，優(yōu)選地是關(guān)于普通坐標(biāo)系的至少一個(gè)方位，如在下面的實(shí)施例中進(jìn)一步描述的。在通過跟蹤系統(tǒng)測量方位的情況下，不需要將所述捕獲設(shè)備的所述方位和/或移動(dòng)限制為特定位置或具有關(guān)于所述捕獲設(shè)備的所述方位和/或移動(dòng)的任何先驗(yàn)知識(shí)。在本發(fā)明的一個(gè)方面，提出將特征描述符(特別是局部特征描述符)的所述方位與特定的給定普通坐標(biāo)系對(duì)齊。取代根據(jù)在圖像中的相鄰區(qū)域像素的強(qiáng)度獲得可再現(xiàn)的方位，關(guān)于單獨(dú)像素的方位和/或捕獲設(shè)備的方位的額外信息建立了對(duì)于特征的方位分配的基礎(chǔ)。將局部特征描述符與全局方位對(duì)齊克服了由于不同方位的全等或幾乎全等的特征因?yàn)樵诔鞘袌鼍爸泻驮谌嗽煳矬w上是常見的而引起的模糊，如在圖I中的右面所示和在下面更詳細(xì)地所述。在本發(fā)明的一個(gè)實(shí)施例中，跟蹤系統(tǒng)包括附接到捕獲設(shè)備的傳感器，例如慣性傳感器、加速度計(jì)、陀螺儀或指南針。在另一個(gè)實(shí)施例中，所述跟蹤系統(tǒng)包括基于在所述捕獲設(shè)備和固定參考點(diǎn)之間的物理連接的機(jī)械跟蹤系統(tǒng)；產(chǎn)生和測量磁場的電磁跟蹤系統(tǒng)；使用聲波來工作的聲音跟蹤系統(tǒng)；以及/或者，使用從所述捕獲設(shè)備發(fā)射和/或反射的光的光學(xué)跟蹤系統(tǒng)；所述光學(xué)跟蹤系統(tǒng)可以被集成到所述捕獲設(shè)備內(nèi)或者被實(shí)現(xiàn)為與所述捕獲設(shè)備分離的外部系統(tǒng)。在本發(fā)明的一個(gè)實(shí)施例中，所述普通坐標(biāo)系是使用提供絕對(duì)值的跟蹤系統(tǒng)(例如，附接到設(shè)備的指南針和/或慣性傳感器)測量的世界坐標(biāo)系。在另一個(gè)實(shí)施例中，所述普通坐標(biāo)系包括跟蹤系統(tǒng)關(guān)于其提供變換的任何坐標(biāo)系。例如使用陀螺儀測量的在方位上的相對(duì)改變可以被累積以計(jì)算在每一個(gè)時(shí)刻在普通坐標(biāo)上的絕對(duì)方位，而不需要測量絕對(duì)方位的任何傳感器。在另一個(gè)實(shí)施例中，所述捕獲設(shè)備包括范圍數(shù)據(jù)捕獲設(shè)備，特別是激光掃描器、飛行時(shí)間相機(jī)或立體相機(jī)，所述范圍數(shù)據(jù)捕獲設(shè)備提供具有相關(guān)聯(lián)的深度和/或3D位置的圖
像像素。在本發(fā)明的另一個(gè)方面，所述方法進(jìn)一步包括步驟關(guān)于普通坐標(biāo)系中的方位規(guī)格化所述至少一個(gè)特征的相鄰區(qū)域。具體地說，在規(guī)格化所述至少一個(gè)特征的所述相鄰區(qū)域的步驟中，所述方位提供用于旋轉(zhuǎn)所述圖像的角度?？蛇x地，在規(guī)格化所述至少一個(gè)特征的所述相鄰區(qū)域的步驟中，所述方位用于將相鄰區(qū)域像素或整個(gè)圖像彎曲到一個(gè)或多個(gè)參
6考方位，以校正在特定特征相鄰區(qū)域中的透視變形(perspective distortion)。在本發(fā)明的另一個(gè)方面，一種用于匹配兩個(gè)或更多圖像的特征的方法包括步驟 提取第一圖像的至少一個(gè)第一特征和第二圖像的至少一個(gè)第二特征；提供針對(duì)所述第一特征的第一描述符和針對(duì)所述第二特征的第二描述符，其中，根據(jù)如上所述的方法的方面來提供所述第一和第二描述符中的至少一個(gè)；并且，在針對(duì)所述第一和第二特征的匹配處理中比較所述第一和第二描述符。在所述匹配處理中，然后可以基于相似性度量確定所述第一和第二特征是否彼此對(duì)應(yīng)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，基于相鄰區(qū)域像素的像素強(qiáng)度來計(jì)算所述至少一個(gè)特征的一個(gè)或多個(gè)方向并且關(guān)于所述普通坐標(biāo)系來對(duì)其進(jìn)行存儲(chǔ)。在所述匹配階段中，僅匹配關(guān)于所述普通坐標(biāo)系具有類似方向的特征，以減少所需的比較的數(shù)量并且降低誤匹配的比率。根據(jù)本發(fā)明的實(shí)施例，可以在立體匹配(特別是在寬基線立體匹配)、相機(jī)跟蹤、 圖像檢索、物體識(shí)別、視覺搜索、姿態(tài)估計(jì)、視覺監(jiān)督、場景重建、動(dòng)作估計(jì)、全景縫合或圖像恢復(fù)的處理中實(shí)現(xiàn)所述方法。在本發(fā)明的另一個(gè)方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，其適于加載到與用于捕獲圖像的至少一個(gè)捕獲設(shè)備耦合的數(shù)字計(jì)算機(jī)系統(tǒng)的內(nèi)部存儲(chǔ)器內(nèi)，并且包括軟件代碼部分，通過所述軟件代碼部分，當(dāng)所述產(chǎn)品在所述計(jì)算機(jī)系統(tǒng)上運(yùn)行時(shí)，根據(jù)在本文中描述的方法和實(shí)施例中的任何一種的步驟被執(zhí)行。通過從屬權(quán)利要求，本發(fā)明的其他實(shí)施例和方面將變得顯而易見。方法的詳細(xì)描述現(xiàn)在將參考下面的附圖
來更詳細(xì)地描述本發(fā)明，在附圖中，描述了根據(jù)各個(gè)示例性實(shí)施例的本發(fā)明的方面。圖I示出示例性場景，其中，通過在其后側(cè)具有相機(jī)的移動(dòng)設(shè)備來捕獲圖像，并且其中，從所述圖像提取特征，并且根據(jù)標(biāo)準(zhǔn)手段(左)和根據(jù)本發(fā)明的一個(gè)實(shí)施例(右)來在規(guī)格化描述中示意地示出特征；圖2示出在兩種不同的方位下的特征點(diǎn)的示例性描述中對(duì)于對(duì)旋轉(zhuǎn)的不變性的標(biāo)準(zhǔn)手段、特征點(diǎn)的局部相鄰區(qū)域像素的規(guī)格化和相應(yīng)的描述符的構(gòu)造；圖3以流程圖示出用于構(gòu)造特征描述符的標(biāo)準(zhǔn)手段；圖4以流程圖示出用于構(gòu)造特征描述符的根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例；圖5以示意方式示出要匹配的描述具有相應(yīng)提取特征的不同視點(diǎn)下的相同靜態(tài)物體的示例性第一圖像和第二圖像。
具體實(shí)施例方式圖I示出示例性場景，其中，通過在其后側(cè)具有相機(jī)的移動(dòng)設(shè)備來捕獲圖像，并且其中，從所述圖像提取特征，并且根據(jù)標(biāo)準(zhǔn)手段(在左側(cè)示出并且如上所述的)和根據(jù)本發(fā)明的一個(gè)實(shí)施例(在右側(cè)示出)來在規(guī)格化描述中示意地示出特征。根據(jù)本發(fā)明的所示實(shí)施例，在本示例中為具有窗口 4的建筑物的真實(shí)物體3再次由后側(cè)(未示出)具有相機(jī)的移動(dòng)設(shè)備2捕獲。例如，移動(dòng)設(shè)備2可以是移動(dòng)電話或數(shù)字相機(jī)，其具有用于圖像處理的微處理器和相機(jī)，該相機(jī)具有用于捕獲窗口 4的圖像的在后側(cè)的光學(xué)鏡頭。然而，可以使用任何其他類型的設(shè)備。同樣，可以以集成或分布的形式來使用具有包含用于圖像處理的微處理器的處理設(shè)備和相機(jī)的任何其他類型的系統(tǒng)配置。移動(dòng)設(shè)備包括傳感器5，諸如慣性傳感器、加速度計(jì)、陀螺儀和/或指南針。同樣地，該傳感器與移動(dòng)設(shè)備的相機(jī)相關(guān)聯(lián)，因?yàn)橄鄼C(jī)也是移動(dòng)設(shè)備的一部分。該傳感器適合于測量移動(dòng)設(shè)備2關(guān)于普通坐標(biāo)系10的方位?？梢砸越^對(duì)方式或者通過隨著時(shí)間累積相對(duì)方位數(shù)據(jù)來測量該方位。通?？色@得的移動(dòng)電話和數(shù)字相機(jī)經(jīng)常配備了內(nèi)置的數(shù)字加速度計(jì)和指南針，該內(nèi)置的數(shù)字加速度計(jì)和指南針提供了用于指示設(shè)備的當(dāng)前方位的測量值。這個(gè)信息與關(guān)于相機(jī)的固有參數(shù)的信息一起使得能夠在相機(jī)圖像的坐標(biāo)系中進(jìn)行世界坐標(biāo)中的任何方位的變換，例如，重力或北方的變換。在移動(dòng)設(shè)備2的顯示器7上，如所示出的描述了由移動(dòng)設(shè)備2的相機(jī)捕獲的窗口
4。在移動(dòng)設(shè)備2 (或與移動(dòng)設(shè)備2進(jìn)行通信的外部設(shè)備)的微處理器中執(zhí)行的圖像處理方法從所捕獲的圖像提取特征，例如用于將窗口的四角表示為窗口的相當(dāng)顯著的特征的特征 Fll至F14，并且建立針對(duì)特征Fll至F14的每一個(gè)的特征描述符，如下面更詳細(xì)地描述的。 所建立的局部特征描述符使用與使得特征Fll至F14能夠清楚地區(qū)分的左列(如上所述的標(biāo)準(zhǔn)手段)相比不同的方式來描述這些特征Fll至F14，如在右列中的規(guī)格化坐標(biāo)系中描述的所提取的特征Fll至F14所示。具體地說，將特征方位與由傳感器5的坐標(biāo)系10定義的全局方位對(duì)齊導(dǎo)致四個(gè)良好地可區(qū)分的描述符，而不限制設(shè)備方位。可以匹配在不同的相機(jī)方位下獲取的特征。在圖4中，示出用于構(gòu)造特征描述符的根據(jù)本發(fā)明的方法的實(shí)施例的流程圖。在步驟Sll中，由諸如移動(dòng)設(shè)備2的相機(jī)的捕獲設(shè)備捕獲圖像，或者從存儲(chǔ)介質(zhì)加載圖像。在步驟S12中，從圖像提取特征點(diǎn)，以獲得具有二維描述(參數(shù)U、V)的特征點(diǎn)。在步驟S13 中，使用關(guān)于由跟蹤系統(tǒng)提供的捕獲設(shè)備的方位(參數(shù)x、y、z)的空間信息來對(duì)于提取的特征點(diǎn)計(jì)算特征方位。例如，跟蹤系統(tǒng)將捕獲設(shè)備關(guān)于世界坐標(biāo)系的方位提供為歐拉角，并且特征描述符應(yīng)該與重力對(duì)齊。用于獲得所有特征的方位的非常簡單的方法是首先使用歐拉角將重力變換為附加到捕獲設(shè)備的坐標(biāo)系，然后將其投影到圖像平面上。由此，計(jì)算在圖像中的重力的方向并且將其用于圖像中的所有特征。這種技術(shù)假定正交投影，通常不是這種情況。包含相機(jī)的固有參數(shù)放松這種假設(shè)，但是基于2D圖像的所有技術(shù)仍然假定在圖像中可視的全部內(nèi)容位于平面上，并且因此是近似。在步驟S14中，執(zhí)行方位對(duì)齊以基于在步驟S13中確定的特征方位角α向參數(shù)U、 V加上方位角a。其后，執(zhí)行相鄰區(qū)域規(guī)格化步驟S15以獲得規(guī)格化的相鄰區(qū)域像素強(qiáng)度 i[]。在最后步驟S16中，根據(jù)指示所提取的特征的方位(特別是源自在步驟S14中的方位分配)的參數(shù)來對(duì)于相應(yīng)的所提取的特征建立具有描述符向量d[]形式的特征描述符。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，范圍接收捕獲設(shè)備可以用作捕獲設(shè)備，其中，使用諸如激光掃描器、飛行時(shí)間相機(jī)或立體相機(jī)的任何種類的范圍數(shù)據(jù)捕獲設(shè)備所獲取的圖像的像素可以具有相關(guān)聯(lián)的3D坐標(biāo)。在該情況下，可以從特征點(diǎn)的相鄰區(qū)域像素的3D位置計(jì)算特定特征點(diǎn)在普通坐標(biāo)系中的任何方位。假設(shè)在像素P的特征，對(duì)于所有的相鄰區(qū)域像素Ni (其中，i是相鄰區(qū)域像素的索引)，計(jì)算源自P并且指向Ni的3D向量。確定相對(duì)于期望的方位向量的兩個(gè)最近的相鄰區(qū)域，并且將其用于在圖像空間中插入期望的方位。而且，至少兩個(gè)像素的3D位置的知識(shí)允許在相鄰區(qū)域規(guī)格化步驟中計(jì)算對(duì)于平面內(nèi)旋轉(zhuǎn)的旋轉(zhuǎn)角。如果已知三個(gè)或更多像素的3D世界坐標(biāo)，則可以計(jì)算三維變換，以在規(guī)格化步驟中將局部相鄰區(qū)域或整個(gè)圖像彎曲到一個(gè)或多個(gè)參考方位。可以使用所提出的技術(shù)來匹配從具有來自不同的跟蹤系統(tǒng)的不同種類的相關(guān)聯(lián)的空間信息的圖像提取的描述符。圖I以上面描述和示出的窗戶的四個(gè)角為示例，示意地將標(biāo)準(zhǔn)手段的結(jié)果與根據(jù)本發(fā)明確定的全局對(duì)齊的局部特征描述符作比較。雖然標(biāo)準(zhǔn)手段(在左面的特征F1-F4) 產(chǎn)生四個(gè)相同的描述符，但是根據(jù)本發(fā)明的全局對(duì)齊產(chǎn)生清楚地不同的特征描述符(在右面的特征F11-F14)。因此，根據(jù)本發(fā)明的方面，當(dāng)從具有關(guān)于捕獲設(shè)備相對(duì)于普通坐標(biāo)系的方位的相關(guān)聯(lián)的信息的圖像提取局部特征描述符時(shí)，提出基于這個(gè)信息來分配特征的方位。具體地說，通過普通坐標(biāo)系來對(duì)齊針對(duì)特征的方位并將其投影到圖像坐標(biāo)系。這使得能在具有不同方位的全等或近乎全等特征的描述符之間的更高的區(qū)別性，同時(shí)允許相機(jī)的自由移動(dòng)和旋轉(zhuǎn)。通過考慮測量的方位，根據(jù)本發(fā)明的方法可以被容易地插入依賴于規(guī)格化的局部相鄰區(qū)域的任何現(xiàn)有的局部特征描述符，如圖4中所示。任選地，所測量的設(shè)備方位不僅在它在相鄰區(qū)域規(guī)格化步驟中提供用于將相機(jī)圖像旋轉(zhuǎn)的單個(gè)角度方面影響特征方位分配，而且另外用于將整個(gè)或部分圖像彎曲到一個(gè)或多個(gè)參考方位以校正在特定特征相鄰區(qū)域中的透視變形。例如，可以在立體匹配(特別是寬基線立體匹配)、相機(jī)跟蹤、圖像檢索、圖像分類、物體分類或物體識(shí)別的處理中實(shí)現(xiàn)如上所述的方法。立體匹配的目標(biāo)是在被提供有從不同視點(diǎn)獲取的場景或物體的兩個(gè)圖像的情況下，重建它的3D幾何形狀。這是通過在描述相同的3D點(diǎn)的兩個(gè)圖像中找到對(duì)應(yīng)的像素并且通過三角測量的方式計(jì)算它們的深度來進(jìn)行的。相機(jī)跟蹤描述了在給定一個(gè)或多個(gè)相機(jī)圖像的情況下計(jì)算相機(jī)的姿態(tài)(位置和方位)的過程?；蛘呦鄬?duì)于具有已知3D位置的參考特征匹配相機(jī)圖像中的特征來計(jì)算絕對(duì)姿態(tài)或相對(duì)于來自前一個(gè)幀的特征匹配相機(jī)圖像中的特征來計(jì)算在位置和方位上的相對(duì)改變。圖像或物體的分類向η個(gè)可能類別中的一個(gè)分配給定圖像或物體的三維描述。一個(gè)示例是分辨給定的圖像是描述了蘋果還是梨的方法，即使在查詢圖像中的特定水果還沒有用于培訓(xùn)或被用作參考圖像。而在針對(duì)給定查詢的圖像檢索或物體識(shí)別中，搜索精確地匹配的參考圖像或物體。所有這些技術(shù)依賴于兩個(gè)或更多圖像的特征的匹配。圖5Α和5Β以示意方式示出要匹配的描述具有相應(yīng)提取特征的相同物體的示例性第一圖像和第二圖像。例如，已經(jīng)在諸如不同的視角、光條件等的不同的條件或環(huán)境下捕獲了圖像。在第一圖像IMl中，如圖5Α中所示的真實(shí)靜態(tài)物體ROl被相機(jī)(未示出)捕獲。 在圖像IMl中，提取真實(shí)物體ROl的特征，諸如在圖5Α中由特征F51所示。在下面的步驟中，可以根據(jù)本發(fā)明的方法對(duì)于每一個(gè)提取的特征F51計(jì)算描述符。然后將這些特征F51與在第二圖像頂2中提取的特征F52進(jìn)行匹配。第二圖像頂2描述與在不同的視點(diǎn)下的真實(shí)物體ROl對(duì)應(yīng)的真實(shí)物體R02，其中，對(duì)于特征F52，也確定相應(yīng)的描述符。具體地說，如果特征F51和F52的描述符在特定的相似性度量上相對(duì)接近，則它們是相匹配的。例如，如果每一個(gè)描述符被寫為數(shù)字的向量，則當(dāng)比較兩個(gè)描述符時(shí)，可以使用在兩個(gè)對(duì)應(yīng)的向量之間的歐幾里得距離來作為相似性度量。在圖5中示出三個(gè)匹配，通過使用虛線連接它們來進(jìn)行說明。匹配M51是正確的匹配，因?yàn)樵诖似ヅ涞膬蓚€(gè)特征對(duì)應(yīng)于同一物理實(shí)體，而匹配M52和M53是錯(cuò)誤的，因?yàn)樗鼈兤ヅ渑c不同的物理實(shí)體對(duì)應(yīng)的特征。在匹配M52中，兩個(gè)特征在不同的方位中具有類似 (近乎全等)的相鄰區(qū)域。雖然在使用標(biāo)準(zhǔn)手段時(shí)這種不匹配是常見，但是本發(fā)明旨在避免它們。在M53中匹配的兩個(gè)特征在類似的方位上具有類似的相鄰區(qū)域，并且因此可以導(dǎo)致在標(biāo)準(zhǔn)手段和本發(fā)明的實(shí)施例兩者中的不匹配?；谙噜弲^(qū)域像素的像素強(qiáng)度來計(jì)算特征的方位的常見方法具有高度的可重復(fù)性，因此是特征的可靠特性。當(dāng)如本發(fā)明所建議的將特征與普通坐標(biāo)系對(duì)齊時(shí)，這個(gè)特征可以用于向描述符增加額外的區(qū)別性，并且提高匹配性能。當(dāng)提取特征時(shí)，任選地計(jì)算基于圖像強(qiáng)度的一個(gè)或多個(gè)方向，并且將其關(guān)于對(duì)于每一個(gè)特征的普通坐標(biāo)系進(jìn)行存儲(chǔ)。在匹配階段，通過僅比較關(guān)于普通坐標(biāo)系具有類似方向的特征，可以減少所需的比較的數(shù)量。本詳細(xì)說明已經(jīng)闡述了本發(fā)明的一些實(shí)施例。應(yīng)當(dāng)明白，可能的實(shí)現(xiàn)方式的以上描述意圖是說明性的而不是限制性的。此外，在本公開中，術(shù)語“第一”、“第二”等僅用作標(biāo)簽,并且不意圖對(duì)它們的對(duì)象施加數(shù)值要求。在權(quán)利要求的范圍內(nèi)的其他實(shí)施例和修改對(duì)于結(jié)合附圖研究了上面的說明書的本領(lǐng)域內(nèi)的技術(shù)人員是顯而易見的。
權(quán)利要求
1.一種用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法，包括步驟-提供由捕獲設(shè)備捕獲的圖像，并且從所述圖像提取至少一個(gè)特征，-向所述至少一個(gè)特征分配描述符，所述描述符取決于指示方位的至少一個(gè)參數(shù)，-其中，從至少一個(gè)跟蹤系統(tǒng)確定所述至少一個(gè)參數(shù)。
2.根據(jù)權(quán)利要求I所述的方法，其中，從關(guān)于普通坐標(biāo)系的所述捕獲設(shè)備的方位確定所述至少一個(gè)參數(shù)。
3.根據(jù)權(quán)利要求I和2中的一項(xiàng)所述的方法，其中，所述跟蹤系統(tǒng)包括與所述捕獲設(shè)備相關(guān)聯(lián)的傳感器，特別是慣性傳感器或加速度計(jì)或陀螺儀或指南針。
4.根據(jù)權(quán)利要求I至3中的一項(xiàng)所述的方法，其中，所述跟蹤系統(tǒng)包括機(jī)械和/或電磁和/或聲音和/或光學(xué)跟蹤系統(tǒng)。
5.根據(jù)權(quán)利要求I至4中的一項(xiàng)所述的方法，其中，所述捕獲設(shè)備包括范圍數(shù)據(jù)捕獲設(shè)備，特別是激光掃描器、飛行時(shí)間相機(jī)或立體相機(jī)，所述范圍數(shù)據(jù)捕獲設(shè)備提供具有相關(guān)聯(lián)的深度和/或3D位置的圖像像素。
6.根據(jù)權(quán)利要求I至5中的一項(xiàng)所述的方法，其中，與關(guān)于用于在所述圖像的坐標(biāo)系中的變換的所述捕獲設(shè)備的固有參數(shù)的信息一起確定所述至少一個(gè)參數(shù)。
7.根據(jù)權(quán)利要求I至6中的一項(xiàng)所述的方法，其中，從所述圖像的像素的3D位置確定針對(duì)所述至少一個(gè)提取的特征的所述至少一個(gè)參數(shù)。
8.根據(jù)權(quán)利要求I至7中的一項(xiàng)所述的方法，進(jìn)一步包括步驟規(guī)格化關(guān)于所述方位的所述至少一個(gè)特征的相鄰區(qū)域。
9.根據(jù)權(quán)利要求8所述的方法，其中，在規(guī)格化所述至少一個(gè)特征的相鄰區(qū)域的所述步驟中，所述方位提供用于旋轉(zhuǎn)所述圖像的角度。
10.根據(jù)權(quán)利要求8或9所述的方法，其中，在規(guī)格化所述至少一個(gè)特征的所述步驟中， 所述方位用于將整個(gè)圖像或其的部分彎曲到一個(gè)或多個(gè)參考方位，以校正在特定特征相鄰區(qū)域中的透視變形。
11.根據(jù)權(quán)利要求I至10中的一項(xiàng)所述的方法，其中，基于像素強(qiáng)度來計(jì)算關(guān)于在普通坐標(biāo)系中的所述方位的所述特征的一個(gè)或多個(gè)方向，并且將其存儲(chǔ)為所述描述符的一部分。
12.一種用于匹配兩個(gè)或更多圖像的特征的方法，包括-提取第一圖像的至少一個(gè)第一特征和第二圖像的至少一個(gè)第二特征，-提供用于所述第一特征的第一描述符和用于所述第二特征的第二描述符，其中，根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法來提供所述第一描述符和第二描述符中的至少一個(gè)，-在用于所述第一特征和第二特征的匹配處理中比較所述第一描述符和第二描述符。
13.根據(jù)權(quán)利要求12所述的方法，其中，在所述匹配處理中，基于相似性度量確定所述第一特征和第二特征是否彼此對(duì)應(yīng)。
14.根據(jù)權(quán)利要求13所述的方法，其中，所述相似性度量包括多級(jí)方法，所述多級(jí)方法連續(xù)地計(jì)算不同的度量以盡可能早地拒絕錯(cuò)誤的匹配。
15.根據(jù)權(quán)利要求I至14中的一項(xiàng)所述的方法，其中，在特別是在寬基線立體匹配的立體匹配、相機(jī)跟蹤、圖像檢索、物體識(shí)別、視覺搜索、姿態(tài)估計(jì)、視覺監(jiān)督、場景重建、動(dòng)作估計(jì)、全景縫合或圖像恢復(fù)的處理中實(shí)現(xiàn)所述方法。
16.一種計(jì)算機(jī)程序產(chǎn)品，其適于加載到與用于捕獲圖像的至少一個(gè)捕獲設(shè)備耦合的數(shù)字計(jì)算機(jī)系統(tǒng)的內(nèi)部存儲(chǔ)器或用于從其加載圖像的存儲(chǔ)介質(zhì)內(nèi)，并且包括軟件代碼部分，通過所述軟件代碼部分，當(dāng)所述產(chǎn)品在所述計(jì)算機(jī)系統(tǒng)上運(yùn)行時(shí)，根據(jù)權(quán)利要求I至15 的任何一項(xiàng)所述的步驟被執(zhí)行。
全文摘要
一種用于提供針對(duì)圖像的至少一個(gè)特征的描述符的方法包括步驟提供由捕獲設(shè)備捕獲的圖像，并且從所述圖像提取至少一個(gè)特征；并且，向所述至少一個(gè)特征分配描述符，所述描述符取決于指示方位的至少一個(gè)參數(shù)，其中，從由跟蹤系統(tǒng)測量的所述捕獲設(shè)備的方位確定所述至少一個(gè)參數(shù)。本發(fā)明也涉及一種用于匹配兩個(gè)或多個(gè)圖像的特征的方法。
文檔編號(hào)G06T7/00GK102612704SQ201080046762
公開日2012年7月25日 申請日期2010年5月28日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者D·庫爾茨, S·本希馬寧 申請人:Metaio有限公司