專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及檢索與所輸入的圖像類似的圖像的圖像處理設(shè) 備和圖像處理方法。
背景技術(shù)：
已經(jīng)提出了檢索類似圖像的各種技術(shù)。例如，存在如下方 法將圖像分割為多個塊，利用每一個塊的圖像特征量即代表 顏色進(jìn)行圖案匹配，從而使用顏色的位置信息來檢索類似圖像， 例如引用的專利文件l。然而，根據(jù)引用的專利文件l公開的方 法需要在進(jìn)行檢索時根據(jù)圖像總體來計算特征量，因此在例如 從圖像內(nèi)截取指定圖像時或者背景顏色改變時的狀況下，檢索 變得復(fù)雜。
因此，提出了使用局部化特征量即局部特征量而不使用圖 像總體的特征量來檢索類似圖像的方法。通過從圖像中提取特 征點(diǎn)即局部特征點(diǎn)，這種方法開始。通過根據(jù)局部特征點(diǎn)和其 附近的圖像信息計算關(guān)于局部特征點(diǎn)的特征量即局部特征量， 該方法繼續(xù)。通過對各個局部特征量進(jìn)行匹配來進(jìn)行圖像的檢 索。
提出了一種方法，其通過將局部特征量定義為由多個不隨 著轉(zhuǎn)動變化的元素構(gòu)成的量，即使當(dāng)圖像轉(zhuǎn)動時，相對于如前 所述這種使用局部特征量的技術(shù)能夠以高準(zhǔn)確度進(jìn)行檢索，例 如，引用的非專利文件l。以類似的方式，還有一種方法，其通 過將局部特征量定義為由多個不隨著轉(zhuǎn)動變化的元素構(gòu)成的 量，使用局部特征量對圖像的位置進(jìn)行匹配，例如引用的專利
文件2。引用的專利文件l、引用的專利文件2和引用的非專利文件l如下引用的專利文4牛1:曰本特開1996 — 249349。 引用的專利文件2:日本特開1997 - 44665。 引用的非專利文件l : C. Schmid and R. Mohr, "Localgray value invariants for image retrieval", IEEE Trans. PAMI.， Vol. 19, No.5, pp. 550-534， 1997。然而，實際上，對于在引用的專利文件2或者引用的非專利 文件1中公開的方法，根據(jù)該方法被定義為不隨著轉(zhuǎn)動變化的局 部特征量產(chǎn)生變動，變動是由圖像轉(zhuǎn)動時出現(xiàn)的噪聲引起的。 圖IO示出了定義為不隨著轉(zhuǎn)動變化的局部特征量的變動的示 例。圖10作為散點(diǎn)圖示出了在引用的非專利文件1中定義的局部 特征量的變動。該圖繪制了當(dāng)圖像從0度轉(zhuǎn)動到90度時以15度為 間隔在同 一點(diǎn)處計算的局部特征量的七個元素。由于在圖10中 很明顯的局部特征量的變動產(chǎn)生的問題是圖像檢索的準(zhǔn)確性的 劣化。發(fā)明內(nèi)容本發(fā)明的目的是提供一種考慮到由對圖像進(jìn)行預(yù)定更改而 引起的局部特征量的變動的改進(jìn)的圖像處理設(shè)備。根據(jù)本發(fā)明的一個方面，提供了一種圖像處理設(shè)備，其包 括提取部，其被配置為從輸入圖像中提取多個特征點(diǎn)；特征 量計算部，其被配置為對所述提取部提取的每 一 個特征,S計算 特征量；評價部，其被配置為評價輸入圖像的規(guī)定變化對所述 特征量計算部計算的每一個特征量的影響；選擇部，用于基于 所述評價部的結(jié)果從所述多個特征點(diǎn)中選擇至少 一 個特征點(diǎn)， 用來進(jìn)行圖像檢索；以及檢索部，用于使用所述選擇部選擇的至少一個特征點(diǎn)在多個存儲的圖像中檢索圖像。
根據(jù)本發(fā)明的另一個方面，提供了一種圖像處理方法，其
包括如下步驟從輸入圖像中提取多個特征點(diǎn)；對所提取的每 一個特征點(diǎn)計算特征量；評價步驟，其評價輸入圖像的規(guī)定變 化對每一個特征量的影響；基于評價結(jié)果從所述多個特征點(diǎn)中 選擇至少一個特征點(diǎn)，用來進(jìn)行圖像檢索；以及檢索步驟，其 使用所選擇的至少一個特征點(diǎn)在多個存儲的圖像中檢索圖像。
從以下(參考附圖)對示例性實施例的說明，本發(fā)明的其 它特征將變得明顯。


圖l是示出根據(jù)第 一 實施例的圖像注冊設(shè)備的配置示例的框圖。
圖2是示出根據(jù)第 一 實施例的圖像檢索設(shè)備的配置示例的框圖。
圖3是表示圖像注冊處理的序列的流程圖。
圖4示出縮小圖像產(chǎn)生單元103產(chǎn)生縮小的圖像的處理的示例。
圖5是表示圖像檢索處理的序列的流程圖。
圖6是示出根據(jù)第 一 實施例的計算類似度的序列的流程圖。
圖7示出高斯(Gaussian)濾波器的示例。
圖8示出將圖7所示的濾波器旋轉(zhuǎn)了 45度的高斯濾波器的示例。
圖9是示出根據(jù)第二實施例的圖像注冊設(shè)備的配置示例的框圖。
圖10示出定義為不隨轉(zhuǎn)動變化的局部特征量的變動的示例。
具體實施方式
以下是參考附圖對實現(xiàn)本發(fā)明的優(yōu)選實施例的詳細(xì)說明。 第 一 實施例圖l是示出根據(jù)第 一實施例的圖像注冊設(shè)備的配置示例的框圖。如圖l所示，圖像注冊設(shè)備100具有圖像輸入單元102、縮 小圖像產(chǎn)生單元103、局部特征點(diǎn)捐:取單元104、局部特征量計 算單元105和特征量注冊單元106。對于圖像注冊設(shè)備IOO，縮小圖像產(chǎn)生單元103產(chǎn)生要注冊 的圖像101的縮小的圖像，將其輸入到圖像輸入單元102中，局 部特征點(diǎn)提取單元10 4從縮小的圖像中提局部特征點(diǎn)。局部特征 量計算單元105計算局部特征點(diǎn)的局部特征量，特征量注冊單元 106將要注冊的圖像101與這樣計算的局部特征量相關(guān)聯(lián)，并且 在圖像特征數(shù)據(jù)庫107中注冊要注冊的圖像101和局部特征量。 下文中，更詳細(xì)地說明在圖像注冊設(shè)備100內(nèi)執(zhí)行的圖像注冊處 理。圖像特征數(shù)據(jù)庫107是存儲與輸入的圖像類似的圖像的存儲 單元。圖2是示出根據(jù)第 一 實施例的圖像檢索設(shè)備的配置示例的 框圖。如圖2所示，圖像檢索設(shè)備200包括圖像輸入單元202、縮 小圖像產(chǎn)生單元203、局部特征點(diǎn)提取單元204、局部特征量計 算單元205、局部特征量檢查單元206和特征比較單元207。對于圖像檢索設(shè)備200,縮小圖像產(chǎn)生單元203產(chǎn)生輸入到 圖像輸入單元2 0 2的查詢圖像2 01的縮小的圖像，局部特征點(diǎn)提 取單元2 0 4從縮小的圖像提取局部特征點(diǎn)。局部特征量計算單元 205計算局部特征點(diǎn)的局部特征量，局部特征量檢查單元206檢 查該局部特征量。將檢查的結(jié)果傳送到特征比較單元207,特征 比較單元207由此從圖像特征數(shù)據(jù)庫107檢索根據(jù)特征比較單元2 0 7的檢索結(jié)果與查詢圖像2 0 1類似的圖像，并且輸出如此檢索
的圖像作為檢索結(jié)果208。下文中，更詳細(xì)地說明在圖像檢索設(shè) 備200內(nèi)執(zhí)行的圖像才企索處理。 圖像注冊處理
以下是對注冊圖像時工作的各個單元的說明。圖3是表示圖 像注冊處理的序列的流程圖。在步驟S301中，圖l所示的圖像 輸入單元102讀取要注冊的圖像IOI,在步驟S302中從要注冊的 圖像101中提取亮度分量。根據(jù)如此提取的亮度分量產(chǎn)生亮度分 量圖像，并且將如此產(chǎn)生的亮度分量圖像傳送到縮小圖像產(chǎn)生 單元103。將要注冊的圖像101傳送到下文中將說明的特征量注 冊單元106。
在步驟S303中，縮小圖像產(chǎn)生單元103根據(jù)倍率p依次縮小 從圖像輸入單元102傳送到縮小圖像產(chǎn)生單元103的亮度分量圖 像，產(chǎn)生數(shù)量n個縮小的圖像，并將縮小的圖像傳送到局部特征 點(diǎn)提取單元10 4 。假設(shè)倍率p和縮小的圖像的數(shù)量n是預(yù)定的。
圖4示出縮小圖像產(chǎn)生單元103產(chǎn)生縮小的圖像的處理的示 例。圖4所示的示例是倍率p的冪是2的-(1/4)次方并且縮小的圖 像的數(shù)量n是9的情況下的示例。在圖4中，附圖標(biāo)記401是從圖 像輸入單元102傳送的亮度分量圖像。附圖標(biāo)記402是根據(jù)倍率p 的冪將亮度分量圖像縮小了四倍的縮小的圖像。附圖標(biāo)記403 是根據(jù)倍率p的冪將亮度分量圖像縮小了 8倍的縮小的圖像。
在本示例中，縮小的圖像402是將從圖像輸入單元102傳送 的亮度分量圖像的大小縮小到 一半的圖像，縮小的圖像403是將 從圖像輸入單元10 2傳送的亮度分量圖像的大小縮小到四分之 一的圖像?？梢允褂萌魏慰s小圖像的方法，并且假設(shè)根據(jù)第一 實施例通過利用線性插值的縮小方法來產(chǎn)生縮小的圖像。
返回到圖3，在步驟S304中，即使從縮小圖像產(chǎn)生單元103傳送的數(shù)量n個縮小圖像中的各個縮小的圖像進(jìn)行轉(zhuǎn)動，局部特征點(diǎn)提取單元104也提取局部化的特征點(diǎn)，也就是魯棒(robust)地提取的局部特征點(diǎn)。在這種情況下，魯棒局部特征點(diǎn)意為具 有魯棒性或者耐性的局部特征點(diǎn)，從而當(dāng)在圖像處理中圖像轉(zhuǎn) 動時以穩(wěn)定的方式纟是耳又局部特征點(diǎn)，并且不丟失局部特征點(diǎn)。將如此提取的局部特征點(diǎn)傳送到局部特征量計算單元105。根據(jù) 第一實施例使用哈利斯算子(Harris Operator)作為根據(jù)第一實 施例提取局部特征量的方法。參見C. Harris和M. J. Stephens, "A combined corner and edge detector" , in Alvey Vision Conference, pages 147-152, 1988。圖像H的像素，對該像素和該像素附近的8個像素總共9個像素 的像素值進(jìn)行搜索。提取該像素局部最大的點(diǎn)即在9個像素中像 素值最大的點(diǎn)作為局部特征點(diǎn)。在這種情況下，假設(shè)如果該像 素的值小于或者等于閾值，則即使該像素是局部最大的，也不 提取該像素作為局部特征點(diǎn)。像素值是表示各個像素適合某一 位置的程度的值。哈利斯算子特征點(diǎn)提取方法之外的任何特征,#、提取方法都 可以應(yīng)用于局部特征點(diǎn)提取單元104,只要該方法能夠提取局部 特征點(diǎn)即可。在步驟S305中，局部特征量計算單元105計算從局部特征 點(diǎn)提取單元104傳送到局部特征量計算單元105的局部特征點(diǎn)的 特征量，即被定義為不隨各個圖像的轉(zhuǎn)動變化的局部特征量。 將如此提取的局部特征量與坐標(biāo)信息相關(guān)聯(lián)，并且將其傳送到 特征量注冊單元106。根據(jù)第一實施例使用Local Jet和其導(dǎo)數(shù)的 組合作為計算局部特征量的方法。參見J. J. Koenderink和A. J. van Doorn, "Representation of local geometry in the visualsystem", Biological Cybernetics, vol. 55, pp. 367-375, 1987, 更具體地，通過以下方程式(l)計算局部特征量應(yīng)當(dāng)指出，由下文中示出的方程式(2)至(7)來定義在方程式 (l)右邊使用的符號。在這種情況下，方程式(2)右邊的"G(x， y)" 是高斯函數(shù)，方程式(2)右邊的"I(x， y)"是相對于圖像的坐標(biāo)(x, y)的像素值，"*"是表示巻積的符號。方程式(3)是與在方程式(2) 中定義的變量L的x有關(guān)的偏導(dǎo)數(shù)，方程式(4)是變量L的y的偏導(dǎo) 數(shù)。方程式(5)是與在方程式(3)中定義的變量Lx的y有關(guān)的偏導(dǎo) 數(shù)，方程式(6)是與在方程式(3)中定義的變量Lx的x有關(guān)的偏導(dǎo) 數(shù)，方程式(7)是與在方程式(4)中定義的變量Ly的y有關(guān)的偏導(dǎo) 數(shù)。<formula>formula see original document page 10</formula>砂總且<formula>formula see original document page 10</formula>可以應(yīng)用例如前述方法的特征量計算方法之外的任何特 征量計算方法，只要該方法能夠計算局部特征量即可。在步驟S306中，特征量注冊單元106將從局部特征量計算 單元105傳送到特征量注冊單元106的局部特征量與要注冊的圖 像101相關(guān)聯(lián)，并且在圖像特征數(shù)據(jù)庫107注冊該數(shù)據(jù)。因此， 圖像注冊處理結(jié)束。圖像檢索處理以下是對在檢索圖像時工作的各個單元的說明。圖5是表示 圖像檢索處理的序列的流程圖。在步驟S501中，圖2所示的圖 像輸入單元202讀入查詢圖像201,在步驟S502中，從查詢圖像 201中提取亮度分量。根據(jù)如此提取的亮度分量產(chǎn)生亮度分量圖 像，將如此產(chǎn)生的亮度分量圖像傳送到縮小圖像產(chǎn)生單元203。在步驟S503中，縮小圖像產(chǎn)生單元203根據(jù)倍率p依次縮小 從圖像輸入單元202傳送到縮小圖像產(chǎn)生單元203的亮度分量圖 像，產(chǎn)生數(shù)量n個縮小的圖像，并將縮小的圖像傳送到局部特征 點(diǎn)提取單元204 。假設(shè)倍率p和縮小的圖像的數(shù)量n是與在圖像注 冊處理中使用的值相同的值。在步驟S504中，即使從縮小圖像產(chǎn)生單元203傳送的數(shù)量n 個縮小圖像中的各個縮小的圖像進(jìn)行轉(zhuǎn)動，局部特征點(diǎn)提取單 元204也提取局部化的特征點(diǎn)，也就是魯棒地提耳又的局部特征 點(diǎn)。將如此提取的局部特征點(diǎn)傳送到局部特征量計算單元205。 與在圖像注冊處理中使用的方法類似，使用哈利斯算子作為提 取局部特4正量的方法。更具體地，對于通過對哈利斯算子進(jìn)行運(yùn)算而獲得的輸出 圖像H的像素，對該像素和該像素附近的8個像素總共9個像素 的像素值進(jìn)行搜索。提取該像素局部最大的點(diǎn)即在9個像素中像 素值最大的點(diǎn)作為局部特征點(diǎn)。在這種情況下，假設(shè)如果該像素的值小于或者等于閾值，則即使該像素是局部最大的，也不 提取該像素作為局部特征點(diǎn)。哈利斯算子特征點(diǎn)提取方法之外的任何特征,泉提取方法都 可以應(yīng)用于局部特征點(diǎn)提取單元204,只要該方法能夠提取局部 特^正點(diǎn)即可。在步驟S505中，局部特征量計算單元205計算乂人局部特征 點(diǎn)提取單元204傳送到局部特征量計算單元205的局部特征點(diǎn)的 特征量，即被定義為不隨各個圖像的轉(zhuǎn)動變化的局部特征量。 將如此提取的局部特征量與坐標(biāo)信息相關(guān)聯(lián)，并且將其傳送到 局部特征量檢查單元206。這里使用的計算局部特征量的方法是 與在圖像注冊處理中^f吏用的相同的方法。換句話il, ^f吏用Local Jet和其導(dǎo)數(shù)的組合，方程式(l)用于進(jìn)行局部特征量的計算。在步驟S506中，局部特征量檢查單元206檢查從局部特征 量計算單元205傳送到局部特征量檢查單元206的局部特征量的 各個變動。為了簡化下文中的說明，在這種情況下，將從局部 特征量計算單元205傳送的局部特征量描述為局部特征量(零 度)。根據(jù)第一實施例的檢查進(jìn)行45度轉(zhuǎn)動檢查。換句話說，將 局部特征量計算單元105和205在計算局部特征量時所使用的高 斯濾波器預(yù)設(shè)為轉(zhuǎn)動了 45度的濾波器，即45度轉(zhuǎn)動濾波器，該 45度轉(zhuǎn)動濾波器用于執(zhí)行檢查。在這種情況下，將濾波器轉(zhuǎn)動 4 5度是指對預(yù)定濾波器系數(shù)進(jìn)行幾何轉(zhuǎn)動變換。圖7示出高斯濾波器的示例。圖8示出將圖7所示的濾波器旋 轉(zhuǎn)了45度的高斯濾波器的示例。轉(zhuǎn)動的是高斯濾波器，而不是 查詢圖像2 01 。代替查詢圖像2 01轉(zhuǎn)動高斯濾波器產(chǎn)生低的處理 負(fù)荷，這允許快速執(zhí)行后續(xù)檢查處理。以下是對根據(jù)第 一 實施例的檢查處理的詳細(xì)描述。圖8所示的45度轉(zhuǎn)動濾波器用于通過與局部特征量計算單元205在步驟 S505中計算局部特征量相同的方法計算局部特征量(45度)。 最后，對局部特征量(0度)和局部特征量(45度)之間的馬哈 拉諾比斯(Mahalanobis )距離進(jìn)行比較，如果馬^合拉諾比斯距 離小于或者等于預(yù)定閾值，則視為通過了檢查，而將與其不同 的結(jié)果視為檢查失敗。換句話說，僅將通過了檢查的局部特征 量傳送到特征比較單元207。根據(jù)多個局部特征量預(yù)先推導(dǎo)出用 來計算馬哈拉諾比斯距離的方差-協(xié)方差矩陣因此，根據(jù)第一實施例，使用轉(zhuǎn)動了的濾波器預(yù)先檢查局 部特征量的變動程度使得可以僅使用具有小的變動的局部特征 量進(jìn)行查詢，從而趨于以高準(zhǔn)確度進(jìn)行檢索。雖然根據(jù)第 一 實施例對在檢查時濾波器轉(zhuǎn)動的度數(shù)是45度 的情況進(jìn)行了說明并且僅執(zhí)行了 45度4僉查，但是可以以例如從0 到90度的范圍內(nèi)的t度而不僅僅以45度為單位執(zhí)行轉(zhuǎn)動檢查，假 設(shè)t是滿足不等式O < t < 90的預(yù)定值。還可以通過將濾波器轉(zhuǎn)動以20%的間隔將90度重復(fù)劃分為 小于或者等于t度而獲得度數(shù)，而不是以每t度為間隔執(zhí)行轉(zhuǎn)動 檢查，通過依次進(jìn)行一系列轉(zhuǎn)動檢查來進(jìn)一步減少要檢查的特 征點(diǎn)。返回到圖5，在步驟S507中，特征比較單元207比較從局部 特征量檢查單元206傳送到特征比較單元207的局部特征量和在 圖像特征數(shù)據(jù)庫107中注冊的局部特征量。對在圖像特征數(shù)據(jù)庫 107中注冊的每一個注冊圖像執(zhí)行該比較，并且針對每一個注冊 圖像計算類似度作為比較的結(jié)果。下文中，將說明類似度的計算方法的細(xì)節(jié)。在步驟S508中，特征比較單元207將如此計算的類似度與作為類似度的計算源的圖像相關(guān)聯(lián)，并且產(chǎn)生檢索結(jié)果列表， 從而特征比較單元2 0 7按照遞減的順序?qū)︻愃贫冗M(jìn)行分類。之 后，輸出具有高類似度的圖像和圖像的類似度作為檢索結(jié)果208。類似度的計算方法以下是對類似度的計算方法的說明。在這種情況下，假設(shè) 從局部特征量纟企查單元206傳送的局部特征量是Vq,與該局部 特征量相關(guān)聯(lián)的局部特征點(diǎn)是Q,以及與該局部特征量相關(guān)聯(lián) 的坐標(biāo)是Q(x，， y，)。還假設(shè)存在于在圖像特征數(shù)據(jù)庫107中注冊 的圖像R中的局部特征量是Vs,與該局部特征量相關(guān)聯(lián)的局部 特征點(diǎn)是S，以及與該局部特征量相關(guān)聯(lián)的坐標(biāo)是S(x， y)。圖6是根據(jù)第一實施例的計算類似度的序列的流程圖。通過 投票處理即輪詢處理進(jìn)行類似度的計算。投票數(shù)等于類似度。 在步驟S601中，將表示最大投票數(shù)的變量VoteMax初始化為零。最大投票數(shù)是進(jìn)行多次投票時所獲得的最大投票數(shù)。在步驟 S602中，對特征量Vq和Vs之間的距離的所有組合進(jìn)行計算，產(chǎn) 生最短距離對應(yīng)點(diǎn)列表。換句話說，提取Vq和Vs的組合即對應(yīng) 點(diǎn)并且將其注冊在最短距離對應(yīng)點(diǎn)列表中，其中，如此計算的特征量之間的距離小于或者等于閾值T v,也是如此計算的特征 量之間的最短距離。下文中，對于在最短距離對應(yīng)點(diǎn)列表中注冊的對應(yīng)點(diǎn)k，將 對應(yīng)點(diǎn)k的局部特征量分別表示為Vq(k)和Vs(k)。將與Vq(k)和 Vs(k)相關(guān)聯(lián)的局部特征點(diǎn)分別表示為Qk和Sk,將與Vq(k)和 Vs(k)相關(guān)聯(lián)的坐標(biāo)以及索引分別表示為例如Qk(x，k， y，k)和 Sk(xk， yk)。將在步驟S602中產(chǎn)生的最短距離對應(yīng)點(diǎn)列表中注冊 的對應(yīng)點(diǎn)的組數(shù)稱為m組。在步驟S603中，表示類似度計算處理的重復(fù)次數(shù)的變量Count初始化為零。在步驟S604中，對重復(fù)次數(shù)Count是否超過 了預(yù)定最大重復(fù)處理次數(shù)Rn進(jìn)行判斷。在這種情況下，如果重 復(fù)次數(shù)Count超過了預(yù)定最大重復(fù)處理次數(shù)Rn,則該處理進(jìn)行 到步驟S618,輸出最大投票數(shù)VoteMax，該處理結(jié)束。另 一方面，如果在步驟S604中重復(fù)次數(shù)Count沒有超過了預(yù) 定最大重復(fù)處理次數(shù)Rn，則該處理進(jìn)行到步驟S605，將表示投 票數(shù)的變量Vote初始化為零。在步驟S606中，從最短距離對應(yīng) 點(diǎn)列表中隨機(jī)提取一對對應(yīng)點(diǎn)的坐標(biāo)。在這種情況下，將該坐 標(biāo)表示為Ql(x，l， y，l), Sl(xl， yl)和Q2(x，2， y，2)， S2(x2, y2)。 在步驟S607中，假設(shè)在步驟S606中提取的坐標(biāo)Ql(x，l， y，l), Sl(xl， yl)和Q2(x'2， y'2), S2(x2, y2)滿足方程式(8)所示的變 換，并且求出方程式(8)中的變量a f。應(yīng)當(dāng)指出，如圖6所示，在步驟S607中，將由變量a d構(gòu)成 的矩陣表示為"M"，將由變量e f構(gòu)成的矩陣表示為"T"。<formula>formula see original document page 15</formula>(8)在這種情況下，為了簡便，根據(jù)第一實施例僅考慮相似變 換。在該情況下，可以將方程式(8)重寫為以下的方程式(9):凡 (9)x，l, y，l, xl, yl， x，2， y，2, x2和y2用于表示變量a, b, e和f:<formula>formula see original document page 16</formula>在步驟S608中，為了從最短距離對應(yīng)點(diǎn)列表選擇在步驟 S606中從最短距離對應(yīng)點(diǎn)列表隨機(jī)提取的 一 對對應(yīng)點(diǎn)的坐標(biāo) 之外的點(diǎn)，將對應(yīng)點(diǎn)選擇變量k初始化為3。在步驟S609中，對 對應(yīng)點(diǎn)選擇變量k是否超過了在最短距離對應(yīng)點(diǎn)列表中注冊的 對應(yīng)點(diǎn)的組數(shù)m進(jìn)行判斷。在這種情況下，如果對應(yīng)點(diǎn)選擇變 量k超過了在最短距離對應(yīng)點(diǎn)列表中注冊的對應(yīng)點(diǎn)的組數(shù)m,則 該處理進(jìn)行到步驟S615 (將在下文中進(jìn)行說明)。另 一方面， 如果在步驟S609中判斷為對應(yīng)點(diǎn)選擇變量k沒有超過在最短距 離對應(yīng)點(diǎn)列表中注冊的對應(yīng)點(diǎn)的組數(shù)m,則該處理進(jìn)行到步驟 S610。在步驟S610中，提取在步驟S606中乂人最短距離對應(yīng)點(diǎn)列表 中隨機(jī)提取的一對對應(yīng)點(diǎn)Sl(xl， yl)和S2(x2， y2)之外的點(diǎn)。根 據(jù)第 一 實施例，將如此提取的點(diǎn)表示為Sk(xk， yk)。在步驟S611中，方程式(9)用于求出點(diǎn)Sk(xk， yk)轉(zhuǎn)換的坐 標(biāo)Sk,(x，k， y，k)。在步驟S612中，通過歐幾里德(Euclidean)距離計算坐標(biāo) Sk，(x，k， y，k)和坐標(biāo)Qk，(x，k, y，k)之間的幾何距離，并且對該歐 幾里德距離是否小于或者等于閾值Td進(jìn)行判斷。如果歐幾里德 距離小于或者等于閾值Td，則該處理進(jìn)行到步驟S613，將投票數(shù)Vote增加l，該處理進(jìn)行到步驟S614。另一方面，如果歐幾里 德距離大于閾值Td,則該處理直接進(jìn)行到步驟S614。歐幾里德 距離小于或者等于閾值Td的特征點(diǎn)是被視為在圖像類似的特 征點(diǎn)。在步驟S614中，將對應(yīng)點(diǎn)選擇變量k增加l,該處理進(jìn)行到 步驟S609，重復(fù)該處理直到對應(yīng)點(diǎn)選擇變量k超過了在最短距 離對應(yīng)點(diǎn)列表中注冊的對應(yīng)點(diǎn)的組數(shù)m為止。換句話il,重復(fù) 投票，在步驟S606中再次提取一對不同的點(diǎn)，在步驟S607中在 方程式(9)中求出參數(shù)變量a, b, e和f,并且執(zhí)行從步驟S608到 步驟S612的處理。以下是對步驟S 615的說明，其中在步驟S 6 0 9中對應(yīng)點(diǎn)選擇 變量k超過在最短距離對應(yīng)點(diǎn)列表中注冊的對應(yīng)點(diǎn)的組數(shù)m的 情況下執(zhí)行該處理。在步驟S615中，在投票數(shù)"Vote"的值和最 大投票數(shù)"VoteMax"的值之間進(jìn)行比較，如果投票數(shù)"Vote"的值 大于最大投票數(shù)"VoteMax"的值，則該處理進(jìn)行到步驟S616 。在步驟S616中，用投票數(shù)"Vote"的值代替最大投票數(shù) "VoteMax，，的值，在步驟S617中，將重復(fù)次數(shù)Count增加1 ，該 處理返回到步-驟S604。另 一方面，如果在步驟S615中投票數(shù)"Vote"的值小于或者 等于最大投票數(shù)"VoteMax"的值，該處理進(jìn)行到步驟S617 ，將 重復(fù)次數(shù)"Count，，增加1 ，該處理返回到步驟S604 。雖然對根據(jù)第 一 實施例的類似度計算方法的描述僅考慮了 相似變換，但是可以通過在與各個變換相對應(yīng)的步驟S607中求 出變換矩陣來響應(yīng)另 一 種幾何變換，例如仿射變換(affine transformation )。例如，假設(shè)對于仿射變換，要在步驟S606中 隨機(jī)選擇的對應(yīng)點(diǎn)的坐標(biāo)組數(shù)是3。在步驟S607中，假設(shè)可以 使用方程式(8)而不是方程式(9)，并且可以使用在步驟S606中選擇的3個對應(yīng)點(diǎn)來求出變量a f。雖然對根據(jù)第 一 實施例的計算類似度的方法的描述說明在 步驟S618中輸出最大投票數(shù)"VoteMax"作為類似度的方法，但 是本發(fā)明不限于此，也可以計算不同的類似度。換句話說，輸 出在步驟S 6 02中產(chǎn)生的在最短距離對應(yīng)點(diǎn)列表中注冊的對應(yīng) 點(diǎn)的組數(shù)m作為類似度。其結(jié)果是，可以提高檢索的速度，同 時在檢索中保持給定的準(zhǔn)確度。根據(jù)前述部分應(yīng)當(dāng)理解，根據(jù)第一實施例的圖像檢索設(shè)備 被配置為檢查從查詢圖像計算的局部特征量的變動，并且不使 用具有大的變動的局部特征量，從而可以控制檢索準(zhǔn)確性的劣 化。第一實施例的變形例雖然局部特征量檢查單元206使用轉(zhuǎn)動了的濾波器檢查局 部特征量，但是可以在轉(zhuǎn)動圖像本身而不轉(zhuǎn)動濾波器之后計算 局部特征量，并且使用如此計算的局部特征量進(jìn)行檢查。根據(jù)第一實施例，變形例被配置為檢查根據(jù)查詢圖像201 計算的局部特征量的變動，并且不使用具有大的變動的局部特 征量，從而可以控制#全索準(zhǔn)確性的劣化。第二實施例以下是參考附圖對根據(jù)本發(fā)明的第二實施例的詳細(xì)說明。 根據(jù)第二實施例，即使在圖像的注冊處理期間也進(jìn)行局部特征量的檢查。圖9是示出根據(jù)第二實施例的圖像注冊設(shè)備的配置示例的 框圖。如圖9所示，在根據(jù)第一實施例描述的圖像注冊設(shè)備IOO 的局部特征量計算單元105和特征量注冊單元106之間增加局部 特征量檢查單元901。局部特征量檢查單元901執(zhí)行與根據(jù)第 一實施例的局部特征量檢查單元206執(zhí)行的處理類似的處理。換句話i兌，從在局部 特征量計算單元105中使用的濾波器準(zhǔn)備轉(zhuǎn)動了45度的濾波器， 即45度轉(zhuǎn)動濾波器，以計算局部特征量，45度轉(zhuǎn)動濾波器用于 進(jìn)行檢查。以下是對根據(jù)第二實施例的具體檢查方法的說明。使用45 度轉(zhuǎn)動濾波器，通過與在步驟S 3 0 5中局部特征量計算單元10 5 使用的方法類似的方法計算局部特征量(45度)。最后，對局部 特征量(0度)和局部特征量(45度)之間的馬哈拉諾比斯距離 進(jìn)行比較。如果馬哈拉諾比斯距離小于或者等于預(yù)定闊值，則 視為通過了檢查，而將與其不同的結(jié)果視為檢查失敗。換句話 說，僅將通過了檢查的局部特征量傳送到特征量注冊單元106。濾波器轉(zhuǎn)動的度數(shù)不限于45度，可以以例如從0到90度的范 圍內(nèi)的t度而不僅僅以45度為單位執(zhí)行轉(zhuǎn)動檢查，假設(shè)t是滿足 不等式O < t < 90的預(yù)定值。還可以通過將濾波器轉(zhuǎn)動以20%的間隔將90度重復(fù)劃分為 小于或者等于t度而獲得度數(shù)，而不是以每t度為間隔執(zhí)行轉(zhuǎn)動 檢查，通過依次進(jìn)行一系列轉(zhuǎn)動檢查，來進(jìn)一步減少要檢查的 特征點(diǎn)。還可以通過轉(zhuǎn)動圖像本身而不轉(zhuǎn)動濾波器來執(zhí)行轉(zhuǎn)動檢查。根據(jù)第二實施例，圖像處理設(shè)備被配置為在執(zhí)行圖像注冊 處理時檢查根據(jù)注冊圖像計算的局部特征量的變動，并且不注 冊具有大的變動的局部特征量，從而可以控制4企索準(zhǔn)確'性的劣化。變形例雖然對于根據(jù)第 一 和第二實施例的檢查局部特征量以判斷 檢查處理成功還是失敗的處理中的整個局部特征量，使用同一閾值，但是可以按每個圖像改變檢查標(biāo)準(zhǔn)。換句話說，如果檢 查成功的局部特征量的數(shù)量小于或者等于給定數(shù)量，則使用預(yù)定值r,將r倍當(dāng)前的閾值設(shè)置為新閾值，再次進(jìn)行檢查，重復(fù)該處理直到檢查成功的特征點(diǎn)的數(shù)量大于或者等于給定數(shù)量。 通過按照每個圖{象改變檢查標(biāo)準(zhǔn)，可以通過例如甚至對相 對于轉(zhuǎn)動僅具有大的變動的局部特征量的圖像求出局部特征量 來進(jìn)行檢查。另一方面，如果將檢查標(biāo)準(zhǔn)設(shè)置為規(guī)定標(biāo)準(zhǔn)，則 不能根據(jù)相對于轉(zhuǎn)動僅具有大的變動的局部特征量的這種圖像 求出局部特征量，從而無法檢查圖像。這里描述了如下方法對于通過對哈利斯算子進(jìn)行運(yùn)算而 獲得的輸出圖像H的像素，對該像素和該像素附近的8個像素總 共9個像素的像素值進(jìn)行搜索，提取該像素局部最大的點(diǎn)即在9 個像素中像素的像素值最大的點(diǎn)作為局部特征點(diǎn)。之后，如果 該像素的值小于或者等于閾值，則即使該像素是局部最大的， 也不提取該像素作為局部特征點(diǎn)。然而，本發(fā)明不限于此，可以提取像素的值小于或者等于 閾值的像素作為局部特征點(diǎn)，根據(jù)如此提取的全部特征點(diǎn)計算 局部特征量，并且對局部特征量執(zhí)行檢查處理。換句話說，當(dāng)通過對哈利斯算子進(jìn)行運(yùn)算而獲得的輸出圖 像H的像素是局部最大的時，即使當(dāng)該像素的值小于或者等于 閾值時也提取該像素，根據(jù)如此提取的全部特征點(diǎn)計算局部特 征量，并且對局部特征量執(zhí)行檢查處理。因此，如果根據(jù)特征 點(diǎn)計算的局部特征量在檢查時成功，則使用作為特征點(diǎn)如此提 取的點(diǎn)的局部特征量。另一方面，前述方法不影響作為特征點(diǎn)如此提取的點(diǎn)。換 句話說，局部特征點(diǎn)增加，從而可以進(jìn)一步提高檢索的準(zhǔn)確性。雖然說明了用于檢查局部特征量的處理的方法，其中僅使說明書第18/20頁用檢查成功的局部特征量并且排除檢查失敗的局部特征量，但 是可以不排除檢查失敗的局部特征量并且響應(yīng)于檢查結(jié)果改變 局部特征量的權(quán)重。在這種情況下，在計算類似度時使用權(quán)重。例如，才艮據(jù)下面的方程式(14)來確定局部特征量的權(quán)重W:W-l / (l+D) …(14)其中，D是局部特征量和在檢查中濾波器轉(zhuǎn)動了 4 5度時的 局部特征量之間的馬哈拉諾比斯距離。雖然類似度的計算包括根據(jù)第 一 實施例在步驟S613中對 類似度進(jìn)行計算，但是可以僅考慮例如根據(jù)方程式(15)的權(quán)重 來計算類似度Vo t e - Vo t e+W …(1 5)雖然例如根據(jù)方程式(14)定義了加權(quán)計算方法，但是可以 用另一種加權(quán)方法來代替，只要該方法增大具有小的變動的局 部特征量的權(quán)重并且減小具有大的變動的局部特征量的權(quán)重即可。換句話說，通過按照每個局部特征量進(jìn)行加權(quán)來計算類似 度，而不排除局部特征量，從而允許例如對具有相對于轉(zhuǎn)動僅具有大的變動的局部特征量的圖像進(jìn)行檢查。雖然根據(jù)實施例相對于轉(zhuǎn)動執(zhí)行檢查，但是本發(fā)明不限于此，可以相對于另 一個圖像處理例如放大或者縮小圖像來檢查 局部特征量的變動，并且在檢查時不使用具有大的變動的局部 特征量。因此，即使在轉(zhuǎn)動圖像之外的圖像作為檢查目標(biāo)的情 況下，也可以控制檢查的準(zhǔn)確性的劣化?？梢詫⒈景l(fā)明應(yīng)用于包括多個設(shè)備例如主計算機(jī)、接口裝置、讀取器和打印機(jī)的系統(tǒng)，也可以將本發(fā)明應(yīng)用于由單個設(shè) 備例如復(fù)印機(jī)或者傳真機(jī)構(gòu)成的系統(tǒng)。應(yīng)當(dāng)理解，通過將記錄有實現(xiàn)根據(jù)實施例的功能的軟件程 序代碼的記錄介質(zhì)提供給系統(tǒng)或者設(shè)備，系統(tǒng)或者設(shè)備的計算機(jī)即CPU或者M(jìn)PU加載并執(zhí)行存儲在記錄介質(zhì)上的程序代碼， 來達(dá)到本發(fā)明的目的。在這種情況下，從計算機(jī)可讀記錄介質(zhì)加載的程序代碼本 身實現(xiàn)根據(jù)實施例的功能，存儲程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。作為4是供程序代碼的記錄介質(zhì)，可以使用例如軟(floppy) 盤、硬盤驅(qū)動、光盤、磁光盤、CD-ROM、 CD-R、磁帶、 非易失性存儲卡或者ROM。應(yīng)當(dāng)理解，除了計算機(jī)執(zhí)行如此加載的程序代碼來實現(xiàn)根 據(jù)實施例的功能之外，還包括以下情況在計算機(jī)上運(yùn)行的操 作系統(tǒng)或者其它軟件根據(jù)程序代碼的指令執(zhí)行全部或者部分實 際處理、通過如此執(zhí)行的處理來實現(xiàn)根據(jù)實施例的功能的情況。應(yīng)當(dāng)理解，還包括以下情況將從記錄介質(zhì)加載的程序代 碼寫入包含在安裝在計算機(jī)內(nèi)的擴(kuò)展板或者連接到計算機(jī)的擴(kuò) 展單元中的存儲器中。之后，包含在擴(kuò)展板或者擴(kuò)展單元中的 CPU或者其它硬件根據(jù)程序代碼的指令執(zhí)行全部或者部分實際 處理，通過如此執(zhí)行的處理來實現(xiàn)根據(jù)實施例的功能。本發(fā)明的又一個實施例提供一種圖像處理設(shè)備，其包括 檢索單元，其被配置為從存儲在存儲單元中的存儲的圖像中檢 索與輸入的輸入圖像類似的圖像；提取單元，其被配置為從輸入圖像中提取多個特征點(diǎn)；特征量計算單元，其被配置為對特征點(diǎn)計算特征量；以及評價單元，其被配置為當(dāng)對輸入圖像進(jìn) 行規(guī)定變化時評價針對特征點(diǎn)的特征量的變動，其中檢索單元根據(jù)評價單元進(jìn)行的評價從多個特征點(diǎn)中選擇特征點(diǎn)，并且根 據(jù)所選擇的特征點(diǎn)的特征量檢索與輸入圖像類似的存儲的圖像。本發(fā)明的又 一 個實施例提供 一 種圖像處理方法，其包括如下步驟從存儲在存儲單元中的存儲的圖像中檢索與輸入的輸 入圖像類似的圖像；從輸入圖像中提取多個特征點(diǎn)；對特征點(diǎn) 計算特征量；以及當(dāng)對輸入圖像進(jìn)行規(guī)定變化時評價針對特征 點(diǎn)的特征量的變動；其中，在檢索步驟中，根據(jù)在評價步驟中 進(jìn)行的評價從多個特征點(diǎn)中選擇特征點(diǎn)，并且根據(jù)所選擇的特 征點(diǎn)的特征量檢索與輸入圖像類似的存儲的圖像。雖然參考示例性實施例說明了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于公開的示例性實施例。所附權(quán)利要求的范圍符合最 寬的解釋，以包含全部這種變形、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種圖像處理設(shè)備，包括提取部，其被配置為從輸入圖像中提取多個特征點(diǎn)；特征量計算部，其被配置為對所述提取部提取的每一個特征點(diǎn)計算特征量；評價部，其被配置為評價所述輸入圖像的規(guī)定變化對所述特征量計算部計算的每一個特征量的影響；選擇部，用于基于所述評價部的結(jié)果從所述多個特征點(diǎn)中選擇至少一個特征點(diǎn)，用來進(jìn)行圖像檢索；以及檢索部，用于使用所述選擇部選擇的至少一個特征點(diǎn)在多個存儲的圖像中檢索圖像。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述評價部用于按照每個特征點(diǎn)計算所述特征量的變動量，所述 檢索部用于使用具有小于或者等于閾值的變動量的所選擇的特 征點(diǎn)來計算評價圖像和存儲的圖像之間的類似度。
3. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述規(guī)定變化是轉(zhuǎn)動所述輸入圖像的處理。
4. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述檢索部被配置為根據(jù)所述類似度輸出所述存儲的圖像作為檢 索結(jié)果。
5. —種圖像處理方法，其包括如下步驟 從輸入圖像中提取多個特征點(diǎn)；對所提取的每 一 個特征點(diǎn)計算特征量；評價步驟，其評價所述輸入圖像的規(guī)定變化對每一個特征 量的影響；基于評價結(jié)果從所述多個特征點(diǎn)中選擇至少一個特征點(diǎn)， 用來進(jìn)行圖像檢索；以及檢索步驟，其使用所選擇的至少一個特征點(diǎn)在多個存儲的圖像中檢索圖像。
6. 根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，所 述評價步驟包括按照每個特征點(diǎn)計算所述特征量的變動量，所述檢索步驟包括使用具有小于或者等于閾值的變動量的特征點(diǎn) 來計算評價圖像和存儲的圖像之間的類似度。
7. 根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，所述規(guī)定變化是轉(zhuǎn)動所述輸入圖像的處理。
8. 根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，所 述檢索步驟包括根據(jù)所述類似度輸出所述存儲的圖像作為檢索結(jié)果。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備和圖像處理方法。當(dāng)從存檔的存儲圖像中檢索與輸入圖像類似的圖像時，圖像處理設(shè)備(200)從輸入圖像中提取多于一個的特征點(diǎn)(S504)，對于如此提取的特征點(diǎn)計算特征量(S505)，并且當(dāng)將對輸入圖像施加規(guī)定變化時評價特征量的變動(S506)。圖像處理設(shè)備從根據(jù)輸入圖像如此提取的特征點(diǎn)中選擇特征點(diǎn)，并且根據(jù)如此選擇的特征點(diǎn)的特征量檢索(S508)與輸入圖像類似的存儲的圖像。
文檔編號G06F17/30GK101281537SQ200810090420
公開日2008年10月8日 申請日期2008年4月7日 優(yōu)先權(quán)日2007年4月4日
發(fā)明者椎山弘隆, 相馬英智, 馬養(yǎng)浩一, 高田智美 申請人:佳能株式會社