專利名稱：圖像檢索系統(tǒng)、程序和方法及圖像分類系統(tǒng)、程序和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從多個(gè)圖像中檢索與檢索關(guān)鍵字圖像相符的圖像或?qū)Χ鄠€(gè)圖像進(jìn)行分類的系統(tǒng)、程序以及方法，尤其涉及一種適合獲得符合利用者的希望的檢索結(jié)果或分類結(jié)果的圖像檢索系統(tǒng)、圖像分類系統(tǒng)、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
背景技術(shù)：
專利文獻(xiàn)1特開2001-52175號公報(bào)以往，作為一種根據(jù)給出的檢索關(guān)鍵字圖像來從多個(gè)檢索對象圖像中檢索與檢索關(guān)鍵字圖像類似的圖像的技術(shù)，例如，有專利文獻(xiàn)1中公開的圖像檢索裝置。
專利文獻(xiàn)1記載的圖像檢索裝置具有特征向量抽出部其從獲得的對象圖像數(shù)據(jù)或參照圖像數(shù)據(jù)中抽出多個(gè)特征量，生成特征向量；參照向量群處理部其針對獲得的多個(gè)參照圖像數(shù)據(jù)，對各參照圖像數(shù)據(jù)，將特征向量抽出部抽出的特征向量和該參照圖像的地址信息綜合起來，構(gòu)成參照向量；生成參照向量群；類似度計(jì)算部其計(jì)算由特征向量抽出部從獲得的對象圖像數(shù)據(jù)中抽出的特征向量與從參照向量群選擇的參照圖像數(shù)據(jù)的特征向量的類似度；類似度判斷部其將計(jì)算出的類似度與指定基準(zhǔn)進(jìn)行比較；和取出部其從參照向量群取出判斷為類似的圖像的地址信息。
在此，作為圖像的特征量，使用了顏色、花紋(texture)、結(jié)構(gòu)特征、時(shí)間特征。通過不透明度柱狀圖、并發(fā)關(guān)聯(lián)矩陣、差分統(tǒng)計(jì)量等的計(jì)算，求得關(guān)于花紋的特征量；此外，通過拉普拉斯濾波器的卷積積分及霍夫變換等，求得關(guān)于邊緣、線、輪廓等結(jié)構(gòu)特征的特征量；進(jìn)而，通過變換成RGB空間、HSV空間或頻譜等，求得關(guān)于顏色的特征量；通過計(jì)算光流或進(jìn)行小波變換，求得關(guān)于時(shí)間特征的特征量。
因?yàn)轭愃频母拍詈艽蟪潭壬弦蕾囉谌说闹饔^，所以，有時(shí)對某個(gè)人而言感覺是類似的圖像，對于其他人而言卻感覺不類似。因此，在進(jìn)行圖像的類似檢索時(shí)，如何定義類似的概念是很重要的。
如果就圖像的整體及部分進(jìn)行討論，那么，對于檢索關(guān)鍵字圖像，例如，存在整體上類似但特征部分不類似的圖像、或反之特征部分類似但整體上不類似的圖像，對于這些圖像，需要分別正確地評價(jià)類似度。在利用者看圖像時(shí)，利用者注目于圖像中的特征部分(如果是以花為主體拍攝的圖像，則是花的部分)。因此，應(yīng)該感覺到特征部分類似但整體上不類似的圖像比整體上類似但特征部分不類似的圖像更類似。因此，與采用整個(gè)圖像來評價(jià)類似度相比，采用重視圖像中的特征部分的類似度而輕視不是特征的部分的類似度方式來評價(jià)圖像的類似度，更符合實(shí)際情況。
但是，由于專利文獻(xiàn)1記載的圖像檢索裝置從圖像數(shù)據(jù)整體抽出多個(gè)特征量，生成特征向量，根據(jù)生成的特征向量，進(jìn)行圖像的類似檢索，所以，沒有考慮利用者所注目的地方來評價(jià)圖像的類似度。因此，存在如下問題無法在檢索結(jié)果中充分反映利用者的主觀，很難得到符合利用者的希望的檢索結(jié)果。
可以想到，這種情況不限于進(jìn)行圖像的類似檢索的情況，根據(jù)類似度對多個(gè)圖像進(jìn)行分類的情況下也存在同樣的問題。

發(fā)明內(nèi)容
因此，本發(fā)明是鑒于現(xiàn)有技術(shù)中存在的未解決的課題而提出的，其目的在于提供一種適合得到符合利用者的希望的檢索結(jié)果或分類結(jié)果的圖像檢索系統(tǒng)、圖像分類系統(tǒng)、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
為了達(dá)成上述目的，發(fā)明1的圖像檢索系統(tǒng)是一種根據(jù)給出的檢索關(guān)鍵字圖像來從多個(gè)檢索對象圖像中檢索與上述檢索關(guān)鍵字圖像相符的圖像的圖像檢索系統(tǒng)，其特征在于針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，從該圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量，根據(jù)生成的特征向量，從上述多個(gè)檢索對象圖像中檢索與上述檢索關(guān)鍵字圖像相符的圖像。
根據(jù)這樣的結(jié)構(gòu)，在給出檢索關(guān)鍵字圖像時(shí)，從檢索關(guān)鍵字圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示檢索關(guān)鍵字圖像的特征的特征向量。此外，同樣地，對各檢索對象圖像，從該檢索對象圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該檢索對象圖像的特征的特征向量。然后，根據(jù)生成的特征向量，從多個(gè)檢索對象圖像中檢索與檢索關(guān)鍵字圖像相符的圖像。
由此，因?yàn)榭紤]利用者所注目的地方來進(jìn)行檢索，所以，利用者的主觀容易反映到檢索結(jié)果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的檢索結(jié)果。
這里，引人注目區(qū)域指的是在檢索關(guān)鍵字圖像或檢索對象圖像中，利用者所注目的區(qū)域。以下，在發(fā)明2的圖像檢索系統(tǒng)、發(fā)明8及9的圖像分類系統(tǒng)、發(fā)明14的圖像檢索程序、發(fā)明15的圖像分類程序、發(fā)明16的圖像檢索方法、以及發(fā)明17的圖像分類方法中，與此相同。
此外，本系統(tǒng)可以作為單一裝置、終端及其他機(jī)器來實(shí)現(xiàn)，也可以作為將多個(gè)裝置、終端及其他機(jī)器連接成可以通信的網(wǎng)絡(luò)系統(tǒng)來實(shí)現(xiàn)。在后者的情況下，各結(jié)構(gòu)要素只要分別進(jìn)行可通信地連接，本系統(tǒng)可以屬于多個(gè)機(jī)器中的任何一個(gè)。以下，在發(fā)明2的圖像檢索系統(tǒng)、以及發(fā)明8及9的圖像分類系統(tǒng)中，與此相同。
進(jìn)而，發(fā)明2的圖像檢索系統(tǒng)是一種根據(jù)給出的檢索關(guān)鍵字圖像來從多個(gè)檢索對象圖像中檢索與上述檢索關(guān)鍵字圖像相符的圖像的圖像檢索系統(tǒng)，其特征在于具有檢索對象圖像存儲裝置，其用于存儲上述多個(gè)檢索對象圖像；檢索關(guān)鍵字圖像輸入裝置，其輸入上述檢索關(guān)鍵字圖像；引人注目區(qū)域抽出裝置，其針對上述檢索關(guān)鍵字圖像輸入裝置輸入的檢索關(guān)鍵字圖像及上述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區(qū)域；特征向量生成裝置，其針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，根據(jù)上述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量；和圖像檢索裝置，其根據(jù)上述特征向量生成裝置生成的特征向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關(guān)鍵字圖像相符的圖像。
根據(jù)這樣的結(jié)構(gòu)，在從檢索關(guān)鍵字圖像輸入裝置輸入檢索關(guān)鍵字圖像時(shí)，由引人注目區(qū)域抽出裝置從輸入的檢索關(guān)鍵字圖像中抽出引人注目區(qū)域，由特征向量生成裝置根據(jù)抽出的引人注目區(qū)域，生成表示檢索關(guān)鍵字圖像的特征的特征向量。此外，同樣地，對檢索對象圖像存儲裝置的各檢索對象圖像，由引人注目區(qū)域抽出裝置從該檢索對象圖像抽出引人注目區(qū)域，由特征向量生成裝置根據(jù)抽出的引人注目區(qū)域，生成表示該檢索對象圖像的特征的特征向量。然后，由圖像檢索裝置根據(jù)生成的特征向量，從檢索對象圖像存儲裝置中檢索與檢索關(guān)鍵字圖像相符的圖像。
由此，因?yàn)榭紤]利用者所注目的地方來進(jìn)行檢索，所以，利用者的主觀容易反映到檢索結(jié)果中。因此，與過去相比，可以獲得如下效果可以得到符合利用者的希望的檢索結(jié)果。
在此，引人注目區(qū)域抽出裝置只要針對檢索關(guān)鍵字圖像及各檢索對象圖像，從該圖像抽出引人注目區(qū)域就可以。例如，可以根據(jù)檢索關(guān)鍵字圖像或檢索對象圖像，計(jì)算吸引度(誘目度)，根據(jù)計(jì)算出的吸引度，抽出引人注目區(qū)域。以下，在發(fā)明9的圖像分類系統(tǒng)、發(fā)明14的圖像檢索程序及發(fā)明15的圖像分類程序中，與此相同。
此外，檢索關(guān)鍵字圖像輸入裝置只要能夠輸入檢索關(guān)鍵字圖像，可以采用任何結(jié)構(gòu)，例如，既可以將從檢索對象圖像存儲裝置中選擇的檢索對象圖像作為檢索關(guān)鍵字圖像進(jìn)行輸入，也可以從圖像存儲介質(zhì)、網(wǎng)絡(luò)或其他圖像存儲介質(zhì)輸入檢索關(guān)鍵字圖像。以下，在發(fā)明9的圖像分類系統(tǒng)、發(fā)明14的圖像檢索程序及發(fā)明15的圖像分類程序中，與此相同。
此外，檢索對象圖像存儲裝置是使用任何方法且在任何時(shí)間存儲檢索對象圖像的裝置，既可以是預(yù)先存儲了檢索對象圖像的裝置，也可以是不預(yù)先存儲檢索對象圖像，而是在本系統(tǒng)運(yùn)行時(shí)根據(jù)外部的輸入等存儲檢索對象圖像的裝置。
進(jìn)而，發(fā)明3的圖像檢索系統(tǒng)的特征在于在發(fā)明2的圖像檢索系統(tǒng)中，還具有面部信息判斷裝置，該面部信息判斷裝置針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，判斷該圖像中包含的人物圖像的面部信息，上述特征向量生成裝置針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，根據(jù)上述面部信息判斷裝置判斷出的面部信息，生成表示該圖像的特征的特征向量。
根據(jù)這樣的結(jié)構(gòu)，由面部信息判斷裝置判斷檢索關(guān)鍵字中包含的人物圖像的面部信息，由特征向量生成裝置根據(jù)判斷出的面部信息，生成表示檢索關(guān)鍵字圖像的特征的特征向量。此外，同樣地，對各檢索對象圖像，由面部信息判斷裝置判斷該檢索對象圖像中包含的人物圖像的面部信息，由特征向量生成裝置根據(jù)判斷出的面部信息，生成表示該檢索對象圖像的特征的特征向量。
由此，因?yàn)榭紤]人物圖像的面部信息來進(jìn)行檢索，所以，也可以獲得如下效果可以得到與檢索關(guān)鍵字圖像中包含的人物圖像的面部相符的檢索結(jié)果。
進(jìn)而，發(fā)明4的圖像檢索系統(tǒng)的特征在于在發(fā)明2及3中任何一項(xiàng)的圖像檢索系統(tǒng)中，還具有類似度判斷裝置，該類似度判斷裝置對上述各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與上述檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度，上述特征向量生成裝置針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，根據(jù)上述類似度判斷裝置的判斷結(jié)果，生成表示該圖像的特征的特征向量。
根據(jù)這樣的結(jié)構(gòu)，由類似度判斷裝置對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度，由特征向量生成裝置根據(jù)該判斷結(jié)果，生成表示檢索關(guān)鍵字圖像的特征的特征向量及表示各檢索對象圖像的特征的特征向量。
由此，因?yàn)榭紤]人物圖像的面部之間的類似度來進(jìn)行檢索，所以，也可以獲得如下效果可以得到與檢索關(guān)鍵字圖像中包含的人物圖像的面部類似的檢索結(jié)果。
進(jìn)而，發(fā)明5的圖像檢索系統(tǒng)的特征在于在發(fā)明2至4中任何一項(xiàng)的圖像檢索系統(tǒng)中，上述圖像檢索裝置從上述檢索對象圖像存儲裝置中檢索出與上述檢索關(guān)鍵字圖像的特征向量之間的向量間距離最小的特征向量所對應(yīng)的檢索對象圖像。
根據(jù)這樣的結(jié)構(gòu)，由圖像檢索裝置從檢索對象圖像存儲裝置中檢索出與檢索關(guān)鍵字圖像的特征向量之間的向量間距離最小的特征向量所對應(yīng)的檢索對象圖像。
由此，也可以獲得如下效果可以得到被認(rèn)為最符合利用者的希望的檢索結(jié)果。
進(jìn)而，發(fā)明6的圖像檢索系統(tǒng)的特征在于在發(fā)明2至4中任何一項(xiàng)的圖像檢索系統(tǒng)中，上述圖像檢索裝置根據(jù)上述檢索對象圖像的特征向量之間的向量間距離，將上述各檢索對象圖像分類為多個(gè)組，從上述檢索對象圖像存儲裝置中檢索出上述多個(gè)組之中的上述檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。
根據(jù)這樣的結(jié)構(gòu)，由圖像檢索裝置根據(jù)檢索對象圖像的特征向量之間的向量間距離，將各檢索對象圖像分類為多個(gè)組，從檢索對象圖像存儲裝置中檢索出上述多個(gè)組之中的檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。
由此，可以獲得如下效果可以得到被認(rèn)為最符合利用者的希望的幾個(gè)檢索結(jié)果。
進(jìn)而，發(fā)明7的圖像檢索系統(tǒng)的特征在于在發(fā)明2至6中任何一項(xiàng)的圖像檢索系統(tǒng)中，上述特征向量生成裝置在上述檢索關(guān)鍵字圖像與上述檢索對象圖像的縱橫比或上述檢索對象圖像之間的縱橫比不同時(shí)，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成上述第1圖像的特征向量，針對上述第2圖像之中的重復(fù)區(qū)域生成上述第2圖像的特征向量。
根據(jù)這樣的結(jié)構(gòu)，在檢索關(guān)鍵字圖像與檢索對象圖像的縱橫比或檢索對象圖像之間的縱橫比不同時(shí)，由特征向量生成裝置將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成上述第1圖像的特征向量，針對上述第2圖像之中的重復(fù)區(qū)域生成上述第2圖像的特征向量。
由此，因?yàn)榧词故强v橫比不同的圖像之間，也可以比較正確地判斷是否類似，所以，也可以獲得如下效果可以得到更符合利用者的希望的檢索結(jié)果。
另一方面，為了達(dá)成上述目的，發(fā)明8的圖像分類系統(tǒng)是一種對多個(gè)分類對象圖像進(jìn)行分類的圖像分類系統(tǒng)，其特征在于對上述各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該分類對象圖像的特征的特征向量，根據(jù)生成的特征向量，將上述各分類對象圖像分類為多個(gè)組。
根據(jù)這樣的結(jié)構(gòu)，對各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該分類對象圖像的特征的特征向量。然后，根據(jù)生成的特征向量，將各分類對象圖像分類為多個(gè)組。
由此，因?yàn)榭紤]利用者注目的地方來進(jìn)行檢索，所以，利用者的主觀容易反映到檢索結(jié)果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的分類結(jié)果。
進(jìn)而，發(fā)明9的圖像分類系統(tǒng)是一種對多個(gè)分類對象圖像進(jìn)行分類的圖像分類系統(tǒng)，其特征在于具有分類對象圖像存儲裝置，其用于存儲上述多個(gè)分類對象圖像；引人注目區(qū)域抽出裝置，其對上述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域；特征向量生成裝置，其根據(jù)上述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，對上述各分類對象圖像生成表示該分類對象圖像的特征的特征向量；和圖像分類裝置，其根據(jù)上述特征向量生成裝置生成的特征向量，將上述各分類對象圖像分類為多個(gè)組。
根據(jù)這樣的結(jié)構(gòu)，對分類對象圖像存儲裝置的各分類對象圖像，由引人注目區(qū)域抽出裝置從該分類對象圖像中抽出引人注目區(qū)域，由特征向量生成裝置根據(jù)抽出的引人注目區(qū)域，生成表示該分類對象圖像的特征的特征向量。然后，由圖像分類裝置根據(jù)生成的特征向量，將各分類對象圖像分類為多個(gè)組。
由此，因?yàn)榭紤]利用者所注目的地方來進(jìn)行分類，所以，利用者的主觀容易反映到分類結(jié)果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的分類結(jié)果。
在此，分類對象圖像存儲裝置是使用任何方法且在任何時(shí)間存儲分類對象圖像的裝置，既可以是預(yù)先存儲了分類對象圖像的裝置，也可以是不預(yù)先存儲分類對象圖像，而是在本系統(tǒng)運(yùn)行時(shí)根據(jù)外部的輸入等存儲分類對象圖像的裝置。
進(jìn)而，發(fā)明10的圖像分類系統(tǒng)的特征在于在發(fā)明9的圖像分類系統(tǒng)中，還具有面部信息判斷裝置，該面部信息判斷裝置對上述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部信息，上述特征向量生成裝置根據(jù)上述面部信息判斷裝置判斷出的面部信息，對上述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量。
根據(jù)這樣的結(jié)構(gòu)，對各分類對象圖像，由面部信息判斷裝置判斷該分類對象圖像中包含的人物圖像的面部信息，由特征向量生成裝置根據(jù)判斷出的面部信息，生成表示該分類對象圖像的特征的特征向量。
由此，因?yàn)榭紤]人物圖像的面部信息來進(jìn)行分類，所以，也可以獲得如下效果可以得到與人物圖像的面部相符的圖像都屬于同一組的分類結(jié)果。
進(jìn)而，發(fā)明11的圖像分類系統(tǒng)的特征在于在發(fā)明9及10中任何一項(xiàng)的圖像分類系統(tǒng)中，還具有類似度判斷裝置，該類似度判斷裝置對上述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，上述特征向量生成裝置根據(jù)上述類似度判斷裝置的判斷結(jié)果，對上述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量。
根據(jù)這樣的結(jié)構(gòu)，對各分類對象圖像，由類似度判斷裝置判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，由特征向量生成裝置根據(jù)該判斷結(jié)果，生成表示該分類對象圖像的特征的特征向量。
由此，因?yàn)榭紤]人物圖像的面部之間的類似度來進(jìn)行分類，所以，也可以獲得如下效果可以得到人物圖像的面部類似的圖像都屬于同一組的分類結(jié)果。
進(jìn)而，發(fā)明12的圖像分類系統(tǒng)的特征在于在發(fā)明9至11中任何一項(xiàng)的圖像分類系統(tǒng)中，上述圖像分類裝置根據(jù)上述分類對象圖像的特征向量之間的向量間距離，將上述各分類對象圖像分類為多個(gè)組，對上述各組，從上述分類對象圖像存儲裝置中檢索出指定數(shù)量的分類對象圖像。
根據(jù)這樣的結(jié)構(gòu)，由圖像分類裝置根據(jù)分類對象圖像的特征向量之間的向量間距離，將各分類對象圖像分類為多個(gè)組，對各組，從分類對象圖像存儲裝置中檢索出指定數(shù)量的分類對象圖像。
由此，因?yàn)閺牟煌M中檢索出指定數(shù)量的分類對象圖像，所以，也可以獲得如下效果可以得到多樣化的檢索結(jié)果。
進(jìn)而，發(fā)明13的圖像分類系統(tǒng)其特征在于在發(fā)明9至12中任何一項(xiàng)的圖像分類系統(tǒng)中，上述特征向量生成裝置在上述分類對象圖像之間的縱橫比不同時(shí)，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成上述第1圖像的特征向量，針對上述第2圖像之中的重復(fù)區(qū)域生成上述第2圖像的特征向量。
根據(jù)這樣的結(jié)構(gòu)，在分類對象圖像之間的縱橫比不同時(shí)，由特征向量生成裝置將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成第1圖像的特征向量，針對第2圖像之中的重復(fù)區(qū)域生成第2圖像的特征向量。
由此，因?yàn)榧词故强v橫比不同的圖像之間，也可以比較正確地判斷是否類似，所以，也可以獲得如下效果可以得到更符合利用者的希望的分類結(jié)果。
另一方面，為了達(dá)成上述目的，發(fā)明14的圖像檢索程序是一種圖像檢索程序，其根據(jù)給出的檢索關(guān)鍵字圖像，從多個(gè)檢索對象圖像中檢索與上述檢索關(guān)鍵字圖像相符的圖像，其特征在于使可以利用用于存儲上述多個(gè)檢索對象圖像的檢索對象圖像存儲裝置和用于輸入上述檢索關(guān)鍵字圖像的檢索關(guān)鍵字圖像輸入裝置的計(jì)算機(jī)，執(zhí)行作為以下裝置所實(shí)現(xiàn)的處理引人注目區(qū)域抽出裝置，其針對上述檢索關(guān)鍵字圖像輸入裝置輸入的檢索關(guān)鍵字圖像及上述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區(qū)域；特征向量生成裝置，其針對上述檢索關(guān)鍵字圖像及上述各檢索對象圖像，根據(jù)上述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量；和圖像檢索裝置，其根據(jù)上述特征向量生成裝置生成的特征向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關(guān)鍵字圖像相符的圖像。
根據(jù)這樣的結(jié)構(gòu)，在通過計(jì)算機(jī)讀取程序，由計(jì)算機(jī)根據(jù)讀取的程序來執(zhí)行處理時(shí)，可以得到與發(fā)明2的圖像檢索系統(tǒng)同等的作用及效果。
另一方面，為了達(dá)成上述目的，發(fā)明15的圖像分類程序是一種圖像分類程序，其對多個(gè)分類對象圖像進(jìn)行分類，其特征在于使可以利用用于存儲上述多個(gè)分類對象圖像的分類對象圖像存儲裝置的計(jì)算機(jī)，執(zhí)行作為以下裝置所實(shí)現(xiàn)的處理引人注目區(qū)域抽出裝置，其對上述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域；特征向量生成裝置，其根據(jù)上述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，對上述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量；和圖像分類裝置，其根據(jù)上述特征向量生成裝置生成的特征向量，將上述各分類對象圖像分類為多個(gè)組。
根據(jù)這樣的結(jié)構(gòu)，在通過計(jì)算機(jī)讀取程序，由根據(jù)讀取的程序來執(zhí)行處理時(shí)，可以得到與發(fā)明9的圖像分類系統(tǒng)同等的作用及效果。
另一方面，為了達(dá)成上述目的，發(fā)明16的圖像檢索方法是一種圖像檢索方法，根據(jù)給出的檢索關(guān)鍵字圖像，從存儲有多個(gè)檢索對象圖像的檢索對象圖像存儲裝置中檢索與上述檢索關(guān)鍵字圖像相符的圖像，其特征在于包括以下步驟檢索關(guān)鍵字圖像輸入步驟輸入上述檢索關(guān)鍵字圖像；第1引人注目區(qū)域抽出步驟從上述檢索關(guān)鍵字圖像輸入步驟中輸入的檢索關(guān)鍵字圖像中抽出引人注目區(qū)域；第1特征向量生成步驟根據(jù)上述第1引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示上述檢索關(guān)鍵字圖像的特征的特征向量；第2引人注目區(qū)域抽出步驟從上述檢索對象圖像抽出引人注目區(qū)域；第2特征向量生成步驟根據(jù)上述第2引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示上述檢索對象圖像的特征的特征向量；重復(fù)步驟對上述檢索對象圖像存儲裝置的各檢索對象圖像，重復(fù)進(jìn)行上述第2引人注目區(qū)域抽出步驟及上述第2特征向量生成步驟；和圖像檢索步驟根據(jù)上述第1特征向量生成步驟及第2特征向量生成步驟中生成的特征向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關(guān)鍵字圖像相符的圖像。
由此，可以獲得與發(fā)明2的圖像檢索系統(tǒng)同等的效果。在此，引人注目區(qū)域抽出步驟只要針對檢索關(guān)鍵字圖像及各檢索對象圖像，從該圖像抽出引人注目區(qū)域就可以。例如，可以根據(jù)檢索關(guān)鍵字圖像或檢索對象圖像，計(jì)算吸引度，根據(jù)計(jì)算出的吸引度，抽出引人注目區(qū)域。以下，在發(fā)明17的圖像分類方法中，與此相同。
此外，檢索關(guān)鍵字圖像輸入步驟只要能輸入檢索關(guān)鍵字圖像，可以采用任何方法，例如，可以將從檢索對象圖像存儲裝置中選擇的檢索對象圖像作為檢索關(guān)鍵字圖像進(jìn)行輸入，也可以從圖像存儲介質(zhì)、網(wǎng)絡(luò)或其他圖像存儲介質(zhì)輸入檢索關(guān)鍵字圖像。
另一方面，為了達(dá)成上述目的，發(fā)明17的圖像分類方法是一種對多個(gè)分類對象圖像進(jìn)行分類的圖像分類方法，其特征在于包括以下步驟引人注目區(qū)域抽出步驟從上述分類對象圖像中抽出引人注目區(qū)域；特征向量生成步驟根據(jù)上述引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示上述分類對象圖像的特征的特征向量；重復(fù)步驟對上述各分類對象圖像，重復(fù)進(jìn)行上述引人注目區(qū)域抽出步驟及上述特征向量生成步驟；和圖像分類步驟根據(jù)上述特征向量生成步驟中生成的特征向量，將上述各分類對象圖像分類為多個(gè)組。
由此，可以得到與發(fā)明9的圖像分類系統(tǒng)同等的效果。


圖1是表示本發(fā)明所涉及的圖像檢索裝置100的結(jié)構(gòu)的功能框圖。
圖2是表示計(jì)算機(jī)200的結(jié)構(gòu)的框圖。
圖3是表示圖像檢索處理的流程圖。
圖4是表示縱向的檢索對象圖像的一例的圖。
圖5是表示橫向的檢索對象圖像的一例的圖。
圖6是表示將n個(gè)特征向量V分組為2組(cluster)的情況的圖。
圖7是表示顯示出檢索結(jié)果的顯示畫面的圖。
圖8是表示將縱橫比不同的檢索對象圖像A、B重疊在一起的情況的圖。
符號說明100圖像檢索裝置；200計(jì)算機(jī)；10檢索對象圖像登錄DB；12檢索關(guān)鍵字圖像指定部；14檢索關(guān)鍵字圖像讀出部；16引人注目區(qū)域抽出部；18面部圖像處理部；20特征向量生成部；22檢索條件指定部；24圖像檢索部；26顯示形式指定部；28圖像顯示部；34面部區(qū)域判斷部；36面部信息判斷部；38類似度判斷部；50CPU；52ROM；54RAM；58I/F；60輸入裝置；64顯示裝置。
具體實(shí)施例方式
以下，參照附圖，就本發(fā)明的實(shí)施方式進(jìn)行說明。圖1至圖7是示出本發(fā)明所涉及的圖像檢索系統(tǒng)、圖像分類系統(tǒng)、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法的實(shí)施方式的圖。
本實(shí)施方式考慮利用者所注目的地方，在進(jìn)行圖像的類似檢索時(shí)，應(yīng)用本發(fā)明所涉及的圖像檢索系統(tǒng)、圖像分類系統(tǒng)、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
在本實(shí)施方式中，作為圖像中利用者所注目的地方(以下稱為引人注目區(qū)域)的抽出基準(zhǔn)，使用“吸引度”的概念。吸引度的計(jì)算方法具體地記載在例如“特開2001-126070號公報(bào)(引人注目區(qū)域抽出裝置及使用了該裝置的自動構(gòu)圖決定裝置)”中。
簡單地說明吸引度。
為了抽出引人注目區(qū)域，根據(jù)原圖像的物理特征評價(jià)吸引度。在此，吸引度是指與人的主觀相符的參數(shù)。引人注目區(qū)域的抽出是從評價(jià)結(jié)果中抽出最顯著的區(qū)域作為引人注目區(qū)域。即，在評價(jià)引人注目區(qū)域時(shí)，因?yàn)楦鶕?jù)物理特征來進(jìn)行與人的主觀相符的評價(jià)，所以，可以抽出與人主觀相符的引人注目區(qū)域。
例如，物理特征包含顏色的差異度時(shí)，可以根據(jù)各區(qū)域的顏色不同，評價(jià)吸引度。
此外，因?yàn)槲锢硖卣鞒祟伾牟町惗?，還包含形狀的差異度、面積的差異度及花紋(圖案)的差異度，所以，只要根據(jù)該4個(gè)差異度的至少1個(gè)差異度來評價(jià)吸引度，就可以根據(jù)原圖像的特征，正確地評價(jià)吸引度。
此外，如果對顏色的3要素(色相、純度、明度)也進(jìn)行評價(jià)，則可以將接近人主觀認(rèn)為顯著的顏色(紅色)的區(qū)域評價(jià)為最顯著區(qū)域。進(jìn)而，如果對空間頻率或原圖像中的各區(qū)域的面積也進(jìn)行評價(jià)，則可以對最顯著區(qū)域的評價(jià)進(jìn)行更正確地判斷。
此外，吸引度的評價(jià)按如下步驟進(jìn)行。
(1)最初對原圖像進(jìn)行區(qū)域分割。此時(shí)，將原圖像分割成圖區(qū)域和畫區(qū)域。區(qū)域分割的方法可應(yīng)用1997IEEE中的W.Y.Ma及B.S.Manjunath等在“Edge FlowA Framework of Boundary Detection and ImageSegmentation”中記載的基于“edge flow”的邊界檢測方法。
(2)其次，抽出分割后的圖區(qū)域，評價(jià)區(qū)域的吸引度。
吸引度的評價(jià)大致如下進(jìn)行。
最初求得各區(qū)域的差異性吸引度。此時(shí)，分別求得顏色的差異度、花紋的差異度、形狀的差異度及面積的差異度，分別賦予加權(quán)系數(shù)，進(jìn)行線性組合，求得各區(qū)域的差異性吸引度。
其次，求得各區(qū)域的特征吸引度。此時(shí)，求得顏色的吸引度、空間頻率的吸引度、面積的吸引度，分別賦予加權(quán)系數(shù)，進(jìn)行線性組合，求得各區(qū)域的特征吸引度。
然后，將各區(qū)域的差異性吸引度與特征吸引度相加，求得特征量綜合值，通過指定的β函數(shù)評價(jià)特征量綜合值，計(jì)算吸引度。
(3)此外，根據(jù)原圖像生成評價(jià)吸引度的模式圖。
下面，參照圖1，就本發(fā)明所涉及的圖像檢索裝置100的結(jié)構(gòu)進(jìn)行說明。
圖1是表示本發(fā)明所涉及的圖像檢索裝置100的結(jié)構(gòu)的功能框圖。
圖像檢索裝置100如圖1所示，其由如下部分構(gòu)成檢索對象圖像登錄數(shù)據(jù)庫(以下，將數(shù)據(jù)庫略稱為DB。)10，其登錄了多個(gè)檢索對象圖像；檢索關(guān)鍵字圖像指定部12，其指定檢索關(guān)鍵字圖像；和檢索關(guān)鍵字圖像讀出部14，其將檢索關(guān)鍵字圖像指定部12指定的檢索對象圖像作為檢索關(guān)鍵字圖像，從檢索對象圖像登錄DB10中讀出。還具有引人注目區(qū)域抽出部16，其針對檢索關(guān)鍵字圖像讀出部14讀出的檢索關(guān)鍵字圖像及檢索對象圖像登錄DB10的各檢索對象圖像，從該圖像中抽出引人注目區(qū)域；面部圖像處理部18，其針對檢索關(guān)鍵字圖像讀出部14讀出的檢索關(guān)鍵字圖像及檢索對象圖像DB10的各檢索對象圖像，判斷面部信息及類似度；和特征向量生成部20，其根據(jù)引人注目區(qū)域抽出部16抽出的引人注目區(qū)域及面部圖像處理部18的判斷結(jié)果，生成表示圖像的特征的特征向量。還具有檢索條件指定部22，其指定檢索條件；圖像檢索部24，其根據(jù)檢索條件指定部22指定的檢索條件及特征向量生成部20生成的特征向量，從檢索對象圖像登錄DB10中檢索圖像；顯示形式指定部26，其指定檢索結(jié)果的顯示形式；和圖像顯示部28，其用顯示形式指定部26指定的顯示形式來顯示檢索結(jié)果的圖像。
面部圖像處理部18具有面部區(qū)域判斷部34、面部信息判斷部36和類似度判斷部38，其中，面部區(qū)域判斷部34針對檢索關(guān)鍵字圖像讀出部14讀出的檢索關(guān)鍵字圖像及檢索對象圖像登錄DB10的各檢索對象圖像，判斷該圖像中是否包含相當(dāng)于人物圖像的面部的區(qū)域(以下稱為面部區(qū)域)；面部信息判斷部36根據(jù)面部區(qū)域判斷部34的判斷結(jié)果，判斷圖像中包含的人物圖像的面部的方向、大小及重心位置；類似度判斷部38根據(jù)面部區(qū)域判斷部34的判斷結(jié)果，對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度。
具體來說，如圖2所示，圖像檢索裝置100可以作為計(jì)算機(jī)200及由其運(yùn)行的程序來實(shí)現(xiàn)。參照圖2，就計(jì)算機(jī)200的結(jié)構(gòu)進(jìn)行說明。
圖2是表示計(jì)算機(jī)200的結(jié)構(gòu)的框圖。
如圖2所示，計(jì)算機(jī)200由以下裝置構(gòu)成CPU50，其根據(jù)控制程序，控制運(yùn)算及系統(tǒng)整體；ROM52，其在指定區(qū)域中預(yù)先存儲CPU50的控制程序等；RAM54，其用于存儲從ROM52等讀出的數(shù)據(jù)及CPU50的運(yùn)算過程中所需的運(yùn)算結(jié)果；和I/F58，其向外部裝置傳送數(shù)據(jù)的輸入輸出。這些裝置利用作為用于傳輸數(shù)據(jù)的信號線的總線59以相互可以進(jìn)行數(shù)據(jù)接收和發(fā)送的狀態(tài)連接在一起。
在I/F58上，作為外部裝置，連接了以下裝置檢索對象圖像登錄DB10；輸入裝置60，其作為人機(jī)接口由可以進(jìn)行數(shù)據(jù)輸入的鍵盤及鼠標(biāo)等構(gòu)成；和顯示裝置64，其根據(jù)圖像信號，顯示畫面。
CPU50由微處理單元(MPU)等構(gòu)成，其啟動ROM52的指定區(qū)域中存儲的指定程序，根據(jù)該程序，執(zhí)行圖3的流程圖所示的圖像檢索處理。
圖3是表示圖像檢索處理的流程圖。
圖像檢索處理是一種從輸入裝置60接受檢索請求的輸入并執(zhí)行的處理，在CPU50中執(zhí)行時(shí)，如圖3所示，首先，轉(zhuǎn)移到步驟S100。
在步驟S100中，輸入檢索條件的指定。作為檢索條件，可以指定以下檢索模式類似圖像檢索模式，其從檢索對象圖像登錄DB10中檢索與檢索關(guān)鍵字圖像最類似的圖像；類似圖像群檢索模式，其從檢索對象圖像登錄DB10中檢索與檢索關(guān)鍵字圖像類似的多個(gè)圖像；和多樣性檢索模式，從檢索對象圖像登錄DB10中檢索性質(zhì)不同的多個(gè)圖像。
接著，轉(zhuǎn)移到步驟S102，輸入顯示形式的指定。作為顯示形式，可以指定以下顯示模式放大顯示模式，其將符合檢索條件的圖像放大顯示，將不符合檢索條件的圖像縮小顯示；和清晰(鮮明)顯示模式，其將符合檢索條件的圖像清晰顯示，將不符合檢索條件的圖像模糊顯示。
接著，轉(zhuǎn)移到步驟S104，從檢索對象圖像登錄DB10中指定檢索關(guān)鍵字圖像。另外，作為檢索條件指定了多樣性檢索模式時(shí)，不需要檢索關(guān)鍵字圖像的指定。以下，針對包含檢索關(guān)鍵字圖像的全部檢索對象圖像進(jìn)行步驟S106～S126及步驟S134的處理。
接著，轉(zhuǎn)移到步驟S106，從檢索對象圖像登錄DB10中讀出開頭的檢索對象圖像，轉(zhuǎn)移到步驟S108。
在步驟S108中，根據(jù)讀出的檢索對象圖像，計(jì)算吸引度，根據(jù)計(jì)算出的吸引度，抽出引人注目區(qū)域。引人注目區(qū)域的抽出按照上述方法進(jìn)行。因?yàn)橛袝r(shí)吸引度的絕對值受檢索對象圖像的影響，所以，為了同等評價(jià)全部檢索對象圖像，將吸引度標(biāo)準(zhǔn)化，將引人注目區(qū)域的引人注目程度劃分為指定級(例如，10級)。以下，將針對構(gòu)成檢索對象圖像的各像素計(jì)算出的吸引度作為e’xyox、y表示檢索對像圖像中的像素的X坐標(biāo)及Y坐標(biāo)。
圖4是表示縱向的檢索對象圖像的一例的圖。
在圖4(a)的例中，攝影方向?yàn)榭v向，右下配置了花的圖像。此時(shí)，在計(jì)算引人注目區(qū)域時(shí)，例如，如圖4(b)所示，將花的圖像之中的花的部分及其近旁的區(qū)域作為引人注目程度最高的引人注目區(qū)域A抽出，將花的圖像之中的莖及葉的部分及其近旁的區(qū)域作為引人注目程度第2高的引人注目區(qū)域B抽出。其他區(qū)域作為引人注目程度低的區(qū)域C抽出。
圖5是表示橫向的檢索對象圖像的一例的圖。
在圖5(a)的例中，攝影方向?yàn)闄M向，右下配置了花的圖像。此時(shí)，在計(jì)算引人注目區(qū)域時(shí)，例如，如圖5(b)所示，將花的圖像之中的花的部分及其近旁的區(qū)域作為引人注目程度最高的引人注目區(qū)域A抽出，將花的圖像之中的莖及葉的部分及其近旁的區(qū)域作為引人注目程度第2高的引人注目區(qū)域B抽出。其他區(qū)域作為引人注目程度低的區(qū)域C抽出。由此，可以知道用同樣的引人注目程度抽出了與圖4的檢索對象圖像幾乎同樣的區(qū)域。
接著，轉(zhuǎn)移到步驟S110，判斷讀出的檢索對象圖像中是否包含面部區(qū)域，轉(zhuǎn)移到步驟S118。
在步驟S118中，根據(jù)步驟S110的判斷結(jié)果，判斷檢索對象圖像中包含的人物圖像的面部的方向、大小及重心位置。具體來說，假設(shè)檢索對象圖像內(nèi)包含多個(gè)面部區(qū)域，將它們作為檢測面部區(qū)域群時(shí)，分別計(jì)算檢測面部區(qū)域群在檢索對象圖像內(nèi)占據(jù)的面積的總和f1；檢測面部區(qū)域群在檢索對象圖像面內(nèi)占據(jù)的面積的平均值f2；檢測面部區(qū)域群在檢索對象圖像內(nèi)占據(jù)的面積的方差f3；表示檢測面部區(qū)域群的各面部在水平方向朝向正面的程度的水平方向正面朝向程度的平均值f4(-π/2～π/2)；檢測面部區(qū)域群的各面部的水平方向正面朝向程度的方差f5；表示檢測面部區(qū)域群的各面部在垂直方向朝向正面的程度的垂直方向正面朝向程度的平均值f6(-π/2～π/2)；檢測面部區(qū)域群的各面部的垂直方向正面朝向程度的方差f7；檢測面部區(qū)域群的各重心位置的平均值f8；及檢測面部區(qū)域群的各重心位置的方差f9。在檢索對象圖像內(nèi)只包含1個(gè)面部區(qū)域時(shí)，f1及f2計(jì)算該面部區(qū)域的面積；f4及f6計(jì)算該面部區(qū)域的水平方向正面朝向程度及垂直方向正面朝向程度。另外，檢測面部區(qū)域的面部以正面為基準(zhǔn)傾斜于水平方向的程度越大，水平方向正面朝向程度的值越小，檢測面部區(qū)域的面部以正面為基準(zhǔn)傾斜于垂直方向的程度越大，垂直方向正面朝向程度的越變小。以下，除了特別區(qū)別的情況，將水平方向正面朝向程度及垂直方向正面朝向程度總稱為正面朝向程度。此外，面部區(qū)域的面積通過用檢索對象圖像的大小進(jìn)行標(biāo)準(zhǔn)化來算出。
接著，轉(zhuǎn)移到步驟S120，判斷檢索對象圖像中包含的人物圖像的面部與檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度。例如，在檢索關(guān)鍵字圖像中包含被拍攝體A、B、C的人物圖像時(shí)，對檢索對象圖像中包含的各面部區(qū)域，分別判斷與被拍攝體A的面部區(qū)域的面部的類似度；與被拍攝體B的面部區(qū)域的面部的類似度；以及與被拍攝體C的面部區(qū)域的面部的類似度。另外，作為檢索條件，指定了多樣性檢索時(shí)，因?yàn)椴淮嬖跈z索關(guān)鍵字圖像，所以，對檢索對象圖像中包含的人物圖像的面部與預(yù)先設(shè)定的特定圖像中包含的人物圖像的面部的類似度進(jìn)行判斷。
接著，轉(zhuǎn)移到步驟S124，根據(jù)步驟S108抽出的引人注目區(qū)域及步驟S118、S120的判斷結(jié)果，生成檢索對象圖像的特征向量V。特征向量V大致由以下要素群構(gòu)成與引人注目區(qū)域的吸引度對應(yīng)的第1要素群；與面部信息f1～f9對應(yīng)的第2要素群；和與類似度對應(yīng)的第3要素群。
特征向量V的第1要素群將檢索對象圖像分割為多個(gè)區(qū)域(例如，水平方向N個(gè)及垂直方向M個(gè)矩形區(qū)域)，根據(jù)下述公式(1)，對各分割區(qū)域計(jì)算該分割區(qū)域(i，j)的吸引度的平均值eij，根據(jù)吸引度的平均值eij進(jìn)行決定。分割區(qū)域(i，j)在檢索對象圖像中表示水平方向第i(i＝1～N)個(gè)、垂直方向第j(j＝1～M)個(gè)區(qū)域。
eij=Σn=xi-sn=xi+sΣm=yi-sm=yi+se′nm···(1)]]>上述公式(1)在各分割區(qū)域是由2s×2s的像素構(gòu)成的正方形區(qū)域時(shí)，計(jì)算分割區(qū)域(i，j)的吸引度的平均值eij。在上述公式(1)中，xi是分割區(qū)域(i，j)的中心點(diǎn)的x坐標(biāo)，xj是分割區(qū)域(i，j)的中心點(diǎn)的y坐標(biāo)。
因此，特征向量V的第1要素群是根據(jù)下述公式(2)，在各分割區(qū)域的吸引度的平均值eij上分別乘以獨(dú)立的系數(shù)Eij，將它們作為各要素進(jìn)行羅列而得到的。將檢索對象圖像分割為水平方向N個(gè)及垂直方向M個(gè)區(qū)域時(shí)，特征向量V的第1要素群由N×M個(gè)要素構(gòu)成。(E11·e11，E12·e12，…，Eij·eij，…ENM·eNM) …(2)特征向量V的第2要素群是根據(jù)下述公式(3)，在步驟S118判斷出的面部信息f1～f9上分別乘以獨(dú)立的系數(shù)F1～F9，將它們作為各要素進(jìn)行羅列而成的。
(F1·f1，F(xiàn)2·f2，…，F(xiàn)9·f9)…(3)特征向量V的第3要素群是根據(jù)下述公式(4)，在步驟S120判斷出的類似度pk上分別乘以獨(dú)立的系數(shù)Pk，將它們作為各要素進(jìn)行羅列而成的。例如，在檢索關(guān)鍵字圖像中包含了K個(gè)人物圖像時(shí)，對檢索對象圖像中包含的各面部區(qū)域，計(jì)算與檢索關(guān)鍵字圖像中包含的面部區(qū)域k(k＝1～K)的面部的類似度。此時(shí)，在與面部區(qū)域k的面部類似(類似度為大于等于指定值時(shí))時(shí)，設(shè)pk＝1，在與面部區(qū)域k的面部不類似(類似度小于指定值時(shí))時(shí)，設(shè)pk＝0。
(P1·p1，P2·p2，…，Pk·pk，…Pk·pk) …(4)根據(jù)以上所述，特征向量V是通過下述公式(5)作為羅列第1要素群、第2要素群及第3要素群的各要素來表示的。
V＝(E11·e11，E12·e12，…，ENM·eNM，F(xiàn)1·f1，F(xiàn)2·f2，…，F(xiàn)9·f9，P1·p1，P2·p2，…，Pk·pk) …(5)接著，轉(zhuǎn)移到步驟S126，針對檢索對象圖像登錄DB10的全部檢索對象圖像，判斷步驟S108～S124的處理是否結(jié)束，在判斷為對全部檢索對象圖像結(jié)束了處理時(shí)(“是”)，轉(zhuǎn)移到步驟S128。
在步驟S128中，根據(jù)檢索對象圖像的特征向量之間的向量間距離，將各檢索對象圖像分組為多個(gè)組。分組可以例如根據(jù)以往的K-平均法來進(jìn)行。在K-平均法中，作為第1處理，適當(dāng)選擇K個(gè)特征向量V，將選擇的特征向量Vk(k＝1～K)分別作為組k的中心位置。將組k的中心位置作為mk。接著，作為第2處理，根據(jù)下述公式(6)，計(jì)算特征向量Vi(i＝1～N，N是檢索對象圖像的總數(shù))與組k的中心位置mk的向量間距離，將特征向量Vi歸屬于計(jì)算出的向量間距離最小的組k。下述公式(6)計(jì)算特征向量VA與特征向量VB之間的向量間距離。
S＝|VA-VB|…(6)接著，作為第3處理，用屬于組k的特征向量Vi的平均值置換組k的中心位置mk。接著，作為第4處理，在i＜N時(shí)，將i加“1”，進(jìn)行第2處理及第3處理。然后，作為第5處理，在第3處理中變更前后的mk有變化時(shí)，使i＝1，進(jìn)行第2處理及第3處理。在第3處理中變更前后的mk沒有變化時(shí)，或進(jìn)行了大于等于一定次數(shù)的重復(fù)處理時(shí)，結(jié)束處理，決定組k的中心位置mk及屬于其的特征向量Vi。
圖6是表示將n個(gè)特征向量V分組為2組的情況的圖。
在圖6的例中，特征向量V1、V2、V3、Vn屬于中心位置m1的組，特征向量V4、V5、V6、Vn-1屬于中心位置m2的組。
接著，轉(zhuǎn)移到步驟S130，根據(jù)指定的檢索條件，從檢索對象圖像登錄DB10中檢索圖像。作為檢索條件，在指定了類似圖像檢索模式時(shí)，從檢索對象圖像登錄DB10中檢索出與檢索關(guān)鍵字圖像的特征向量V之間的向量間距離最小的特征向量V所對應(yīng)的檢索對象圖像。作為檢索條件，在指定了類似圖像群檢索模式時(shí)，從檢索對象圖像登錄DB10中檢索出多個(gè)組之中的檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。作為檢索條件，在指定了多樣性檢索模式時(shí)，從檢索對象圖像登錄DB10中對每個(gè)組檢索出指定數(shù)量的檢索對象圖像。
接著，轉(zhuǎn)移到步驟S132，用指定的顯示形式將檢索出的檢索對象圖像顯示到顯示裝置64上，結(jié)束一連串的處理，返回到原來的處理。
圖7是表示顯示了檢索結(jié)果的顯示畫面的圖。
圖7的例是用放大顯示模式及清晰顯示模式顯示了檢索對象圖像1～n的情況，因?yàn)閳D像1、2、3、n是作為檢索結(jié)果檢索出來的圖像，所以，放大且清晰地進(jìn)行了顯示，與此相對，其他圖像4、5、6、n-1被縮小且被模糊地顯示著。
另一方面，在步驟S126判斷為對檢索對象圖像登錄DB10的全部檢索對象圖像，步驟S108～S124的處理沒有結(jié)束時(shí)(“否”)，轉(zhuǎn)移到步驟S134，從檢索對象圖像登錄DB10中讀入下面的檢索對象圖像，轉(zhuǎn)移到步驟S108。
下面，就本實(shí)施方式的動作進(jìn)行說明。
首先，就根據(jù)類似圖像檢索模式進(jìn)行圖像的類似檢索的情況進(jìn)行說明。
在根據(jù)類似圖像檢索模式進(jìn)行圖像的類似檢索時(shí)，利用者輸入檢索請求，作為檢索模式，指定類似圖像檢索模式，同時(shí)，指定檢索關(guān)鍵字圖像。此外，同時(shí)指定顯示形式。
在圖像檢索裝置100中，在指定類似圖像檢索模式及檢索關(guān)鍵字圖像后，通過步驟S106～S110，從檢索對象圖像登錄DB10中讀出開頭的檢索對象圖像，從讀出的檢索對象圖像中抽出引人注目區(qū)域，同時(shí)，判斷檢索對象圖像中是否包含面部區(qū)域。接著，通過步驟S118、S120，根據(jù)步驟S110的判斷結(jié)果，判斷檢索對象中包含的人物圖像的面部的方向、大小及重心位置，判斷檢索對象圖像中包含的人物圖像的面部與檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度。在檢索對象圖像中包含了多個(gè)被拍攝體的人物圖像時(shí)，通過重復(fù)步驟S110～S120，對各面部區(qū)域，進(jìn)行面部信息及類似度的判斷。
接著，在對檢索對象圖像的全部面部區(qū)域進(jìn)行了面部信息及類似度的判斷之后，通過步驟S124，根據(jù)抽出的引人注目區(qū)域以及判斷出的面部信息及類似度，生成檢索對象圖像的特征向量V。
在對檢索對象圖像登錄DB10的全部檢索對象圖像進(jìn)行了這樣的處理時(shí)，通過步驟S128、S130，由于根據(jù)檢索對象圖像的特征向量V之間的向量間距離，將各檢索對象圖像分組為多個(gè)組，并指定了類似圖像檢索模式，所以，從檢索對象圖像登錄DB10中檢索出與檢索關(guān)鍵字圖像的特征向量V之間的向量間距離最小的特征向量V所對應(yīng)的檢索對象圖像。然后，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進(jìn)行顯示。
其次，就根據(jù)類似圖像群檢索模式進(jìn)行圖像的類似檢索的情況進(jìn)行說明。
在根據(jù)類似圖像群檢索模式進(jìn)行圖像的類似檢索時(shí)，利用者輸入檢索請求，作為檢索模式，指定類似圖像群檢索模式，同時(shí)，指定檢索關(guān)鍵字圖像。此外，同時(shí)指定顯示形式。
到將各檢索對象圖像分組為止，與類似圖像檢索模式中進(jìn)行的類似檢索的情況相同。在圖像檢索裝置100中，在對各檢索對象圖像進(jìn)行了分組時(shí)，通過步驟S130，由于指定了類似圖像群檢索模式，所以，從檢索對象圖像登錄DB10中檢索出多個(gè)組中的檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。然后，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進(jìn)行顯示。
其次，就根據(jù)多樣性檢索模式進(jìn)行圖像的類似檢索的情況進(jìn)行說明。
在根據(jù)多樣性檢索模式進(jìn)行圖像的類似檢索時(shí)，利用者輸入檢索請求，作為檢索模式，指定多樣性檢索模式。此外，同時(shí)指定顯示形式。
到對各檢索對象圖像進(jìn)行分組為止，與類似圖像檢索模式中進(jìn)行的類似檢索的情況相同。在圖像檢索裝置100中，在對各檢索對象圖像進(jìn)行了分組時(shí)，通過步驟S130，由于指定了多樣性檢索模式，所以，從檢索對象圖像登錄DB10中對各組檢索出指定數(shù)量的檢索對象圖像。然后，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進(jìn)行顯示。
這樣，在本實(shí)施方式中，針對檢索關(guān)鍵字圖像及各檢索對象圖像，從該圖像中抽出引人注目區(qū)域，針對檢索關(guān)鍵字圖像及各檢索對象圖像，根據(jù)抽出的引人注目區(qū)域，生成該圖像的特征向量V，根據(jù)生成的特征向量V，從檢索對象圖像登錄DB10中檢索與檢索關(guān)鍵字圖像相符的圖像。
由此，因?yàn)榭紤]利用者注目的地方來進(jìn)行檢索，所以，利用者的主觀容易反映到檢索結(jié)果中。因此，與過去相比，可以得到與利用者的希望比較相符的檢索結(jié)果。
進(jìn)而，在本實(shí)施方式中，針對檢索關(guān)鍵字圖像及各檢索對象圖像，判斷該圖像中包含的人物圖像的面部的方向、大小及重心位置，針對檢索關(guān)鍵字圖像及各檢索對象圖像，根據(jù)判斷出的面部的方向、大小或重心位置，生成該圖像的特征向量V。
由此，因?yàn)榭紤]人物圖像的面部的方向、大小或重心位置來進(jìn)行檢索，所以，可以得到與檢索關(guān)鍵字圖像中包含的人物圖像的面部相符的檢索結(jié)果。
進(jìn)而，在本實(shí)施方式中，對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度，針對檢索關(guān)鍵字圖像及各檢索對象圖像，根據(jù)判斷出的類似度，生成該圖像的特征向量V。
由此，因?yàn)榭紤]人物圖像的面部之間的類似度來進(jìn)行檢索，所以，可以得到與檢索關(guān)鍵字圖像中包含的人物圖像的面部類似的檢索結(jié)果。
進(jìn)而，在本實(shí)施方式中，從檢索對象圖像登錄DB10中檢索出與檢索關(guān)鍵字圖像的特征向量V之間的向量間距離最小的特征向量V所對應(yīng)的檢索對象圖像。
由此，可以得到被認(rèn)為最符合利用者的希望的檢索結(jié)果。
進(jìn)而，在本實(shí)施方式中，根據(jù)檢索對象圖像的特征向量V之間的向量間距離，將各檢索對象圖像分類為多個(gè)組，從檢索對象圖像登錄DB10中檢索出多個(gè)組中的檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。
由此，可以得到被認(rèn)為符合利用者的希望的幾個(gè)檢索結(jié)果。
進(jìn)而，在本實(shí)施方式中，根據(jù)檢索對象圖像的特征向量V之間的向量間距離，將各檢索對象圖像分類為多個(gè)組，從檢索對象圖像登錄DB10中對各組檢索出指定數(shù)量的檢索對象圖像。
由此，因?yàn)閺牟煌慕M檢索出指定數(shù)量的檢索對象圖像，所以，可以得到多樣的檢索結(jié)果。
在上述實(shí)施方式中，檢索對象圖像對應(yīng)于發(fā)明8至12、15或17的分類對象圖像，檢索對象圖像登錄DB10對應(yīng)于發(fā)明2、5、6、14或16的檢索對象圖像存儲裝置或發(fā)明9、12或15的分類對象圖像存儲裝置。此外，步驟S104及檢索關(guān)鍵字圖像指定部12對應(yīng)于發(fā)明2或14的檢索關(guān)鍵字圖像輸入裝置或發(fā)明16的檢索關(guān)鍵字圖像輸入步驟，步驟S108及引人注目區(qū)域抽出部16對應(yīng)于發(fā)明2、9、14或15的引人注目區(qū)域抽出裝置、發(fā)明17的引人注目區(qū)域抽出步驟、發(fā)明16的第1引人注目區(qū)域抽出步驟或發(fā)明16的第2引人注目區(qū)域抽出步驟。
此外，在上述實(shí)施方式中，步驟S118及面部信息判斷部36對應(yīng)于發(fā)明3或10的面部信息判斷裝置，步驟S120及類似度判斷部38對應(yīng)于發(fā)明4或11的類似度判斷裝置，步驟S124及特征向量生成部20對應(yīng)于發(fā)明2至4、9至11、14或15的特征向量生成裝置、發(fā)明16的第2特征向量生成步驟或發(fā)明16的第1特征向量生成步驟。此外，步驟S128、S130及圖像檢索部24對應(yīng)于發(fā)明2、5、6或14的圖像檢索裝置、發(fā)明9、12或15的圖像分類裝置、發(fā)明16的圖像檢索步驟或發(fā)明17的圖像分類步驟。
另外，在上述實(shí)施方式中，沒有對檢索對象圖像的縱橫比進(jìn)行特別說明，但在檢索對象圖像的縱橫比不同時(shí)，如下判斷圖像是否類似。
圖8是表示將縱橫比不同的檢索對象圖像A、B重疊在一起的情況的圖。
在判斷縱橫比不同的檢索對象圖像A、B是否類似時(shí)，如圖8所示，將檢索對象圖像A、B重疊，針對檢索對象圖像A之中的重復(fù)區(qū)域，生成檢索對象圖像A的特征向量VA，針對檢索對象圖像B之中的重復(fù)區(qū)域，生成檢索對象圖像B的特征向量VB，根據(jù)生成的特征向量VA、VB，判斷檢索對象圖像A、B是否類似。
此時(shí)，也可以進(jìn)而以使重復(fù)區(qū)域有所不同的方式改變檢索對象圖像A、B的重疊方法，將檢索對象圖像A、B重疊，將對各組合計(jì)算出的檢索對象圖像A的特征向量VAi(i＝1～N，N是組合總數(shù))的平均值作為檢索對象圖像A的特征向量VA來生成，將對各組合計(jì)算出的檢索對象圖像B的特征向量VBi的平均值作為檢索對象圖像B的特征向量VB來生成。
由此，因?yàn)榧词故菍v橫比不同的檢索對象圖像之間，也可以比較正確地判斷是否類似，所以，可以得到進(jìn)一步符合利用者的希望的檢索結(jié)果。
此時(shí)，步驟S124及特征向量生成部20對應(yīng)于發(fā)明7或13的特征向量生成裝置。
此外，在上述實(shí)施方式中，根據(jù)上述公式(2)，在各分割區(qū)域的吸引度的平均值eij上分別乘以獨(dú)立的系數(shù)Eij，將這些作為各要素進(jìn)行羅列，來生成特征向量V的第1要素群，但是，不限于此，在引人注目區(qū)域的計(jì)算中使用吸引度時(shí)，因?yàn)樵诜指畹膮^(qū)域中吸引度是一定的，所以，在步驟S108中，也可以如下生成。首先，從檢索對象圖像中按照吸引度從高到低的順序選擇H個(gè)引人注目區(qū)域。接著，根據(jù)下述公式(7)，在引人注目區(qū)域h(h＝1～H)的水平方向的中心坐標(biāo)xh上乘以系數(shù)X，在引人注目區(qū)域h的垂直方向的中心坐標(biāo)yh上乘以系數(shù)Y。此外，在引人注目區(qū)域h的吸引度eh上乘以系數(shù)E，在引人注目區(qū)域h的面積sh上乘以系數(shù)S。然后，將這些Xxh、Yyh、Eeh、Ssh作為各要素進(jìn)行羅列，來生成作為特征向量V的第1要素群。(X·x1，Y·y1，E·e1，S·s1，…X·xh，Y·yh，E·eh，S·sh，…X·xH，Y·yH，E·eH，S·sH)…(7)此時(shí)，抽出的引人注目區(qū)域的個(gè)數(shù)h不滿足指定數(shù)(例如，10個(gè))時(shí)，將特征向量V的第1要素群都設(shè)為“0”。
此外，在上述實(shí)施方式中，對在執(zhí)行圖3的流程圖所示的處理時(shí)，對執(zhí)行預(yù)先存儲在ROM52中的控制程序的情況進(jìn)行了說明，但是，不限于此，也可以將該程序從存儲了表示這些步驟的程序的存儲介質(zhì)讀入到RAM54，進(jìn)行運(yùn)行。
在此，存儲介質(zhì)指的是RAM、ROM等半導(dǎo)體存儲介質(zhì)；FD、HD等磁存儲型存儲介質(zhì)；CD、CDV、LD、DVD等光學(xué)讀取方式存儲介質(zhì)；MO等磁存儲型/光學(xué)讀取方式存儲介質(zhì)，與電子、磁、光學(xué)等讀取方法無關(guān)，只要是計(jì)算機(jī)可以讀取的存儲介質(zhì)，包含所有存儲介質(zhì)。
此外，在上述實(shí)施方式中，將本發(fā)明所涉及的圖像檢索系統(tǒng)、圖像分類系統(tǒng)、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法應(yīng)用于考慮利用者注目的地方來進(jìn)行圖像的類似檢索的情況，但是，不限于此，在不脫離本發(fā)明的主旨的范圍內(nèi)，也可以應(yīng)用于其他情況。例如，可以應(yīng)用于對圖像進(jìn)行分類的情況。
權(quán)利要求
1.一種圖像檢索系統(tǒng)，根據(jù)給出的檢索關(guān)鍵字圖像，從多個(gè)檢索對象圖像中檢索與所述檢索關(guān)鍵字圖像相符的圖像，其特征在于針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，從該圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量，根據(jù)生成的特征向量，從所述多個(gè)檢索對象圖像中檢索與所述檢索關(guān)鍵字圖像相符的圖像。
2.一種圖像檢索系統(tǒng)，根據(jù)給出的檢索關(guān)鍵字圖像，從多個(gè)檢索對象圖像中檢索與所述檢索關(guān)鍵字圖像相符的圖像，其特征在于具有檢索對象圖像存儲裝置，其用于存儲所述多個(gè)檢索對象圖像；檢索關(guān)鍵字圖像輸入裝置，其輸入所述檢索關(guān)鍵字圖像；引人注目區(qū)域抽出裝置，其針對所述檢索關(guān)鍵字圖像輸入裝置輸入的檢索關(guān)鍵字圖像及所述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區(qū)域；特征向量生成裝置，其針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，根據(jù)所述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量；圖像檢索裝置，其根據(jù)所述特征向量生成裝置生成的特征向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關(guān)鍵字圖像相符的圖像。
3.如權(quán)利要求2所述的圖像檢索系統(tǒng)，其特征在于還具有面部信息判斷裝置，該面部信息判斷裝置針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，判斷該圖像中包含的人物圖像的面部信息，所述特征向量生成裝置針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，根據(jù)所述面部信息判斷裝置判斷出的面部信息，生成表示該圖像的特征的特征向量。
4.如權(quán)利要求2及3中任何一項(xiàng)所述的圖像檢索系統(tǒng)，其特征在于還具有類似度判斷裝置，該類似度判斷裝置對所述各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與所述檢索關(guān)鍵字圖像中包含的人物圖像的面部的類似度，所述特征向量生成裝置針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，根據(jù)所述類似度判斷裝置的判斷結(jié)果，生成表示該圖像的特征的特征向量。
5.如權(quán)利要求2至4中任何一項(xiàng)所述的圖像檢索系統(tǒng)，其特征在于所述圖像檢索裝置從所述檢索對象圖像存儲裝置中檢索出與所述檢索關(guān)鍵字圖像的特征向量之間的向量間距離最小的特征向量所對應(yīng)的檢索對象圖像。
6.如權(quán)利要求2至4中任何一項(xiàng)所述的圖像檢索系統(tǒng)，其特征在于所述圖像檢索裝置根據(jù)所述檢索對象圖像的特征向量之間的向量間距離，將所述各檢索對象圖像分類為多個(gè)組，從所述檢索對象圖像存儲裝置中檢索出所述多個(gè)組之中的所述檢索關(guān)鍵字圖像所屬的組的全部檢索對象圖像。
7.如權(quán)利要求2至6中任何一項(xiàng)所述的圖像檢索系統(tǒng)，其特征在于所述特征向量生成裝置在所述檢索關(guān)鍵字圖像與所述檢索對象圖像的縱橫比或所述檢索對象圖像之間的縱橫比不同時(shí)，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成所述第1圖像的特征向量，針對所述第2圖像之中的重復(fù)區(qū)域生成所述第2圖像的特征向量。
8.一種圖像分類系統(tǒng)，對多個(gè)分類對象圖像進(jìn)行分類，其特征在于對所述各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成表示該分類對象圖像的特征的特征向量，根據(jù)生成的特征向量，將所述各分類對象圖像分類為多個(gè)組。
9.一種圖像分類系統(tǒng)，對多個(gè)分類對象圖像進(jìn)行分類，其特征在于具有分類對象圖像存儲裝置，其用于存儲所述多個(gè)分類對象圖像；引人注目區(qū)域抽出裝置，其對所述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域；特征向量生成裝置，其根據(jù)所述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，對所述各分類對象圖像生成表示該分類對象圖像的特征的特征向量；圖像分類裝置，其根據(jù)所述特征向量生成裝置生成的特征向量，將所述各分類對象圖像分類為多個(gè)組。
10.如權(quán)利要求9所述的圖像分類系統(tǒng)，其特征在于還具有面部信息判斷裝置，該面部信息判斷裝置對所述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部信息，所述特征向量生成裝置根據(jù)所述面部信息判斷裝置判斷出的面部信息，對所述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量。
11.如權(quán)利要求9及10中任何一項(xiàng)所述的圖像分類系統(tǒng)，其特征在于還具有類似度判斷裝置，該類似度判斷裝置對所述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，所述特征向量生成裝置根據(jù)所述類似度判斷裝置的判斷結(jié)果，對所述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量。
12.如權(quán)利要求9至11中任何一項(xiàng)所述的圖像分類系統(tǒng)，其特征在于所述圖像分類裝置根據(jù)所述分類對象圖像的特征向量之間的向量間距離，將所述各分類對象圖像分類為多個(gè)組，對所述各組，從所述分類對象圖像存儲裝置中檢索出指定數(shù)量的分類對象圖像。
13.如權(quán)利要求9至12中任何一項(xiàng)所述的圖像分類系統(tǒng)，其特征在于所述特征向量生成裝置在所述分類對象圖像之間的縱橫比不同時(shí)，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重復(fù)區(qū)域生成所述第1圖像的特征向量，針對所述第2圖像之中的重復(fù)區(qū)域生成所述第2圖像的特征向量。
14.一種圖像檢索程序，根據(jù)給出的檢索關(guān)鍵字圖像，從多個(gè)檢索對象圖像中檢索與所述檢索關(guān)鍵字圖像相符的圖像，其特征在于使可以利用用于存儲所述多個(gè)檢索對象圖像的檢索對象圖像存儲裝置和用于輸入所述檢索關(guān)鍵字圖像的檢索關(guān)鍵字圖像輸入裝置的計(jì)算機(jī)，執(zhí)行作為以下裝置所實(shí)現(xiàn)的處理引人注目區(qū)域抽出裝置，其針對所述檢索關(guān)鍵字圖像輸入裝置輸入的檢索關(guān)鍵字圖像及所述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區(qū)域；特征向量生成裝置，其針對所述檢索關(guān)鍵字圖像及所述各檢索對象圖像，根據(jù)所述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，生成表示該圖像的特征的特征向量；和圖像檢索裝置，其根據(jù)所述特征向量生成裝置生成的特征向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關(guān)鍵字圖像相符的圖像。
15.一種圖像分類程序，對多個(gè)分類對象圖像進(jìn)行分類，其特征在于使可以利用用于存儲所述多個(gè)分類對象圖像的分類對象圖像存儲裝置的計(jì)算機(jī)，執(zhí)行作為以下裝置所實(shí)現(xiàn)的處理引人注目區(qū)域抽出裝置，其對所述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區(qū)域；特征向量生成裝置，其根據(jù)所述引人注目區(qū)域抽出裝置抽出的引人注目區(qū)域，對所述各分類對象圖像，生成表示該分類對象圖像的特征的特征向量；和圖像分類裝置，其根據(jù)所述特征向量生成裝置生成的特征向量，將所述各分類對象圖像分類為多個(gè)組。
16.一種圖像檢索方法，根據(jù)給出的檢索關(guān)鍵字圖像，從存儲有多個(gè)檢索對象圖像的檢索對象圖像存儲裝置中檢索與所述檢索關(guān)鍵字圖像相符的圖像，其特征在于包括以下步驟檢索關(guān)鍵字圖像輸入步驟輸入所述檢索關(guān)鍵字圖像；第1引人注目區(qū)域抽出步驟從所述檢索關(guān)鍵字圖像輸入步驟中輸入的檢索關(guān)鍵字圖像中抽出引人注目區(qū)域；第1特征向量生成步驟根據(jù)所述第1引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示所述檢索關(guān)鍵字圖像的特征的特征向量；第2引人注目區(qū)域抽出步驟從所述檢索對象圖像抽出引人注目區(qū)域；第2特征向量生成步驟根據(jù)所述第2引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示所述檢索對象圖像的特征的特征向量；重復(fù)步驟對所述檢索對象圖像存儲裝置的各檢索對象圖像，重復(fù)進(jìn)行所述第2引人注目區(qū)域抽出步驟及所述第2特征向量生成步驟；和圖像檢索步驟根據(jù)所述第1特征向量生成步驟及第2特征向量生成步驟中生成的特征向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關(guān)鍵字圖像相符的圖像。
17.一種圖像分類方法，對多個(gè)分類對象圖像進(jìn)行分類，其特征在于包括以下步驟引人注目區(qū)域抽出步驟從所述分類對象圖像中抽出引人注目區(qū)域；特征向量生成步驟根據(jù)所述引人注目區(qū)域抽出步驟中抽出的引人注目區(qū)域，生成表示所述分類對象圖像的特征的特征向量；重復(fù)步驟對所述各分類對象圖像，重復(fù)進(jìn)行所述引人注目區(qū)域抽出步驟及所述特征向量生成步驟；和圖像分類步驟根據(jù)所述特征向量生成步驟中生成的特征向量，將所述各分類對象圖像分類為多個(gè)組。
全文摘要
提供一種適合于得到與利用者的希望相符的檢索結(jié)果或分類結(jié)果的圖像檢索系統(tǒng)。針對檢索關(guān)鍵字圖像及各檢索對象圖像，從該圖像中抽出引人注目區(qū)域，根據(jù)抽出的引人注目區(qū)域，生成該圖像的特征向量V。然后，根據(jù)生成的特征向量V，從檢索對象圖像登錄DB10中檢索與檢索關(guān)鍵字圖像類似的圖像。
文檔編號G06T7/00GK1573742SQ20041004554
公開日2005年2月2日 申請日期2004年5月28日 優(yōu)先權(quán)日2003年5月30日
發(fā)明者長野敏則, 日向崇 申請人:精工愛普生株式會社