用于搜索圖像的方法和裝置以及用于執(zhí)行該方法的計(jì)算機(jī)可讀記錄介質(zhì)的制作方法
【專利摘要】本
【發(fā)明內(nèi)容】
涉及用于搜索圖像的方法和裝置，且涉及用于執(zhí)行該方法的計(jì)算機(jī)可讀記錄介質(zhì)。本公開內(nèi)容的用于搜索圖像的裝置獲取輸入圖像的特征；并且獲取分別對(duì)應(yīng)于特征的單詞和靠近對(duì)應(yīng)于特征的單詞的鄰近單詞。在單詞被指派給可視特征空間中所包括的多個(gè)單詞單元中的第一單詞單元時(shí)，鄰近單詞被指派給靠近第一單詞單元的至少一個(gè)第二單詞單元，其中所述多個(gè)單詞單元被指派給不同的單詞，且在離一單詞預(yù)定距離內(nèi)的至少一個(gè)單詞被指派為鄰近單詞。該裝置還被配置為基于與對(duì)應(yīng)于單詞的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于鄰近單詞的第二組圖像相關(guān)聯(lián)的信息搜索與輸入圖像相同或相似的圖像，關(guān)于第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。
【專利說明】用于搜索圖像的方法和裝置以及用于執(zhí)行該方法的計(jì)算機(jī) 可讀記錄介質(zhì)

【技術(shù)領(lǐng)域】
[0001] 本公開內(nèi)容涉及圖像搜索方法和裝置以及非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其用于通 過以下增強(qiáng)圖像搜索的精度：在輸入圖像的特征對(duì)應(yīng)于特定單詞或特定二進(jìn)制碼時(shí)，不僅 從對(duì)應(yīng)于數(shù)據(jù)庫中的特定單詞或特定二進(jìn)制碼的第一組圖像、而且也從對(duì)應(yīng)于鄰近單詞或 鄰近二進(jìn)制碼（該鄰近單詞或鄰近二進(jìn)制碼靠近對(duì)應(yīng)于特定單詞或特定二進(jìn)制碼的第一 組圖像）的第二組圖像，搜索具有與輸入圖像的特征相同或相似的特征的圖像。

【背景技術(shù)】
[0002] 在文檔搜索中，文檔可以被表示為從特定詞表中所選擇的單詞的頻率。基于關(guān)于 這種頻率的比較衡量在文檔之間的相似性。
[0003] 類似地，在圖像搜索中，圖像被表示成從特定的視覺詞表選擇的視覺單詞的頻率。 基于關(guān)于這種頻率的比較衡量在圖像之間的相似性。
[0004] 作為示例，圖像1、2和3中的每一個(gè)具有三個(gè)特征，以使得圖像1的特征分別對(duì)應(yīng) 于單詞" &"、％"、"(："，圖像2的特征分別對(duì)應(yīng)于單詞"&"、"，、"(1"，且圖像3的特征分別對(duì) 應(yīng)于單詞" &"、"(1"、"6"。在這種情況中，在圖像1和圖像2之間的相似性頻率是2，且在圖 像1和圖像3之間的相似性頻率是1。
[0005] 然而，不同于文本文檔，由于噪聲、拍攝角度等等，圖像的視覺單詞頻繁地、微妙地 改變。即，應(yīng)被表示成單詞"a"的特征例如可以被表示成單詞"e"，該單詞"e"靠近單詞 "a"。在這種情況中，僅從對(duì)應(yīng)于數(shù)據(jù)庫中的單詞"e"的標(biāo)識(shí)的圖像中搜索具有相同或相似 的特征的至少一個(gè)圖像。因而，存在降低搜索精度的問題。
[0006] 例如，在 Josef Sivic 和 Andrew Zisserman 在 2〇〇3 年 " IEEE International Conference on Computer Vision (IEEE計(jì)算機(jī)視覺國際會(huì)議）"發(fā)表的標(biāo)題為"Video Google:A Text Retrieval Approach to Object Matching in Videos(視頻谷歌：視頻中 的對(duì)象匹配的文本檢索方法）"的論文中公開的、使用視覺單詞搜索圖像的技術(shù)，具有以上 所描述的問題。


【發(fā)明內(nèi)容】

[0007] 技術(shù)問題
[0008] 本公開內(nèi)容的目標(biāo)是解決以上所描述的問題。
[0009] 另外，本公開內(nèi)容的另一目標(biāo)是增強(qiáng)圖像搜索的精度?？梢酝ㄟ^以下實(shí)現(xiàn)這種目 標(biāo)：在輸入圖像的特征分別對(duì)應(yīng)于特定單詞或特定二進(jìn)制碼時(shí)，不僅從對(duì)應(yīng)于數(shù)據(jù)庫中的 特定單詞或特定二進(jìn)制碼的第一組圖像、而且也從對(duì)應(yīng)于靠近第一組圖像的單詞或二進(jìn)制 碼的第二組圖像搜索具有與輸入圖像的特征相同或相似的特征的圖像。
[0010] 技術(shù)解決方案
[0011] 用于實(shí)現(xiàn)以上目標(biāo)的本公開內(nèi)容的代表性配置如下所示。
[0012] 根據(jù)本公開內(nèi)容的一個(gè)方面，一種圖像搜索方法包括：(a)由圖像搜索裝置獲取 輸入圖像的特征；以及（b)由圖像搜索裝置獲取相應(yīng)特征所對(duì)應(yīng)的單詞和靠近特征所對(duì)應(yīng) 的相應(yīng)單詞的鄰近單詞。在可視特征空間中所包括的多個(gè)單詞單元中的第一單詞單元被 指派給一個(gè)單詞時(shí)，鄰近單詞是被指派給所述多個(gè)單詞單元的至少一個(gè)第二單詞單元的單 詞，第二單詞單元靠近被指派給該單詞的第一單詞單元。所述多個(gè)單詞單元被指派給不同 的單詞，并且在離該單詞的預(yù)定距離內(nèi)的至少一個(gè)單詞被指定為鄰近單詞。該方法還包括 (c)基于與對(duì)應(yīng)于單詞的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于鄰近單詞的第二組圖像相 關(guān)聯(lián)的信息，由圖像搜索裝置搜索與輸入圖像相同或相似的圖像，與第一組和第二組圖像 相關(guān)聯(lián)的信息被存儲(chǔ)在數(shù)據(jù)庫中。
[0013] 根據(jù)本公開內(nèi)容的一些其他方面，提供一種圖像搜索方法，其包括：(a)由圖像搜 索裝置獲取輸入圖像的特征；以及（b)由圖像搜索裝置獲取相應(yīng)特征分別對(duì)應(yīng)于的二進(jìn)制 代碼。該方法還包括（c)基于與對(duì)應(yīng)于二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息以及關(guān)于對(duì) 應(yīng)于鄰近二進(jìn)制代碼（該鄰近二進(jìn)制代碼靠近對(duì)應(yīng)于第一組圖像的二進(jìn)制代碼且包括關(guān) 于到該二進(jìn)制碼的距離的信息）的第二組圖像的信息，由圖像搜索裝置搜索與輸入圖像相 同或相似的圖像，關(guān)于第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。在可視特征空間中 的多個(gè)單詞單元中的第一單詞單元被指派給二進(jìn)制代碼時(shí)，鄰近二進(jìn)制代碼被指派給所述 多個(gè)單詞單元中的至少一個(gè)的第二單詞單元，第二單詞單元靠近第一單詞單元且包括關(guān)于 到第一單詞單元的距離的信息。所述多個(gè)單詞單元可以被指派給不同的二進(jìn)制代碼，并且 在離該單詞的預(yù)定距離內(nèi)的至少一個(gè)單詞可以被指定為鄰近單詞。
[0014] 根據(jù)本公開內(nèi)容的更進(jìn)一步的方面，提供一種圖像搜索方法，其包括：(a)由圖像 搜索裝置獲取輸入圖像的特征；(b)由圖像搜索裝置獲取輸入圖像的相應(yīng)特征的特征描述 符；以及（c)由圖像搜索裝置把輸入圖像的特征的特征描述符映射到二進(jìn)制代碼。該方法 還包括（d)基于與對(duì)應(yīng)于二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息和關(guān)于對(duì)應(yīng)于鄰近二進(jìn) 制代碼（其靠近第一組圖像的二進(jìn)制碼，且包括指示鄰近二進(jìn)制代碼靠近第一組圖像的二 進(jìn)制代碼的距離信息）的第二組圖像的信息，由圖像搜索裝置搜索與輸入圖像相同或相似 的圖像。關(guān)于第一組和第二組圖像的信息可以被存儲(chǔ)在數(shù)據(jù)庫中。在離二進(jìn)制代碼的預(yù)定 距離內(nèi)的至少一個(gè)二進(jìn)制代碼可以被指定為鄰近二進(jìn)制代碼。
[0015] 根據(jù)本公開內(nèi)容的更進(jìn)一步的方面，提供一種圖像搜索裝置，其包括：特征獲取單 元，其用于獲取輸入圖像的特征；以及單詞和鄰近單詞獲取單元，其用于獲取特征分別對(duì) 應(yīng)的所述單詞以及靠近所述單詞的鄰近單詞。在此，在可視特征空間中所包括的多個(gè)單詞 單元中的第一單詞單元被指派給一單詞時(shí)，鄰近單詞是被指派給所述多個(gè)單詞單元的至少 一個(gè)第二單詞單元的單詞，該第二單詞單元靠近單詞被指派給的第一單詞單元。所述多個(gè) 單詞單元被指派給不同的單詞，且在離該單詞預(yù)定距離內(nèi)的至少一個(gè)單詞被指定為鄰近單 詞。該裝置還包括：搜索單元，其基于與對(duì)應(yīng)于單詞的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng) 于鄰近單詞的第二組圖像相關(guān)聯(lián)的信息，搜索與輸入圖像相同或相似的圖像，關(guān)于第一組 和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。
[0016] 根據(jù)本公開內(nèi)容的更進(jìn)一步的方面，提供一種圖像搜索裝置，其包括：特征點(diǎn)獲取 單元，其用于獲取輸入圖像的特征點(diǎn)；以及二進(jìn)制代碼獲取單元，其用于獲取相應(yīng)特征所對(duì) 應(yīng)的二進(jìn)制代碼。該裝置還包括：搜索單元，其基于與對(duì)應(yīng)于二進(jìn)制代碼的第一組圖像相關(guān) 聯(lián)的信息以及與對(duì)應(yīng)于靠近二進(jìn)制代碼的鄰近二進(jìn)制代碼（且其包括關(guān)于到該二進(jìn)制代 碼的距離的信息）的第二組圖像相關(guān)聯(lián)的信息搜索與輸入圖像相同或相似的圖像，關(guān)于第 一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。在可視特征空間中的多個(gè)單詞單元中的第一 單詞單元被指派給二進(jìn)制代碼時(shí)，鄰近二進(jìn)制代碼是被指派給所述多個(gè)單詞單元中的至少 一個(gè)第二單詞單元的代碼，第二單詞單元靠近第一單詞單元且包括關(guān)于到第一單詞單元的 距離的信息。所述多個(gè)單詞單元被指派給不同的二進(jìn)制代碼，并且，在離二進(jìn)制代碼的預(yù)定 距離內(nèi)的至少一個(gè)二進(jìn)制代碼可以被指定為鄰近二進(jìn)制代碼。
[0017] 根據(jù)本公開內(nèi)容的更進(jìn)一步的方面，提供一種圖像搜索裝置，其包括：特征獲取單 元，其用于獲取輸入圖像的特征；特征描述符獲取單元，其用于獲取用于輸入圖像的相應(yīng)特 征的特征描述符；以及特征描述符-二進(jìn)制代碼映射單元，其用于把輸入圖像的特征的特 征描述符映射到二進(jìn)制代碼。該裝置還包括：搜索單元，其基于與對(duì)應(yīng)于二進(jìn)制代碼的第一 組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于鄰近二進(jìn)制代碼（其靠近二進(jìn)制代碼，且包括指示鄰近 二進(jìn)制代碼靠近二進(jìn)制代碼的信息）的第二組圖像相關(guān)聯(lián)的信息，搜索與輸入圖像相同或 相似的圖像。關(guān)于第一組和第二組圖像的信息可以被存儲(chǔ)在數(shù)據(jù)庫中。在離二進(jìn)制代碼的 預(yù)定距離內(nèi)的至少一個(gè)二進(jìn)制代碼可以被指定為鄰近二進(jìn)制代碼。
[0018] 另外，還提供非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其用于記錄計(jì)算機(jī)程序，該計(jì)算機(jī)程序 用于執(zhí)行用于實(shí)現(xiàn)本公開內(nèi)容的各種實(shí)施方式的以上所描述的方法。
[0019] 有益效果
[0020] 根據(jù)本公開內(nèi)容，在輸入圖像的特征分別對(duì)應(yīng)于特定單詞或特定二進(jìn)制代碼時(shí)， 不僅從與數(shù)據(jù)庫中的特定單詞或特定二進(jìn)制碼相關(guān)聯(lián)的第一組圖像、而且也從與鄰近單詞 或鄰近二進(jìn)制代碼（其靠近與特定單詞或特定二進(jìn)制碼的相關(guān)聯(lián)的第一組圖像）相關(guān)聯(lián)的 第二組圖像，搜索具有與輸入圖像的特征的相同或相似的特征的圖像。因而，即使輸入圖像 受到噪聲或拍攝角度影響，仍然可能精確地搜索圖像。

【專利附圖】

【附圖說明】
[0021] 圖1是根據(jù)本公開內(nèi)容的一種實(shí)施方式的圖像搜索系統(tǒng)的框圖。
[0022] 圖2到圖4是表示通過服務(wù)器使用數(shù)據(jù)庫中的圖像來在數(shù)據(jù)庫中構(gòu)建索引和圖像 信息的示意圖。
[0023] 圖5是根據(jù)本公開內(nèi)容的另一實(shí)施方式的帶有索引和圖像信息的數(shù)據(jù)庫結(jié)構(gòu)的 示意圖。
[0024] 圖6是根據(jù)本公開內(nèi)容的一種實(shí)施方式的服務(wù)器的框圖。
[0025] 圖7是根據(jù)本公開內(nèi)容的一種實(shí)施方式的單詞-鄰近單詞查找表的示意圖。
[0026] 圖8是根據(jù)本公開內(nèi)容的另一實(shí)施方式的服務(wù)器的框圖。
[0027] 圖9是根據(jù)本公開內(nèi)容的又一種實(shí)施方式的服務(wù)器的框圖。
[0028] 圖10是根據(jù)本公開內(nèi)容的一種實(shí)施方式的搜索單元的框圖。

【具體實(shí)施方式】
[0029] 在本公開內(nèi)容的下列詳細(xì)描述中，對(duì)附圖進(jìn)行引用，作為闡釋，附圖示出其中可以 實(shí)現(xiàn)本公開內(nèi)容的特定實(shí)施方式。足夠詳細(xì)地描述這些實(shí)施方式以便允許本領(lǐng)域中的技術(shù) 人員實(shí)現(xiàn)本公開內(nèi)容。應(yīng)理解，本公開內(nèi)容的各種實(shí)施方式盡管不同，但并不必定相互排 斥。例如，在此結(jié)合一種實(shí)施方式描述的特定的特征、結(jié)構(gòu)和特性，在不偏離本公開內(nèi)容的 精神和范圍的前提下，可以在其他實(shí)施方式內(nèi)實(shí)現(xiàn)。另外，應(yīng)理解，在不偏離本公開內(nèi)容的 精神和范圍的前提下，可以修改在每一公開的實(shí)施方式內(nèi)的個(gè)體元素的位置或排列。因此， 不應(yīng)以限制性的意義理解下列的詳細(xì)描述，且本公開內(nèi)容的范圍由所附權(quán)利要求以及等效 于權(quán)利要求所主張的范圍的完全范圍界定、適當(dāng)?shù)亟忉?。附圖中，類似的標(biāo)號(hào)是指相同的或 相似的功能。
[0030] 在下文中，將參照附圖詳細(xì)描述本公開內(nèi)容的各種實(shí)施方式，使得本領(lǐng)域中的技 術(shù)人員可以容易地實(shí)現(xiàn)本公開內(nèi)容。
[0031] 圖1是根據(jù)本公開內(nèi)容的一種實(shí)施方式的圖像搜索系統(tǒng)的框圖。
[0032] 如圖1中所示出，根據(jù)本公開內(nèi)容的圖像搜索系統(tǒng)100可以包括終端110、通信網(wǎng) 絡(luò)120、服務(wù)器130和數(shù)據(jù)庫140
[0033] 下面將描述圖1中所示出的每個(gè)框的細(xì)節(jié)。
[0034] 首先，終端100可以是數(shù)字設(shè)備，該數(shù)字設(shè)備包括這樣的功能：允許用戶經(jīng)由通信 網(wǎng)絡(luò)120連接到服務(wù)器130并與之通信，且輸入用于搜索的圖像。終端110可以是個(gè)人計(jì) 算機(jī)（例如，臺(tái)式計(jì)算機(jī)、筆記本計(jì)算機(jī)等等）、工作站、PDA、上網(wǎng)平板、蜂窩式電話等等。另 夕卜，盡管圖1中闡釋了僅一個(gè)終端110,但可以經(jīng)由通信網(wǎng)絡(luò)120連接多個(gè)用戶終端。
[0035] 另外，通信網(wǎng)絡(luò)120可以采用任何通信方案，例如有線或無線網(wǎng)絡(luò)?？梢圆捎酶鞣N 通信網(wǎng)絡(luò)，例如局域網(wǎng)（LAN)、城域網(wǎng)（MAN)和廣域網(wǎng)（WAN)。在此提及的通信網(wǎng)絡(luò)100也 可以與萬維網(wǎng)（WWW)通信。
[0036] 數(shù)據(jù)庫140可以在其中存儲(chǔ)多個(gè)圖像。數(shù)據(jù)庫140可以分離地存儲(chǔ)圖像的索引和 關(guān)于經(jīng)索引圖像中的每一個(gè)的圖像信息。
[0037] 因而，在某些實(shí)施方式中，數(shù)據(jù)庫140可以把可以不指示與在各特征之間的距離 相關(guān)聯(lián)的信息的不同的一維單詞（或一維數(shù)字）存儲(chǔ)為索引。進(jìn)一步，例如，關(guān)于圖像的圖 像信息可以包括關(guān)于圖像的特征的信息?？梢岳斫猓环纸M成特定的一維單詞的圖像的特 征可以包括它們是在預(yù)定距離范圍內(nèi)的關(guān)聯(lián)距離信息，同時(shí)，被分組成與該特定單詞不同 的一維單詞的圖像的特征可以包括它們具有大于預(yù)定范圍的距離的關(guān)聯(lián)距離信息。
[0038] 在數(shù)據(jù)庫140中被存儲(chǔ)為索引的一維單詞（或一維數(shù)字）可以包括到另一單詞的 距離的關(guān)聯(lián)信息。例如，在數(shù)據(jù)庫140中的索引是一維單詞時(shí)，在它們的序列中鄰近的單詞 (例如，A和B、B和C等等）可以指示，相比于在它們的序列中不鄰近的單詞（例如，A和C、 A和D等等），它們更加相互接近的距離信息。進(jìn)一步，在數(shù)據(jù)庫140中的索引是一維數(shù)字 時(shí)，在它們的序列中鄰近的數(shù)字（例如，100和101、101和102等等）可以指示，相比于在它 們的序列中不鄰近的數(shù)字（例如，100和102U01和103等等），它們更加相互接近的距離 信息。
[0039] 根據(jù)另一實(shí)施方式，數(shù)據(jù)庫140可以具有二進(jìn)制碼作為索引，其包括對(duì)應(yīng)于海明 距離（hamming distance)的距離信息。例如，圖像的圖像信息可以包括關(guān)于圖像的特征的 信息。被分組為對(duì)應(yīng)于一個(gè)m維（位）二進(jìn)制代碼圖像的特征可以指示各特征之間的距離 是在預(yù)定范圍內(nèi)。不同的m維二進(jìn)制碼可以被用來確定在不同的預(yù)定距離范圍內(nèi)的距離， 其中的每一個(gè)都覆蓋對(duì)應(yīng)于各個(gè)m維二進(jìn)制碼的各特征之間的距離。
[0040] 服務(wù)器130從數(shù)據(jù)庫140中的多個(gè)圖像搜索與輸入圖像相同或相似的圖像。
[0041] 根據(jù)一種實(shí)施方式，服務(wù)器130可以提取關(guān)于數(shù)據(jù)庫140中所存儲(chǔ)的多個(gè)圖像中 的每一個(gè)的特征的信息?？赡芤呀?jīng)提取所述多個(gè)相應(yīng)圖像的特征并將其存儲(chǔ)在數(shù)據(jù)庫140 中。在這種情況中，服務(wù)器130可以從數(shù)據(jù)庫140檢索關(guān)于多個(gè)相應(yīng)圖像的特征的信息。而 且，通過基于它們?cè)诳梢曁卣骺臻g中的位置把多個(gè)圖像的特征聚類成接近特征的群集（例 如，使用K均值聚類技術(shù)），服務(wù)器130可以形成群集（在下文中稱為單詞單元）。另外，月艮 務(wù)器130可以按不同的一維單詞（或數(shù)字）索引單詞單元，且把對(duì)應(yīng)于單詞單元中的每一 個(gè)的圖像信息存儲(chǔ)在數(shù)據(jù)庫140中。圖像信息可以包括關(guān)于各個(gè)單詞單元中所包括的圖像 的特征的標(biāo)識(shí)符和信息。此時(shí)，服務(wù)器130可以給單詞單元指派不指示距離信息的一維單 詞（或數(shù)字）或者指示關(guān)于在各單詞單元之間的距離的信息的單詞。即是說，在數(shù)據(jù)庫140 中被存儲(chǔ)為索引的一維單詞（或一維數(shù)字）可以包括或不包括距離信息。另外，在服務(wù)器 130獲取從終端110傳輸?shù)淖鳛椴樵兊妮斎雸D像時(shí)，服務(wù)器130可以檢測(cè)輸入圖像的特征并 提取關(guān)于特征的信息。在這種情況中，服務(wù)器130可以從終端110接收關(guān)于輸入圖像的特 征的信息。
[0042] 服務(wù)器130可以獲取可視特征空間中的特征所對(duì)應(yīng)于的單詞以及緊靠該特征對(duì) 應(yīng)的單詞的鄰近單詞。在該單詞不呈現(xiàn)距離信息時(shí)，可以使用稍后將描述的如圖7中所示 出查找表來獲取鄰近單詞。然而，在單詞指示距離信息時(shí)，沒有必要使用圖7的查找表來獲 取鄰近單詞。
[0043] 服務(wù)器130可以從數(shù)據(jù)庫140中的圖像搜索圖像，該圖像包括與輸入圖像的特征 相同或相似的、對(duì)應(yīng)于該單詞和該鄰近單詞的特征。
[0044] 根據(jù)另一實(shí)施方式，服務(wù)器130可以檢測(cè)被存儲(chǔ)在數(shù)據(jù)庫140中的多個(gè)圖像中的 每一個(gè)的特征，并提取關(guān)于這些特征的信息。在這種情況中，可能已經(jīng)提取多個(gè)圖像的特征 并將其存儲(chǔ)在數(shù)據(jù)庫140中。進(jìn)一步，在這種情況中，服務(wù)器130可以從數(shù)據(jù)庫140檢索關(guān) 于多個(gè)相應(yīng)圖像的特征的信息。另外，通過基于多個(gè)圖像的特征在可視特征空間中的位置 聚類接近特征（例如，使用K均值聚類技術(shù)），服務(wù)器130可以形成單詞單元。服務(wù)器130 可以在數(shù)據(jù)庫140中把不同的m維（比特）的二進(jìn)制碼存儲(chǔ)為包括與在各單詞單元之間的 距離相關(guān)聯(lián)的信息的索引，且另外把關(guān)于對(duì)應(yīng)于被指派給各個(gè)二進(jìn)制碼的單詞單元的圖像 的特征的標(biāo)識(shí)符和信息存儲(chǔ)為圖像信息。
[0045] 另外，在獲取作為查詢從終端110傳輸?shù)妮斎雸D像時(shí)，服務(wù)器130可以檢測(cè)輸入圖 像的特征并提取關(guān)于特征的信息。在這種情況中，服務(wù)器130可以從終端110接收關(guān)于輸 入圖像的特征的信息。服務(wù)器130可以從與在可視特征空間中特征所對(duì)應(yīng)于的m維二進(jìn)制 代碼和鄰近的m維二進(jìn)制代碼對(duì)應(yīng)的圖像中搜索包括與輸入圖像的特征相同或相似的特 征的圖像。
[0046] 與特征相關(guān)聯(lián)的信息可以包括被表示成η維矢量的特征描述符。在Yunchao Gong 和 Svetlana Lazebnik 的、于 2011 年 4 月在"conference on computer vision and pattern recognition(CVPR)(計(jì)算機(jī)視覺和圖案識(shí)別會(huì)議）"發(fā)表的、標(biāo)題為"Iterative Quantization:A Procrustean Approach to Learning Binary Codes (迭代量化：學(xué)習(xí)二 進(jìn)制碼的暴力方法））的論文中，提出了用于把被表示成n維矢量的特征描述符映射到m維 二進(jìn)制代碼的技術(shù)。根據(jù)這種技術(shù)，即使被表示成η維矢量的特征描述符被映射到m維二 進(jìn)制碼，也可以保留原始特征描述符的原始距離信息。
[0047] 在轉(zhuǎn)換成表示關(guān)于在各單詞單元之間的距離的信息的不同的m維二進(jìn)制碼時(shí)，這 種技術(shù)可以由在如上所述的另一實(shí)施方式中的服務(wù)器130用來把每一單詞單元的中心點(diǎn) 的描述符（例如，被表示成η維矢量的描述符）映射到m維二進(jìn)制代碼。
[0048] 根據(jù)另一實(shí)施方式，服務(wù)器130可以檢測(cè)被存儲(chǔ)在數(shù)據(jù)庫140中的多個(gè)相應(yīng)圖像 的特征并提取關(guān)于特征的信息?？赡芤呀?jīng)提取多個(gè)相應(yīng)圖像的特征并將其存儲(chǔ)在數(shù)據(jù)庫 140中。在這種情況中，服務(wù)器130可以從數(shù)據(jù)庫140檢索關(guān)于多個(gè)相應(yīng)圖像的特征的信 息。另外，服務(wù)器130可以把多個(gè)圖像的特征描述符映射到包括距離信息的不同的m維二 進(jìn)制碼。在多個(gè)圖像的特征描述符當(dāng)中，服務(wù)器130可以把具有在預(yù)定范圍內(nèi)的距離的特 征描述符映射到一個(gè)二進(jìn)制代碼。因此，具有落在多個(gè)不同的預(yù)定范圍內(nèi)的距離的多個(gè)特 征描述符可以對(duì)應(yīng)于不同的二進(jìn)制碼。服務(wù)器130可以把包括距離信息的不同的m維二進(jìn) 制碼提供為索引，并把對(duì)應(yīng)于相應(yīng)單詞單元的圖像信息存儲(chǔ)在數(shù)據(jù)庫140中。圖像信息可 以是關(guān)于與相應(yīng)單詞單元對(duì)應(yīng)的圖像的特征的標(biāo)識(shí)符和信息。
[0049] 在上述另一實(shí)施方式中，服務(wù)器130搜遍帶有m維二進(jìn)制代碼及其鄰近的m維二 進(jìn)制代碼的圖像，該m維二進(jìn)制代碼被指派給可視特征空間中特征被映射到的單詞單元。 然而，根據(jù)又一種實(shí)施方式，服務(wù)器130可以直接使得輸入圖像的特征對(duì)應(yīng)于m維二進(jìn)制代 碼，并搜遍帶有m維二進(jìn)制代碼及其鄰近的m維二進(jìn)制代碼的圖像。
[0050] 在以上所描述的另一實(shí)施方式和又一種實(shí)施方式中，m維二進(jìn)制碼可以是具有關(guān) 于距離（該距離是海明距離）的信息的代碼，且"m"可以表示小于"η"的整數(shù)。例如，在使 用128維矢量來表示特征描述符時(shí)，二進(jìn)制代碼可以是32比特或64比特。然而，"m"并不 必定是小于"η"的整數(shù)。另外，距離信息可以是關(guān)于歐幾里得距離的信息。
[0051] 圖2到圖4是闡釋服務(wù)器通過使用數(shù)據(jù)庫中的圖像來在數(shù)據(jù)庫中構(gòu)造索引和圖像 信息的本公開內(nèi)容的實(shí)施方式的圖。
[0052] 圖2闡釋被存儲(chǔ)在數(shù)據(jù)庫140中的多個(gè)圖像頂1到頂k。標(biāo)號(hào)Π1、Π2和Πχ可 以指示在圖像頂1的多個(gè)特征當(dāng)中的三個(gè)特征。標(biāo)號(hào)f21、f22和f2x可以指示在圖像頂2 的多個(gè)特征當(dāng)中的三個(gè)特征。標(biāo)號(hào)fkl、fk2和fkx可以指示在圖像IMk的多個(gè)特征當(dāng)中的 三個(gè)特征。
[0053] 圖3示出關(guān)于被存儲(chǔ)在數(shù)據(jù)庫140中的多個(gè)圖像頂1到Mk的多個(gè)特征在二維可 視特征空間中的位置的信息，其中被表示成η維矢量的特征描述符的維數(shù)被減小，以便在 二維可視特征空間中表示。圖3中所闡釋的在二維可視特征空間中聚類多個(gè)圖像ΙΜ1到 Mk的特征（例如，使用Κ均值聚類技術(shù)）可以形成八個(gè)單詞單元，且這八個(gè)單詞單元可以 被指派給單詞A到H。另外，可以獲取關(guān)于八個(gè)單詞單元的中心點(diǎn)cl到c8的信息。在本公 開內(nèi)容中，關(guān)于每一單詞單元的中心點(diǎn)的信息可以是中心點(diǎn)的描述符，且中心點(diǎn)的描述符 可以是相應(yīng)的單詞單元中所包括的特征描述符的平均值。
[0054] 圖4闡釋具有根據(jù)本公開內(nèi)容的一種實(shí)施方式的索引和圖像信息的數(shù)據(jù)庫。單詞 A到Η可以被存儲(chǔ)為分別用于圖3中的單詞單元的索引。進(jìn)一步，對(duì)應(yīng)于圖3中的單詞A的 圖像IM1的標(biāo)識(shí)符和特征f 11的特征描述符、圖像IM2的標(biāo)識(shí)符和特征f 12的特征描述符 等等可以被存儲(chǔ)為圖像信息。進(jìn)一步，對(duì)應(yīng)于圖3中的單詞B的圖像IM2的標(biāo)識(shí)符和特征 點(diǎn)f22的特征描述符及類似物可以被存儲(chǔ)為圖像信息。而且，對(duì)應(yīng)于圖3中的單詞C的圖 像IM1的標(biāo)識(shí)符和特征Π2的特征描述符及類似物可以被存儲(chǔ)為圖像信息。以相同的方式， 數(shù)據(jù)庫可以存儲(chǔ)圖像Mk的標(biāo)識(shí)符和特征fkl的特征描述符及類似物（其對(duì)應(yīng)于圖3中的 單詞D且可以被存儲(chǔ)為圖像信息）。而且，對(duì)應(yīng)于單詞E的圖像Mk的標(biāo)識(shí)符和特征fk2的 特征描述符及類似物可以被存儲(chǔ)為圖像信息。另外，對(duì)應(yīng)于單詞F的圖像IMk的標(biāo)識(shí)符和 特征fkx的特征描述符及類似物可以被存儲(chǔ)為圖像信息。另外，對(duì)應(yīng)于單詞G的圖像IM2 的標(biāo)識(shí)符和特征f2k的特征描述符及類似物被存儲(chǔ)為圖像信息。而且，對(duì)應(yīng)于單詞Η的圖 像ΙΜ1的標(biāo)識(shí)符和特征flk的特征描述符及類似物被存儲(chǔ)為圖像信息。在圖4中，為方便 起見，各標(biāo)識(shí)符分別被表示成頂1、頂2、…，且各特征描述符分別被表示成Π1、f21、f22、 fl2、flk、…。
[0055] 圖5是帶有根據(jù)本公開內(nèi)容的另一實(shí)施方式的索引和圖像信息的數(shù)據(jù)庫結(jié)構(gòu)的 示意圖。在這一實(shí)施方式中，包括距離信息的四維（即，4比特）二進(jìn)制碼可以被分配給如 圖3中所闡釋的被指派給一個(gè)單詞單元的一維單詞，以便存儲(chǔ)為索引。例如，如果二進(jìn)制代 碼"0000"是被分配給被指派給圖3中的單詞A的單詞單元，則二進(jìn)制代碼"0001"可以被 分配給被指派給單詞B且與被指派給單詞A鄰近的單詞單元的單詞單元。進(jìn)一步，二進(jìn)制 代碼"0011"可以被分配給被指派給單詞C的單詞單元，且二進(jìn)制代碼" 1111"可以被分配 給被指派給單詞Η的單詞單元。二進(jìn)制碼可以是包括關(guān)于海明距離的信息的代碼。因此， 相差一比特的二進(jìn)制碼"〇〇〇〇"和"0001"可以指示它們是具有為1的距離差的單詞單元。 進(jìn)一步，相差兩個(gè)比特的二進(jìn)制碼"〇〇〇〇"和"0011"可以指示它們是具有為2的距離差的 單詞單元。另外，相差四個(gè)比特的二進(jìn)制碼"〇〇〇〇"和"1111"將指示它們是具有為4的距 離差的單詞單元。因而，單詞Α的二進(jìn)制代碼與單詞Β的二進(jìn)制代碼相差1比特，且單詞Β 的二進(jìn)制代碼與單詞C的二進(jìn)制代碼相差1比特。因而，二進(jìn)制碼包括指示單詞A和B鄰 近的距離信息。而且，二進(jìn)制碼包括指示單詞B和C鄰近的距離信息。
[0056] 另外，根據(jù)本公開內(nèi)容的又一種實(shí)施方式，可以使用上面描述的把被表不為η維 矢量的特征描述符映射到m維二進(jìn)制碼的技術(shù)來構(gòu)建圖5中所闡釋的數(shù)據(jù)庫，而無需使用 圖3的可視特征空間。
[0057] 在構(gòu)建圖5的數(shù)據(jù)庫時(shí)，在m維二進(jìn)制碼當(dāng)中，可以不索引包括不重要的圖像信息 的二進(jìn)制代碼。作為示例，包括不重要的圖像信息的二進(jìn)制代碼可以是相比于其他二進(jìn)制 碼包括關(guān)于較少數(shù)量的圖像的特征的信息代碼，但不限于此。
[0058] 圖6是根據(jù)本公開內(nèi)容的一種實(shí)施方式的服務(wù)器的框圖。在這一實(shí)施方式中，月艮 務(wù)器130可以包括特征獲取單元131、特征描述符獲取單元133、單詞和鄰近單詞獲取單元 135和搜索單元137。
[0059] 下面將描述圖6中所示出的每個(gè)框的功能。
[0060] 特征獲取單元131可以獲取輸入圖像的特征。特征描述符獲取單元133可以獲取 用于每一特征的特征描述符。特征描述符可以被表示為η維矢量。單詞和鄰近單詞獲取單 元135可以使用特征描述符來獲取特征所對(duì)應(yīng)于的單詞和鄰近單詞。對(duì)于獲取特征所對(duì)應(yīng) 于的單詞，可以獲取被指派給包括圖3的可視特征空間中的預(yù)先確定的特征的單詞單元的 單詞，作為特征所對(duì)應(yīng)于的單詞。替代地，可以通過以下獲取特征所對(duì)應(yīng)于的單詞：通過計(jì) 算在預(yù)先確定的特征和單詞單元的中心點(diǎn)cl到c8中的每一個(gè)之間的距離，并把被指派給 具有其中心點(diǎn)到預(yù)先確定的特征的最短距離的單詞單元的單詞分配給該特征所對(duì)應(yīng)于的 單詞。對(duì)于獲取鄰近單詞，在獲取特征描述符的單詞時(shí)，根據(jù)圖7中所闡釋的一種實(shí)施方式 的單詞-鄰近單詞表可以被用來根據(jù)距離差異獲取鄰近單詞。圖7的查找表指示，在圖3的 可視特征空間中，在被指派給單詞A的單元和被指派給單詞B的單元之間的距離差是1，在 被指派給單詞A的單元和被指派給單詞C的單元之間的距離差是2,且在被指派給單詞A的 單元和被指派給單詞Η的單元之間的距離差是4。單詞和鄰近單詞獲取單元135可以存儲(chǔ) 靠近查找表中的相應(yīng)單詞的鄰近單詞，以使得在獲取輸入圖像的特征的單詞時(shí)可以立即獲 取鄰近單詞。然而，在各單詞包括距離信息時(shí)，不需要使用圖7的查找表來查找鄰近單詞。
[0061] 搜索單元137可以基于數(shù)據(jù)庫140中的單詞和鄰近單詞的圖像信息搜索與輸入圖 像相同或相似的圖像。例如，基于數(shù)據(jù)庫140中的單詞和鄰近單詞的圖像信息，搜索單元 137可以考慮由特征描述符獲取單元133獲取的特征的特征描述符與單詞和鄰近單詞的圖 像信息中包括的特征的特征描述符的距離，并給該特征指派與包括具有最小距離的特征的 圖像相同的標(biāo)識(shí)符。以這種方式，搜索單元137可以把標(biāo)識(shí)符分配給輸入圖像的特征，并把 其標(biāo)識(shí)符被最頻繁地分配的至少一個(gè)圖像標(biāo)識(shí)為相同或相似的圖像。
[0062] 根據(jù)圖6的實(shí)施方式，服務(wù)器130的搜索單元137可以搜遍圖4中所闡釋的數(shù)據(jù) 庫以便定位與輸入圖像相同或相似的圖像。
[0063] 圖8是根據(jù)本公開內(nèi)容的另一實(shí)施方式的服務(wù)器的框圖。服務(wù)器130可以包括特 征獲取單元131'、特征描述符獲取單元133'、二進(jìn)制代碼獲取單元135'和搜索單元137'。
[0064] 下面將描述圖8中所示出的每個(gè)框的功能。
[0065] 特征獲取單元131和特征描述符獲取單元133'可以執(zhí)行與圖6中所闡釋的特征 獲取單元131和特征描述符獲取單元133的那些功能相同或相似的功能。二進(jìn)制代碼獲取 單元135'可以獲取被分配給可視特征空間中特征所對(duì)應(yīng)于的單詞單元的二進(jìn)制代碼，即， 包括距離信息的二進(jìn)制代碼。可以通過以下獲取用于該特征所對(duì)應(yīng)于的單詞單元的二進(jìn)制 代碼：計(jì)算輸入圖像的特征的描述符與單詞單元的相應(yīng)中心點(diǎn)cl到c8的描述符的距離，并 把先前被指派給包括其描述符具有最短距離的中心點(diǎn)的單詞單元的二進(jìn)制代碼分配給輸 入圖像的特征點(diǎn)的描述符。
[0066] 基于用于由二進(jìn)制代碼獲取單元135'提取的二進(jìn)制代碼及其鄰近二進(jìn)制代碼的 圖像信息，搜索單元137'可以搜索與輸入圖像相同或相似的圖像。用于數(shù)據(jù)庫140中的索 引的二進(jìn)制代碼可以包括距離信息。因而，在獲取二進(jìn)制代碼時(shí)，搜索單元137'可以標(biāo)識(shí) 其鄰近二進(jìn)制代碼。另外，通過設(shè)置距離差，搜索單元137'還可以標(biāo)識(shí)在預(yù)定距離差內(nèi)的 鄰近二進(jìn)制代碼。如果距離差被設(shè)置為1，則搜索單元137'可以基于彼此相差1比特的一 個(gè)和另一個(gè)二進(jìn)制代碼的圖像信息搜索與輸入圖像相同或相似的圖像。例如，基于在由特 征描述符獲取單元133'獲取的特征的特征描述符與由二進(jìn)制代碼獲取單元135'獲取的二 進(jìn)制代碼及其鄰近二進(jìn)制代碼的圖像信息中所包括的特征的相應(yīng)特征描述符之間的距離， 搜索單元137'可以給具體的特征指派與包括具有最小距離的特征的圖像的標(biāo)識(shí)符相同的 標(biāo)識(shí)符。以這種方式，搜索單元137'可以把標(biāo)識(shí)符分配給輸入圖像的特征，并把其標(biāo)識(shí)符 被最頻繁地分配的至少一個(gè)圖像分類為相同或相似的圖像。
[0067] 根據(jù)圖8的又一種實(shí)施方式，服務(wù)器130的搜索單元137'可以搜遍圖5中所闡釋 的數(shù)據(jù)庫，以便標(biāo)識(shí)與輸入圖像相同或相似的圖像。
[0068] 圖9是根據(jù)本公開內(nèi)容的又一種實(shí)施方式的服務(wù)器的框圖。服務(wù)器130可以包括 特征獲取單元131"、特征描述符獲取單元133"、特征描述符-二進(jìn)制代碼映射單元135" 和搜索單元137"。
[0069] 下面將描述圖9中所示出的每個(gè)框的功能。
[0070] 特征獲取單元131"和特征描述符獲取單元133"可以執(zhí)行與圖6的特征獲取單 元131和特征描述符獲取單元133的那些功能相同或相似的功能。特征描述符-二進(jìn)制代 碼映射單元135 "可以把被表示成η維矢量的特征描述符映射成m維二進(jìn)制代碼，同時(shí)保 留關(guān)于在各特征之間的距離的信息。特征描述符-二進(jìn)制代碼映射單元135"可以使用在 CVPR中公開的上面所描述的技術(shù)來把特征描述符映射到m維二進(jìn)制代碼，而無需在可視特 征空間中形成特征的群集。這種技術(shù)可以把具有在預(yù)定范圍內(nèi)的距離的特征描述符映射到 相應(yīng)的二進(jìn)制代碼。在此不描述搜索單元137"的功能的細(xì)節(jié)，這是因?yàn)閰⒖忌厦骊P(guān)于圖8 的搜索單元137'的描述可以容易地理解這一點(diǎn)。
[0071] 圖10是根據(jù)本公開內(nèi)容的一種實(shí)施方式的搜索單元的框圖。搜索單元137可以 包括標(biāo)識(shí)符分配單元137-1和分類單元137-2。
[0072] 下面描述圖10中所示出的每個(gè)框的功能。
[0073] 基于在輸入圖像的特征和對(duì)應(yīng)于單詞和鄰近單詞的相應(yīng)圖像的特征之間的距離， 標(biāo)識(shí)符分配單元137-1可以分配對(duì)應(yīng)于單詞或鄰近單詞的圖像中的至少一個(gè)的信息。例 如，標(biāo)識(shí)符分配單元137-1可以計(jì)算在輸入圖像的特征和對(duì)應(yīng)于單詞和鄰近單詞的圖像的 相應(yīng)特征之間的距離，并把對(duì)應(yīng)于單詞和鄰近單詞且包括具有最短距離的特征的圖像的標(biāo) 識(shí)符分配給輸入圖像的特征。
[0074] 基于被分配給輸入圖像的相應(yīng)特征的圖像的標(biāo)識(shí)符，分類單元137-2可以標(biāo)識(shí)與 輸入圖像相同或相似的圖像。例如，分類單元137-2可以檢查被分配給輸入圖像的相應(yīng)特 征的圖像的標(biāo)識(shí)符，并把其標(biāo)識(shí)符被最頻繁地分配的圖像標(biāo)識(shí)為與輸入圖像相同或相似的 圖像。
[0075] 不僅可以在圖6的搜索單元的各實(shí)施方式中的一個(gè)中實(shí)現(xiàn)圖10的搜索單元137， 而且也在圖8的搜索單元137'和圖9搜索單元137〃的各實(shí)施方式中的一個(gè)中實(shí)現(xiàn)圖10 的搜索單元137。
[0076] 在上面的實(shí)施方式中已經(jīng)描述了可以把輸入圖像作為查詢從終端110傳輸出去， 且服務(wù)器130可以獲取輸入圖像并執(zhí)行圖像搜索。然而，終端110可以檢測(cè)輸入圖像的特 征，提取關(guān)于特征的信息并將其傳輸給服務(wù)器130。進(jìn)一步，終端110可以獲取特征所對(duì)應(yīng) 于的單詞和緊靠該單詞的鄰近單詞，并把那些單詞傳輸給服務(wù)器130。
[0077] 另外，在終端110下載數(shù)據(jù)庫140中的圖像中的一些并存儲(chǔ)時(shí)，終端可以執(zhí)行圖像 搜索。即，終端可以自己輸入一輸入圖像，并配備有圖6到圖10中所闡釋的配置，以執(zhí)行與 服務(wù)器130的圖像搜索操作相同的圖像搜索操作。
[0078] 根據(jù)本公開內(nèi)容，可以使用海賽（Hessian)仿射檢測(cè)器來檢測(cè)特征。進(jìn)一步，可以 使用尺度不變特征變換（scale invariant feature transform, SIFT)算法來提取特征描 述符。另外，在本公開內(nèi)容中可以應(yīng)用用于檢測(cè)特征和提取點(diǎn)描述符的各種公知的技術(shù)。
[0079] 可以以程序命令的形式實(shí)現(xiàn)以上所描述的根據(jù)本公開內(nèi)容的實(shí)施方式，可以通過 各種計(jì)算機(jī)組件執(zhí)行該程序命令并將其存儲(chǔ)在計(jì)算機(jī)可讀記錄介質(zhì)中。計(jì)算機(jī)可讀記錄介 質(zhì)可以單獨(dú)地以組合方式包括程序命令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等等。計(jì)算機(jī)可讀記錄介質(zhì)中 所記錄的程序命令可以是為本公開內(nèi)容專門設(shè)計(jì)或配置的程序命令或已知由計(jì)算機(jī)軟件 領(lǐng)域的中的技術(shù)人員使用的程序命令。計(jì)算機(jī)可讀記錄介質(zhì)包括例如磁介質(zhì)（例如硬盤、 軟盤和磁帶）、光記錄介質(zhì)（例如⑶-ROM和DVD、磁-光介質(zhì)（例如光磁軟盤（floptical disk))以及專門配置為存儲(chǔ)和執(zhí)行程序命令的硬件設(shè)備，例如ROM、RAM、閃速存儲(chǔ)器等等。 程序命令包括例如可由使用解釋器或類似物的計(jì)算機(jī)執(zhí)行的高級(jí)語言代碼以及由編譯器 生成的機(jī)器代碼。硬件設(shè)備可以被配置為使用一個(gè)或多個(gè)軟件模塊操作，以便執(zhí)行根據(jù)本 公開內(nèi)容的處理，且反之亦然。
[0080] 在前述的討論中，盡管已經(jīng)結(jié)合諸如特定組件、各種實(shí)施方式和附圖等的特定事 項(xiàng)描述了本公開內(nèi)容，但僅出于幫助理解本公開內(nèi)容的目的而提供這些特定事項(xiàng)，且本公 開內(nèi)容不限于這些實(shí)施方式。應(yīng)明顯看出，本領(lǐng)域中的技術(shù)人員可以從這些描述對(duì)其做出 各種修改和改變。
[0081] 因此，本公開內(nèi)容的精神應(yīng)不限于上面的實(shí)施方式，且所附權(quán)利要求及其同等地 或等效地對(duì)其修改的內(nèi)容將被認(rèn)為是落在本公開內(nèi)容的范圍之內(nèi)。
【權(quán)利要求】
1. 一種圖像搜索方法，包括： (a) 由圖像搜索裝置獲取輸入圖像的特征； (b) 由所述圖像搜索裝置獲取相應(yīng)特征所對(duì)應(yīng)的單詞和靠近所述特征所對(duì)應(yīng)的相應(yīng)單 詞的鄰近單詞，其中，在可視特征空間中所包括的多個(gè)單詞單元中的第一單詞單元被指派 給一個(gè)單詞時(shí)，鄰近單詞是被指派給所述多個(gè)單詞單元的至少一個(gè)第二單詞單元的單詞， 所述第二單詞單元靠近被指派給所述單詞的所述第一單詞單元，其中，所述多個(gè)單詞單元 被指派給不同的單詞，并且在離所述單詞預(yù)定距離內(nèi)的至少一個(gè)單詞被指定為所述鄰近單 詞； (c) 基于與對(duì)應(yīng)于所述單詞的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于所述鄰近單詞的 第二組圖像相關(guān)聯(lián)的信息，由所述圖像搜索裝置搜索與所述輸入圖像相同或相似的圖像， 關(guān)于所述第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。
2. 如權(quán)利要求1所述的方法，其特征在于，步驟（a)包括獲取用于所述輸入圖像的相應(yīng) 特征的特征描述符。
3. 如權(quán)利要求1所述的方法，其特征在于，所述距離信息是關(guān)于歐幾里德距離的信息。
4. 如權(quán)利要求2所述的方法，其特征在于，關(guān)于對(duì)應(yīng)于所述單詞的所述第一組圖像的 信息包括與來自所述可視特征空間中的所述多個(gè)單詞單元當(dāng)中的、所述單詞被指派給的所 述第一單詞單元相對(duì)應(yīng)的相應(yīng)第一組圖像的標(biāo)識(shí)符和特征描述符，且關(guān)于對(duì)應(yīng)于所述鄰近 單詞的所述第二組圖像的信息包括與靠近來自所述可視特征空間中的所述多個(gè)單詞單元 當(dāng)中的、所述單詞被指派給的所述第一單詞單元的至少一個(gè)第二單詞單元相對(duì)應(yīng)的相應(yīng)第 二組圖像的標(biāo)識(shí)符和特征描述符。
5. 如權(quán)利要求4所述的方法，其特征在于，通過獲取被存儲(chǔ)在所述數(shù)據(jù)庫中的多個(gè)相 應(yīng)圖像的特征，且基于所述可視特征空間中的位置，聚類所述多個(gè)圖像的特征，來形成所述 可視特征空間中的所述多個(gè)單詞單元，且所述多個(gè)單詞單元被指派給不同的單詞。
6. 如權(quán)利要求5所述的方法，其特征在于，所指派的單詞包括關(guān)于在所述可視特征空 間中的所述多個(gè)單詞單元之間的距離的信息。
7. 如權(quán)利要求5所述的方法，其特征在于，在步驟（b)，通過使用關(guān)于中心點(diǎn)的信息，每 一中心點(diǎn)是對(duì)應(yīng)于相應(yīng)單詞單元的圖像的特征的平均值，來比較在所述輸入圖像的相應(yīng)特 征和所述多個(gè)單詞單元的相應(yīng)中心點(diǎn)之間的距離，獲取所述單詞，并且，對(duì)于所述單詞，獲 取被指派給其中心點(diǎn)最接近所述輸入圖像的所述相應(yīng)特征的單詞單元的單詞。
8. 如權(quán)利要求4所述的方法，其特征在于，步驟（c)包括： 基于所述輸入圖像的相應(yīng)特征離所述第一組和第二組圖像的相應(yīng)特征的距離，把所述 第一組和第二組圖像中的至少一個(gè)圖像的標(biāo)識(shí)符分配給所述輸入圖像的每一特征；以及 基于被分配給所述輸入圖像的相應(yīng)特征的所述標(biāo)識(shí)符，標(biāo)識(shí)與所述輸入圖像相同或相 似的圖像。
9. 一種圖像搜索方法，包括： (a) 由圖像搜索裝置獲取輸入圖像的特征； (b) 由所述圖像搜索裝置獲取相應(yīng)特征所對(duì)應(yīng)的二進(jìn)制代碼；以及 (c) 基于與對(duì)應(yīng)于所述二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息，以及與對(duì)應(yīng)于靠近所 述二進(jìn)制代碼且包括關(guān)于到所述二進(jìn)制代碼的距離的信息的鄰近二進(jìn)制代碼的第二組圖 像相關(guān)聯(lián)的信息，由所述圖像搜索裝置搜索與所述輸入圖像相同或相似的圖像，關(guān)于所述 第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中，其中，在可視特征空間中的多個(gè)單詞單元 中的第一單詞單元被指派給二進(jìn)制代碼時(shí)，鄰近二進(jìn)制代碼是被指派給所述多個(gè)單詞單元 中的至少一個(gè)第二單詞單元的代碼，所述第二單詞單元靠近所述第一單詞單元且包括關(guān)于 到所述第一單詞單元的距離的信息，其中，所述多個(gè)單詞單元被指派給不同的二進(jìn)制代碼， 且在離所述二進(jìn)制代碼的預(yù)定距離內(nèi)的至少一個(gè)二進(jìn)制代碼被指定為所述鄰近二進(jìn)制代 碼。
10. 如權(quán)利要求9所述的方法，其特征在于，步驟（a)包括獲取所述輸入圖像的相應(yīng)特 征的特征描述符。
11. 如權(quán)利要求10所述的方法，其特征在于，每一特征點(diǎn)的所述特征描述符被表示成η 維矢量，且所述二進(jìn)制代碼由m個(gè)比特組成，其中m小于η。
12. 如權(quán)利要求9所述的方法，其特征在于，關(guān)于所述距離的信息是關(guān)于歐幾里德距離 的信息。
13. 如權(quán)利要求10所述的方法，其特征在于，關(guān)于對(duì)應(yīng)于所述二進(jìn)制代碼的所述第一 組圖像的信息包括與在所述可視特征空間中的所述多個(gè)單詞單元當(dāng)中的、所述二進(jìn)制代碼 被指派給的所述第一單詞單元相對(duì)應(yīng)的相應(yīng)第一組圖像的標(biāo)識(shí)符和特征描述符，且關(guān)于對(duì) 應(yīng)于所述鄰近二進(jìn)制代碼的所述第二圖像的信息包括與在所述可視特征空間中的所述多 個(gè)單詞單元當(dāng)中的所述第二單詞單元相對(duì)應(yīng)的相應(yīng)第二圖像的標(biāo)識(shí)符和特征描述符，所述 第二單詞單元靠近所述第一單詞單元且被指派給包括關(guān)于到所述二進(jìn)制代碼的距離的信 息的所述鄰近二進(jìn)制代碼。
14. 如權(quán)利要求13所述的方法，其特征在于，通過獲取被存儲(chǔ)在所述數(shù)據(jù)庫中的多個(gè) 相應(yīng)圖像的特征且基于在所述可視特征空間中的位置，聚類所述多個(gè)圖像的所述特征，來 形成所述可視特征空間中的所述多個(gè)單詞單元，且所述多個(gè)相應(yīng)單詞單元被指派給包括關(guān) 于在所述多個(gè)單詞單元之間的距離的信息的二進(jìn)制代碼。
15. 如權(quán)利要求14所述的方法，其特征在于，在步驟（b)，使用中心點(diǎn)的描述符，每一中 心點(diǎn)是對(duì)應(yīng)于相應(yīng)單詞單元的圖像的特征的平均值，來比較在所述輸入圖像的相應(yīng)特征和 所述多個(gè)相應(yīng)單詞單元的相應(yīng)中心點(diǎn)之間的距離，獲取所述二進(jìn)制代碼，并且，對(duì)于所述二 進(jìn)制代碼，獲取被指派給其中心點(diǎn)最接近所述輸入圖像的所述相應(yīng)特征的單詞單元的二進(jìn) 制代碼。
16. 如權(quán)利要求14所述的方法，其特征在于，步驟（c)包括： 基于所述輸入圖像的相應(yīng)特征離所述第一組和第二組圖像的相應(yīng)特征的距離，把所述 第一組和第二組圖像中的至少一個(gè)圖像的標(biāo)識(shí)符分配給所述輸入圖像的每一特征；以及 基于被分配給所述輸入圖像的相應(yīng)特征的所述標(biāo)識(shí)符，標(biāo)識(shí)與所述輸入圖像相同或相 似的圖像。
17. 如權(quán)利要求14所述的方法，其特征在于，關(guān)于所述距離的信息是關(guān)于海明距離的 信息。
18. -種圖像搜索方法，包括： (a) 由圖像搜索裝置獲取輸入圖像的特征； (b) 由所述圖像搜索裝置獲取所述輸入圖像的相應(yīng)特征的特征描述符； (C)由所述圖像搜索裝置把所述輸入圖像的所述特征的所述特征描述符映射到二進(jìn)制 代碼；以及 (d)基于與對(duì)應(yīng)于所述二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于靠近所述 二進(jìn)制代碼且其包括指示鄰近二進(jìn)制代碼靠近所述二進(jìn)制代碼的距離信息的鄰近二進(jìn)制 代碼的第二圖像相關(guān)聯(lián)的信息，由所述圖像搜索裝置搜索與所述輸入圖像相同或相似的圖 像，關(guān)于所述第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中，其中，在離所述二進(jìn)制代碼的 預(yù)定距離內(nèi)的至少一個(gè)二進(jìn)制代碼被指定為所述鄰近二進(jìn)制代碼。
19. 如權(quán)利要求18所述的方法，其特征在于，每一特征的所述特征描述符被表示成η維 矢量，且所述二進(jìn)制代碼由m個(gè)比特組成，其中m小于η。
20. 如權(quán)利要求18所述的方法，其特征在于，所述距離信息是關(guān)于歐幾里德距離的信 肩、。
21. 如權(quán)利要求19所述的方法，其特征在于，步驟（d)包括： 基于所述輸入圖像的相應(yīng)特征到所述第一組和第二組圖像的相應(yīng)特征的距離，把關(guān)于 所述第一組和第二組圖像中的至少一個(gè)圖像的信息分配給所述輸入圖像的每一特征；以及 基于被分配給所述輸入圖像的每一特征的關(guān)于至少一個(gè)圖像的信息，標(biāo)識(shí)與所述輸入 圖像相同或相似的圖像。
22. 如權(quán)利要求18所述的方法，其特征在于，步驟（c)包括獲取被存儲(chǔ)在所述數(shù)據(jù)庫中 的多個(gè)相應(yīng)圖像的特征，獲取所述多個(gè)圖像的相應(yīng)特征的特征描述符，并且把具有在多個(gè) 不同的預(yù)定范圍內(nèi)的距離的多個(gè)特征描述符映射到不同的二進(jìn)制代碼。
23. 如權(quán)利要求18所述的方法，其特征在于，所述距離信息是關(guān)于海明距離的信息。
24. 如權(quán)利要求18所述的方法，其特征在于，步驟（c)包括把具有在預(yù)定范圍內(nèi)的距離 的所述輸入圖像的相應(yīng)特征描述符映射到相應(yīng)的二進(jìn)制代碼。
25. -種圖像搜索裝置，包括： 特征獲取單元，其用于獲取輸入圖像的特征； 單詞和鄰近單詞獲取單元，其用于獲取相應(yīng)特征所對(duì)應(yīng)的單詞和靠近所述單詞的鄰近 單詞，其中，在可視特征空間中所包括的多個(gè)單詞單元中的第一單詞單元被指派給一單詞 時(shí)，鄰近單詞是被指派給所述多個(gè)單詞單元的至少一個(gè)第二單詞單元的單詞，所述第二單 詞單元靠近所述單詞被指派給的所述第一單詞單元，且所述多個(gè)單詞單元被指派給不同的 單詞，并且在離所述單詞預(yù)定距離內(nèi)的至少一個(gè)單詞被指定為所述鄰近單詞；以及 搜索單元，其基于與對(duì)應(yīng)于所述單詞的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于所述鄰 近單詞的第二組圖像相關(guān)聯(lián)的信息搜索與所述輸入圖像相同或相似的圖像，關(guān)于所述第一 組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中。
26. 如權(quán)利要求25所述的裝置，其特征在于，所述單詞和鄰近單詞獲取單元與包括關(guān) 于被映射到所述可視特征空間中的所述單詞的所述鄰近單詞的信息的查找表相關(guān)聯(lián)。
27. 如權(quán)利要求25所述的裝置，其特征在于，所述距離信息是關(guān)于歐幾里德距離的信 肩、。
28. 如權(quán)利要求25所述的裝置，進(jìn)一步包括特征獲取單元，其用于獲取所述輸入圖像 的相應(yīng)特征的特征描述符，其中，關(guān)于對(duì)應(yīng)于所述單詞的所述第一組圖像的信息包括與來 自所述可視特征空間中的所述多個(gè)單詞單元當(dāng)中的、所述單詞被指派給的所述第一單詞單 元相對(duì)應(yīng)的相應(yīng)第一組圖像的標(biāo)識(shí)符和特征描述符，且關(guān)于對(duì)應(yīng)于所述鄰近單詞的所述第 二組圖像的信息包括與靠近來自所述可視特征空間中的所述多個(gè)單詞單元當(dāng)中的、所述單 詞被指派給的所述第一單詞單元的至少一個(gè)第二單詞單元相對(duì)應(yīng)的相應(yīng)第二組圖像的標(biāo) 識(shí)符和特征描述符。
29. 如權(quán)利要求28所述的所述裝置，其特征在于，通過獲取被存儲(chǔ)在所述數(shù)據(jù)庫中的 多個(gè)相應(yīng)圖像的特征并且基于在所述可視特征空間中的位置聚類所述多個(gè)圖像的所述特 征，來形成所述可視特征空間中的所述多個(gè)單詞單元，且所述多個(gè)單詞單元被指派給不同 的單詞。
30. 如權(quán)利要求29所述的裝置，其特征在于，所指派的單詞包括關(guān)于在所述可視特征 空間中的所述多個(gè)單詞單元之間的距離的信息。
31. 如權(quán)利要求29所述的裝置，其特征在于，所述單詞和鄰近單詞獲取單元使用關(guān)于 中心點(diǎn)的信息，每一中心點(diǎn)是對(duì)應(yīng)于相應(yīng)單詞單元的圖像的特征的平均值，來比較在所述 輸入圖像的相應(yīng)特征和所述多個(gè)單詞單元的相應(yīng)中心點(diǎn)之間的距離，并且，對(duì)于所述單詞， 獲取被指派給其中心點(diǎn)最接近所述輸入圖像的所述相應(yīng)特征的單詞單元的單詞。
32. 如權(quán)利要求28所述的裝置，其特征在于，所述搜索單元包括： 標(biāo)識(shí)符分配單元，其基于所述輸入圖像的相應(yīng)特征到所述第一組和第二組圖像的相應(yīng) 特征的距離，把所述第一組圖像和所述第二組圖像的至少一個(gè)圖像的標(biāo)識(shí)符分配給所述輸 入圖像的每一特征；以及 分類單元，其基于被分配給所述輸入圖像的相應(yīng)特征的所述標(biāo)識(shí)符，標(biāo)識(shí)與所述輸入 圖像相同或相似的圖像。
33. -種圖像搜索裝置，包括： 特征點(diǎn)獲取單元，其用于獲取輸入圖像的特征點(diǎn)； 二進(jìn)制代碼獲取單元，其用于獲取相應(yīng)特征所對(duì)應(yīng)的二進(jìn)制代碼；以及 搜索單元，其基于與對(duì)應(yīng)于所述二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于 靠近所述二進(jìn)制代碼且其包括關(guān)于到所述二進(jìn)制代碼的距離的信息的鄰近二進(jìn)制代碼的 第二組圖像相關(guān)聯(lián)的信息，來搜索與所述輸入圖像相同或相似的圖像，關(guān)于所述第一組和 第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中，其中，在可視特征空間中的多個(gè)單詞單元中的第一 單詞單元被指派給二進(jìn)制代碼時(shí)，鄰近二進(jìn)制代碼是被指派給所述多個(gè)單詞單元中的至少 一個(gè)第二單詞單元的代碼，所述第二單詞單元靠近所述第一單詞單元且包括關(guān)于到所述第 一單詞單元的距離的信息，所述多個(gè)單詞單元被指派給不同的二進(jìn)制代碼，并且，在離所述 二進(jìn)制代碼的預(yù)定距離內(nèi)的至少一個(gè)二進(jìn)制代碼被指定為鄰近二進(jìn)制代碼。
34. 如權(quán)利要求33所述的裝置，進(jìn)一步包括特征獲取單元，其用于獲取所述輸入圖像 的相應(yīng)特征的特征描述符。
35. 如權(quán)利要求34所述的裝置，其特征在于，每一特征的所述特征描述符被表示成η維 矢量，且所述二進(jìn)制代碼由m個(gè)比特組成，其中m小于η。
36. 如權(quán)利要求33所述的裝置，其特征在于，所述距離信息是關(guān)于歐幾里德距離的信 肩、。
37. 如權(quán)利要求33所述的裝置，其特征在于，關(guān)于對(duì)應(yīng)于所述二進(jìn)制代碼的所述第一 組圖像的信息包括與在所述可視特征空間中的所述多個(gè)單詞單元當(dāng)中的、所述二進(jìn)制代碼 被指派給的所述第一單詞單元相對(duì)應(yīng)的相應(yīng)第一組圖像的標(biāo)識(shí)符和特征描述符，且關(guān)于對(duì) 應(yīng)于所述鄰近二進(jìn)制代碼的所述第二組圖像的信息包括與在所述可視特征空間中的所述 多個(gè)單詞單元當(dāng)中的所述第二單詞單元相對(duì)應(yīng)的相應(yīng)第二組圖像的標(biāo)識(shí)符和特征描述符， 所述第二單詞單元靠近所述二進(jìn)制代碼被指派給的所述第一單詞單元，且被指派給包括關(guān) 于到所述二進(jìn)制代碼的距離的信息的所述鄰近二進(jìn)制代碼。
38. 如權(quán)利要求37所述的裝置，其特征在于，通過獲取被存儲(chǔ)在所述數(shù)據(jù)庫中的多個(gè) 相應(yīng)圖像的特征并且基于所述可視特征空間中的位置聚類所述多個(gè)圖像的所述特征，來形 成所述可視特征空間中的所述多個(gè)單詞單元，且所述多個(gè)相應(yīng)單詞單元被指派給包括關(guān)于 在所述多個(gè)單詞單元之間的距離的信息的二進(jìn)制代碼。
39. 如權(quán)利要求38所述的裝置，其特征在于，所述二進(jìn)制代碼獲取單元使用中心點(diǎn)的 描述符，每一中心點(diǎn)是對(duì)應(yīng)于相應(yīng)單詞單元的圖像的特征的平均值，比較在所述輸入圖像 的相應(yīng)特征和所述多個(gè)相應(yīng)單詞單元的相應(yīng)中心點(diǎn)之間的距離，且對(duì)于所述二進(jìn)制代碼， 獲取被指派給其中心點(diǎn)最接近所述輸入圖像的所述相應(yīng)特征的單詞單元的二進(jìn)制代碼。
40. 如權(quán)利要求37所述的所述裝置，其特征在于，所述搜索單元包括： 標(biāo)識(shí)符分配單元，其基于所述輸入圖像的相應(yīng)特征到所述第一組和第二組圖像的所述 特征的距離，把所述第一組和第二組圖像中的至少一個(gè)圖像的標(biāo)識(shí)符分配給所述輸入圖像 的每一特征；以及 分類單元，其基于被分配給所述輸入圖像的所述特征點(diǎn)中的每一個(gè)的所述標(biāo)識(shí)符，標(biāo) 識(shí)與所述輸入圖像相同或相似的圖像。
41. 如權(quán)利要求33所述的裝置，其特征在于，所述距離信息是關(guān)于海明距離的信息。
42. -種圖像搜索裝置，包括： 特征獲取單元，其用于獲取輸入圖像的特征； 特征描述符獲取單元，其用于獲取用于所述輸入圖像的相應(yīng)特征的特征描述符； 特征描述符-二進(jìn)制代碼映射單元，其用于把所述輸入圖像的所述特征的所述特征描 述符映射到二進(jìn)制代碼；以及 搜索單元，其基于與對(duì)應(yīng)于所述二進(jìn)制代碼的第一組圖像相關(guān)聯(lián)的信息以及與對(duì)應(yīng)于 靠近所述二進(jìn)制代碼且其包括指示鄰近二進(jìn)制代碼靠近所述二進(jìn)制代碼的信息的鄰近二 進(jìn)制代碼的第二組圖像相關(guān)聯(lián)的信息，搜索與所述輸入圖像相同或相似的圖像，關(guān)于所述 第一組和第二組圖像的信息被存儲(chǔ)在數(shù)據(jù)庫中，其中，在離所述二進(jìn)制代碼的預(yù)定距離內(nèi) 的至少一個(gè)二進(jìn)制代碼被指定為鄰近二進(jìn)制代碼。
43. 如權(quán)利要求42所述的裝置，其特征在于，每一特征的所述特征描述符被表示成η維 矢量，且所述二進(jìn)制代碼由m個(gè)比特組成，其中m小于η。
44. 如權(quán)利要求42所述的裝置，其特征在于，所述距離信息是關(guān)于歐幾里德距離的信 肩、。
45. 如權(quán)利要求42所述的裝置，其特征在于，所述搜索單元包括： 標(biāo)識(shí)符分配單元，其基于所述輸入圖像的相應(yīng)特征到所述第一組和第二組圖像的相應(yīng) 特征的距離把關(guān)于所述第一組和第二組圖像中的至少一個(gè)圖像的信息分配給所述輸入圖 像的每一特征；以及 分類單元，其基于被分配給所述輸入圖像的每一特征的關(guān)于至少一個(gè)圖像的信息，標(biāo) 識(shí)與所述輸入圖像相同或相似的圖像。
46. 如權(quán)利要求42所述的裝置，其特征在于，獲取被存儲(chǔ)在所述數(shù)據(jù)庫中的多個(gè)相應(yīng) 圖像的特征，獲取用于所述多個(gè)圖像的相應(yīng)特征的特征點(diǎn)描述符，以及具有在離不同的二 進(jìn)制代碼的多個(gè)不同的預(yù)定范圍內(nèi)的距離的多個(gè)特征描述符。
47. 如權(quán)利要求42所述的裝置，其特征在于，所述距離信息是關(guān)于海明距離的信息。
48. 如權(quán)利要求42所述的裝置，其特征在于，所述特征描述符-二進(jìn)制代碼映射單元把 用于具有在預(yù)定范圍內(nèi)的距離的所述輸入圖像的相應(yīng)特征描述符映射到相應(yīng)的二進(jìn)制代 碼。
49. 一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其用于記錄用于執(zhí)行根據(jù)權(quán)利要求1到24中的 任何一項(xiàng)的所述方法的計(jì)算機(jī)程序。
【文檔編號(hào)】G06F17/30GK104094255SQ201280067115
【公開日】2014年10月8日 申請(qǐng)日期:2012年11月12日 優(yōu)先權(quán)日:2011年11月16日
【發(fā)明者】T-H·金, M·樸, S·崔 申請(qǐng)人:英特爾公司