一種基于特征富集區(qū)域集合的圖像檢索方法
【專利摘要】本發(fā)明公開了一種基于特征富集區(qū)域的圖像檢索方法，首先通過計(jì)算Hessian矩陣及非極大值抑制獲得候選特征點(diǎn)集合，利用三維線性插值法得到亞像素級(jí)的特征點(diǎn)集合。根據(jù)得到圖像特征點(diǎn)的坐標(biāo)位置，計(jì)算特征點(diǎn)的分布矩陣和適應(yīng)矩陣，利用最大子矩陣和算法求出適應(yīng)矩陣的子矩陣，即特征點(diǎn)分布最密集的區(qū)域，作為圖像的特征富集區(qū)域。對(duì)特征富集區(qū)域選擇形狀、紋理和顏色三個(gè)底層特征，最后根據(jù)高斯非線性距離函數(shù)進(jìn)行相似性度量，按照相似度升序排列，實(shí)現(xiàn)圖像的快速檢索。本發(fā)明能有效降低圖像檢索計(jì)算復(fù)雜度，提高圖像檢索的運(yùn)算效率和準(zhǔn)確率。
【專利說明】一種基于特征富集區(qū)域集合的圖像檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像檢索【技術(shù)領(lǐng)域】，主要涉及一種基于特征富集區(qū)域的圖像檢索方 法。

【背景技術(shù)】
[0002] 圖像檢索的研究最早可以追溯到二十世紀(jì)七十年代。早期的圖像檢索技術(shù)是基 于圖像的文本標(biāo)注，即基于文本的圖像檢索（Text-based Image Retrieval, TBIR)。到了 上個(gè)世紀(jì)90年代，大型圖像數(shù)據(jù)庫逐步成為主流，如果仍然沿用傳統(tǒng)的方法，就會(huì)給圖像 檢索工作帶來巨大的工作量。為了對(duì)大量的圖像做出高效的處理，基于內(nèi)容的圖像檢索技 術(shù)（Content Based Image Retrieval,CBIR)被研究者關(guān)注。區(qū)別于原有系統(tǒng)中TBIR對(duì)圖 像進(jìn)行人工標(biāo)注的做法，基于內(nèi)容的檢索技術(shù)自動(dòng)提取每幅圖像的視覺內(nèi)容特征作為其索 弓丨，如色彩、紋理、形狀等。這樣，除了文本標(biāo)注外，用戶還可以利用圖像的視覺特征來實(shí)現(xiàn) 查詢。由于利用圖像本身的物理內(nèi)容描述對(duì)象，而且特征的提取和索引的建立都可以使用 計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)，避免了人工標(biāo)注的主觀性，大大減少了工作量，很好地解決了基于文本檢 索中存在的問題。
[0003] 傳統(tǒng)的圖像檢索系統(tǒng)一般是對(duì)整幅圖像進(jìn)行特征提取，與圖像內(nèi)容無關(guān)，通常人 們?cè)谂袆e圖像的相似性時(shí)并非建立在圖像低層視覺特征的相似上，而是建立在對(duì)圖像所描 述的對(duì)象或事件的語義理解的基礎(chǔ)上，正是由于人對(duì)圖像相似性的判別依據(jù)與計(jì)算機(jī)對(duì)相 似性的判別依據(jù)之間的不同，所以會(huì)導(dǎo)致由于計(jì)算機(jī)獲取圖像的視覺信息與用戶對(duì)圖像理 解的語義信息的不一致性而產(chǎn)生的低層和高層檢索需求間的鴻溝。
[0004] 此外，圖像中的不同區(qū)域的重要程度不同，而除圖像主題內(nèi)容之外的背景信息往 往占據(jù)圖像的很大一部分，在提取特征的過程中對(duì)主要對(duì)象的特征造成影響，不僅會(huì)使得 圖像檢索算法計(jì)算復(fù)雜度高，運(yùn)算效率低下，而且會(huì)導(dǎo)致檢索結(jié)果準(zhǔn)確性差等問題。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明是為避免現(xiàn)技術(shù)所存在的不足之處，提出一種基于特征富集區(qū)域集合的圖 像檢索方法，以期能有效降低圖像檢索計(jì)算復(fù)雜度，提高圖像檢索的運(yùn)算效率和準(zhǔn)確率。
[0006] 本發(fā)明為解決技術(shù)問題采用如下技術(shù)方案：
[0007] 本發(fā)明一種基于特征富集區(qū)域集合的圖像檢索方法，是利用檢索圖像E對(duì)存儲(chǔ)在 數(shù)據(jù)庫中的候選圖像集IT tIt= 1，2，···，M}進(jìn)行相似性匹配，并返回與所述檢索圖像E最 相似的J個(gè)候選圖像作為圖像檢索結(jié)果；M表示所述候選圖像的總數(shù)；其特點(diǎn)是：所述方法 按如下步驟進(jìn)行：
[0008] 步驟1、以所述檢索圖像E的任一頂點(diǎn)作為原點(diǎn)0,以與所述原點(diǎn)0相鄰的兩條邊 分別作為X軸和Y軸，建立坐標(biāo)系XOY ;在所述坐標(biāo)系XOY中，將所述檢索圖像E轉(zhuǎn)換為灰 度圖像G，并利用式（1)獲得所述灰度圖像G的積分圖像I :

【權(quán)利要求】
1. 一種基于特征富集區(qū)域集合的圖像檢索方法，是利用檢索圖像E對(duì)存儲(chǔ)在數(shù)據(jù)庫中 的候選圖像集{Tt|t = 1，2,…，M}進(jìn)行相似性匹配，并返回與所述檢索圖像E最相似的J個(gè) 候選圖像作為圖像檢索結(jié)果；M表示所述候選圖像的總數(shù)；其特征是：所述方法按如下步驟 進(jìn)行： 步驟1、以所述檢索圖像E的任一頂點(diǎn)作為原點(diǎn)0,以與所述原點(diǎn)O相鄰的兩條邊分別 作為X軸和Y軸，建立坐標(biāo)系XOY ;在所述坐標(biāo)系XOY中，將所述檢索圖像E轉(zhuǎn)換為灰度圖 像G，并利用式（1)獲得所述灰度圖像G的積分圖像I :
式⑴中，I(x，y)表示所述積分圖像I中任一像素點(diǎn)P(x，y)的值，G(i'，j'）表示所述 灰度圖像G中位于坐標(biāo)（i'，j'）上的像素值；式（1)表示所述積分圖像I中像素點(diǎn)p (x，y) 的值是從所述灰度圖像G的原點(diǎn)0到像素點(diǎn)p (x，y)所構(gòu)成的矩形區(qū)域內(nèi)所有像素點(diǎn)的灰 度值之和： 步驟2、計(jì)算所述積分圖像I的Hessian矩陣，獲取所述積分圖像I的特征點(diǎn)集合Fp ; 步驟2. 1、利用高斯濾波器獲得所述灰度圖像G在不同尺度下的圖像集合 0 =丨各，I，…，，{?",」+，1彡T彡n;0 T表示第T層的尺度值，從而構(gòu)建n層圖像 金字塔；G...表示所述圖像金字塔中尺度值為〇 T的第T層圖像； 步驟2. 2、利用式⑵計(jì)算所述第T層圖像)?中像素點(diǎn)p(x，y)的Hessian矩陣 H(p, 〇 T)：
式⑵中，Lxx (p, 〇 T)、Lxy (p, 〇 T)和Lyy (p, 〇 T)分別表示所述第T層圖像
步驟2. 3、并利用式⑶所示的Hessian矩陣H(p，〇 T)的判別式Det(H(p，〇 T))判斷 所述第T層圖像弘.的像素點(diǎn)p(x，y)是否為極值點(diǎn)，將Det(H(p，〇 T)) >0時(shí)的像素點(diǎn)作 為候選特征點(diǎn)Ak : Det (H(p, 〇 T)) = Lxx(p, 〇 T)Lyy(p, 〇 T)-Lxy(p, 〇 T)2 (3) 步驟2. 4、遍歷所述圖像金字塔中的每一層圖像中的每個(gè)像素點(diǎn)，并利用式（3)進(jìn)行判 斷，從而獲得候選特征點(diǎn)集合A= U11A2，…，Ak，…，AJ ;l<k<K，K表示所述候選特征點(diǎn) 的個(gè)數(shù)； 步驟2. 5、定義所述第。層圖像Cl/中像素點(diǎn)p(x，y)的三維N階鄰域集合為U(p，T) ={U T U T，U T +1} ;U T 表示在第T -1層圖像Cl.中，與像素點(diǎn)P (X，y)對(duì)應(yīng)的像素點(diǎn) P'（x，y)及其相鄰的N2-I個(gè)像素點(diǎn)的集合；UT+1表示在第t+1層圖像錢*^中，與像素點(diǎn) P(x，y)對(duì)應(yīng)的像素點(diǎn)P" (x，y)及其相鄰的N2-I個(gè)像素點(diǎn)的集合；Ut表示在第T層圖像 Clf中與像素點(diǎn)P (X，y)相鄰的N2-I個(gè)像素點(diǎn)的集合； 步驟2. 6、遍歷所述候選特征點(diǎn)集合A中每個(gè)候選特征點(diǎn)，若任一候選特征點(diǎn)Ak的灰度 值大于其三維N階鄰域集合中所有的3N2-1像素點(diǎn)的灰度值或是小于其三維N階鄰域集合 中所有的3N2-1像素點(diǎn)的灰度值，則將候選特征點(diǎn)Ak作為特征點(diǎn)，從而獲得特征點(diǎn)集合； 步驟3、依據(jù)所述特征點(diǎn)集合，計(jì)算特征點(diǎn)分布矩陣C和適應(yīng)矩陣B，從而獲得所述檢索 圖像E的特征富集區(qū)域集合= …; 1彡z彡Z，Z表示所述檢索圖 像E的特征富集區(qū)域個(gè)數(shù)； 步驟3. 1、對(duì)所述檢索圖像E進(jìn)行分塊，獲得WXH個(gè)子塊構(gòu)成的子塊集合SUB = {sn，S12，…，swh，…，SmJ ; I < w < W ; I < h < H ; 步驟3. 2、定義特征點(diǎn)分布矩陣為C ;所述特征點(diǎn)分布矩陣C中的元素 C[w] [h]為任一 子塊swh內(nèi)包含的特征點(diǎn)的數(shù)量； 步驟3. 3、定義所述特征點(diǎn)分布矩陣C的適應(yīng)因子d為所述特征點(diǎn)分布矩陣C中所有元 素的平均值；將所述特征點(diǎn)分布矩陣C中的每一個(gè)元素減去所述適應(yīng)因子d，從而獲得適應(yīng) 矩陣B ; 步驟3. 4、利用最大子矩陣和算法計(jì)算所述適應(yīng)矩陣B的最大子矩陣，從而獲得所述檢 索圖像E的特征富集區(qū)域If! 步驟3. 5、判斷所述特征富集區(qū)域一 = l,2^s^中所包含的特征點(diǎn)的數(shù)量是否大 于所述特征點(diǎn)分布矩陣C中所有特征點(diǎn)數(shù)量的50 %;若大于，則獲得所述檢索圖像E的特征 富集區(qū)域集合烈心=丨…否則,將所述特征富集區(qū)域< 加入所述特征富集區(qū) 域集合FSRe，并將所述特征富集區(qū)域^包含的特征點(diǎn)的數(shù)量置為0,并重復(fù)步驟3. 4執(zhí)行； 步驟4、構(gòu)建所述特征富集區(qū)域集合FSRe的特征向量集合F，所述特征向量集合F為所 述特征富集區(qū)域集合FSRe的形狀特征集合、紋理特征集合和顏色特征集合； 步驟4. 1、通過二階和三階歸一化中心矩構(gòu)造七個(gè)Hu不變矩M1, M7，以所述七個(gè)Hu 不變矩M1, M7作為所述形狀特征集合； 步驟4. 2、利用局部算子LBP對(duì)所述特征富集區(qū)域集合FSRe進(jìn)行紋理特征提取，從而獲 得直方圖特征向量，以所述直方圖特征向量作為所述紋理特征集合； 步驟4. 3、將所述檢索圖像E從RGB通道轉(zhuǎn)換到HSV通道，從而獲得色調(diào)分量H、亮度分 量V和飽和度分量S ; 統(tǒng)計(jì)所述色調(diào)分量H、亮度分量V和飽和度分量S的像素個(gè)數(shù)占所述特征富集區(qū)域集合 FSR中像素總數(shù)的比重，分別獲得所述色調(diào)分量H、亮度分量V和飽和度分量S的直方圖，以 所述直方圖作為所述顏色特征集合； 步驟5、對(duì)存儲(chǔ)在數(shù)據(jù)庫中的候選圖像集{Tt 11 = 1，2,…，M}中的每一幅候 選圖像按照步驟1至步驟4進(jìn)行計(jì)算，從而獲得候選圖像集的特征富集區(qū)域集合 FSR1; ={1^鳥1%…s 的特征向量并保存至數(shù)據(jù)庫； 步驟6、采用高斯非線性距離度量所述檢索圖像E和候選圖像集ITtIt = 1，2,…，M}中 每個(gè)候選圖像的相似度： 步驟6. 1、將所述檢索圖像E的特征富集區(qū)域集合FSRe中特征富集區(qū)域的特征向量 表示為if …并計(jì)算所述特征向量值If的均值5和標(biāo)準(zhǔn)差q ; 步驟6. 2、利用式（4)對(duì)所述特征向量if進(jìn)行歸一化處理，獲得歸一化后的特征向量 F：E：
步驟6. 3、對(duì)所述特征富集區(qū)域集合FSRe中的每個(gè)特征富集區(qū)域以及所述候選圖像集 的特征富集區(qū)域集合和V'#；[中的每個(gè)特征富集區(qū)域按照步驟6.1和步驟 6. 2執(zhí)行，從而分別獲得所述特征富集區(qū)域集合FSRe的特征向量集合F'E和所述特征富集區(qū) 域集合Hfj的特征向量集合 步驟6. 4、利用式（5)獲得所述檢索圖像E的特征富集區(qū)域集合FSRe中第i個(gè)特征富 集區(qū)域<和候選圖像集的特征富集區(qū)域集合中第j個(gè)特征富集區(qū)域@7之間的非線性 高斯距離D(i?f:
式（5)中，表示所述檢索圖像E的特征富集區(qū)域集合FSRe中第i個(gè)特征富集區(qū)域 ^的第U維特征向量；./;表示所述特征富集區(qū)域集合FS&中第j個(gè)特征富集區(qū)域的 第U維特征向量；I < i < Z，g為特征向量的維數(shù)；I < j < m ;m表示所述候選圖像Tt的 特征富集區(qū)域總數(shù)； 步驟6. 5、利用式（6)獲得所述第i個(gè)特征富集區(qū)域^的最小特征距離Ifcf，從而獲得 所述檢索圖像E的最小特征距離集合DZSi =碑sfvfclvi/gh
式（6)表示所述第i個(gè)特征富集區(qū)域J?f與所述特征富集區(qū)域集合1中的每個(gè)特征 富集區(qū)域之間的非線性高斯距離的最小值； 步驟6. 6、利用式（7)獲得所述第j個(gè)特征富集區(qū)域的最小特征距離ifcj%從而獲得 所述候選圖像Tt的最小特征距離集合D/f …rf/義}:
式（7)表示所述第j個(gè)特征富集區(qū)域if ?與檢索圖像E中所有的特征富集區(qū)域之間的 非線性高斯距離的最小值； 步驟6. 7、利用式⑶獲得所述檢索圖像E與候選圖像Tt的相似度D (E，Tt)，從而獲得 所述檢索圖像E與所述候選圖像集中每個(gè)候選圖像的相似度構(gòu)成的相似度集合：
步驟6. 8、對(duì)所述相似度集合進(jìn)行升序排序，選取前J個(gè)相似度所對(duì)應(yīng)的候選圖像作為 圖像檢索結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于特征富集區(qū)域集合的圖像檢索方法，其特征是，所述步 驟4. 2是按如下步驟進(jìn)行： 步驟4. 2. 1、判斷所述特征富集區(qū)域< 內(nèi)任一像素點(diǎn)V的灰度值是否大于與其鄰域內(nèi) 的其他像素點(diǎn)的灰度值，若大于，則將鄰域內(nèi)的像素點(diǎn)標(biāo)記為〇,否則標(biāo)記為1，從而獲得由 鄰域內(nèi)的像素點(diǎn)構(gòu)成的一組二進(jìn)制序列； 步驟4. 2. 2、將所述二進(jìn)制序列轉(zhuǎn)換為十進(jìn)制值并作為所述像素點(diǎn)V的灰度值； 步驟4. 2. 3、遍歷所述特征富集區(qū)域集合FSRe中的每一個(gè)特征富集區(qū)域中的每個(gè)像素 點(diǎn)，并按照步驟4. 2. 1和步驟4. 2. 2更新所述特征富集區(qū)域集合FSRe中的每個(gè)像素點(diǎn)的灰 度值，從而獲得LBP特征富集區(qū)域集合; 步驟4. 2. 4、計(jì)算所述LBP特征富集區(qū)域集合中的每一個(gè)LBP特征富集區(qū)域的 直方圖并進(jìn)行量化，從而獲得直方圖特征向量集合。
【文檔編號(hào)】G06F17/30GK104361096SQ201410670157
【公開日】2015年2月18日 申請(qǐng)日期:2014年11月20日 優(yōu)先權(quán)日:2014年11月20日
【發(fā)明者】薛峰, 顧靖, 董浩, 賈偉, 羅月童 申請(qǐng)人:合肥工業(yè)大學(xué)