融合顏色特征與卷積神經(jīng)網(wǎng)絡(luò)的彩色圖像特征提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及圖像分類(lèi)技術(shù)領(lǐng)域中的一種融合顏 色特征與卷積神經(jīng)網(wǎng)絡(luò)的圖像特征提取方法。經(jīng)本發(fā)明提取的彩色圖像特征可用于對(duì)彩色 圖像的分類(lèi)、彩色圖片庫(kù)的檢索。
【背景技術(shù)】
[0002] 目前，彩色圖像特征提取已經(jīng)成為圖像處理技術(shù)領(lǐng)域里的一個(gè)很重要的研究主 題。彩色圖像的特征提取有很廣泛的應(yīng)用，如目標(biāo)識(shí)別與檢測(cè)，圖像聚類(lèi)，大數(shù)據(jù)檢索等領(lǐng) 域。由于彩色圖像的內(nèi)容復(fù)雜，種類(lèi)繁多，不同圖像的特征側(cè)重點(diǎn)不同，導(dǎo)致了彩色圖像特 征提取具有很大的挑戰(zhàn)性。
[0003] 近期彩色圖像特征提取方法中應(yīng)用比較廣泛的是基于圖像顏色的顏色特征提取 和基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)特征提取。二者都從各自不同的層面完成了彩色圖像的特 征提取。
[0004] 張悅、霍宏等人在其發(fā)表的論文"基于生物視覺(jué)的顏色直方圖特征提取"（高技術(shù) 通訊，2014,第4期P407-413)中公開(kāi)了一種基于顏色直方圖的彩色圖像特征提取方法。該 方法根據(jù)人類(lèi)視覺(jué)通路對(duì)顏色的感知過(guò)程，建立了顏色感知的層次性描述模型，用該模型 模擬了自然光經(jīng)眼睛進(jìn)入視網(wǎng)膜（RETINA)到側(cè)膝體（LGN)，再到VI階段的處理過(guò)程，最終 在VI階段的神經(jīng)元響應(yīng)下形成具有方向信息的顏色特征。提出了描述具有對(duì)比度敏感、具 有方向選擇性和顏色恒常性的層次性顏色特征的方法，具有顏色恒常性和更好的穩(wěn)定性。 雖然該方法有效的利用了顏色直方圖這一顏色特征提取工具，但是仍然存在的不足之處 是，該方法忽略了背景等無(wú)關(guān)要素對(duì)顏色特征提取的影響，提取到的顏色特征帶有巨大的 背景噪聲。而且與現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)特征提取方法相比，該方法雖然偏重色彩特征，但與 卷積神經(jīng)網(wǎng)絡(luò)等主流的深度學(xué)習(xí)特征提取工具相比，該方法的特征提取效果并不好，提取 到的特征用于分類(lèi)和檢索的準(zhǔn)確率不高。
[0005] 無(wú)錫南理工科技發(fā)展有限公司提出的專(zhuān)利申請(qǐng)"一種基于改進(jìn)型特征卷積神經(jīng)網(wǎng) 絡(luò)圖像識(shí)別方法"（專(zhuān)利申請(qǐng)?zhí)朇N201310137496. 2,公開(kāi)號(hào)CN104112113A)中公開(kāi)了一種 局域改進(jìn)型特征卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別方法。該方法首先對(duì)待輸入的圖像進(jìn)行預(yù)處理；其 次在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入特征提取層，將特征放大；然后，將特征放大的圖像數(shù)據(jù)輸入 卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像中的特征進(jìn)行卷積操作學(xué)習(xí)辨認(rèn)，得到卷積神經(jīng)網(wǎng)絡(luò)的輸出，并且將 所述第一步驟中預(yù)處理后的圖像進(jìn)行偏移操作，得到圖像的紋理特征；最后，分析紋理特征 后輸出結(jié)果，并將卷積神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行融合，得到最終結(jié)果進(jìn)行輸出。通過(guò)添加特征提 取層，將圖像的特征增強(qiáng)，有利于某些特征不明顯的圖像的提取，從而能夠有效的提升圖像 識(shí)別率，并且能夠?yàn)閳D像搜索，提高識(shí)別效率。該方法雖然改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)特征提取方 法，但是，仍然存在的不足之處是，該方法本質(zhì)上并沒(méi)有涉及圖像色彩特征的特征提取，而 對(duì)于色彩特征不敏感正是目前卷積神經(jīng)網(wǎng)絡(luò)特征提取方法的最大弊端。該方法對(duì)于內(nèi)容相 似但存在顏色差異的彩色圖像特征提取效果并不好，得到的彩色圖像特征用于分類(lèi)和檢索 的效果也并不理想。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)上述論文及專(zhuān)利申請(qǐng)所公開(kāi)的方法的不足，提出融合顏色特征與卷積 神經(jīng)網(wǎng)絡(luò)的彩色圖像特征提取方法，提高彩色圖像特征提取的性能。
[0007] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是：將輸入的彩色圖像提取出主體圖像，運(yùn)用顏色直 方圖法和顏色矩法共同提取圖像的顏色特征向量，通過(guò)顏色特征向量和卷積神經(jīng)網(wǎng)絡(luò)特征 向量的融合，以提尚特征提取的性能，其具體步驟如下：
[0008] (1)輸入彩色圖像：
[0009] 選取任意大小、任意分辨率的彩色圖像作為輸入圖像；
[0010] ⑵獲取主體圖像：
[0011] (2a)將輸入圖像按4行4列的規(guī)格平均分割成16個(gè)大小相等，互不重疊的子塊；
[0012] (2b)從16個(gè)子塊中選取位于最中心的4個(gè)子塊，將所選取的4個(gè)子塊拼接，得到 的圖像作為輸入圖像的主體圖像；
[0013] (3)獲取顏色特征向量：
[0014] (3a)采用顏色直方圖法，得到主體圖像的規(guī)格為1行258列的顏色直方向量；利 用向量歸一化公式，對(duì)顏色直方向量進(jìn)行歸一化，得到歸一化顏色直方向量；
[0015] (3b)采用顏色矩法，得到主體圖像的規(guī)格為1行9列的顏色矩向量；利用向量歸 一化公式，對(duì)顏色矩向量進(jìn)行歸一化，得到歸一化顏色矩向量；
[0016] (3c)將歸一化顏色直方向量的直方向量權(quán)值設(shè)為1，將歸一化顏色矩向量的矩向 量權(quán)值設(shè)為28 ;
[0017] (3d)將歸一化顏色直方向量與直方向量權(quán)值相乘，得到賦權(quán)顏色直方向量；將歸 一化顏色矩向量與矩向量權(quán)值相乘，得到賦權(quán)顏色矩向量；
[0018] (3e)將賦權(quán)顏色矩向量拼接在賦權(quán)顏色直方向量的后面，組成顏色拼接向量；利 用向量歸一化公式，對(duì)顏色拼接向量進(jìn)行歸一化，得到顏色特征向量；
[0019] (4)獲取歸一化卷積神經(jīng)網(wǎng)絡(luò)特征向量：
[0020] (4a)采用卷積神經(jīng)網(wǎng)絡(luò)特征提取算法，獲取輸入圖像的卷積神經(jīng)網(wǎng)絡(luò)特征向量；
[0021] (4b)利用向量歸一化公式，對(duì)卷積神經(jīng)網(wǎng)絡(luò)特征向量進(jìn)行歸一化，得到歸一化卷 積神經(jīng)網(wǎng)絡(luò)特征向量；
[0022] (5)獲取融合特征向量：
[0023] (5a)將顏色特征向量的特征權(quán)值設(shè)為2,將歸一化卷積神經(jīng)網(wǎng)絡(luò)特征向量的神經(jīng) 網(wǎng)絡(luò)權(quán)值設(shè)為1 ;
[0024] (5b)將顏色特征向量與特征權(quán)值相乘，得到賦權(quán)顏色特征向量，將歸一化卷積神 經(jīng)網(wǎng)絡(luò)特征向量與神經(jīng)網(wǎng)絡(luò)權(quán)值相乘，得到賦權(quán)卷積神經(jīng)網(wǎng)絡(luò)向量；
[0025] (5c)將賦權(quán)顏色特征向量拼接到賦權(quán)卷積神經(jīng)網(wǎng)絡(luò)向量的后面，組成融合拼接向 量；
[0026] (5d)利用向量歸一化公式，對(duì)融合拼接向量進(jìn)行歸一化，得到融合特征向量。
[0027] 本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)：
[0028] 第一，由于本發(fā)明提取了輸入彩色圖像的主體圖像，并且運(yùn)用顏色直方圖法和顏 色矩法共同提取顏色特征，克服了現(xiàn)有技術(shù)顏色特征提取方法提取到的顏色特征帶有巨大 的背景噪聲的缺點(diǎn)，使得本發(fā)明所提取的顏色特征背景噪聲很小。
[0029] 第二，由于本發(fā)明融合了顏色特征提取和卷積神經(jīng)網(wǎng)絡(luò)特征提取，既克服了現(xiàn)有 技術(shù)顏色特征提取方法提取的特征用于分類(lèi)時(shí)準(zhǔn)確率低的缺點(diǎn)，也克服了現(xiàn)有技術(shù)卷積神 經(jīng)網(wǎng)絡(luò)特征提取方法對(duì)顏色特征不敏感的缺點(diǎn)，使得本發(fā)明提取的彩色圖像特征具有特征 提取準(zhǔn)確，而且提取到的圖像特征用于分類(lèi)和檢索時(shí)準(zhǔn)確率很高的優(yōu)點(diǎn)。
【附圖說(shuō)明】
[0030] 圖1是本發(fā)明的流程圖；
[0031] 圖2是應(yīng)用本發(fā)明得到的融合特征向量結(jié)構(gòu)圖；
[0032] 圖3是本發(fā)明的仿真結(jié)果圖。
【具體實(shí)施方式】
[0033] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述。
[0034] 結(jié)合附圖1，對(duì)實(shí)現(xiàn)本發(fā)明的具體步驟描述如下。
[0035] 步驟1，輸入彩色圖像。
[0036] 選取任意大小、任意分辨率的彩色圖像作為輸入圖像。
[0037] 本發(fā)明的實(shí)施例中所選取的輸入圖像是標(biāo)準(zhǔn)類(lèi)庫(kù)256_0bjectCategories中的 232_0138. jpg 圖像，標(biāo)準(zhǔn)類(lèi)庫(kù) 256_0bjectCategories 可從網(wǎng)站 http://homepages. inf. ed. ac. uk/rbf/CVonline/Imagedbase. htm 中下載得到。
[0038] 步驟2.獲取主體圖像。
[0039] 將輸入圖像按4行4列的規(guī)格平均分割成16個(gè)大小相等，互不重疊的子塊。
[0040] 從16個(gè)子塊中選取位于最中心的4個(gè)子塊，將所選取的4個(gè)子塊拼接，得到的圖 像作為輸入圖像的主體圖像。
[0041] 步驟3.獲取顏色特征向量。
[0042] 采用顏色直方圖法，得到主體圖像的規(guī)格為1行258列的顏色直方向量。利用向 量歸一化公式，對(duì)顏色直方向量進(jìn)行歸一化，得到歸一化顏色直方向量。
[0043] 取出主體圖像的紅黃藍(lán)RGB通道中的紅色R通道矩陣，綠色G通道矩陣和藍(lán)色B 通道矩陣，分別獲取紅色R通道行