專利名稱：一種基于局部語義概念的國(guó)畫圖像識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像識(shí)別方法，特別是關(guān)于一種基于局部語義概念的國(guó)畫圖像識(shí) 別方法。
背景技術(shù)：
近年來，基于語義圖像分類和標(biāo)注技術(shù)已經(jīng)成為與CB^(基于內(nèi)容的圖像檢索) 密切相關(guān)的研究熱點(diǎn)，因其將圖像按照高層的語義進(jìn)行合理的分類，不僅會(huì)大大提高基于 語義的圖像檢索的性能，且能在一定程度上彌補(bǔ)“語義鴻溝”。不同于傳統(tǒng)的數(shù)字圖像，國(guó)畫 作品所涵蓋的語義信息更加豐富，也更加抽象。若能實(shí)現(xiàn)國(guó)畫圖像的自動(dòng)分類及標(biāo)注，則其 在數(shù)字化書畫博物館領(lǐng)域能得到廣泛的應(yīng)用，并成為數(shù)字化圖書館等重大研究項(xiàng)目中的關(guān) 鍵技術(shù)。圖像場(chǎng)景分類的目的是將圖像整體歸類到某一場(chǎng)景類別中去。國(guó)內(nèi)外現(xiàn)有的研究 工作大多集中于自然圖像的場(chǎng)景分類，即研究如何自動(dòng)地實(shí)現(xiàn)將待識(shí)別圖像歸類到一組語 義類別中去(如海灘，山脈等)的課題。針對(duì)中國(guó)書畫的數(shù)字圖像研究領(lǐng)域，國(guó)畫圖像分類 方法的主要集中在基于低層視覺特征的表示，并利用支持向量機(jī)、決策樹算法等實(shí)現(xiàn)國(guó)畫 圖像的自動(dòng)分類，目前尚未發(fā)現(xiàn)針對(duì)國(guó)畫圖像的基于中層語義建模的圖像分類方法。為了彌合語義鴻溝以及應(yīng)對(duì)復(fù)雜場(chǎng)景的圖像識(shí)別問題，研究者通過實(shí)現(xiàn)對(duì)圖像的 場(chǎng)景進(jìn)行語義建模，來達(dá)到圖像場(chǎng)景分類的目的?；诰植空Z義概念的圖像中層表示方法 因其不依賴圖像分割的結(jié)果而表現(xiàn)出良好的分類性能，目前成為主流方法。2005年狗1呼&提出了一種新的用于自然場(chǎng)景分類的貝葉斯層次化模型。不同于 前人的工作，該方法不需要專門標(biāo)注的訓(xùn)練樣本集，而是通過局部區(qū)域的聚類形成詞包來 表示圖像，最終在一個(gè)包含13類大規(guī)模的復(fù)雜場(chǎng)景集上實(shí)驗(yàn)得到了滿意的分類性能。2005 年的Quelhas和2006年的Bosch分別提出了結(jié)合Bag of words和pLSA模型，兩者的區(qū)別 在于提取局部描述子的方法不同。前者是基于稀疏的SIFT描述子，后者是密集的SIFT描 述子。2006 年 Perronin 提出 了基于 Bag of words 禾口 GMM(GaussianMixture Models，高斯 混合模型)的圖像分類思路，該方法能描述所有的被承認(rèn)圖像類別的圖像內(nèi)容，并且能通 過訓(xùn)練典型的類樣本數(shù)據(jù)學(xué)習(xí)得到改進(jìn)后自適應(yīng)的類字典。前人基于可視詞典的方法都是 用單一的直方圖來描述圖像，而該方法的創(chuàng)新點(diǎn)在于用一系列的直方圖來描述一幅圖像。上述幾種方法雖然有效，但是均沒有考慮和利用圖像中的空間結(jié)構(gòu)信息，在復(fù)雜 的自然圖像場(chǎng)景分類系統(tǒng)中，這種空間結(jié)構(gòu)的語境信息(如鄰近的局部對(duì)象間的空間關(guān) 系或某些場(chǎng)景中物體的絕對(duì)位置)可進(jìn)一步提高分類器的性能，有助于得到更好的分類結(jié) 果。2006年Lazebnik提出了高于Bag of Words的空間金字塔匹配的分類算法。該方法通 過將圖像劃分成漸漸變小的子區(qū)域和計(jì)算每個(gè)子區(qū)域塊的局部特征直方圖，然后利用得到 的這些局部特征直方圖表示圖像?！翱臻g金字塔”是對(duì)無序的特征包的圖像表示方法的一種 簡(jiǎn)單、高效計(jì)算的擴(kuò)展結(jié)果，并且在非常有挑戰(zhàn)性的場(chǎng)景分類問題上表現(xiàn)出重要的、深遠(yuǎn)的 改進(jìn)性能。但該方法對(duì)于背景區(qū)域大的圖像樣本庫，分類結(jié)果會(huì)存在偏差。

發(fā)明內(nèi)容
針對(duì)上述問題，本發(fā)明的目的是提出了一種全局圖像特征和局部圖像特征相融合 的基于局部語義概念的國(guó)畫圖像識(shí)別方法。為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案1、一種基于局部語義概念的國(guó)畫 圖像識(shí)別方法，其包括以下步驟1)利用掃描設(shè)備對(duì)待識(shí)別的國(guó)畫作品進(jìn)行圖像采集，并 存入計(jì)算機(jī)中；幻通過隨機(jī)抽取器將采集到的國(guó)畫作品圖像分成訓(xùn)練樣本集和測(cè)試樣本 集；3)通過視覺注意力模型分別提取訓(xùn)練樣本集和測(cè)試樣本集內(nèi)國(guó)畫作品圖像中的顯著 區(qū)域圖像；4)對(duì)訓(xùn)練樣本集內(nèi)的國(guó)畫作品圖像和相應(yīng)的顯著區(qū)域圖像，分別建立國(guó)畫作品 圖像的詞包模型；5)根據(jù)訓(xùn)練樣本集內(nèi)建立的國(guó)畫作品圖像詞包模型和相應(yīng)的顯著區(qū)域 圖像詞包模型，分別構(gòu)建國(guó)畫作品圖像的空間金字塔模型和相應(yīng)的顯著區(qū)域圖像的空間金 字塔模型，并生成相應(yīng)的兩個(gè)空間金字塔特征直方圖；6)采用串行合并的方法對(duì)步驟5)中 生成的兩個(gè)空間金字塔特征直方圖進(jìn)行融合；7)利用聚類方法、K近鄰法、神經(jīng)網(wǎng)絡(luò)和支持 向量機(jī)方法中的一種以上分類方法對(duì)測(cè)試樣本集中待識(shí)別的國(guó)畫圖像進(jìn)行識(shí)別，用識(shí)別準(zhǔn) 確率和混淆矩陣的方式輸出識(shí)別結(jié)果。所述步驟2、中訓(xùn)練樣本集和測(cè)試樣本集的生成方法包括①定義國(guó)畫圖像的類 別，類別編號(hào)為1 n，n為自然數(shù)；②假設(shè)用于待識(shí)別的國(guó)畫作品圖像代表集為P，記為{P”P2, P3Io其中P1表示花鳥畫，記為P1={A1，A2，...,Ai1}Ai為其中的一幅國(guó)畫圖像，P2表示人 物畫，記為P2= {Β1;化，...，BiLBi為其中的一幅國(guó)畫圖像，P3表示山水畫，記為P3= (C1, C2,...，CJ ,Ci為其中的一幅國(guó)畫圖像；③分別從PpP2和P3中隨機(jī)選取設(shè)定數(shù)量的圖像作 為訓(xùn)練樣本集Q，記為{P/，P2'，P3' }，用于生成國(guó)畫圖像識(shí)別的模型；將PpP2和P3中剩余的圖像作為測(cè)試樣本集CpQ = {∈P且∈Q} ，用于校準(zhǔn)。所述步驟4)中建立國(guó)畫圖像的詞包模型，包含以下步驟①國(guó)畫圖像的灰度化， 分別對(duì)訓(xùn)練樣本集和顯著區(qū)域圖像中彩色國(guó)畫圖像按如下公式進(jìn)行灰度化處理Gray (i， j) =0.11*R(i，j)+0. 59*G(i，j)+0. 3*B(i, j)；其中 i，j 是一個(gè)像素點(diǎn)在圖像中的位 置，R(i，j)是i，j所表示的像素點(diǎn)顏色的紅色分量，G(i，j), B(i, j)分別表示綠色和藍(lán) 色分量，Gray(i, j)表示該點(diǎn)轉(zhuǎn)換后的灰度級(jí)別；②分別對(duì)步驟①得到的灰度圖像選取 SIFT (Scale-invariant feature transform，尺度不變特征轉(zhuǎn)換)描述子的關(guān)鍵點(diǎn)，利用關(guān) 鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，生成SIFT特征向量，并根 據(jù)需要對(duì)SIFT特征向量進(jìn)行光照歸一化處理；③根據(jù)步驟②得到的國(guó)畫原圖和國(guó)畫顯著 區(qū)域圖像的SIFT特征向量來，分別構(gòu)建視覺詞匯表；視覺詞匯表包含K個(gè)視覺單詞，K為自 然數(shù)，一般取值為500-1200，建議K取為1000 ；④利用得到的兩個(gè)視覺詞匯表，進(jìn)行局部語 義概念特征的提取和表示，即計(jì)算某一個(gè)SIFT關(guān)鍵點(diǎn)鄰域內(nèi)的SIFT特征與視覺詞匯表中 的每個(gè)視覺單詞所對(duì)應(yīng)SIFT特征的歐氏距離，用最近鄰的視覺單詞來定義該SIFT關(guān)鍵點(diǎn)， 將所有的SIFT關(guān)鍵點(diǎn)映射到視覺詞匯表中，用視覺單詞的標(biāo)號(hào)描述這幅圖像，即得到該圖 像的局部語義概念特征采用直方圖特征表示法來表示該圖像的局部語義概念特征。所述步驟4)的②中選取SIFT描述子的關(guān)鍵點(diǎn)的步驟如下A、對(duì)國(guó)畫原圖采用網(wǎng) 格采樣法進(jìn)行采樣；B、對(duì)國(guó)畫顯著區(qū)域圖像采用尺度空間極值檢測(cè)方法。
所述步驟5)中構(gòu)建空間金字塔模型包括以下步驟①將國(guó)畫圖像在二維圖像空 間中劃分為不同大小的子圖像區(qū)域，形成空間金字塔分塊；空間金字塔層數(shù)為2-5 ；②對(duì)形 成的空間金字塔分塊圖像構(gòu)建相應(yīng)的空間金字塔特征直方圖。所述步驟6)中，對(duì)兩個(gè)空間金字塔特征直方圖的融合包括以下兩種方法之一一 種是將兩組特征向量首尾相連生成一個(gè)聯(lián)合向量作為新的特征向量，在更高維的向量空間 進(jìn)行特征提取，即串行組合；另一種是利用復(fù)向量將同一樣本的兩組特征向量合并在一起， 在復(fù)向量空間進(jìn)行特征提取，即并行組合。所述步驟7)中采用支持向量機(jī)方法進(jìn)行分類時(shí)的步驟如下①分類器模型的生 成；采用LIBSVM-fast工具包進(jìn)行識(shí)別實(shí)驗(yàn)，訓(xùn)練生成分類器模型所需的參數(shù)為options = ’-t4-S0-bl-Cl’，其表示的含義是核函數(shù)為交叉核函數(shù)，SVM類型為C-svc ；C-svc懲罰系 數(shù)為1，且需要概率估計(jì)；②輸出測(cè)試樣本集中待識(shí)別國(guó)畫圖像的結(jié)果；利用步驟3) 6) 處理測(cè)試樣本集中待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的特征向量，并將其輸入訓(xùn)練好的分類器 模型，根據(jù)分類器模型的公式即可得到圖像的分類結(jié)果；③識(shí)別結(jié)果評(píng)價(jià)方法包括識(shí)別準(zhǔn) 確率和混淆矩陣兩種方法。本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點(diǎn)本發(fā)明和Lazebnik等人提出的 自然場(chǎng)景圖像分類方法相比，引入提取全局國(guó)畫圖像(全局圖像)中的局部顯著區(qū)域圖像 (局部圖像)，針對(duì)全局圖像和局部圖像利用不同的方法提取圖像中SIFT描述子關(guān)鍵點(diǎn)信 息，并且實(shí)現(xiàn)了全局圖像和局部圖像的局部語義概念特征的融合，這樣同時(shí)對(duì)全局國(guó)畫圖 像和局部顯著圖像進(jìn)行局部語義概念特征信息的分析，能夠獲取更多有助于分類識(shí)別和更 具辨別力的特征信息，因此能提高國(guó)畫圖像分類識(shí)別的準(zhǔn)確率。本發(fā)明和James. Wang以及 蔣樹強(qiáng)等提出的利用低層視覺特征實(shí)現(xiàn)的國(guó)畫場(chǎng)景圖像分類方法相比具有更強(qiáng)的擴(kuò)展性。 并且將中層語義建模分類方法拓展了到國(guó)畫圖像的應(yīng)用領(lǐng)域。


圖1是本發(fā)明的模塊框2是本發(fā)明輸入的國(guó)畫原3是本發(fā)明提取國(guó)畫原圖中的顯著區(qū)域圖像圖4是本發(fā)明的詞包表示模型流程5是本發(fā)明國(guó)畫原圖局部描述子SIFT特征的算法流程6是本發(fā)明均勻網(wǎng)格采樣方法示意7是本發(fā)明一幅國(guó)畫圖像均勻網(wǎng)格采樣實(shí)例示意8是本發(fā)明國(guó)畫顯著區(qū)域圖像局部描述子SIFT特征的算法流程9是本發(fā)明構(gòu)建國(guó)畫圖像空間金字塔圖例圖10是本發(fā)明的分類識(shí)別流程示意圖
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。中國(guó)畫根據(jù)繪畫的內(nèi)容，大致分人物畫、山水畫和花鳥走獸畫三大類。其中每一個(gè) 大類又可以分為不同的小類，比如人物畫是以人物為主要描繪對(duì)象的畫科，按其取材的差異可分為宗教人物畫和世俗人物畫，還可細(xì)分為肖像畫、故事畫、風(fēng)俗畫等。本發(fā)明基于局 部語義概念的國(guó)畫圖像識(shí)別方法包括以下步驟1)如圖1所示，利用掃描設(shè)備將待識(shí)別的若干幅國(guó)畫作品掃描出來，存入計(jì)算機(jī) 中，掃描設(shè)備可以采用各種已有技術(shù)設(shè)備，本實(shí)施例采用的掃描設(shè)備是ExpressionlOOOOXL 平板式掃描儀，保存圖像的參數(shù)為 位顏色深度，400dpi分辨率，JPEG圖像文件格式。2)將采集到的各幅國(guó)畫作品圖像輸入隨機(jī)抽取器，隨機(jī)抽取器對(duì)輸入的國(guó)畫作品 圖像分成訓(xùn)練樣本集和測(cè)試樣本集，分類的步驟如下①定義國(guó)畫圖像的類別，類別編號(hào)為1、2、…、η，η為自然數(shù)，本實(shí)施例根據(jù)繪畫 的內(nèi)容，將國(guó)畫分為花鳥畫、人物畫和山水畫三大類，即η = 3，(以下以η = 3為例進(jìn)行說 明，但不限于此)。②假設(shè)用于待識(shí)別的國(guó)畫作品圖像代表集為P，記為{Ρ1;Ρ2，Ρ3}。其中？工表示花鳥 畫，記為5 =(4,4,...,4^ ,Ai為其中的一幅國(guó)畫圖像，P2表示人物畫，記為P2= (B15B2,. . ·， BJ，Bi為其中的一幅國(guó)畫圖像，P3表示山水畫，記為P3 = IC1, C2, ... , CJ，Ci為其中的一幅 國(guó)畫圖像，其中i為對(duì)應(yīng)圖像的數(shù)量。。③分別從PpP2和P3中隨機(jī)選取設(shè)定數(shù)量的圖像作為訓(xùn)練樣本集Q，記為{P/， P2'，P3' }，用于生成國(guó)畫圖像識(shí)別的模型；將Pi、PjPP3中剩余的圖像作為測(cè)試樣本集 c』= p|/ejp且/￠0，用于校準(zhǔn)。3)將步驟2)中分出的訓(xùn)練樣本集和測(cè)試樣本集的原圖(如圖2所示)輸入視覺 注意力模型，視覺注意力模型從訓(xùn)練樣本集Q中提取國(guó)畫圖像中的顯著區(qū)域圖像集Qs (如 圖3所示)尋找圖像中顯著目標(biāo)的過程符合人類視覺神經(jīng)系統(tǒng)選擇視覺場(chǎng)景中顯著目標(biāo) 的生物機(jī)理，盡可能多的保留國(guó)畫中的有助于分類的主要語義區(qū)域，剔除一些冗余區(qū)域， 本發(fā)明中的視覺注意力模型可以采用Itti-Koch(人名)的視覺注意力模型，也可以采用 Jonathan Harel (人名)的 GBVS (Graph-Based Visual Saliency 基于圖的顯著性分析)算 法，但不限于此。Itti-Koch模型主要分為視覺特征的提取和顯著圖的計(jì)算兩步，GBVS算法 是對(duì)經(jīng)典的Itti-Koch模型的改進(jìn)。4)如圖4所示，根據(jù)步驟3)得到的訓(xùn)練樣本集Q和顯著區(qū)域圖像集Qs，建立國(guó)畫 圖像的詞包模型的過程如下①國(guó)畫圖像的灰度化，分別對(duì)訓(xùn)練樣本集Q和顯著區(qū)域圖像Qs中彩色國(guó)畫圖像進(jìn) 行灰度化處理，分別記為Q'和Qs'，具體灰度處理的步驟包括將一個(gè)彩色圖像轉(zhuǎn)換成一個(gè)灰度圖像，按如下常規(guī)公式進(jìn)行轉(zhuǎn)換Gray(i, j) = 0. ll*R(i，j)+0. 59*G(i，j)+0. 3*B(i，j)其中i，j是一個(gè)像素點(diǎn)在圖像中的位置，R(i，j)是i，j所表示的像素點(diǎn)顏色的紅 色分量，同理G(i，j),B(i, j)分別表示綠色和藍(lán)色分量，Gray(i, j)表示該點(diǎn)轉(zhuǎn)換后的灰 度級(jí)別。最后將該像素點(diǎn)RGB分量值都設(shè)為Gray (i，j)即可。按照上述方法可將彩色圖像 中轉(zhuǎn)化為灰度圖像。②分別對(duì)步驟①得到的Q ‘和Qs ‘中的灰度圖像選取 SIFT (Scale-invariantfeature transform，尺度不變特征轉(zhuǎn)換)描述子的關(guān)鍵點(diǎn)，利用關(guān) 鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，生成SIFT特征向量，并根據(jù)需要對(duì)SIFT特征向量進(jìn)行光照歸一化處理。其中，局部描述子SIFT特征的提取方法分成兩部分，一個(gè)是對(duì)國(guó)畫原圖進(jìn)行局部 描述，另一個(gè)是對(duì)國(guó)畫顯著區(qū)域圖像進(jìn)行局部描述如圖5所示，對(duì)于Q'中圖像采用均勻網(wǎng)格采樣的方法選取SIFT特征關(guān)鍵點(diǎn)，網(wǎng)格 采樣方法就是對(duì)將圖像按M*M像素大小的網(wǎng)格進(jìn)行采樣(如圖6所示)，其中M為2的整數(shù) 次冪，建議M為8或16，確保將圖像劃分為一定數(shù)量的網(wǎng)格；設(shè)圖像的寬和高分別為Width 和 Hight，則X = (Width% Μ)/2+1 ；Y = (Hight% Μ)/2+1 ；X，Y為開始進(jìn)行網(wǎng)格采樣的起點(diǎn)坐標(biāo)，一共生成(Width/X)*(Hight/Y)個(gè)均勻網(wǎng) 格，將均勻網(wǎng)格的交叉點(diǎn)作為SIFT特征關(guān)鍵點(diǎn)，選取以關(guān)鍵點(diǎn)為圓心，M為半徑的圓為鄰 域，利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，生成SIFT特征 向量(如圖7所示)。如8所示，對(duì)Qs'圖像采用的是尺度空間極值檢測(cè)的方法選取SIFT特征關(guān)鍵點(diǎn)， 即在圖像二維平面空間和DoG(Difference-of-Gaussian高斯核差分)尺度空間中同時(shí)檢 測(cè)局部極值以作為特征關(guān)鍵點(diǎn)，以使特征具備良好的獨(dú)特性和穩(wěn)定性。DoG算子定義為兩 個(gè)不同尺度的高斯差分核，其具有計(jì)算簡(jiǎn)單的特點(diǎn)，是歸一化LoGO^aplacian-of-Gaussian 拉普拉斯-高斯)算子的近似。DoG算子如下式所示D (X，y，σ ) = (G (χ, y，k σ ) -G (χ, y，σ )) *Ι (χ, y) = L (χ, y, k σ ) -L (χ, y, σ )式中G(X，y，ko)是二維高斯函數(shù)，k表示尺度因子比例系數(shù)，σ代表了高斯正態(tài) 分布的方差，I (χ，y)表示原圖像，L代表了圖像的尺度空間。其中，L(x，y，σ)定義如下L(x, y, σ ) =G(χ, y, σ )ΦΙ (χ, y)將圖像I(x，y)與不同尺度因子下的高斯核G(x，y，σ )進(jìn)行卷積操作是為了得到 在不同尺度空間下的穩(wěn)定特征點(diǎn)。其中，G(x，y，ko)定義如下！ -fjc2+/)/202G(x,y,a)=^e ^ ‘Tmj式中，(x,y)代表圖像的像素位置，σ稱為尺度空間因子，其值越小則表征該圖像 被平滑的越少，相應(yīng)的尺度也就越小，大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的 細(xì)節(jié)特征。③如圖4所示，在步驟②得到的SIFT特征向量來構(gòu)建視覺詞匯表使用K-Means 算法聚類訓(xùn)練樣本集Q上生成的所有的SIFT特征向量，每個(gè)聚類中心視為一個(gè)視覺單詞， 從而生成了一個(gè)由K個(gè)視覺單詞構(gòu)成的視覺詞匯表。該視覺詞匯表中視覺單詞的編號(hào)亦可 稱為局部語義概念。K為自然數(shù)，一般取值為500-1200，建議K取為1000。該視覺詞匯表僅 在訓(xùn)練過程中生成。同理，也在Qs上構(gòu)建視覺詞匯表。④利用上述步驟③處理訓(xùn)練樣本集Q后得到的視覺詞匯表，以及處理顯著區(qū)域圖像Qs得到的視覺詞匯表，分別對(duì)Q和9|!中圖像進(jìn)行局部語義概念特征的提取和表示首先，計(jì)算某一個(gè)SIFT關(guān)鍵點(diǎn)鄰域內(nèi)的SIFT特征與視覺詞匯表中的每個(gè)視覺單 詞所對(duì)應(yīng)SIFT特征的歐氏距離，用最近鄰的視覺單詞來定義該SIFT關(guān)鍵點(diǎn)。然后，依次處 理給定一幅圖像中各個(gè)SIFT關(guān)鍵點(diǎn)，將所有的SIFT關(guān)鍵點(diǎn)映射到視覺詞匯表中，用視覺單 詞的標(biāo)號(hào)描述上述這幅圖像，即得到該圖像的局部語義概念特征。最后，采用直方圖特征表 示法來表示該圖像的局部語義概念特征，即該圖像的視覺單詞分布概率直方圖。5)如圖9所示，在步驟3)得到的訓(xùn)練樣本集Q和顯著區(qū)域圖像集Qs上分別構(gòu)建 空間金字塔模型，其包括以下步驟①國(guó)畫圖像的空間金字塔分塊，其具體為；將國(guó)畫圖像整體在二維圖像空間劃分為不同大小的子圖像區(qū)域，形成圖像空間金 字塔G。設(shè)G的層數(shù)為L(zhǎng)，1表示空間金字塔G的第1層，1 =0，1，......，L-1。子圖像區(qū)域數(shù)為D，r表示子圖像區(qū)域標(biāo)號(hào)，r = 0,1,......，D-1。D = (21) X (21)當(dāng)1 = 0時(shí)，表示處于金字塔最底層，此時(shí)圖像劃分的字塊數(shù)目為1。L 一般取值 為3-5，建議取為4。②構(gòu)建空間金字塔特征直方圖，其具體為；首先，將圖像空間金字塔G中的各層各個(gè)子塊圖像表示為局部語義概念特征直方 圖，然后對(duì)這些特征直方圖賦予以合適的權(quán)值后進(jìn)行串行組合，形成一個(gè)總的特征直方圖， 即空間金字塔特征直方圖。本實(shí)施例中權(quán)值為2L_1+1。設(shè)空間金字塔G第1層上第r個(gè)子圖像區(qū)域的直方圖為試，(其中r表示子圖像區(qū)域標(biāo)號(hào)，r = 0，1，......，D-1)，H1代表空間金字塔G第1層上串行組合后的直方圖；H為該圖像經(jīng)過空間金字塔分塊表示后，形成總的特征直方圖。H1 =[HlH\,...,Hlr~]1 1 1H = —-+-γ)1 = 1,2, . . . , L-I同理，也在Qs上構(gòu)建國(guó)畫顯著區(qū)域圖像的空間金字塔特征直方圖。6)將步驟幻的②中在訓(xùn)練樣本集Q上構(gòu)建的空間金字塔特征直方圖和在顯著區(qū) 域圖像集Qs構(gòu)建的空間金字塔特征直方圖進(jìn)行融合。其包括以下步驟①依次采用步驟4)、5)分別處理步驟2)中得到Q和步驟3)中得到Qs。步驟2)得到了訓(xùn)練樣本集Q ；步驟3)生成了顯著區(qū)域圖像Qs，利用步驟4)和步 驟5)，分別處理0和Qs后得到的相應(yīng)的空間金字塔特征直方圖，步驟5)實(shí)現(xiàn)空間金字塔特 征直方圖的融合。這樣融合目的就是既包含了全局特征和又包含了局部特征，得到更好的 識(shí)別效果。根據(jù)訓(xùn)練樣本集Q = {Ql, q2，. . .，qj，e表示訓(xùn)練樣本集中圖像的數(shù)量。那么，利 用步驟4)和步驟5)處理Q后得到的特征直方圖為Hig= IHgnHg2,...,!!原e}。同理，利用步驟4)和步驟5)處理國(guó)畫圖像的顯著區(qū)域(^后得到的特征直方圖為Hs= (H顯 ρ H顯2，···，HseJ。
②將①中生成的特征直方圖Hig和!^進(jìn)行串行合并。目前，存在的特征融合方法，一種是將兩組特征向量首尾相連生成一個(gè)聯(lián)合向量 作為新的特征向量，在更高維的向量空間進(jìn)行特征提取，即串行組合；另一種是利用復(fù)向量 將同一樣本的兩組特征向量合并在一起，在復(fù)向量空間進(jìn)行特征提取，即并行組合。本發(fā)明 此處用到的是串行組合的方法，最終融合后的結(jié)果H= {Hg, Ha} 07)如圖10所示，選擇利用現(xiàn)有的聚類方法、K近鄰法、神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)等 方法中的一種或幾種分類方法，對(duì)測(cè)試樣本集中待識(shí)別的國(guó)畫圖像進(jìn)行識(shí)別，用識(shí)別準(zhǔn)確 率和混淆矩陣的方式輸出識(shí)別結(jié)果，其具體步驟如下①分類器模型的生成將從訓(xùn)練樣本集Q中提取的特征向量H、訓(xùn)練樣本集Q對(duì)應(yīng)的類別標(biāo)簽H_label， 以及相關(guān)參數(shù)options作為訓(xùn)練分類器模型的輸入，分類器模型model作為結(jié)果輸出。該 發(fā)明采用LIBSVM-fast工具包進(jìn)行識(shí)別實(shí)驗(yàn)，但不限于此，在仿真環(huán)境MatlabR2008A軟件 平臺(tái)上，可利用如下函數(shù)模型表示model = svmtrain(H, H_label,options)；其中，H_label={label 1，label2，. . .，labele}，Iabele 取值范圍為 1 n，此處 η = 3，分別代表花鳥畫、山水畫和人物畫。Options (操作參數(shù))可用的選項(xiàng)表示含義如下-t核函數(shù)類型設(shè)置核函數(shù)類型。可選類型有0——線性核 1——多項(xiàng)式核2-RBF 核 3-sigmoid4-intersection 核-S 設(shè)置svm類型0-C-svc 1-V-svc2-One-class-svm 3- ε -SVR4-y-SVR-b概率估計(jì)是否計(jì)算SVC或SVR的概率估計(jì)，可選值為0或1，默認(rèn)為0。-C cost 設(shè)置 C-svc、ε -SVR、γ-SVR 中懲罰系數(shù) C，默認(rèn)值為 1。options =， _t4_s0_bl_cl，，白勺^ intersectionkernel, SVM類型為C-svc ；C-svc懲罰系數(shù)為1，且需要概率估計(jì)。②輸出測(cè)試樣本集中待識(shí)別國(guó)畫圖像的結(jié)果，其具體為利用步驟3) 6)處理測(cè)試樣本集中待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的特征向量，并 將其輸入訓(xùn)練好的分類器模型，根據(jù)分類器模型的公式即可得到圖像的分類結(jié)果。依次利用步驟3) 6)處理測(cè)試樣本集CpQ中的待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的 特征直方圖向量H*H_label。測(cè)試樣本集CpQ的H、H_label以及步驟7)的①中生成的 model作為輸入，該測(cè)試樣本集CpQ測(cè)試結(jié)果為識(shí)別的準(zhǔn)確率。該發(fā)明采用LIBSVM-fast工 具包進(jìn)行識(shí)別實(shí)驗(yàn)，但不限于此，在仿真環(huán)境MatlabR2008A軟件平臺(tái)中，可利用如下函數(shù) 模型表示[VP] = svmpredict (H_label, H, model, libsvm_options)；此處，libSvm_0pti0nS =，-b 1’含義為需要概率估計(jì)。輸出結(jié)果V含義為預(yù)測(cè)得到該測(cè)試樣本集的類別標(biāo)號(hào)，P為預(yù)測(cè)該測(cè)試樣本集的識(shí)別準(zhǔn)確率。③識(shí)別結(jié)果評(píng)價(jià)方法最終識(shí)別結(jié)果評(píng)價(jià)的方法有兩種，識(shí)別準(zhǔn)確率和混淆矩陣。假定識(shí)別準(zhǔn)確率為P， 定義如下公式P = η/Ν;其中，η為正確識(shí)別圖像數(shù)，N為待識(shí)別的圖像總數(shù)?；煜仃囀悄Ｊ阶R(shí)別中較為常用的精度評(píng)價(jià)工具，在圖像精度評(píng)價(jià)中，主要用于 比較分類結(jié)果和真實(shí)結(jié)果，可以把分類結(jié)果的精度顯示在一個(gè)混淆矩陣?yán)锩妗Ｒ粋€(gè)完美的 分類模型就是，若一個(gè)目標(biāo)對(duì)象實(shí)際上屬于類別Α，也預(yù)測(cè)成類別Α，處于類別B，也就預(yù)測(cè) 成B。但實(shí)際上，模型往往會(huì)出現(xiàn)類別A的對(duì)象預(yù)測(cè)為類別B，對(duì)一些原本是類別B的對(duì)象， 卻預(yù)測(cè)為類別Α。那么，這個(gè)模型到底預(yù)測(cè)對(duì)了多少預(yù)測(cè)錯(cuò)了多少，混淆矩陣就把所有這些 信息，都?xì)w到一個(gè)表里(如表2所示)表2混淆矩陣
權(quán)利要求
1.一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其包括以下步驟1)利用掃描設(shè)備對(duì)待識(shí)別的國(guó)畫作品進(jìn)行圖像采集，并存入計(jì)算機(jī)中；2)通過隨機(jī)抽取器將采集到的國(guó)畫作品圖像分成訓(xùn)練樣本集和測(cè)試樣本集；3)通過視覺注意力模型分別提取訓(xùn)練樣本集和測(cè)試樣本集內(nèi)國(guó)畫作品圖像中的顯著 區(qū)域圖像；4)對(duì)訓(xùn)練樣本集內(nèi)的國(guó)畫作品圖像和相應(yīng)的顯著區(qū)域圖像，分別建立國(guó)畫作品圖像的 詞包模型；5)根據(jù)訓(xùn)練樣本集內(nèi)建立的國(guó)畫作品圖像詞包模型和相應(yīng)的顯著區(qū)域圖像詞包模型， 分別構(gòu)建國(guó)畫作品圖像的空間金字塔模型和相應(yīng)的顯著區(qū)域圖像的空間金字塔模型，并生 成相應(yīng)的兩個(gè)空間金字塔特征直方圖；6)采用串行合并的方法對(duì)步驟5)中生成的兩個(gè)空間金字塔特征直方圖進(jìn)行融合；7)利用聚類方法、K近鄰法、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)方法中的一種以上分類方法對(duì)測(cè) 試樣本集中待識(shí)別的國(guó)畫圖像進(jìn)行識(shí)別，用識(shí)別準(zhǔn)確率和混淆矩陣的方式輸出識(shí)別結(jié)果。
2.如權(quán)利要求1所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟2~)中訓(xùn)練樣本集和測(cè)試樣本集的生成方法包括①定義國(guó)畫圖像的類別，類別編號(hào)為1 η，η為自然數(shù)；②假設(shè)用于待識(shí)別的國(guó)畫作品圖像代表集為P，記為{PnPyPd。其中P1表示花鳥畫， 記為5 =(4,4,...,4^ ,Ai為其中的一幅國(guó)畫圖像，P2表示人物畫，記為P2 = (B1, B2,..., BJ，Bi為其中的一幅國(guó)畫圖像，P3表示山水畫，記為P3 = IC1, C2,... , CJ，Ci為其中的一幅 國(guó)畫圖像；③分別從Pp己和&中隨機(jī)選取設(shè)定數(shù)量的圖像作為訓(xùn)練樣本集Q，記為(P1'， P2'，P3' }，用于生成國(guó)畫圖像識(shí)別的模型；將P:、PjPP3中剩余的圖像作為測(cè)試樣本集c』= {ejp且￠0}，用于校準(zhǔn)。
3.如權(quán)利要求1或2所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于 所述步驟4)中建立國(guó)畫圖像的詞包模型，包含以下步驟①國(guó)畫圖像的灰度化，分別對(duì)訓(xùn)練樣本集和顯著區(qū)域圖像中彩色國(guó)畫圖像按如下公式 進(jìn)行灰度化處理Gray(i, j) = 0. ll*R(i，j)+0. 59*G(i，j)+0. 3*B(i，j)其中i，j是一個(gè)像素點(diǎn)在圖像中的位置，R(i，j)是i，j所表示的像素點(diǎn)顏色的紅色分 量，G(i，j)，B(i，j)分別表示綠色和藍(lán)色分量，Gray (i，j)表示該點(diǎn)轉(zhuǎn)換后的灰度級(jí)別；②分別對(duì)步驟①得到的灰度圖像選取SIFTGcale-invariant feature transform，尺 度不變特征轉(zhuǎn)換)描述子的關(guān)鍵點(diǎn)，利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵 點(diǎn)指定方向參數(shù)，生成SIFT特征向量，并根據(jù)需要對(duì)SIFT特征向量進(jìn)行光照歸一化處理；③根據(jù)步驟②得到的國(guó)畫原圖和國(guó)畫顯著區(qū)域圖像的SIFT特征向量來，分別構(gòu)建視 覺詞匯表；視覺詞匯表包含K個(gè)視覺單詞，K為自然數(shù)，一般取值為500-1200，建議K取為 1000 ；④利用得到的兩個(gè)視覺詞匯表，進(jìn)行局部語義概念特征的提取和表示，即計(jì)算某一個(gè) SIFT關(guān)鍵點(diǎn)鄰域內(nèi)的SIFT特征與視覺詞匯表中的每個(gè)視覺單詞所對(duì)應(yīng)SIFT特征的歐氏距離，用最近鄰的視覺單詞來定義該SIFT關(guān)鍵點(diǎn)，將所有的SIFT關(guān)鍵點(diǎn)映射到視覺詞匯表 中，用視覺單詞的標(biāo)號(hào)描述這幅圖像，即得到該圖像的局部語義概念特征采用直方圖特征 表示法來表示該圖像的局部語義概念特征。
4.如權(quán)利要求3所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟4)的②中選取SIFT描述子的關(guān)鍵點(diǎn)的步驟如下A、對(duì)國(guó)畫原圖采用網(wǎng)格采樣法進(jìn)行采樣；B、對(duì)國(guó)畫顯著區(qū)域圖像采用尺度空間極值檢測(cè)方法。
5.如權(quán)利要求1所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟5)中構(gòu)建空間金字塔模型包括以下步驟①將國(guó)畫圖像在二維圖像空間中劃分為不同大小的子圖像區(qū)域，形成空間金字塔分 塊；空間金字塔層數(shù)為2 5;②對(duì)形成的空間金字塔分塊圖像構(gòu)建相應(yīng)的空間金字塔特征直方圖。
6.如權(quán)利要求1或2或4或5所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其 特征在于所述步驟6)中，對(duì)兩個(gè)空間金字塔特征直方圖的融合包括以下兩種方法之一一種是將兩組特征向量首尾相連生成一個(gè)聯(lián)合向量作為新的特征向量，在更高維的向 量空間進(jìn)行特征提取，即串行組合；另一種是利用復(fù)向量將同一樣本的兩組特征向量合并在一起，在復(fù)向量空間進(jìn)行特征 提取，即并行組合。
7.如權(quán)利要求3所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟6)中，對(duì)兩個(gè)空間金字塔特征直方圖的融合包括以下兩種方法之一一種是將兩組特征向量首尾相連生成一個(gè)聯(lián)合向量作為新的特征向量，在更高維的向 量空間進(jìn)行特征提取，即串行組合；另一種是利用復(fù)向量將同一樣本的兩組特征向量合并在一起，在復(fù)向量空間進(jìn)行特征 提取，即并行組合。
8.如權(quán)利要求1或2或4或5或7所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方 法，其特征在于所述步驟7)中采用支持向量機(jī)方法進(jìn)行分類時(shí)的步驟如下①分類器模型的生成采用LIBSVM-fast工具包進(jìn)行識(shí)別實(shí)驗(yàn)，訓(xùn)練生成分類器模型所需的參數(shù)為options = ’-t4-S0-bl-Cl’，其表示的含義是核函數(shù)為交叉核函數(shù)，SVM類型為C-svc ；C-svc懲罰系 數(shù)為1，且需要概率估計(jì)；②輸出測(cè)試樣本集中待識(shí)別國(guó)畫圖像的結(jié)果；利用步驟幻 6)處理測(cè)試樣本集中待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的特征向量，并將其 輸入訓(xùn)練好的分類器模型，根據(jù)分類器模型的公式即可得到圖像的分類結(jié)果；③識(shí)別結(jié)果評(píng)價(jià)方法包括識(shí)別準(zhǔn)確率和混淆矩陣兩種方法。
9.如權(quán)利要求3所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟7)中采用支持向量機(jī)方法進(jìn)行分類時(shí)的步驟如下①分類器模型的生成采用LIBSVM-fast工具包進(jìn)行識(shí)別實(shí)驗(yàn)，訓(xùn)練生成分類器模型所需的參數(shù)為options = ’-t4-S0-bl-Cl’，其表示的含義是核函數(shù)為交叉核函數(shù)，SVM類型為C-svc ；C-svc懲罰系數(shù)為1，且需要概率估計(jì)；②輸出測(cè)試樣本集中待識(shí)別國(guó)畫圖像的結(jié)果；利用步驟幻 6)處理測(cè)試樣本集中待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的特征向量，并將其 輸入訓(xùn)練好的分類器模型，根據(jù)分類器模型的公式即可得到圖像的分類結(jié)果；③識(shí)別結(jié)果評(píng)價(jià)方法包括識(shí)別準(zhǔn)確率和混淆矩陣兩種方法。
10.如權(quán)利要求6所述的一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，其特征在于所 述步驟7)中采用支持向量機(jī)方法進(jìn)行分類時(shí)的步驟如下①分類器模型的生成采用LIBSVM-fast工具包進(jìn)行識(shí)別實(shí)驗(yàn)，訓(xùn)練生成分類器模型所需的參數(shù)為options = ’-t4-S0-bl-Cl’，其表示的含義是核函數(shù)為交叉核函數(shù)，SVM類型為C-svc ；C-svc懲罰系 數(shù)為1，且需要概率估計(jì)；②輸出測(cè)試樣本集中待識(shí)別國(guó)畫圖像的結(jié)果；利用步驟幻 6)處理測(cè)試樣本集中待識(shí)別的國(guó)畫圖像，得到對(duì)應(yīng)的特征向量，并將其 輸入訓(xùn)練好的分類器模型，根據(jù)分類器模型的公式即可得到圖像的分類結(jié)果；③識(shí)別結(jié)果評(píng)價(jià)方法包括識(shí)別準(zhǔn)確率和混淆矩陣兩種方法。
全文摘要
本發(fā)明涉及一種基于局部語義概念的國(guó)畫圖像識(shí)別方法，包括以下步驟1)利用掃描設(shè)備對(duì)待識(shí)別的國(guó)畫作品進(jìn)行圖像采集，并存入計(jì)算機(jī)中；2)通過隨機(jī)抽取器將采集到的國(guó)畫作品圖像分成訓(xùn)練樣本集和測(cè)試樣本集；3)通過視覺注意力模型分別提取訓(xùn)練樣本集和測(cè)試樣本集內(nèi)國(guó)畫作品圖像中的顯著區(qū)域圖像；4)對(duì)訓(xùn)練樣本集內(nèi)的國(guó)畫作品圖像和相應(yīng)的顯著區(qū)域圖像，建立國(guó)畫作品圖像詞包模型；5)根據(jù)詞包模型空間金字塔模型，并生成相應(yīng)的兩個(gè)空間金字塔特征直方圖；6)采用串行合并的方法對(duì)步驟5)中生成的兩個(gè)空間金字塔特征直方圖進(jìn)行融合；7)利用聚類方法、K近鄰法、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)方法中的一種以上分類方法對(duì)測(cè)試樣本集中待識(shí)別的國(guó)畫圖像進(jìn)行識(shí)別，用識(shí)別準(zhǔn)確率和混淆矩陣的方式輸出識(shí)別結(jié)果。
文檔編號(hào)G06K9/60GK102054178SQ20111002331
公開日2011年5月11日 申請(qǐng)日期2011年1月20日 優(yōu)先權(quán)日2011年1月20日
發(fā)明者馮松鶴, 婁海濤, 張南, 潘衛(wèi)國(guó), 王迪菲, 鮑泓 申請(qǐng)人:北京聯(lián)合大學(xué)