專(zhuān)利名稱(chēng)：人物服裝特征提取裝置、人物檢索裝置及其處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從輸入影像中提取人物服裝特征的人物服裝特征提取裝置。另外，本發(fā)明涉及基于從輸入影像中提取出的人物服裝特征來(lái)檢索人物的人物檢索裝置。進(jìn)而，本發(fā)明涉及人物服裝特征提取處理方法以及人物檢索處理方法。本申請(qǐng)基于2009年10月16日在日本提出的特愿2009-239360號(hào)專(zhuān)利申請(qǐng)而主動(dòng)優(yōu)先權(quán)，并將其內(nèi)容引用于此。
背景技術(shù)：
現(xiàn)有技術(shù)中，開(kāi)發(fā)了各種人物檢索方法以及監(jiān)視系統(tǒng)、和圖像儲(chǔ)備檢索系統(tǒng)。專(zhuān)利文獻(xiàn)I公開(kāi)了在監(jiān)視系統(tǒng)中從所儲(chǔ)備的影像中檢索人物的人物檢索方法。在該監(jiān)視系統(tǒng) 中，在錄制影像時(shí)，提取人物的臉以及服裝的信息并保存在數(shù)據(jù)庫(kù)中。在人物檢索時(shí)，將保存在數(shù)據(jù)庫(kù)中的臉/服裝特征與作為查詢(xún)所被賦予的圖像的臉/服裝特征進(jìn)行比較，來(lái)判定是否為同一人物。參照?qǐng)D10來(lái)詳述專(zhuān)利文獻(xiàn)I中所公開(kāi)的人物檢索系統(tǒng)。圖10表示人物檢索裝置的構(gòu)成，由臉區(qū)域檢測(cè)/臉特征提取部1000、1020、穿衣區(qū)域檢測(cè)/穿衣特征提取部1010、1030、穿衣特征數(shù)據(jù)庫(kù)1040、臉特征數(shù)據(jù)庫(kù)1050、臉相似度計(jì)算部1070、以及人物相同性判定部1080構(gòu)成。臉區(qū)域檢測(cè)/臉特征提取部1000從由監(jiān)視系統(tǒng)取得的影像中進(jìn)行臉區(qū)域檢測(cè)以及臉特征提取，并將提取出的臉特征輸出到臉特征數(shù)據(jù)庫(kù)1050中。穿衣區(qū)域檢測(cè)/穿衣特征提取部1010從由監(jiān)視系統(tǒng)取得的影像中進(jìn)行穿衣區(qū)域檢測(cè)以及穿衣特征提取，并將提取出的穿衣特征輸出到穿衣特征數(shù)據(jù)庫(kù)1040中。另ー方面，臉區(qū)域檢測(cè)/臉特征提取部1020從所輸入的查詢(xún)圖像中進(jìn)行臉區(qū)域檢測(cè)以及臉特征提取，并將查詢(xún)臉特征輸出給穿衣相似度計(jì)算部1070。臉相似度計(jì)算部1060比較儲(chǔ)備于臉特征數(shù)據(jù)庫(kù)1050中的臉特征和從臉區(qū)域檢測(cè)/臉特征提取部1020輸入的查詢(xún)臉特征，并計(jì)算出臉相似度，將計(jì)算結(jié)果輸出給人物相同性判定部1080。穿衣相似度計(jì)算部1070比較儲(chǔ)備在穿衣特征數(shù)據(jù)庫(kù)1040中的穿衣特征和從穿衣區(qū)域檢測(cè)/穿衣特征提取部1030輸入的查詢(xún)穿衣特征,并計(jì)算出穿衣相似度，將計(jì)算結(jié)果輸出給人物相同性判定部1080。人物相同性判定部1080基于臉相似度計(jì)算部1060所計(jì)算出的臉相似度和穿衣相似度計(jì)算部1070所計(jì)算出的穿衣相似度來(lái)判定人物的相同性，并輸出人物檢索結(jié)果。接下來(lái)，說(shuō)明圖10所示的人物檢索裝置的動(dòng)作。首先，將從監(jiān)視系統(tǒng)取得的影像輸入到臉區(qū)域檢測(cè)/臉特征提取部1000以及穿衣區(qū)域檢測(cè)/穿衣特征提取部1010。臉區(qū)域檢測(cè)/臉特征提取部1000對(duì)輸入影像的各幀進(jìn)行臉區(qū)域檢測(cè)，對(duì)所檢測(cè)出的臉區(qū)域進(jìn)行臉特征提取。從由輸入影像檢測(cè)出的臉區(qū)域中提取的臉特征被保存到臉特征數(shù)據(jù)庫(kù)1050中。穿衣區(qū)域檢測(cè)/穿衣特征提取部1010從輸入影像中檢測(cè)穿衣區(qū)域，提取其視覺(jué)特征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征數(shù)據(jù)庫(kù)1040中。
人物檢索時(shí)，將查詢(xún)圖像輸入到臉區(qū)域檢測(cè)/臉特征提取部1020以及穿衣區(qū)域檢測(cè)/穿衣特征提取部1030。臉區(qū)域檢測(cè)/臉特征提取部1020以及穿衣區(qū)域檢測(cè)/穿衣特征提取部1030與所述臉區(qū)域檢測(cè)/臉特征提取部1000以及穿衣區(qū)域檢測(cè)/穿衣特征提取部1010發(fā)揮相同的作用，提取查詢(xún)臉特征以及查詢(xún)穿衣特征。臉相似度計(jì)算部1060將查詢(xún)臉特征與保存在臉特征數(shù)據(jù)庫(kù)105中的臉特征進(jìn)行比較，計(jì)算出臉相似度。另ー方面，穿衣相似度計(jì)算部1070將查詢(xún)穿衣特征與保存在穿衣相似度數(shù)據(jù)庫(kù)1040中的穿衣特征進(jìn)行比較，計(jì)算出穿衣相似度。人物相同性判定部1080綜合臉相似度和穿衣相似度來(lái)判定人物相同性，并據(jù)此輸出人物檢索結(jié)果。專(zhuān)利文獻(xiàn)2公開(kāi)了ー種圖像儲(chǔ)備/檢索系統(tǒng)，檢索具有與表現(xiàn)人類(lèi)主觀感知的色調(diào)的色覺(jué)語(yǔ)言相符的圖像特征的圖像數(shù)據(jù)。在此，預(yù)先設(shè)定人類(lèi)的自然語(yǔ)言所包含的色調(diào)表現(xiàn)與顏色空間的像素的對(duì)應(yīng)關(guān)系。另外，從保存在數(shù)據(jù)庫(kù)中的圖像數(shù)據(jù)中提取像素，計(jì) 算出與色調(diào)表現(xiàn)之間的相似度并保存。若賦予色調(diào)表現(xiàn)作為查詢(xún)，則調(diào)查該色調(diào)表現(xiàn)與圖像數(shù)據(jù)之間的相似度，檢索相似度高的圖像數(shù)據(jù)并顯示。在先技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)I JP特開(kāi)2009-199322號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 JP特開(kāi)2009-3581號(hào)公報(bào)發(fā)明的概要發(fā)明要解決的課題圖10所示的人物檢索系統(tǒng)是僅接受查詢(xún)圖像的系統(tǒng)，不能進(jìn)行基于查詢(xún)文本的人物檢索。即，是從查詢(xún)圖像中提取視覺(jué)特征(例如穿衣的顔色或花紋的信息)來(lái)進(jìn)行人物檢索的系統(tǒng)，無(wú)法將表示“紅色衣服”這樣的語(yǔ)言表現(xiàn)的查詢(xún)文本變換為視覺(jué)特征來(lái)進(jìn)行人物檢索。另外，在從輸入影像檢測(cè)穿衣區(qū)域時(shí)，不考慮人物的朝向，不能將由人物的朝向不同而引起的能看到的穿衣的差異納入考慮的范疇。進(jìn)而，由于提取穿衣區(qū)域整體的視覺(jué)特征，因此在以“白色上衣配藍(lán)色褲子”這樣的上半身/下半身穿衣的視覺(jué)特征不同的情況下，不能將上半身/下半身的穿衣的差異反映到人物檢索中。因此，即使檢索者要檢索正面朝向的人物，也會(huì)輸出符合條件的人物以外的檢索結(jié)果，另外，即使想要僅以上半身的穿衣來(lái)執(zhí)行人物檢索，也會(huì)檢索出上半身以外的穿衣部分的視覺(jué)特征類(lèi)似的人物。這樣，現(xiàn)有的人物檢索系統(tǒng)所輸出的人物檢索結(jié)果中包含較多的錯(cuò)誤。專(zhuān)利文獻(xiàn)2的圖像儲(chǔ)備/檢索系統(tǒng)針對(duì)如“紅色衣服”那樣由一種顏色構(gòu)成的穿衣能進(jìn)行基于查詢(xún)文本的人物檢索，但由于查詢(xún)文本僅能指定ー種顏色，因此不能使用多種顏色進(jìn)行人物檢索。與專(zhuān)利文獻(xiàn)I相同，不能將人物朝向的差異、人物的上半身/下半身的視覺(jué)特征的差異反映到人物檢索結(jié)果中。

發(fā)明內(nèi)容
用于解決課題的手段本發(fā)明鑒于上述問(wèn)題而提出，其目的在于提供一種能正確地提取包含在影像中的人物服裝的特征的人物服裝特征提取裝置。另外，本發(fā)明提供一種對(duì)由影像取得的人物服裝特征和查詢(xún)文本進(jìn)行對(duì)照來(lái)進(jìn)行人物檢索的人物檢索裝置。進(jìn)而，本發(fā)明提供一種描述了人物服裝特征提取處理方法和人物檢索處理方法的程序。本發(fā)明所涉及的人物服裝特征提取裝置具備人物區(qū)域檢測(cè)部，其從輸入影像中檢測(cè)出人物區(qū)域；人物朝向判定部，其判定人物區(qū)域中的人物的朝向；服裝部位分離部，其判定人物區(qū)域中的人物服裝的分離可能性，并輸出服裝部位分離信息；服裝特征提取部，其考慮人物的朝向以及服裝部位分離信息來(lái)提取人物區(qū)域中表示人物服裝的視覺(jué)特征的服裝特征；和服裝特征保存部，其保存所提取出的服裝特征。本發(fā)明所涉及的人物檢索裝置具備服裝特征檢索部，其基于表示人物的服裝的
種類(lèi)和顔色的服裝查詢(xún)文本來(lái)檢索服裝特征參數(shù)；服裝特征查詢(xún)生成部，其基于服裝特征參數(shù)來(lái)輸出服裝特征查詢(xún)；服裝特征對(duì)照部，其將從服裝特征保存部中檢索出的服裝特征與服裝特征查詢(xún)進(jìn)行對(duì)照，并輸出其對(duì)照結(jié)果；和人物檢索部，其基于對(duì)照結(jié)果來(lái)輸出人物檢索結(jié)果。本發(fā)明所涉及的人物服裝特征提取方法執(zhí)行如下處理從輸入影像中檢測(cè)出人物區(qū)域的人物區(qū)域檢測(cè)處理；判定人物區(qū)域中的人物的朝向的人物朝向判定處理；判定人物區(qū)域中的人物服裝的分離可能性，來(lái)生成服裝部位分離信息的人物服裝部位分離處理；以及考慮人物的朝向以及服裝部位分離信息來(lái)提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征的服裝特征提取處理。本發(fā)明所涉及的人物檢索方法執(zhí)行如下處理基于表示人物服裝的種類(lèi)和顔色的服裝查詢(xún)文本來(lái)檢索服裝特征參數(shù)的服裝特征檢索處理；基于服裝特征參數(shù)來(lái)生成服裝特征查詢(xún)的服裝特征查詢(xún)處理；將從服裝特征保存部檢索出的服裝特征與服裝特征查詢(xún)進(jìn)行対照的服裝特征對(duì)照處理；以及基于其對(duì)照結(jié)果來(lái)輸出人物檢索結(jié)果的人物檢索處理。本發(fā)明提供以能由計(jì)算機(jī)讀取并執(zhí)行的格式來(lái)描述上述的服裝特征提取方法的程序。另外，本發(fā)明提供以能由計(jì)算機(jī)讀取并執(zhí)行的格式來(lái)描述上述的人物檢索方法的程序。發(fā)明效果本發(fā)明從由監(jiān)視攝像機(jī)等取得的影像中檢測(cè)出人物區(qū)域，并正確地提取該人物區(qū)域中所存在的人物的服裝特征，并且基于所提取出的人物服裝特征來(lái)輸出接近于檢索者的意圖的人物檢索結(jié)果。


圖I是表示本發(fā)明的實(shí)施例所涉及的人物服裝特征提取裝置的構(gòu)成的框圖。圖2是表示本發(fā)明的實(shí)施例所涉及的人物檢索裝置的構(gòu)成的框圖。圖3是表示人物朝向判定部的內(nèi)部構(gòu)成的框圖。圖4是表示服裝部位分離部的內(nèi)部構(gòu)成的框圖。圖5是表示人物服裝特征提取裝置的處理的流程圖。圖6是示出表示人物服裝特征的視覺(jué)特征的保存形式的一例的圖。圖7是表示人物朝向判定部的處理的流程圖。圖8是表示服裝部位分離部的處理的流程圖。
圖9是表示人物檢索裝置的處理的流程圖。圖10是表示現(xiàn)有的人物檢索系統(tǒng)的構(gòu)成的框圖。
具體實(shí)施例方式參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。圖I是表示本發(fā)明所涉及的人物服裝特征提取裝置的構(gòu)成的框圖。人物服裝特征提取裝置由人物區(qū)域檢測(cè)部100、人物朝向判定部110、服裝部位分離部120、和人物服裝特征提取部140構(gòu)成。人物服裝特征提取裝置能通過(guò)使由CPU、ROM、RAM等構(gòu)成的計(jì)算機(jī)安裝人物服裝特征提取程序來(lái)實(shí)現(xiàn)。也可以將人物服裝特征提取程序(或者信息收集程序)保存在各種 存儲(chǔ)介質(zhì)中，或者經(jīng)由通信介質(zhì)來(lái)傳輸。存儲(chǔ)介質(zhì)包括軟盤(pán)、硬盤(pán)、磁盤(pán)、光磁盤(pán)、CD-ROM、 DVD、ROM盒式磁盤(pán)、帶電源備份的RAM盒式磁盤(pán)、閃存盒式磁盤(pán)、以及非易失性RAM盒式磁盤(pán)。通信介質(zhì)包括電話(huà)線路等有線通信介質(zhì)、微波線路等無(wú)線通信介質(zhì)以及英特網(wǎng)。人物區(qū)域檢測(cè)部100檢測(cè)存在于輸入影像中的人物區(qū)域。從輸入信息中檢測(cè)出的人物區(qū)域被輸入到人物朝向判定部110、服裝部位分離部210以及人物服裝特征提取部130。人物朝向判定部110判定輸入影像的人物區(qū)域中的人物的朝向，并輸出給人物服裝特征提取部130。服裝部位分離部120判定存在于輸入信息的人物區(qū)域中的人物的服裝能否按各部位分離，并將服裝部位分離信息輸出給人物服裝特征提取部130。詳細(xì)而言，基于輸入影像的人物區(qū)域以及背景區(qū)域來(lái)計(jì)算出服裝部位分離信息，并輸出給人物服裝特征提取部130。人物服裝特征提取部130基于輸入影像的人物區(qū)域、人物朝向以及服裝部位分離信息來(lái)提取人物的服裝的視覺(jué)信息，并輸出給人物服裝特征保存部140。換言之，從輸入信息的人物區(qū)域、人物朝向、以及服裝部位分離信息中提取出人物服裝特征并輸出給人物服裝特征保存部140。人物服裝特征保存部140從人物服裝特征提取部130輸入人物服裝特征并將其保存。接下來(lái)，詳述圖I所示的人物服裝特征提取裝置的動(dòng)作。人物區(qū)域提取部100輸入期望的影像作為圖像處理對(duì)象，能夠受理規(guī)定的壓縮格式的圖像數(shù)據(jù)、解碼處理后的非壓縮格式的圖像數(shù)據(jù)。作為壓縮格式，可以采用MPEG-2(Moving Picture Expert Group,運(yùn)動(dòng)圖像專(zhuān)家組)格式或Η. 264格式(或者M(jìn)PEG-4格式)。關(guān)于壓縮格式的圖像數(shù)據(jù)，對(duì)其進(jìn)行解碼處理并以幀為單位或以場(chǎng)為単位來(lái)進(jìn)行輸入。在下面的說(shuō)明中，對(duì)于輸入影像，以幀為単位來(lái)進(jìn)行圖像處理，但也可以以場(chǎng)為單位來(lái)進(jìn)行同樣的圖像處理。另外，能夠采用YUV形式、RGB形式、或者其它顏色空間的描述形式來(lái)作為輸入影像的顔色格式。人物區(qū)域檢測(cè)部100對(duì)輸入影像的各幀進(jìn)行人物區(qū)域的檢測(cè)處理。能采用各種的方法來(lái)作為人物區(qū)域檢測(cè)處理方法。例如，計(jì)算出預(yù)先取得的背景圖像和輸入影像之間的差分(后面稱(chēng)作“差分圖像”)，通過(guò)執(zhí)行閾值處理，從而僅提取輸入影像中的人物區(qū)域。也可以從各幀中提取表示輸入影像和背景圖像之間的差分的差分圖像，或者也可以將各幀分割成多個(gè)區(qū)域，針對(duì)各分割部分來(lái)提取差分圖像。即，對(duì)輸入影像的各幀的每個(gè)分割部分判定是否存在運(yùn)動(dòng)物體(人物以外的動(dòng)物)，計(jì)算出不存在運(yùn)動(dòng)物體的狀態(tài)下的影像和背景圖像之間的差分來(lái)提取人物區(qū)域。另外，關(guān)于對(duì)差分圖像實(shí)施的閾值處理中所使用的閾值，既可以將整個(gè)畫(huà)面設(shè)置為一祥，也可以對(duì)各畫(huà)面區(qū)域進(jìn)行適宜的設(shè)定。例如，可以對(duì)信息隨時(shí)間的變動(dòng)大的畫(huà)面區(qū)域増大閾值，另一方面，對(duì)信息隨時(shí)間的變動(dòng)少且穩(wěn)定的畫(huà)面區(qū)域減少閾值。從輸入影像提取出的人物區(qū)域按每個(gè)接近的區(qū)域被分組，對(duì)各組分配単獨(dú)的ID (識(shí)別信息)，與各ID對(duì)應(yīng)的區(qū)域構(gòu)成人物區(qū)域。作為人物區(qū)域的描述方法能夠應(yīng)用各種方法。例如可以代入與表示各ID所對(duì)應(yīng)的區(qū)域的背景的值不同的值，并計(jì)算出表示代入后所構(gòu)成的ニ維信息的遮蔽(mask)信息。將如此計(jì)算出的人物區(qū)域與輸入影像一起輸出給人物朝向判定部110。人物朝向判定部110基于輸入影像和人物區(qū)域來(lái)判定人物的朝向。人物的朝向基于臉的朝向、人物的運(yùn)動(dòng)方向、以及人物的服裝的対稱(chēng)性來(lái)決定。這是因?yàn)槿宋锏某蚺c臉的朝向、人物的動(dòng)作強(qiáng)烈相關(guān)。一般而言，由于服裝具有左右対稱(chēng)的花紋圖案的情況較多，因此能將服裝的対稱(chēng)性應(yīng)用在人物是否是正面朝向的判定中。將這些信息用在輸入圖像的人物區(qū)域中所存在的人物的朝向判定中。關(guān)于人物朝向判定中使用的詳細(xì)信息，將在后 面敘述。不需要將臉的朝向、人物的運(yùn)動(dòng)的朝向、以及服裝的対稱(chēng)性全部用在人物朝向判定中，也可以基于這些信息中的至少I(mǎi)個(gè)信息來(lái)進(jìn)行人物朝向的判定。在此，按每個(gè)ID對(duì)應(yīng)區(qū)域來(lái)計(jì)算出人物朝向。例如，將人物朝向劃分為正面、背面以及方向未定(即不能判定人物方向)這3個(gè)區(qū)分。將所計(jì)算出的人物朝向輸出給人物服裝特征提取部130。另外，不需要將人物朝向限定為正面、背面以及方向未定這3個(gè)區(qū)分，也可以細(xì)化為4個(gè)區(qū)分以上。服裝部位分離部120對(duì)輸入影像、人物區(qū)域以及背景區(qū)域進(jìn)行輸入。服裝部位分離部120基于這些信息將人物的服裝分離為多個(gè)部位。背景區(qū)域是表示按照人物區(qū)域在背景上的位置而變化的人物所能被看到的樣子的信息。例如，在攝像機(jī)的攝像范圍中，在地板上存在人物區(qū)域的下端(腳、鞋子等)的情況下，認(rèn)為該背景區(qū)域使人物的全身可視化。另ー方面，在攝像機(jī)的攝像范圍中存在桌子、書(shū)架等障礙物，人物區(qū)域的下端與障礙物接觸的情況下，認(rèn)為該背景區(qū)域僅使人物的一部分(例如上半身)可視化。如此，在攝像機(jī)的攝像范圍中存在地板的情況下，標(biāo)記為能對(duì)人物的整體像進(jìn)行可視化的背景區(qū)域，另ー方面，將障礙物的上側(cè)標(biāo)記為能將人物的一部分(例如上本身)進(jìn)行可視化的背景區(qū)域。由于在監(jiān)視攝像機(jī)中將攝像范圍固定，因此只要取得一次背景區(qū)域即可。作為該背景區(qū)域的取得方法，監(jiān)視者(或操作人員)人為地對(duì)背景區(qū)域進(jìn)行標(biāo)記來(lái)取得背景區(qū)域。在監(jiān)視攝像機(jī)的攝像范圍在多個(gè)固定位置變化的情況下，對(duì)各固定位置人為地對(duì)背景區(qū)域進(jìn)行標(biāo)記，從而取得背景區(qū)域。在監(jiān)視攝像機(jī)的攝像范圍連續(xù)變化的情況下，先人為地臨時(shí)對(duì)背景區(qū)域進(jìn)行標(biāo)記以取得背景區(qū)域，再追隨監(jiān)視攝像機(jī)的運(yùn)動(dòng)，來(lái)自動(dòng)地變更背景區(qū)域。具體地，通過(guò)用現(xiàn)有技術(shù)的特征點(diǎn)提取方法自動(dòng)地提取書(shū)架、桌子的角等特征點(diǎn)，將追隨攝像機(jī)的運(yùn)動(dòng)而在攝像范圍內(nèi)移動(dòng)的特征點(diǎn)在幀間建立對(duì)應(yīng)，由此能追蹤各背景區(qū)域中的人物區(qū)域的移動(dòng)。服裝特征提取部130基于輸入影像、從人物區(qū)域提取部100所輸出的人物區(qū)域、以及從服裝部位分離部120所輸出的服裝部位分離信息，按人物的每個(gè)部位提取人物區(qū)域中的視覺(jué)特征。例如，服裝部位分離信息是將人物的圖像分離為上半身和下半身的信息，且指定了其分離位置的情況下，從人物區(qū)域中的比分離位置更靠進(jìn)上側(cè)的部分中提取上半身視覺(jué)特征，從人物區(qū)域中的比分離位置更靠進(jìn)下側(cè)提取下半身的視覺(jué)特征。也可以根據(jù)人物區(qū)域的上半身部分以及下半身部分來(lái)判定人物的臉部分和腳部分，并提取除了這些部分以外的視覺(jué)特征。如此從人物區(qū)域中提取的視覺(jué)特征與人物的各部分建立對(duì)應(yīng)地被輸出。例如，將上半身的視覺(jué)特征與表示是人物的上半身的索引組合來(lái)進(jìn)行輸出。另外，也可以與從人物朝向判定部110輸出的人物朝向組合來(lái)進(jìn)行輸出。例如，在人物朝向是正面方向的情況下，與表示該正面方向的索引一起進(jìn)行輸出。在人物朝向是背面方向(或者側(cè)面方向)的情況下，與表示該背面方向(或者側(cè)面方向)的索引一起進(jìn)行輸出。在人物朝向是方向不定的情況下，與表示方向不定的索引(例如具有特定的值的索引)一起進(jìn)行輸出。視覺(jué)特征是表示人物的服裝的顔色、花紋等的特征。在用HSV顔色空間來(lái)表現(xiàn)視覺(jué)特征的情況下，將人物區(qū)域的像素信息變換為色調(diào)(Hue)、彩度(Saturation)以及明度(Value)，通過(guò)進(jìn)ー步進(jìn)行量子化來(lái)生成HSV直方圖。在如IS0/IEC 15938-3所規(guī)定的MPEG-7的Dominant Color Descriptor那樣將代表色作為視覺(jué)特征的情況下,進(jìn)行人物區(qū)域的顔色分割，在各分割區(qū)分內(nèi)檢索主導(dǎo)顏色并將其作為視覺(jué)特征。除了上述的方法以外，還能如MPEG-7的色彩布局那樣，使用表現(xiàn)顏色的各種視覺(jué)特征。在使用邊緣直方圖來(lái)作為 表現(xiàn)花紋的視覺(jué)特征的情況下，提取人物區(qū)域內(nèi)的各方向的邊緣來(lái)生成邊緣直方圖。在基于Wavelet方的視覺(jué)特征的情況下,對(duì)人物區(qū)域進(jìn)行Wavelet變換,計(jì)算出Wavelet系數(shù)。將該Wavelet系數(shù)或者其統(tǒng)計(jì)值(即Wavelet系數(shù)的方向分量的平均值、離散等)作為視覺(jué)特征。進(jìn)而，也可以如MPEG-7的Homogeneous Texture那樣,使用與花紋相關(guān)的各種視覺(jué)特征。另外，視覺(jué)特征并不需要包含顏色以及花紋兩種成分，也可以只包含顏色以及花紋的任一一方。進(jìn)而，視覺(jué)特征也可以包含顏色以及花紋以外的成分。將如上述那樣提取出的人物的服裝的視覺(jué)特征作為服裝特征保存在服裝特征保存部140中。能使用各種形式來(lái)作為服裝特征的保存形式。例如，以固定時(shí)間長(zhǎng)的時(shí)間為單位來(lái)劃分輸入影像，以各時(shí)間為單位來(lái)保存文件?；蛘?，在影像的錄像時(shí)間較短的情況下，以各影像為單位來(lái)保存文件。圖6示出視覺(jué)特征的保存形式的一例。在此，接著頭文件信息來(lái)按每個(gè)人物區(qū)域來(lái)依次保存視覺(jué)特征。對(duì)于各人物區(qū)域，依次保存人物區(qū)域ID、服裝部位索引、人物朝向索引、顔色的視覺(jué)特征以及花紋的視覺(jué)特征。另外，視覺(jué)特征的保存形式并不限于圖6的形式，可以是能唯一特定各人物區(qū)域的任意形式。接下來(lái)，詳述圖I所示的人物服裝特征提取裝置的動(dòng)作。圖5是表示人物服裝特征提取裝置的處理整體的流程圖。首先，人物區(qū)域檢測(cè)部100從輸入影像中按每幀來(lái)檢測(cè)人物區(qū)域(步驟S100)。接下來(lái)，人物朝向判定部110判定人物區(qū)域內(nèi)的人物的朝向(步驟S110)。關(guān)于該詳細(xì)的處理內(nèi)容在后面進(jìn)行敘述。接下來(lái)，服裝部位分離部120將人物的服裝分離為多個(gè)部位(步驟S120)。關(guān)于其詳細(xì)的處理內(nèi)容在后面敘述。接下來(lái)，服裝特征提取部130提取人物的服裝特征(步驟S130)。另外，步驟SllO和步驟S120的順序反過(guò)來(lái)也沒(méi)關(guān)系。人物服裝特征提取裝置基于人物的朝向和服裝部位的分離可能性來(lái)提取服裝特征，并保存。因此，能提供使具有因每個(gè)人物的朝向或每個(gè)服裝部位而不同的視覺(jué)特征的服裝的檢索成為可能的信息(即服裝特征信息)。接下來(lái)，詳述人物服裝特征提取裝置的人物朝向判定部110的動(dòng)作。圖3是表示人物朝向判定部110的內(nèi)部構(gòu)成的框圖。人物朝向判定部110由臉朝向判定部300、人物運(yùn)動(dòng)解析部310、服裝対稱(chēng)性判定部320、以及綜合朝向判定部330構(gòu)成。
臉朝向判定部300根據(jù)輸入影像判定人物的臉的朝向，并將其判定結(jié)果輸出給綜合朝向判定部330。人物運(yùn)動(dòng)解析部310基于輸入影像和人物區(qū)域來(lái)解析人物運(yùn)動(dòng)，并將其解析結(jié)果輸出給綜合朝向判定部330。服裝對(duì)稱(chēng)性判定部320基于輸入影像和人物區(qū)域來(lái)判定服裝對(duì)稱(chēng)性，并將其判定結(jié)果輸出給綜合朝向判定部330。綜合朝向判定部330基于人物的臉的朝向、人物運(yùn)動(dòng)以及服裝對(duì)稱(chēng)性來(lái)判定人物朝向。接下來(lái)，詳述人物朝向判定部110的動(dòng)作。臉朝向判定部300對(duì)輸入影像的各幀檢測(cè)人物的臉區(qū)域，并且，估計(jì)臉的朝向。作為人物的臉區(qū)域的檢測(cè)以及臉的朝向的估計(jì)方法，能使用現(xiàn)有的各種方法。在輸入圖像的各幀中檢測(cè)出多個(gè)人物的臉的情況下，估計(jì)各人物的臉的朝向。人物的臉的朝向所涉及的信息是按照各個(gè)人物的每張臉匯總了臉的位置、朝向(特別是左右方向的朝向)的集合的信息。在輸入圖像中未檢測(cè)出人物的臉的情況下，輸出表示未檢測(cè)出人物的臉的信息。在人物的臉區(qū)域的檢測(cè)和估計(jì)臉的朝向時(shí)，還算出表示檢測(cè)/估計(jì)的正確性的可靠度，并將其添加到人物的臉的朝向所涉及的信息中。將如此判定的人物的臉的朝向輸出給綜合朝向判定部330。人物運(yùn)動(dòng)解析部310基于輸入影像和人物區(qū)域的時(shí)間序列信息來(lái)解析人物區(qū)域 的運(yùn)動(dòng)。例如，按每幀檢測(cè)人物區(qū)域內(nèi)的特征點(diǎn)，并在幀間追蹤特征點(diǎn)，由此來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)?；蛘撸诟鲙?jì)算出人物區(qū)域的重心，通過(guò)追蹤該移動(dòng)來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)。此時(shí)，也可以基于在時(shí)間序列上前后的兩幀來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)。或者，也可以基于眾多的幀來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)。在人物區(qū)域的運(yùn)動(dòng)比較小的情況下，在幀間計(jì)算出光流(optical flow),基于該光流來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)。這種情況下,也可以通過(guò)計(jì)算出人物區(qū)域內(nèi)的像素間的光流的平均值，或者進(jìn)行中值等的非線性統(tǒng)計(jì)處理，來(lái)估計(jì)人物區(qū)域的運(yùn)動(dòng)。將估計(jì)出的人物區(qū)域的運(yùn)動(dòng)(即人物運(yùn)動(dòng))輸出給綜合朝向判定部330。服裝對(duì)稱(chēng)性判定部320基于輸入影像和人物區(qū)域來(lái)判定服裝的對(duì)稱(chēng)性。作為判定服裝的對(duì)稱(chēng)性的方法，能考慮各種方法，例如可以調(diào)查在水平方向上掃描人物區(qū)域的像素而得到的像素函數(shù)是否具有以人物區(qū)域的中心附近為軸的對(duì)稱(chēng)性。具體地，按照數(shù)學(xué)式(I)來(lái)計(jì)算出對(duì)稱(chēng)性的偏差。[數(shù)學(xué)式I]
權(quán)利要求
1.ー種人物服裝特征提取裝置，其特征在于，具備 人物區(qū)域檢測(cè)部，其從輸入影像中檢測(cè)出人物區(qū)域； 人物朝向判定部，其判定人物區(qū)域中的人物的朝向； 服裝部位分離部，其判定人物區(qū)域中的人物的服裝的分離可能性，并輸出服裝部位分離信息； 服裝特征提取部，其考慮人物的朝向以及服裝部位分離信息以提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征；和 服裝特征保存部，其保存所提取出的服裝特征。
2.根據(jù)權(quán)利要求I所述的人物服裝特征提取裝置，其特征在干， 所述人物朝向判定部基于人物的臉的朝向、人物的運(yùn)動(dòng)以及服裝的對(duì)稱(chēng)性的至少ー者來(lái)判定人物的朝向。
3.根據(jù)權(quán)利要求I所述的人物服裝特征提取裝置，其特征在干， 由所述人物朝向判定部所判定的人物的朝向表示正面方向、背面方向以及方向不定中的至少ー者。
4.根據(jù)權(quán)利要求I所述的人物服裝特征提取裝置，其特征在干， 所述服裝部位分離部基于輸入影像、人物區(qū)域以及背景區(qū)域來(lái)判定人物的服裝部位的分離可能性。
5.根據(jù)權(quán)利要求4所述的人物服裝特征提取裝置，其特征在干， 所述服裝部位分離部具備 區(qū)域形狀分析部，其分析人物區(qū)域的幾何學(xué)形狀來(lái)生成形狀分析信息； 可視部位判定部，其基于人物區(qū)域和背景區(qū)域而生成表示被可視化的人物的服裝部位的可視部位信息；和 綜合部位分離部，其基于形狀分析信息以及可視部位信息來(lái)判定人物的服裝部位的分離可能性，從而生成服裝部位分離信息。
6.ー種人物檢索裝置，其特征在于，具備 服裝特征檢索部，其基于表示人物服裝的種類(lèi)和顔色的服裝查詢(xún)文本來(lái)檢索服裝特征參數(shù)； 服裝特征查詢(xún)生成部，其基于服裝特征參數(shù)來(lái)輸出服裝特征查詢(xún)； 服裝特征對(duì)照部，其將從服裝特征保存部中檢索出的服裝特征與服裝特征查詢(xún)進(jìn)行對(duì)照，并輸出對(duì)照結(jié)果；和 人物檢索部，其基于對(duì)照結(jié)果來(lái)輸出人物檢索結(jié)果。
7.根據(jù)權(quán)利要求6所述的人物檢索裝置，其特征在干， 所述服裝部位保存部保存基于輸入影像的人物區(qū)域和表示人物的服裝部位的分離可能性的服裝部位分離信息而預(yù)先生成的服裝特征。
8.根據(jù)權(quán)利要求7所述的人物檢索裝置，其特征在干， 所述服裝部位保存部保存除了輸入影像的人物區(qū)域以及服裝部位分離信息之外還考慮了人物的朝向而生成的服裝特征。
9.根據(jù)權(quán)利要求6所述的人物檢索裝置，其特征在干， 所述服裝特征對(duì)照部按由服裝部位分離信息所指定的每個(gè)服裝部位來(lái)對(duì)照檢索服裝特征和服裝特征查詢(xún)。
10.根據(jù)權(quán)利要求6所述的人物檢索裝置，其特征在干， 所述人物檢索裝置還具備 人物區(qū)域檢測(cè)部，其從輸入影像中檢測(cè)出人物區(qū)域； 人物朝向判定部，其判定人物區(qū)域中的人物的朝向； 服裝部位分離部，其判定人物區(qū)域中的人物服裝的分離可能性，并輸出服裝部位分離信息；和 服裝特征提取部，其考慮人物的朝向以及服裝部位分離信息來(lái)提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征， 所述服裝特征保存部保存所提取出的服裝特征。
11.ー種服裝提取方法，其特征在干， 從輸入影像中檢測(cè)出人物區(qū)域， 判定人物區(qū)域中的人物的朝向， 判定人物區(qū)域中的人物服裝的分離可能性，來(lái)生成服裝部位分離信息， 考慮人物的朝向以及服裝部位分離信息來(lái)提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征，并進(jìn)行保存。
12.根據(jù)權(quán)利要求11所述的人物服裝特征提取方法，其特征在干， 基于人物的臉的朝向、人物的運(yùn)動(dòng)以及服裝的對(duì)稱(chēng)性的至少ー者來(lái)判定人物的朝向。
13.根據(jù)權(quán)利要求11所述的人物服裝特征提取方法，其特征在干， 人物的朝向表示正面方向、背面方向以及方向不定中的至少ー者。
14.根據(jù)權(quán)利要求11所述的人物服裝特征提取方法，其特征在干， 基于輸入影像、人物區(qū)域以及背景區(qū)域來(lái)判定人物的服裝部位的分離可能性。
15.根據(jù)權(quán)利要求14所述的人物服裝特征提取方法，其特征在干， 分析人物區(qū)域的幾何學(xué)形狀來(lái)生成形狀分析信息， 基于人物區(qū)域和背景區(qū)域而生成表示被可視化的人物的服裝部位的可視部位信息，基于形狀分析信息以及可視部位信息來(lái)判定人物的服裝部位的分離可能性，從而生成服裝部位分離信息。
16.—種人物檢索方法，其特征在于， 基于表示人物服裝的種類(lèi)和顔色的服裝查詢(xún)文本來(lái)檢索服裝特征參數(shù)， 基于服裝特征參數(shù)來(lái)生成服裝特征查詢(xún)， 將從服裝特征保存部檢索出的服裝特征與服裝特征查詢(xún)進(jìn)行對(duì)照，并輸出對(duì)照結(jié)果， 基于對(duì)照結(jié)果來(lái)輸出人物檢索結(jié)果。
17.根據(jù)權(quán)利要求16所述的人物檢索方法，其特征在干， 所述服裝特征保存部保存基于輸入影像的人物區(qū)域和表示人物的服裝部位的分離可能性的服裝部位分離信息而預(yù)先生成的服裝特征。
18.根據(jù)權(quán)利要求17所述的人物檢索方法，其特征在干， 所述服裝部位保存部保存除了輸入影像的人物區(qū)域以及服裝部位分離信息之外還考慮了人物的朝向而生成的服裝特征。
19.根據(jù)權(quán)利要求16所述的人物檢索方法，其特征在于，按由服裝部位分離信息所指定的每個(gè)服裝部位來(lái)對(duì)照檢索服裝特征和服裝特征查詢(xún)。
20.根據(jù)權(quán)利要求16所述的人物檢索方法，其特征在于， 從輸入影像中檢測(cè)出人物區(qū)域， 判定人物區(qū)域中的人物的朝向， 判定人物區(qū)域中的人物服裝的分離可能性，來(lái)生成服裝部位分離信息， 考慮人物的朝向以及服裝部位分離信息來(lái)提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征，并保存在所述服裝特征保存部中。
21.ー種程序，其特征在于，該程序以能由計(jì)算機(jī)讀取并執(zhí)行的格式描述了權(quán)利要求11到15所述的服裝特征提取方法。
22.—種程序，其特征在于，該程序以能由計(jì)算機(jī)讀取并執(zhí)行的格式描述了權(quán)利要求16到20所述的人物檢索方法。
全文摘要
從監(jiān)視攝像機(jī)的輸入影像中檢測(cè)出人物區(qū)域，判定該人物區(qū)域中的人物的朝向，并且判定人物服裝的分離可能性并生成服裝部位分離信息，進(jìn)而，考慮人物的朝向以及服裝部位分離信息來(lái)提取表示人物區(qū)域中的人物服裝的視覺(jué)特征的服裝特征?；谌宋锏哪樀某?、人物的運(yùn)動(dòng)以及服裝的對(duì)稱(chēng)性來(lái)判定人物的朝向。服裝部位分離信息基于人物區(qū)域的幾何學(xué)形狀的方向信息、和表示通過(guò)人物區(qū)域以及背景區(qū)域而可視化的人物的服裝部位的可視部位信息來(lái)生成?；诒硎救宋锓b的種類(lèi)和顏色的服裝查詢(xún)文本和提取出的人物的服裝特征的對(duì)照結(jié)果來(lái)檢索人物。
文檔編號(hào)G06T1/00GK102687171SQ20108004598
公開(kāi)日2012年9月19日 申請(qǐng)日期2010年10月13日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者大網(wǎng)亮磨, 平川康史, 高橋祐介 申請(qǐng)人:日本電氣株式會(huì)社