人物服裝特征提取裝置及方法
【專利說明】
[0001] 本申請是申請?zhí)枮?01080045981. 1、申請日為2010年10月13日、發(fā)明名稱為"人 物服裝特征提取裝置、人物檢索裝置及其處理方法"的發(fā)明專利申請的分案申請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及從輸入影像中提取人物服裝特征的人物服裝特征提取裝置。另外，本 發(fā)明涉及基于從輸入影像中提取出的人物服裝特征來檢索人物的人物檢索裝置。進而，本 發(fā)明涉及人物服裝特征提取處理方法以及人物檢索處理方法。
[0003] 本申請基于2009年10月16日在日本提出的特愿2009-239360號專利申請而主 動優(yōu)先權(quán)，并將其內(nèi)容引用于此。
【背景技術(shù)】
[0004] 現(xiàn)有技術(shù)中，開發(fā)了各種人物檢索方法以及監(jiān)視系統(tǒng)、和圖像保存檢索系統(tǒng)。專利 文獻1公開了在監(jiān)視系統(tǒng)中從所保存的影像中檢索人物的人物檢索方法。在該監(jiān)視系統(tǒng) 中，在錄制影像時，提取人物的臉以及服裝的信息并保存在數(shù)據(jù)庫中。在人物檢索時，將保 存在數(shù)據(jù)庫中的臉/服裝特征與作為查詢所被賦予的圖像的臉/服裝特征進行比較，來判 定是否為同一人物。
[0005] 參照圖10來詳述專利文獻1中所公開的人物檢索系統(tǒng)。圖10表示人物檢索裝置 的構(gòu)成，由臉區(qū)域檢測/臉特征提取部1000、1020、穿衣區(qū)域檢測/穿衣特征提取部1010、 1030、穿衣特征數(shù)據(jù)庫1040、臉特征數(shù)據(jù)庫1050、臉相似度計算部1060、穿衣相似度算出部 1070、以及人物相同性判定部1080構(gòu)成。
[0006] 臉區(qū)域檢測/臉特征提取部1000從由監(jiān)視系統(tǒng)取得的影像中進行臉區(qū)域檢測以 及臉特征提取，并將提取出的臉特征輸出到臉特征數(shù)據(jù)庫1050中。穿衣區(qū)域檢測/穿衣特 征提取部1010從由監(jiān)視系統(tǒng)取得的影像中進行穿衣區(qū)域檢測以及穿衣特征提取，并將提 取出的穿衣特征輸出到穿衣特征數(shù)據(jù)庫1040中。另一方面，臉區(qū)域檢測/臉特征提取部 1020從所輸入的查詢圖像中進行臉區(qū)域檢測以及臉特征提取，并將查詢臉特征輸出給穿衣 相似度計算部1070。臉相似度計算部1060比較保存于臉特征數(shù)據(jù)庫1050中的臉特征和從 臉區(qū)域檢測/臉特征提取部1020輸入的查詢臉特征，并計算出臉相似度，將計算結(jié)果輸出 給人物相同性判定部1080。穿衣相似度計算部1070比較保存在穿衣特征數(shù)據(jù)庫1040中的 穿衣特征和從穿衣區(qū)域檢測/穿衣特征提取部1030輸入的查詢穿衣特征，并計算出穿衣相 似度，將計算結(jié)果輸出給人物相同性判定部1080。人物相同性判定部1080基于臉相似度計 算部1060所計算出的臉相似度和穿衣相似度計算部1070所計算出的穿衣相似度來判定人 物的相同性，并輸出人物檢索結(jié)果。
[0007] 接下來，說明圖10所示的人物檢索裝置的動作。首先，將從監(jiān)視系統(tǒng)取得的影像 輸入到臉區(qū)域檢測/臉特征提取部1000以及穿衣區(qū)域檢測/穿衣特征提取部1010。臉區(qū) 域檢測/臉特征提取部1000對輸入影像的各幀進行臉區(qū)域檢測，對所檢測出的臉區(qū)域進行 臉特征提取。從由輸入影像檢測出的臉區(qū)域中提取的臉特征被保存到臉特征數(shù)據(jù)庫1050 中。
[0008] 穿衣區(qū)域檢測/穿衣特征提取部1010從輸入影像中檢測穿衣區(qū)域，提取其視覺特 征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征數(shù)據(jù)庫1040中。
[0009] 人物檢索時，將查詢圖像輸入到臉區(qū)域檢測/臉特征提取部1020以及穿衣區(qū)域檢 測/穿衣特征提取部1030。臉區(qū)域檢測/臉特征提取部1020以及穿衣區(qū)域檢測/穿衣特 征提取部1030與所述臉區(qū)域檢測/臉特征提取部1000以及穿衣區(qū)域檢測/穿衣特征提取 部1010發(fā)揮相同的作用，提取查詢臉特征以及查詢穿衣特征。
[0010] 臉相似度計算部1060將查詢臉特征與保存在臉特征數(shù)據(jù)庫105中的臉特征進行 比較，計算出臉相似度。另一方面，穿衣相似度計算部1070將查詢穿衣特征與保存在穿衣 特征數(shù)據(jù)庫1040中的穿衣特征進行比較，計算出穿衣相似度。人物相同性判定部1080綜 合臉相似度和穿衣相似度來判定人物相同性，并據(jù)此輸出人物檢索結(jié)果。
[0011] 專利文獻2公開了一種圖像保存/檢索系統(tǒng)，檢索具有與表現(xiàn)人類主觀感知的色 調(diào)的色覺語言相符的圖像特征的圖像數(shù)據(jù)。在此，預(yù)先設(shè)定人類的自然語言所包含的色調(diào) 表現(xiàn)與顏色空間的像素的對應(yīng)關(guān)系。另外，從保存在數(shù)據(jù)庫中的圖像數(shù)據(jù)中提取像素，計算 出與色調(diào)表現(xiàn)之間的相似度并保存。若賦予色調(diào)表現(xiàn)作為查詢，則調(diào)查該色調(diào)表現(xiàn)與圖像 數(shù)據(jù)之間的相似度，檢索相似度高的圖像數(shù)據(jù)并顯示。
[0012] 在先技術(shù)文獻
[0013] 專利文獻
[0014] 專利文獻1 :JP特開2009-199322號公報
[0015] 專利文獻2 :JP特開2009-3581號公報 [0016]發(fā)明的概要
[0017] 發(fā)明要解決的課題
[0018]圖10所示的人物檢索系統(tǒng)是僅接受查詢圖像的系統(tǒng)，不能進行基于查詢文本的 人物檢索。即，是從查詢圖像中提取視覺特征（例如穿衣的顏色或花紋的信息）來進行人 物檢索的系統(tǒng)，無法將表示"紅色衣服"這樣的語言表現(xiàn)的查詢文本變換為視覺特征來進行 人物檢索。另外，在從輸入影像檢測穿衣區(qū)域時，不考慮人物的朝向，不能將由人物的朝向 不同而引起的能看到的穿衣的差異納入考慮的范疇。進而，由于提取穿衣區(qū)域整體的視覺 特征，因此在以"白色上衣配藍色褲子"這樣的上半身/下半身穿衣的視覺特征不同的情況 下，不能將上半身/下半身的穿衣的差異反映到人物檢索中。因此，即使檢索者要檢索正面 朝向的人物，也會輸出符合條件的人物以外的檢索結(jié)果，另外，即使想要僅以上半身的穿衣 來執(zhí)行人物檢索，也會檢索出上半身以外的穿衣部分的視覺特征類似的人物。這樣，現(xiàn)有的 人物檢索系統(tǒng)所輸出的人物檢索結(jié)果中包含較多的錯誤。
[0019] 專利文獻2的圖像保存/檢索系統(tǒng)針對如"紅色衣服"那樣由一種顏色構(gòu)成的穿 衣能進行基于查詢文本的人物檢索，但由于查詢文本僅能指定一種顏色，因此不能使用多 種顏色進行人物檢索。與專利文獻1相同，不能將人物朝向的差異、人物的上半身/下半身 的視覺特征的差異反映到人物檢索結(jié)果中。

【發(fā)明內(nèi)容】

[0020] 用于解決課題的手段
[0021] 本發(fā)明鑒于上述問題而提出，其目的在于提供一種能正確地提取包含在影像中的 人物服裝的特征的人物服裝特征提取裝置。
[0022] 另外，本發(fā)明提供一種對由影像取得的人物服裝特征和查詢文本進行對照來進行 人物檢索的人物檢索裝置。
[0023] 進而，本發(fā)明提供一種描述了人物服裝特征提取處理方法和人物檢索處理方法的 程序。
[0024] 本發(fā)明所涉及的人物服裝特征提取裝置具備：人物區(qū)域檢測部，其從輸入影像中 檢測出人物區(qū)域；人物朝向判定部，其判定人物區(qū)域中的人物的朝向；服裝部位分離部，其 判定人物區(qū)域中的人物服裝的分離可能性，并輸出服裝部位分離信息；服裝特征提取部，其 考慮人物的朝向以及服裝部位分離信息來提取人物區(qū)域中表示人物服裝的視覺特征的服 裝特征；和服裝特征保存部，其保存所提取出的服裝特征。
[0025] 本發(fā)明所涉及的人物檢索裝置具備：服裝特征檢索部，其基于表示人物的服裝的 種類和顏色的服裝查詢文本來檢索服裝特征參數(shù)；服裝特征查詢生成部，其基于服裝特征 參數(shù)來輸出服裝特征查詢；服裝特征對照部，其將從服裝特征保存部中檢索出的服裝特征 與服裝特征查詢進行對照，并輸出其對照結(jié)果；和人物檢索部，其基于對照結(jié)果來輸出人物 檢索結(jié)果。
[0026] 本發(fā)明所涉及的人物服裝特征提取方法執(zhí)行如下處理：從輸入影像中檢測出人物 區(qū)域的人物區(qū)域檢測處理；判定人物區(qū)域中的人物的朝向的人物朝向判定處理；判定人物 區(qū)域中的人物服裝的分離可能性，來生成服裝部位分離信息的人物服裝部位分離處理；以 及考慮人物的朝向以及服裝部位分離信息來提取表示人物區(qū)域中的人物服裝的視覺特征 的服裝特征的服裝特征提取處理。
[0027] 本發(fā)明所涉及的人物檢索方法執(zhí)行如下處理：基于表示人物服裝的種類和顏色的 服裝查詢文本來提取服裝特征參數(shù)的服裝信息提取處理；基于服裝特征參數(shù)來生成服裝特 征查詢的服裝特征查詢處理；將從服裝特征保存部檢索出的服裝特征與服裝特征查詢進行 對照的服裝特征對照處理；以及基于其對照結(jié)果來輸出人物檢索結(jié)果的人物檢索處理。
[0028] 本發(fā)明提供以能由計算機讀取并執(zhí)行的格式來描述上述的服裝特征提取方法的 程序。另外，本發(fā)明提供以能由計算機讀取并執(zhí)行的格式來描述上述的人物檢索方法的程 序。
[0029] 發(fā)明效果
[0030] 本發(fā)明從由監(jiān)視攝像機等取得的影像中檢測出人物區(qū)域，并正確地提取該人物區(qū) 域中所存在的人物的服裝特征，并且基于所提取出的人物服裝特征來輸出接近于檢索者的 意圖的人物檢索結(jié)果。
【附圖說明】
[0031] 圖1是表示本發(fā)明的實施例所涉及的人物服裝特征提取裝置的構(gòu)成的框圖。
[0032] 圖2是表示本發(fā)明的實施例所涉及的人物檢索裝置的構(gòu)成的框圖。
[0033] 圖3是表示人物朝向判定部的內(nèi)部構(gòu)成的框圖。
[0034] 圖4是表示服裝部