位分離部的內(nèi)部構(gòu)成的框圖。
[0035] 圖5是表示人物服裝特征提取裝置的處理的流程圖。
[0036] 圖6是示出表示人物服裝特征的視覺(jué)特征的保存形式的一例的圖。
[0037] 圖7是表示人物朝向判定部的處理的流程圖。
[0038] 圖8是表示服裝部位分離部的處理的流程圖。
[0039] 圖9是表示人物檢索裝置的處理的流程圖。
[0040] 圖10是表示現(xiàn)有的人物檢索系統(tǒng)的構(gòu)成的框圖。
【具體實(shí)施方式】
[0041] 參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。
[0042]圖1是表示本發(fā)明所涉及的人物服裝特征提取裝置的構(gòu)成的框圖。人物服裝特征 提取裝置由人物區(qū)域檢測(cè)部100、人物朝向判定部110、服裝部位分離部120、和服裝特征提 取部130、以及服裝特征保存部140構(gòu)成。
[0043] 人物服裝特征提取裝置能通過(guò)使由CPU、ROM、RAM等構(gòu)成的計(jì)算機(jī)安裝人物服裝 特征提取程序來(lái)實(shí)現(xiàn)。也可以將人物服裝特征提取程序（或者信息收集程序）保存在各種 存儲(chǔ)介質(zhì)中，或者經(jīng)由通信介質(zhì)來(lái)傳輸。存儲(chǔ)介質(zhì)包括軟盤(pán)、硬盤(pán)、磁盤(pán)、光磁盤(pán)、CD-ROM、 DVD、ROM盒式磁盤(pán)、帶電源備份的RAM盒式磁盤(pán)、閃存盒式磁盤(pán)、以及非易失性RAM盒式磁 盤(pán)。通信介質(zhì)包括電話(huà)線(xiàn)路等有線(xiàn)通信介質(zhì)、微波線(xiàn)路等無(wú)線(xiàn)通信介質(zhì)以及英特網(wǎng)。
[0044] 人物區(qū)域檢測(cè)部100檢測(cè)存在于輸入影像中的人物區(qū)域。從輸入影像中檢測(cè)出 的人物區(qū)域被輸入到人物朝向判定部110、服裝部位分離部210以及服裝特征提取部130。 人物朝向判定部110判定輸入影像的人物區(qū)域中的人物的朝向，并輸出給服裝特征提取部 130。服裝部位分離部120判定存在于輸入影像的人物區(qū)域中的人物的服裝能否按各部位 分離，并將服裝部位分離信息輸出給服裝特征提取部130。詳細(xì)而言，基于輸入影像的人物 區(qū)域以及背景區(qū)域來(lái)計(jì)算出服裝部位分離信息，并輸出給服裝特征提取部130。服裝特征提 取部130基于輸入影像的人物區(qū)域、人物朝向以及服裝部位分離信息來(lái)提取人物的服裝的 視覺(jué)信息，并輸出給服裝特征保存部140。換言之，從輸入影像的人物區(qū)域、人物朝向、以及 服裝部位分離信息中提取出人物服裝特征并輸出給人物服裝特征保存部140。服裝特征保 存部140從服裝特征提取部130輸入人物服裝特征并將其保存。
[0045] 接下來(lái)，詳述圖1所示的人物服裝特征提取裝置的動(dòng)作。人物區(qū)域檢測(cè)部100輸 入期望的影像作為圖像處理對(duì)象，能夠受理規(guī)定的壓縮格式的圖像數(shù)據(jù)、解碼處理后的非 壓縮格式的圖像數(shù)據(jù)。作為壓縮格式，可以采用MPEG-2(MovingPictureExpertGroup， 運(yùn)動(dòng)圖像專(zhuān)家組）格式或H. 264格式（或者M(jìn)PEG-4格式）。關(guān)于壓縮格式的圖像數(shù)據(jù)，對(duì) 其進(jìn)行解碼處理并以幀為單位或以場(chǎng)為單位來(lái)進(jìn)行輸入。在下面的說(shuō)明中，對(duì)于輸入影像， 以幀為單位來(lái)進(jìn)行圖像處理，但也可以以場(chǎng)為單位來(lái)進(jìn)行同樣的圖像處理。另外，能夠采用 YUV形式、RGB形式、或者其它顏色空間的描述形式來(lái)作為輸入影像的顏色格式。
[0046] 人物區(qū)域檢測(cè)部100對(duì)輸入影像的各幀進(jìn)行人物區(qū)域的檢測(cè)處理。能采用各種的 方法來(lái)作為人物區(qū)域檢測(cè)處理方法。例如，計(jì)算出預(yù)先取得的背景圖像和輸入影像之間的 差分（后面稱(chēng)作"差分圖像"），通過(guò)執(zhí)行閾值處理，從而僅提取輸入影像中的人物區(qū)域。也 可以從各幀中提取表示輸入影像和背景圖像之間的差分的差分圖像，或者也可以將各幀分 割成多個(gè)區(qū)域，針對(duì)各分割部分來(lái)提取差分圖像。即，對(duì)輸入影像的各幀的每個(gè)分割部分判 定是否存在運(yùn)動(dòng)物體（人物以外的動(dòng)物），計(jì)算出不存在運(yùn)動(dòng)物體的狀態(tài)下的影像和背景 圖像之間的差分來(lái)提取人物區(qū)域。另外，關(guān)于對(duì)差分圖像實(shí)施的閾值處理中所使用的閾值， 既可以將整個(gè)畫(huà)面設(shè)置為一樣，也可以對(duì)各畫(huà)面區(qū)域進(jìn)行適宜的設(shè)定。例如，可以對(duì)信息隨 時(shí)間的變動(dòng)大的畫(huà)面區(qū)域增大閾值，另一方面，對(duì)信息隨時(shí)間的變動(dòng)少且穩(wěn)定的畫(huà)面區(qū)域 減少閾值。
[0047]從輸入影像提取出的人物區(qū)域按每個(gè)接近的區(qū)域被分組，對(duì)各組分配單獨(dú)的 ID(識(shí)別信息），與各ID對(duì)應(yīng)的區(qū)域構(gòu)成人物區(qū)域。作為人物區(qū)域的描述方法能夠應(yīng)用各 種方法。例如可以代入與表示各ID所對(duì)應(yīng)的區(qū)域的背景的值不同的值，并計(jì)算出表示代入 后所構(gòu)成的二維信息的遮蔽（mask)信息。將如此計(jì)算出的人物區(qū)域與輸入影像一起輸出 給人物朝向判定部110。
[0048]人物朝向判定部110基于輸入影像和人物區(qū)域來(lái)判定人物的朝向。人物的朝向基 于臉的朝向、人物的運(yùn)動(dòng)方向、以及人物的服裝的對(duì)稱(chēng)性來(lái)決定。這是因?yàn)槿宋锏某蚺c臉 的朝向、人物的動(dòng)作強(qiáng)烈相關(guān)。一般而言，由于服裝具有左右對(duì)稱(chēng)的花紋圖案的情況較多， 因此能將服裝的對(duì)稱(chēng)性應(yīng)用在人物是否是正面朝向的判定中。將這些信息用在輸入圖像的 人物區(qū)域中所存在的人物的朝向判定中。關(guān)于人物朝向判定中使用的詳細(xì)信息，將在后面 敘述。不需要將臉的朝向、人物的運(yùn)動(dòng)的朝向、以及服裝的對(duì)稱(chēng)性全部用在人物朝向判定 中，也可以基于這些信息中的至少1個(gè)信息來(lái)進(jìn)行人物朝向的判定。在此，按每個(gè)ID對(duì)應(yīng) 區(qū)域來(lái)計(jì)算出人物朝向。例如，將人物朝向劃分為正面、背面以及方向未定（即不能判定人 物方向）這3個(gè)區(qū)分。將所計(jì)算出的人物朝向輸出給人物服裝特征提取部130。另外，不需 要將人物朝向限定為正面、背面以及方向未定這3個(gè)區(qū)分，也可以細(xì)化為4個(gè)區(qū)分以上。
[0049] 服裝部位分離部120對(duì)輸入影像、人物區(qū)域以及背景區(qū)域進(jìn)行輸入。服裝部位分 離部120基于這些信息將人物的服裝分離為多個(gè)部位。
[0050] 背景區(qū)域是表示按照人物區(qū)域在背景上的位置而變化的人物所能被看到的樣子 的信息。例如，在攝像機(jī)的攝像范圍中，在地板上存在人物區(qū)域的下端（腳、鞋子等）的情 況下，認(rèn)為該背景區(qū)域使人物的全身可視化。另一方面，在攝像機(jī)的攝像范圍中存在桌子、 書(shū)架等障礙物，人物區(qū)域的下端與障礙物接觸的情況下，認(rèn)為該背景區(qū)域僅使人物的一部 分（例如上半身）可視化。如此，在攝像機(jī)的攝像范圍中存在地板的情況下，標(biāo)記為能對(duì)人 物的整體像進(jìn)行可視化的背景區(qū)域，另一方面，將障礙物的上側(cè)標(biāo)記為能將人物的一部分 (例如上本身）進(jìn)行可視化的背景區(qū)域。由于在監(jiān)視攝像機(jī)中將攝像范圍固定，因此只要取 得一次背景區(qū)域即可。作為該背景區(qū)域的取得方法，監(jiān)視者（或操作人員）人為地對(duì)背景區(qū) 域進(jìn)行標(biāo)記來(lái)取得該信息。在監(jiān)視攝像機(jī)的攝像范圍在多個(gè)固定位置變化的情況下，對(duì)各 固定位置人為地對(duì)背景區(qū)域進(jìn)行標(biāo)記，從而取得該信息。在監(jiān)視攝像機(jī)的攝像范圍連續(xù)變 化的情況下，先人為地臨時(shí)對(duì)背景區(qū)域進(jìn)行標(biāo)記以取得該信息，再追隨監(jiān)視攝像機(jī)的運(yùn)動(dòng)， 來(lái)自動(dòng)地變更背景區(qū)域。具體地，通過(guò)用現(xiàn)有技術(shù)的特征點(diǎn)提取方法自動(dòng)地提取書(shū)架、桌子 的角等特征點(diǎn)，將追隨攝像機(jī)的運(yùn)動(dòng)而在攝像范圍內(nèi)移動(dòng)的特征點(diǎn)在幀間建立對(duì)應(yīng)，由此 能追蹤各背景區(qū)域中的人物區(qū)域的移動(dòng)。
[0051] 服裝特征提取部130基于輸入影像、從人物區(qū)域檢測(cè)部100所輸出的人物區(qū)域、以 及從服裝部位分離部120所輸出的服裝部位分離信息，按人物的每個(gè)部位提取人物區(qū)域中 的視覺(jué)特征。
[0052]例如，服裝部位分離信息是將人物的圖像分離為上半身和下半身的信息，且指定 了其分離位置的情況下，從人物區(qū)域中的比分離位置更靠進(jìn)上側(cè)的部分中提取上半身視覺(jué) 特征，從人物區(qū)域中的比分離位置更靠進(jìn)下側(cè)提取下半身的視覺(jué)特征。也可以根據(jù)人物區(qū) 域的上半身部分以及下半身部分來(lái)判定人物的臉部分和腳部分，并提取除了這些部分以外 的視覺(jué)特征。如此從人物區(qū)域中提取的視覺(jué)特征與人物的各部分建立對(duì)應(yīng)地被輸出。例如， 將上半身的視覺(jué)特征與表示是人物的上半身的索引組合來(lái)進(jìn)行輸出。另外，也可以與從人 物朝向判定部110輸出的人物朝向組合來(lái)進(jìn)行輸出。例如，在人物朝向是正面方向的情況 下，與表示該正面方向的索引一起進(jìn)行輸出。在人物朝向是背面方向（或者側(cè)面方向）的 情況下，與表示該背面方向（或者側(cè)面方向）的索引一起進(jìn)行輸出。在人物朝向是方向不 定的情況下，與表示方向不定的索引（例如具有特定的值的索引）一起進(jìn)行輸出。
[0053] 視覺(jué)特征是表示人物的服裝的顏色、花紋等的特征。在用HSV顏色空間來(lái)表現(xiàn) 視覺(jué)特征的情況下，將人物區(qū)域的像素信息變換為色調(diào)（Hue)、彩度（Saturation)以及明 度（Value)，通過(guò)進(jìn)一步進(jìn)行量子化來(lái)生成HSV直方圖。在如IS0/IEC15938-3所規(guī)定的 MPEG-7的DominantColorDescriptor那樣將代表色作為視覺(jué)特征的情況下，進(jìn)行人物區(qū) 域的顏色分割，在各分割區(qū)分內(nèi)檢索主導(dǎo)顏色并將其作為視覺(jué)特征。除了上述的方法以外， 還能如MPEG-7的色彩布局那樣，使用表現(xiàn)顏色的各種視覺(jué)特征。在使用邊緣直方圖來(lái)作為 表現(xiàn)花紋的視覺(jué)特征的情況下，提取人物區(qū)域內(nèi)的各方向的邊緣來(lái)生成邊緣直方圖。在基 于Wavelet法的視覺(jué)特征的情況下，對(duì)人物區(qū)域進(jìn)行Wavelet變換，計(jì)算出Wavelet系數(shù)。 將該Wavelet系數(shù)或者其統(tǒng)計(jì)值（即Wavelet系數(shù)的方向分量的平均值、離散等）作為視 覺(jué)特征。進(jìn)而，也可以如MPEG-7的HomogeneousTexture那樣，使用與花紋相關(guān)的各種視 覺(jué)特征。另外，視覺(jué)特征并不需要包含顏色以及花紋兩種成分，也可以只包含顏色以及花紋