專利名稱：人體中標(biāo)記物的識別方法及裝置的制作方法
人體中標(biāo)記物的識別方法及裝置
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺處理技術(shù)，特別是涉及一種人體中標(biāo)記物的識別方法及裝置。
背景技術(shù)：
在傳統(tǒng)的人體中標(biāo)記物的識別方法中，基于實時性的考慮，常常采用兩臺紅外光 相機來獲取指定監(jiān)控區(qū)域的數(shù)字視頻圖像數(shù)據(jù)，對所獲得的紅外光圖像進行處理，并通過 提取紅外光圖像中的形狀特征對人體上的標(biāo)記物進行識別。然而，在實際的運行過程中，由于紅外光圖像具有成像信息量小、干擾多及目標(biāo)提 取和識別困難的特點。例如，在長條形的帽子識別過程中，而室內(nèi)的燈管也呈長條形，因此 燈管的成像與帽子的成像是非常相似的，在識別過程中難以區(qū)分帽子和燈管。因此在傳統(tǒng)的人體標(biāo)記識別過程中，若存在著一個以上形狀相似的目標(biāo)時，如何 區(qū)分哪些是干擾，哪些是人體上的標(biāo)記是一個急需進一步解決的問題。

發(fā)明內(nèi)容基于此，有必要提供一種更準(zhǔn)確識別的人體中標(biāo)記物的識別方法。此外，還有必要提供一種更準(zhǔn)確識別的人體中標(biāo)記物的識別裝置?！N人體中標(biāo)記物的識別方法，包括如下步驟采集可見光圖像以及紅外光圖像； 分別從所述可見光圖像以及紅外光圖像中提取成像區(qū)域，并識別所述成像區(qū)域中的可見光 標(biāo)記物及紅外光標(biāo)記物；將所述可見光標(biāo)記物和紅外光標(biāo)記物進行匹配，得到標(biāo)記物的三 維坐標(biāo)；檢測人體信息，剔除標(biāo)記物中的干擾物。優(yōu)選地，所述檢測人體信息，剔除標(biāo)記物中的干擾物的過程是檢測人體信息，判 斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記 物。優(yōu)選地，所述人體信息包括人臉、皮膚顏色及人體輪廓中的至少一種。優(yōu)選地，所述人體信息為人臉，所述檢測人體信息，判斷所述標(biāo)記物是否與人體接 觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖像中 進行人臉檢測，判斷所述標(biāo)記物的成像與人臉區(qū)域之間的最短距離是否小于預(yù)設(shè)的人臉閾 值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。優(yōu)選地，所述人體信息為皮膚顏色，所述檢測人體信息，判斷所述標(biāo)記物是否與人 體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖 像中進行膚色檢測，判斷所述標(biāo)記物的成像與皮膚顏色區(qū)域之間的最短距離是否小于預(yù)設(shè) 的膚色閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。優(yōu)選地，所述人體信息為人體輪廓，所述檢測人體信息，判斷所述標(biāo)記物是否與人 體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖 像中進行人體輪廓檢測，判斷所述標(biāo)記物的成像與人體輪廓區(qū)域之間的最短距離是否小于 預(yù)設(shè)的輪廓閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
一種人體中標(biāo)記物的識別裝置，至少包括采集模塊，用于采集可見光圖像以及紅 外光圖像；圖像識別模塊，用于分別從所述可見光圖像以及紅外光圖像中提取成像區(qū)域，并 識別所述成像區(qū)域中的可見光標(biāo)記物和紅外光標(biāo)記物；匹配模塊，用于將所述可見光標(biāo)記 物和紅外光標(biāo)記物進行匹配，得到標(biāo)記物的三維坐標(biāo)；干擾消除模塊，用于檢測人體信息， 剔除所述標(biāo)記物中的干擾物。優(yōu)選地，所述干擾消除模塊檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是， 則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。優(yōu)選地，所述人體信息包括人臉、皮膚顏色及人體輪廓中的至少一種。優(yōu)選地，所述人體信息為人臉，所述干擾消除模塊包括人臉處理單元，所述人臉處 理模塊用于在所述可見光圖像中進行人臉檢測，判斷所述標(biāo)記物的成像與人臉區(qū)域之間的 最短距離是否小于預(yù)設(shè)的人臉閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述 標(biāo)記物。優(yōu)選地，所述人體信息為皮膚顏色，所述干擾消除模塊包括膚色處理單元，所述膚 色處理模塊用于在所述可見光圖像中進行膚色檢測，判斷所述標(biāo)記物的成像與皮膚顏色區(qū) 域之間的最短距離是否小于預(yù)設(shè)的膚色閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則 剔除所述標(biāo)記物。優(yōu)選地，所述人體信息包括人體輪廓，所述干擾消除模塊包括輪廓處理單元，所述 輪廓處理單元用于在可見光圖像中進行人體輪廓檢測，判斷所述標(biāo)記物的成像與人體輪廓 區(qū)域之間的最短距離是否小于預(yù)設(shè)的輪廓閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之， 則剔除所述標(biāo)記物。上述人體中標(biāo)記物的識別方法及裝置將采集得到的可見光圖像以及紅外光圖像 根據(jù)人體信息來剔除標(biāo)記物中的干擾物，從而能準(zhǔn)確地識別出可見光圖像以及紅外光圖像 中的標(biāo)記物，并由該標(biāo)記物得到人體的動態(tài)活動軌跡。上述人體中標(biāo)記物的識別方法及裝置中將紅外光圖像和可見光圖像進行優(yōu)缺點 的互補，有效地提高了人體標(biāo)記識別過程中的穩(wěn)定性及精確度。

圖1為一實施例中人體中標(biāo)記物的識別方法的流程圖；圖2為一實施例中人體中標(biāo)記物的識別方法的流程圖；圖3為一實施例中人體中標(biāo)記物的識別裝置的示意圖；圖4為一實施例中圖像識別模塊的詳細模塊圖；圖5為一實施例中匹配模塊的詳細模塊圖；圖6為一實施例中干擾消除模塊的詳細模塊圖。
具體實施方式圖1示出了一實施例中人體標(biāo)記識別的方法流程，包括如下步驟在步驟SlO中，采集可見光圖像以及紅外光圖像。本實施例中，實時獲取可見光圖 像以及紅外光圖像，以得到該可見光圖像以及紅外光圖像中人體標(biāo)記的動態(tài)信息，其中，紅 外光圖像所包含的成像信息量較小，但圖像處理速度非?？欤梢姽鈭D像所包含的成像信息量大，圖像處理速度比較慢。在步驟S20中，分別從可見光圖像以及紅外光圖像中提取成像區(qū)域，并識別成像 區(qū)域中的可見光標(biāo)記物及紅外光標(biāo)記物。本實施例中，根據(jù)視頻圖像的類型，從可見光圖像 以及紅外光圖像中提取有效的成像區(qū)域，以便于對人體上的標(biāo)記物通過各種識別算法進行 識別。例如，該人體上的標(biāo)記物可以是戴在頭上的帽子，也可以是握在手中的手柄。在步驟S30中，將紅外光標(biāo)記物和可見光標(biāo)記物進行匹配，得到標(biāo)記物的三維坐 標(biāo)。本實施例中，分別將紅外光圖像中的紅外光標(biāo)記物和可見光圖像中的可見光標(biāo)記物 一一進行匹配，從而在紅外光圖像的作用下得到標(biāo)記物的三維坐標(biāo)。在步驟S40中，檢測人體信息，剔除標(biāo)記物中的干擾物。本實施例中，由于可見光 圖像以及紅外光圖像中所存在的干擾非常多，基于形狀的識別方法難于剔除標(biāo)記物中的干 擾物，由于標(biāo)記物與人體接觸，可根據(jù)人體信息來進行剔除?！敖佑|”具體指的是標(biāo)記物所 在的區(qū)域與人體信息所涉及的區(qū)域之間的距離在預(yù)設(shè)范圍內(nèi)容。例如，放置于人的頭上的 帽子，在識別的過程中，若該標(biāo)記為帽子，則帽子與人臉相連，若標(biāo)記沒與人體相連，則該標(biāo) 記為干擾物，需要將其剔除。具體地，步驟S40的過程是檢測人體信息，判斷標(biāo)記物是否 與人體接觸，是，則確認該標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除標(biāo)記物。人體信息記錄了人體的 輪廓外形等信息，包括人臉、皮膚顏色及人體輪廓中的至少一種，預(yù)期標(biāo)記則是需要識別的 標(biāo)記物，即根據(jù)人臉、皮膚顏色及人體輪廓中的任一人體信息，判斷標(biāo)記物的成像是否與人 臉、皮膚顏色及人體輪廓中的任一區(qū)域相接觸，是，則確認標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除 標(biāo)記物。在優(yōu)選的實施例中，人體信息為人臉、皮膚顏色及人體輪廓中的至少一種，下面詳 細闡述通過人臉、皮膚顏色及人體輪廓的人體信息來剔除干擾物的過程。在可見光圖像中 進行人臉檢測，判斷標(biāo)記物的成像與人臉區(qū)域之間的最短距離是否小于預(yù)設(shè)的人臉閾值， 是，則確認該標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除該標(biāo)記物。在可見光圖像中的人臉檢測的過 程中，可能會檢測到多個人臉區(qū)域，計算標(biāo)記物的成像與所有人臉區(qū)域之間的最短距離，并 判斷該最短距離是否小于預(yù)設(shè)的人臉閾值，是，則認為標(biāo)記物的成像與人臉區(qū)域接觸，反 之，則認為不接觸。例如，該人臉閾值可以是5個像素。在可見光圖像中進行膚色檢測，判斷標(biāo)記物的成像與皮膚顏色區(qū)域之間的最短距 離是否小于預(yù)設(shè)的膚色閾值，是，則確認標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除該標(biāo)記物。在可見 光圖像中的膚色檢測過程中，可能會檢測到多個膚色區(qū)域，計算標(biāo)記物的成像與所有膚色 區(qū)域之間的最短距離，并判斷該最短距離是否小于預(yù)設(shè)的閾值，是，則認為標(biāo)記物的成像與 膚色區(qū)域接觸，反之，則認為不接觸。例如，該膚色閾值可以為10個像素。在可見光圖像中進行人體輪廓檢測，判斷標(biāo)記物的成像與人體輪廓區(qū)域之間的最 短距離是否小于預(yù)設(shè)的輪廓閾值，是，則確認該標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除該標(biāo)記物。 在可見光圖像的人體輪廓檢測過程中，可能會檢測到多個人體輪廓區(qū)域，計算標(biāo)記物的成 像與所有人體輪廓區(qū)域之間的最短距離，并判斷該最短距離是否小于預(yù)的閾值，是，則認為 標(biāo)記物的成像與人體輪廓區(qū)域相接觸，反之，則認為不接觸。例如，該輪廓閾值可以為10個 像素。圖2示出了一實施例的人體中標(biāo)記物的識別方法，包括如下步驟在步驟SlOl中，分別采集紅外光圖像和可見光圖像。本實施例中，分別實時采集紅外光圖像和可見光圖像，以便于同時獲取紅外光圖像和可以見光圖像中人體標(biāo)記的活動 軌跡。紅外光圖像中成像信息量小，圖像處理速度快，可見光圖像信息量大，圖像處理速度 慢，因此，用紅外光圖像和可見光圖像兩者的互補性可以有效提高人體標(biāo)記物識別方法在 干擾條件下的穩(wěn)定性及識別精確度。在步驟S102中，對可見光圖像進行約束，獲取標(biāo)記物在可見光圖像中的成像區(qū) 域，并識別可見光標(biāo)記物。本實施例中，對可見光圖像進行約束，獲取標(biāo)記物在可見光圖像中的成像區(qū)域的過程具體是 根據(jù)外極線約束，計算得到標(biāo)記物在可見光圖像中的外極線約束區(qū)域；根據(jù)時間序列約束， 對標(biāo)記物在可見光圖像中進行限定，得到時間序列約束區(qū)域；將外極線約束區(qū)域和時間序 列約束區(qū)域取交集，得到標(biāo)記物在可見光圖像中的成像區(qū)域。通過立體視覺中的外極線約 束，可見光圖像的成像區(qū)域應(yīng)當(dāng)是以外極線為中心的一個區(qū)域。識別可見光標(biāo)記物的過程是在可見光圖像的成像區(qū)域中提取特征向量后通過識 別算法進行識別，該識別算法可以采用諸如支持向量機等。在步驟S103中，對紅外光圖像進行預(yù)處理，并識別紅外光標(biāo)記物。本實施例中，對 紅外光圖像進行閾值分割后進行連通域檢測，并對每個連通域計算特征，形成特征向量。該 特征可以包括長軸、短軸、像素數(shù)量等。例如，可以利用外接擬合橢圓的長軸長、短軸長、面 積占空比、周長平方與面積比來描述形狀特征，對應(yīng)的特征向量定義如下
權(quán)利要求
一種人體中標(biāo)記物的識別方法，包括如下步驟采集可見光圖像以及紅外光圖像；分別從所述可見光圖像以及紅外光圖像中提取成像區(qū)域，并識別所述成像區(qū)域中的可見光標(biāo)記物及紅外光標(biāo)記物；將所述可見光標(biāo)記物和紅外光標(biāo)記物進行匹配，得到標(biāo)記物的三維坐標(biāo)；檢測人體信息，剔除標(biāo)記物中的干擾物。
2.根據(jù)權(quán)利要求1所述的人體中標(biāo)記物的識別方法，其特征在于，所述檢測人體信息， 剔除標(biāo)記物中的干擾物的過程是檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記， 反之，則剔除所述標(biāo)記物。
3.根據(jù)權(quán)利要求2所述的人體中標(biāo)記物的識別方法，其特征在于，所述人體信息包括 人臉、皮膚顏色及人體輪廓中的至少一種。
4.根據(jù)權(quán)利要求3所述的人體中標(biāo)記物的識別方法，其特征在于，所述人體信息為人 臉，所述檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo) 記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖像中進行人臉檢測，判斷所述標(biāo)記物的成像與人臉區(qū)域之間的最短距離是 否小于預(yù)設(shè)的人臉閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
5.根據(jù)權(quán)利要求3所述的人體中標(biāo)記物的識別方法，其特征在于，所述人體信息為皮 膚顏色，所述檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù) 期標(biāo)記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖像中進行膚色檢測，判斷所述標(biāo)記物的成像與皮膚顏色區(qū)域之間的最短距 離是否小于預(yù)設(shè)的膚色閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
6.根據(jù)權(quán)利要求3所述的人體中標(biāo)記物的識別方法，其特征在于，所述人體信息為人 體輪廓，所述檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù) 期標(biāo)記，反之，則剔除所述標(biāo)記物的步驟是在可見光圖像中進行人體輪廓檢測，判斷所述標(biāo)記物的成像與人體輪廓區(qū)域之間的最 短距離是否小于預(yù)設(shè)的輪廓閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo) 記物。
7.一種人體中標(biāo)記物的識別裝置，其特征在于，至少包括采集模塊，用于采集可見光圖像以及紅外光圖像；圖像識別模塊，用于分別從所述可見光圖像以及紅外光圖像中提取成像區(qū)域，并識別 所述成像區(qū)域中的可見光標(biāo)記物和紅外光標(biāo)記物；匹配模塊，用于將所述可見光標(biāo)記物和紅外光標(biāo)記物進行匹配，得到標(biāo)記物的三維坐標(biāo)；干擾消除模塊，用于檢測人體信息，剔除所述標(biāo)記物中的干擾物。
8.根據(jù)權(quán)利要求7所述的人體中標(biāo)記物的識別裝置，其特征在于，所述干擾消除模塊 檢測人體信息，判斷所述標(biāo)記物是否與人體接觸，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之， 則剔除所述標(biāo)記物。
9.根據(jù)權(quán)利要求8所述的人體中標(biāo)記物的識別裝置，其特征在于，所述人體信息包括人臉、皮膚顏色及人體輪廓中的至少一種。
10.根據(jù)權(quán)利要求9所述的人體中標(biāo)記物的識別裝置，其特征在于，所述人體信息為 人臉，所述干擾消除模塊包括人臉處理單元，所述人臉處理模塊用于在所述可見光圖像中 進行人臉檢測，判斷所述標(biāo)記物的成像與人臉區(qū)域之間的最短距離是否小于預(yù)設(shè)的人臉閾 值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
11.根據(jù)權(quán)利要求9所述的人體中標(biāo)記物的識別裝置，其特征在于，所述人體信息為皮 膚顏色，所述干擾消除模塊包括膚色處理單元，所述膚色處理模塊用于在所述可見光圖像 中進行膚色檢測，判斷所述標(biāo)記物的成像與皮膚顏色區(qū)域之間的最短距離是否小于預(yù)設(shè)的 膚色閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
12.根據(jù)權(quán)利要求9所述的人體中標(biāo)記物的識別裝置，其特征在于，所述人體信息包括 人體輪廓，所述干擾消除模塊包括輪廓處理單元，所述輪廓處理單元用于在可見光圖像中 進行人體輪廓檢測，判斷所述標(biāo)記物的成像與人體輪廓區(qū)域之間的最短距離是否小于預(yù)設(shè) 的輪廓閾值，是，則確認所述標(biāo)記物為預(yù)期標(biāo)記，反之，則剔除所述標(biāo)記物。
全文摘要
一種人體中標(biāo)記物的識別方法，包括如下步驟采集可見光圖像以及紅外光圖像；分別從所述可見光圖像以及紅外光圖像中提取成像區(qū)域，并識別所述成像區(qū)域中的可見光標(biāo)記物及紅外光標(biāo)記物；將所述可見光標(biāo)記物和紅外光標(biāo)記物進行匹配，得到標(biāo)記物的三維坐標(biāo)；檢測人體信息，剔除標(biāo)記物中的干擾物。上述人體中標(biāo)記物的識別方法及裝置將采集得到的可見光圖像以及紅外光圖像根據(jù)人體信息來剔除標(biāo)記物中的干擾物，從而能準(zhǔn)確地識別出可見光圖像以及紅外光圖像中的標(biāo)記物，并由該標(biāo)記物得到人體的動態(tài)活動軌跡。
文檔編號G06K9/00GK101996317SQ20101052739
公開日2011年3月30日 申請日期2010年11月1日 優(yōu)先權(quán)日2010年11月1日
發(fā)明者張豐, 程俊, 謝燦, 謝琪, 趙文闖, 陳 光, 高向陽 申請人:中國科學(xué)院深圳先進技術(shù)研究院