專利名稱：一種人體跟蹤方法及其設備的制作方法
技術領域：
本發(fā)明涉及一種人體跟蹤方法及設備，尤其涉及一種在復雜背景下對 人體進行跟蹤的方法及其設備。
背景技術：
運動目標檢測與跟蹤是計算機視覺領域的一個重要課題，在視頻監(jiān)控、 機器人導航、人機交互等諸多方面應用廣泛。目前比較流行的連接云臺控 制攝像機，其核心的云臺控制方法就是基于人體跟蹤技術設計的。
實際監(jiān)控場景中，由于攝像機的運動、天氣的變化等因素的影響，背 景圖像有很多復雜的變化。而現(xiàn)有方法對于這種背景復雜變化的情況大多 處理的不好，如常用的均值偏移算法。由于該方法僅僅考慮了候選人體目 標的顏色信息，卻忽略了其空間位置信息，所以在運動的人體目標附近的 背景顏色分布與目標顏色相似的情況下處理效果不好，容易導致跟蹤失敗。 而另一種常用的跟蹤方法——粒子濾波方法又需要設置大量的粒子點，計 算量太大，不利于實時處理。

發(fā)明內容
本發(fā)明提供了 一種能解決以上問題的復雜背景下的人體跟蹤方法及設備。
在第一方面，本發(fā)明提供了一種人體跟蹤方法，包括根據(jù)人體的 初始位置(y )得到一個像素點集合；計算所述集合中像素點的空間特征和 顏色特征；以及根據(jù)所述空間特征和所述顏色特征來計算當前幀上的人體 位置(y:)。
在第二方面，本發(fā)明提供了一種人體跟蹤設備，包括視頻采集模 塊，用于采集視頻流圖像，輸出圖像幀；根據(jù)人體的初始位置(y())得到一 個像素點集合的模塊；計算所述集合中像素點的空間特征和顏色特征的模 塊；以及根據(jù)所述空間特征和所述顏色特征來計算當前幀上的人體位置(y,)的模塊。
在本發(fā)明的一個實施例中，優(yōu)選地，計算人體位置(yJ的步驟包括 根據(jù)所述人體特征來定義候選區(qū)域與人體區(qū)域的相似性度量；以及根據(jù)所 述相似性度量來計算當前幀上的人體位置(y,)。
在本發(fā)明的另一個實施例中，優(yōu)選地，所述方法還包括對當前幀 上的人體位置(y,)進行檢測修正，如果檢測結果為人體區(qū)域，則將所述人 體位置(yJ作為無需修正的人體位置。 '
在本發(fā)明的還一個實施例中，優(yōu)選地，所述方法還包括如果檢測結 果為非人體區(qū)域，則在與所述人體位置(y,)相關的區(qū)域中進行窗口掃描，
搜索出人體區(qū)域，根據(jù)搜索出的人體區(qū)域對人體位置(yJ進行修正，得到 修正后的人體位置(y2)。
在本發(fā)明的又一個實施例中，優(yōu)選地，所述檢測包括計算與所述 人體位置相關的區(qū)域的方向直方圖；以及；根據(jù)一個均值和與所述方向直 方圖來判斷該區(qū)域是否為人體區(qū)域，其中，所述均值通過收集若干人體圖 像并根據(jù)其方向直方圖得出。
在本發(fā)明的還一個實施例中，優(yōu)選地，所述方法還包括輸出所述無 需修正或修正后的人體位置；根據(jù)所述無需修正或修正后的人體位置，計 算出當前幀中的人體空間特征和顏色特征并輸出；將輸出的人體位置、空 間特征和顏色特征作為下一幀的人體初始位置、空間特征和顏色特征。
在本發(fā)明的另一個實施例中，優(yōu)選地，所述顏色特征是與所述初始位 置相關的人體區(qū)域的顏色直方圖。
本發(fā)明通過將空間位置信息融合到顏色信息中去，并且結合了人體檢 測技術對人體跟蹤結果進行修正，進一步提高了系統(tǒng)整體的跟蹤能力。


下面將參照附圖對本發(fā)明的具體實施方案進行更詳細的說明，在附圖
中
圖1是根據(jù)本發(fā)明的人體跟蹤系統(tǒng)的框圖；以及 圖2是根據(jù)本發(fā)明的人體跟蹤方法的流程圖。
具體實施例方式
圖1是根據(jù)本發(fā)明的人體跟蹤系統(tǒng)的框圖。
如圖1所示，該系統(tǒng)包括視頻采集模塊、人體跟蹤模塊和人體檢測修 正模塊。
視頻采集模塊用于獲取視頻流圖像，輸出圖像幀。
人體跟蹤模塊用于在當前圖像上找到與人體模板相似度最大的位置。 人體檢測修正模塊用于對人體跟蹤模塊找到的圖像位置進行檢測與修正。
根據(jù)本發(fā)明的人體跟蹤系統(tǒng)的工作過程分為兩個階段，初始化階段和 跟蹤階段。下面對此分別詳細闡述。
初始化階段
首先需要確定人體的初始位置A ,可以使用各種人體檢測方法來檢測 人體，甚至可以直接手工標定人體的位置。然后，將人體的初始位置送入 人體跟蹤模塊。
應當指出，所述初始化處理可以由一個單獨的初始化模塊來進行，也 可以直接由人體檢測修正模塊完成。更進一步，在當前圖像幀中目標人體
消失時，需要重新進行初始化，即重新標定yo。如果需要較少的人工參與， 可以使用人體檢測的方法，反之，可以簡單地用人工標定即可?，F(xiàn)有的人 體檢測的方法很多，并且不是本發(fā)明所要闡述的重點，因此不再贅述。
跟蹤階段；
視頻采集模塊釆集包括人體的視頻流圖像，將其中的連續(xù)多幀圖像分 別作為輸入圖像，然后重復下述步驟l、 2:
步驟1:利用人體跟蹤模塊計算當前圖像幀中人體位置少'。 人體跟蹤模塊的主要功能是在當前圖像幀上找到與人體模板相似度最
大處的位置。有多種方法來實現(xiàn)人體跟蹤，而本發(fā)明提出了一種改進的均 值偏移方法。下面對這種改進的均值偏移方';』 首先，計算人體模板區(qū)域的顏色直方圖設"'Lu. w是中心點為A,長為/7,寬為w的人體模板區(qū)域的像素點集 合，定義映射6 J24{1，2，'''，W,對于每個Xi, b(Xj)表示該像素點的特征在量 化的特征空間中的量化序號。
對于任意量化值託化2'…，W ，計算其位置均值v":
U '='如+/j (i)
& 一jl〖/ 6(x,) = w 其中，'"丄0 e/w
v"表示的是目標人體所在區(qū)域內所有像素值等于u的像素點的空間位 置平均值，反映的是目標人體的空間位置信息，即空間特征。 u在人體區(qū)域中出現(xiàn)的概率^可以按如下公式計算
A, (乂) ) = C,, f>(|I 2^^) II2 )列6(x,)—"]
,=i Vw'+Zz' (2)
其中是Epanechnikov核函數(shù)，外)是Kronecl(er函數(shù)，C為歸 一化常
Zi(》'o) = 1
數(shù)，使得'=。 。
^表示的是目標人體所在區(qū)域中所有其像素值等于U的像素點的顏色 信息，即顏色特征。
分別完成上述空間特征和顏色特征的計算后，即可得到人體的特征
接下來，定義相似性度量。設以凡為中心的候選區(qū)域"'L'義w的特征為
""(力^"WL。.'. '，該候選區(qū)域與人體區(qū)域的相似性度量采用如下公式
^ (3) 公式(3)反應的是目標區(qū)域和候選區(qū)域的相似性，其中 第一項IJe— """)-"""")1「表示的是空間位置上的相似性，目標區(qū)域和候選區(qū)
〃=0 .
域在空間分布上越接近第一項，其值就越大，從而相似性越大。
第二項力\(力么(少。)表示的是顏色信息上的相似性，目標區(qū)域和候選區(qū)
域的顏色越接近第二項，其值就越大，從而相似性越大。
原有的均值偏移算法僅僅考慮了目標區(qū)域和候選區(qū)域的在顏色上的相似性，完全忽略了空間位置上的相似性。因此，在目標的背景顏色分布非 常復雜的情況下，很可能會出現(xiàn)跟蹤失敗。而本發(fā)明使用如公式3所述的 相似性度量，將顏色信息和空間信息結合起來考慮，候選區(qū)域和目標區(qū)域 必須在顏色和空間分布上都很接近才能獲得最大的相似性。
公式 3 也有其他的構造方式， 比如
<formula>formula see original document page 8</formula>;，其中"是0到l之間的常數(shù)，表示
的是加權系數(shù)，可以通過調節(jié)該系數(shù)來調節(jié)顏色信息和空間信息在相似性
度量中所占的比重，"越大則空間信息的影響較大，反之，顏色信息的影響較大。
最后，使用梯度最優(yōu)化方法來計算人體在當前圖像上的位置"，"應滿
足~ 。
應當指出，也可以采用其他的均值偏移算法來完成人體跟蹤。
步驟2:用人體檢測修正模塊對人體跟蹤模塊得出的人體位置少'進行檢 測與纟務正。
在參考文南大 "Qiang Zhu， Shai Avidan, Mei-chen Yeh, Kwang-Ting Cheng, Fast human detection using a cascade of Histograms of Oriented Gradients . IEEE Computer Vision and Pattern Recognition 2006" 中，提出了
目前最有效的一種人體檢測技術。該技術是一種基于方向直方圖(HoG)和 Adaboost的人體檢測方法。但是，這種方法的運算量較大，如果每一幀都 進行這樣大運算量的人體檢測顯然不利于實時處理。
本發(fā)明對上述參考文獻中的方法進行了改進，可以快速有效地對跟蹤 結果進行檢測修正。
首先，按照上述參考文獻所提出的方法對中心點為乂，長為、寬為w 的區(qū)域進行人體檢測。檢測方法的主要步驟包括提取該區(qū)域的方向直方 圖(HoG)、利用事先訓練好的Adaboost人體分類器對該方向直方圖進行 分類，即進行人體區(qū)域驗證。
如果分類結果是人體區(qū)域，則直接將少'作為當前幀中正確的人體位置輸出。然后，計算y'所在的人體區(qū)域的顏色特征和空間特征(計算方法如步驟 l所述，因此不再贅述)，將其和^'分別作為下一幀的初始人體顏色特征、 空間特征和初始人體位置，以便繼續(xù)在下一幀中對人體進行跟蹤。
否則，在以X為中心，寬為^高為//的區(qū)域中按照上述參考文獻中介紹 的方法進行人體檢測。簡單地說，就是在這個區(qū)域中進行窗口掃描，搜索 出人體區(qū)域，然后根據(jù)搜索出的人體區(qū)域對人體位置(y,)進行修正，得到
修正后的人體位置(y2)。然后，計算y2所在的人體區(qū)域的顏色特征和空 間特征(計算方法如步驟1所述，因此不再贅述)，將它們和y2分別作為 下一幀的初始人體顏色特征、空間特征和初始人體位置，以便繼續(xù)在下一 幀中對人體進行跟蹤。
應當指出，對中心點為y,的區(qū)域的人體區(qū)域驗證不必使用標準的HoG 人體檢測算法。
本發(fā)明提出的人體區(qū)域驗證方法如下
事先收集N幅人體圖像，計算這些圖像的方向.直方圖
1 w
—x淑
{///^.仇"2,...,///《,},并且求出這些方向直方圖(HoG)的均值^tr 。
然后，計算中心點為乂的區(qū)域的方向直方圖"),并設置 一 個閾值T 。
1 '、"
I州rf(乂) — 一y1<尸 如果 wtr 成立，則認為中心點為y,的區(qū)域是人體區(qū)域，否
則為非人體區(qū)域。閾值T和數(shù)量N可以根據(jù)實際需要設置。
圖2是根據(jù)本發(fā)明的人體跟蹤方法的流程圖。
通過圖2所示的流程圖，可以更好地理解本發(fā)明的人體跟蹤方法。首 先，在步驟S100中，通過人體檢測方法或者用手工標定的方法確定當前幀 中的人體初始位置A。在步驟S200中，根據(jù)人體初始位置得到一個像素點 集合。在步驟S300中，計算這個集合中所有像素點的空間特征和顏色特征。 在步驟S400中，根據(jù)計算得出的空間特征和顏色特征計算出當前幀中的人 體位置。然后在步驟S500中，對得出的人體位置進行檢測，判斷其是否為 正確的人體位置(即，如上所述地關于該位置進行人體區(qū)域驗證，判斷以 該位置為中心的區(qū)域是否為人體區(qū)域)。如果是，則直接將X作為當前幀中 正確的人體位置輸出。如果不是，則對該位置進行修正，得出正確的人體中，根據(jù)無需修正或修正后的正確人體位置計算其
所在的人體區(qū)域的顏色特征和空間特征，將這兩個特征和正確的人體位置 分別作為下一幀的初始人體顏色特征、空間特征和初始人體位置。同時輸 出該正確的人體位置。
綜上所述，通過初始化處理并且重復在圖1中描述的步驟1和步驟2， 本發(fā)明的方法可以成功地實現(xiàn)人體跟蹤，在視頻流的任意一幀中給出正確 的當前人體位置。本發(fā)明的方法通過改進現(xiàn)有的均值偏移算法，將空間位 置信息融合到顏色信息中，進一步提高了在復雜背景情況下的人體跟蹤能 力。本發(fā)明的人體檢測修正模塊對跟蹤結果進行了進一步的檢測和修正， 防止了跟蹤誤差的累積效應，進一步提高了系統(tǒng)跟蹤的魯棒性。
顯而易見，在不偏離本發(fā)明的真實精神和范圍的前提下，在此描述的 本發(fā)明可以有許多變化。因此，所有對于本領域技術人員來說顯而易見的 改變，都應包括在本權利要求書所涵蓋的范圍之內。本發(fā)明所要求保護的 范圍僅由所述的權利要求書進行限定。
權利要求
1.一種人體跟蹤方法，包括根據(jù)人體的初始位置(y0)得到一個像素點集合；計算所述集合中像素點的空間特征和顏色特征；以及根據(jù)所述空間特征和所述顏色特征來計算當前幀上的人體位置(y1)。
2. 根據(jù)權利要求1的方法，其中，計算人體位置(y,)的步驟包括 根據(jù)所述空間特征和所述顏色特征來定義候選區(qū)域與人體區(qū)域的相似性度量；以及根據(jù)所述相似性度量來計算當前幀上的人體位置(y,)。
3. 根據(jù)權利要求1的方法，還包括對當前幀上的人體位置(y,)進行檢測修正，如果檢測結果為人體區(qū)域， 則將所述人體位置(y,)作為無需修正的人體位置。
4. 根據(jù)權利要求3的方法，還包括如果檢測結果為非人體區(qū)域，則在與所述人體位置(y,)相關的區(qū)域中 進行窗口掃描，搜索出人體區(qū)域，根據(jù)搜索出的人體區(qū)域對人體位置(y,) 進行修正，得到修正后的人體位置(y2)。
5. 根據(jù)權利要求3的方法，其中，所述檢測包括 計算與所述人體位置相關的區(qū)域的方向直方圖；以及；根據(jù)一個均值和與所述方向直方圖來判斷該區(qū)域是否為人體區(qū)域，其 中，所述均值通過收集若干人體圖像并根據(jù)其方向直方圖得出。
6. 根據(jù)權利要求3或4的方法，還包括 輸出所述無需修正或修正后的人體位置；根據(jù)所述無需修正或修正后的人體位置，計算出當前幀中的人體空間 特征和顏色特征并輸出；將輸出的人體位置、空間特征和顏色特征作為下一幀的人體初始位置、 空間特征和顏色特征。
7. 根據(jù)權利要求1的方法，其中，所述空間特征的計算是 設"},=|,2.^是中心點為3^。，長為、寬為w的人體模板區(qū)域的像素點集合，定義映射^^"^U'…，巧，b(x,)表示各個像素點的特征在量化的特征空 間中的量化序號，對于任意量化值""1，2，…，^，計算其位置均值、2u,=1《M如+/ 卩 '/ 6(x,)=" 其中， [0 。
8. 根據(jù)權利要求1的方法，其中，所述顏色特征是與所述初始位置相 關的人體區(qū)域的顏色直方圖。
9. 一種人體跟蹤設備，包括視頻采集模塊，用于采集視頻流圖像，輸出圖像幀；根據(jù)人體的初始位置(y。)得到一個像素點集合的模塊； 計算所述集合中像素點的空間特征和顏色特征的模塊；以及 根據(jù)所述空間特征和所述顏色特征來計<算當前幀上的人體位置(y,)的 模塊。
10. 根據(jù)權利要求9的設備，其中，計算人體位置(yi)的模塊包括 根據(jù)所述人體特征來定義候選區(qū)域與人體區(qū)域的相似性度量的模塊；以及根據(jù)所述相似性度量來計算當前幀上的人體位置(y,)的模塊。
11. 根據(jù)權利要求9的設備，還包括；人體檢測修正模塊，用于對所述人體位置(y,)進行檢測修正，其中， 如果檢測結果為人體區(qū)域，則將所述人體位置(y,)作為無需修正的人體位 置。
12. 根據(jù)權利要求11的設備，其中，所述人體檢測修正模塊還用于 如果檢測結果為人體區(qū)域，則在與所述人體位置(y,)相關的區(qū)域中進行窗口掃描，搜索出人體區(qū)域，根據(jù)搜索出的人體區(qū)域對人體位置(yJ進 行修正，得到修正后的人體位置(y2)。
13. 根據(jù)權利要求11的設備，其中，所述人體檢測修正模塊包括 計算與所述人體位置相關的區(qū)域的方向直方圖的模塊；以及；根據(jù)一個均值和與所述方向直方圖來判斷該區(qū)域是否為人體區(qū)域的模 塊，其中，所述均值通過收集若干人體圖像并根據(jù)其方向直方圖得出。
全文摘要
本發(fā)明涉及一種復雜背景下的人體跟蹤方法及設備，所述方法包括根據(jù)人體的初始位置(y₀)得到一個像素點集合；計算所述集合中像素點的空間特征和顏色特征；以及根據(jù)所述空間特征和所述顏色特征來計算當前幀上的人體位置(y₁)。本發(fā)明通過將空間位置信息融合到顏色信息中去，并且結合了人體檢測技術對人體跟蹤結果進行修正，進一步提高了整體的跟蹤能力。
文檔編號G06T7/20GK101320477SQ20081011643
公開日2008年12月10日 申請日期2008年7月10日 優(yōu)先權日2008年7月10日
發(fā)明者磊 王, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司