一種基于視頻的多人體目標(biāo)在線測量方法
【專利摘要】本發(fā)明公開了一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量方法，其包括：步驟1、對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，根據(jù)所述內(nèi)參數(shù)矩陣和外參數(shù)矩陣計算無窮垂直消影點(diǎn)；步驟2、獲取待檢測視頻中運(yùn)動人體的前景圖像；步驟3、對所述前景圖像進(jìn)行形態(tài)學(xué)處理；步驟4、獲取所述前景圖像中每一個運(yùn)動人體位置的矩形包圍框；步驟5、從所獲取的每一個運(yùn)動人體位置的矩形包圍框中提取頭部特征點(diǎn)和腳部特征點(diǎn)；步驟6、根據(jù)所提取的頭部特征點(diǎn)和腳部特征點(diǎn)求解每一個運(yùn)動人體的身高。
【專利說明】
一種基于視頻的多人體目標(biāo)在線測量方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種基于視頻的多人體目標(biāo)實(shí)時在線測量方法，屬于計算機(jī)視覺技術(shù) 領(lǐng)域。
【背景技術(shù)】
[0002] 基于視頻的動態(tài)目標(biāo)測量是指利用計算機(jī)視覺技術(shù)測量視頻中動態(tài)目標(biāo)的三維 信息，它是視頻分析的一項基本任務(wù)，其中對視頻中的運(yùn)動人體的身高進(jìn)行測量是動態(tài)目 標(biāo)測量的一項重要技術(shù)。
[0003] 常用物體高度測量方法有基于立體視覺的方法或者基于RGB-D相機(jī)的方法，相比 于只利用單攝像頭的目標(biāo)測量算法，這些算法需要特定的硬件設(shè)備，并且加大了硬件的成 本，因此基于單目相機(jī)的目標(biāo)測量算法有較大的優(yōu)勢。一些學(xué)者提出了基于單幅圖像進(jìn)行 場景測量的方法，這些方法已經(jīng)在建筑物測量以及犯罪現(xiàn)場測量中得到了一定的應(yīng)用。然 而大多數(shù)基于單幅圖像的測量的方法都是針對外形規(guī)則的剛體目標(biāo)提出的，而對行人或者 其他非剛體目標(biāo)則無法適用，并且在目前已有的文獻(xiàn)當(dāng)中很少有針對運(yùn)動人體目標(biāo)進(jìn)行測 量的算法。
[0004] 董秋雷等發(fā)表的論文"基于視頻的實(shí)時自動人體高度測量"（自動化學(xué)報，2009，35 (2) :137-144)提出了一種基于視頻的單人目標(biāo)高度測量方法，該方法首先通過高斯混合模 型獲取運(yùn)動人體的前景區(qū)域圖像，然后在前景區(qū)域圖像中提取人體的頭部和腳部特征點(diǎn)， 再根據(jù)所提取的特征點(diǎn)建立約束方程求取近似人體的高度。該方法同時在視頻中跟蹤雙腳 區(qū)域，根據(jù)雙腳區(qū)域的跟蹤結(jié)果，引入一條關(guān)于特征點(diǎn)所對應(yīng)空間點(diǎn)的幾何約束以進(jìn)一步 優(yōu)化測量結(jié)果。該方法能夠在分辨率較低的鏡頭下實(shí)現(xiàn)人體高度的自動測量。該方法能夠 實(shí)現(xiàn)對視頻中單個人體目標(biāo)進(jìn)行測量，但是不能測量視頻中多個人體目標(biāo)的高度信息，并 且由于該方法在對人體腳部區(qū)域進(jìn)行建模時，是通過高斯混合模型對鞋子的顏色進(jìn)行建 模，因此只能對鞋子顏色與衣服顏色反差較大的人體目標(biāo)進(jìn)行測量。
[0005] 針對視頻中的多個運(yùn)動人體目標(biāo)進(jìn)行測量的方法，目前鮮有文獻(xiàn)提出具體的解決 方法。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有技術(shù)中存在的缺點(diǎn)，本發(fā)明的目的在于采用計算機(jī)視覺技術(shù)，對單個攝 像頭拍攝的視頻中的一個或者多個人體目標(biāo)高度進(jìn)行測量。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：
[0008] 根據(jù)本發(fā)明一方面，其提供了一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量方 法，其包括：
[0009] 步驟1、對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，根據(jù)所述內(nèi)參數(shù) 矩陣和外參數(shù)矩陣計算無窮垂直消影點(diǎn)；
[0010]步驟2、獲取待檢測視頻中運(yùn)動人體的前景圖像；
[0011] 步驟3、對所述前景圖像進(jìn)行形態(tài)學(xué)處理；
[0012] 步驟4、獲取所述前景圖像中每一個運(yùn)動人體位置的矩形包圍框；
[0013] 步驟5、從所獲取的每一個運(yùn)動人體位置的矩形包圍框中提取頭部特征點(diǎn)和腳部 特征點(diǎn)；
[0014] 步驟6、根據(jù)所提取的頭部特征點(diǎn)和腳部特征點(diǎn)求解每一個運(yùn)動人體的身高。
[0015] 根據(jù)本發(fā)明另一方面，其提供了一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量裝 置，其包括：
[0016] 標(biāo)定模塊，用于對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，根據(jù)所述 內(nèi)參數(shù)矩陣和外參數(shù)矩陣計算無窮垂直消影點(diǎn)；
[0017] 前景檢測模塊，用于獲取待檢測視頻中運(yùn)動人體的前景圖像；
[0018] 預(yù)處理模塊，用于對所述前景圖像進(jìn)行形態(tài)學(xué)處理；
[0019] 人體區(qū)域獲取模塊，用于獲取所述前景圖像中每一個運(yùn)動人體位置的矩形包圍 框；
[0020] 特征點(diǎn)提取模塊，用于從所獲取的每一個運(yùn)動人體位置的矩形包圍框中提取頭部 特征點(diǎn)和腳部特征點(diǎn)；
[0021 ]身高計算模塊，用于根據(jù)所提取的頭部特征點(diǎn)和腳部特征點(diǎn)求解每一個運(yùn)動人體 的身高。本發(fā)明通過獲取視頻中每一個人體所在的矩形區(qū)域，從每一個運(yùn)動人體目標(biāo)的矩 形區(qū)域中提取出人體的頭部和腳部特征點(diǎn)，再建立約束方程求解每一個人體的高度。相比 于以往方法，本發(fā)明一種基于視頻的多人體目標(biāo)實(shí)時在線測量方法具有以下有益效果：
[0022] (1)能夠?qū)σ曨l中的運(yùn)動人體目標(biāo)的高度進(jìn)行實(shí)時自動的測量，并且不要求人體 外觀(主要是指不要求人體服飾顏色與鞋子)的顏色反差較大，可以根據(jù)人體形態(tài)特征自動 提取頭部和腳部特征點(diǎn)。
[0023] (2)采用的背景建模算法可以只通過一幀圖像快速的提取出運(yùn)動目標(biāo)區(qū)域，即使 出現(xiàn)光照突變或者背景變化的情況，也能快速準(zhǔn)確的分割背景和前景。并且，該算法所提取 的運(yùn)動人體的目標(biāo)區(qū)域團(tuán)塊相對完整，可以更好的進(jìn)行單個人體區(qū)域的提取。
[0024] (3)在人體團(tuán)塊提取過程中，采用了有效的濾波方法，排出了由于背景干擾和圖像 噪聲帶來的影響，并且針對不連通的人體區(qū)域，采用了基于距離判斷的團(tuán)塊方法，所提取的 運(yùn)動人體目標(biāo)區(qū)域更加準(zhǔn)確。
[0025] (4)在確定單個人體目標(biāo)區(qū)域時，采用基于擴(kuò)展卡爾曼濾波的目標(biāo)跟蹤算法確定 人體區(qū)域的搜索區(qū)域。這樣做有兩個好處:首先可以更加提高算法的效率;再者還能防止由 于分割出的不連通的人體前景區(qū)域而導(dǎo)致特征點(diǎn)檢測錯誤。
【附圖說明】
[0026] 圖1為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法的流程圖。
[0027] 圖2A-2B為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的運(yùn)動人體的前景區(qū) 域分割結(jié)果，圖2A為原始灰度圖像，圖2B為前景分割結(jié)果。
[0028] 圖3A-3B為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的多人目標(biāo)團(tuán)塊檢測 和跟蹤的效果圖，圖3A為灰度圖像，圖3B為多人目標(biāo)團(tuán)塊效果圖。
[0029] 圖4為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的頭部特征點(diǎn)的提取結(jié)果 示意圖。
[0030] 圖5A-5B為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的人體目標(biāo)腳部區(qū)域 和腳部特征點(diǎn)的示意圖。
[0031] 圖6為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的單個人體目標(biāo)高度測量 結(jié)果示意圖。
[0032] 圖7為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的多個人體目標(biāo)高度測量 結(jié)果示意圖。
[0033]圖8為本發(fā)明方法時間效率分析及實(shí)時性驗(yàn)證圖。
[0034]圖9A-9B為將本發(fā)明方法在部分監(jiān)控數(shù)據(jù)上進(jìn)行測試的結(jié)果示意圖。
【具體實(shí)施方式】
[0035]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0036]為了是本領(lǐng)域普通技術(shù)人員更好的理解本發(fā)明，首先對其中的一些基本概念和算 法進(jìn)行解釋性說明：
[0037] ①圖像坐標(biāo)系是以圖像左上角為原點(diǎn)，以像素為坐標(biāo)單位的直角坐標(biāo)系。其中u，v 分別表示像素在數(shù)字圖像中的列數(shù)與行數(shù)。
[0038] ②本發(fā)明中相機(jī)模型是線性相機(jī)模型，相機(jī)的內(nèi)參數(shù)矩陣A和外參數(shù)矩陣[R t]均 事先標(biāo)定好，相機(jī)的投影矩陣為A[R t]，Hg是像平面與標(biāo)定板平面的單應(yīng)矩陣。在一實(shí)施例 中，本發(fā)明提到的內(nèi)參數(shù)矩陣H3A是3 X 3的上三角矩陣，R是3 X 3的旋轉(zhuǎn)矩陣，t是3 X 1的 平移向量。
[0039]③直線的消影點(diǎn)(Vanishing point)是指空間中直線上的無窮遠(yuǎn)點(diǎn)在像平面上的 投影點(diǎn)。本發(fā)明中，將空間中垂直于地平面的直線的消影點(diǎn)稱為垂直消影點(diǎn)。當(dāng)內(nèi)參數(shù)A和 外參數(shù)[R t]已知時，垂直消影點(diǎn)mv可根據(jù)下式確定：
[0040] smv=A(ri Xr2) (1)
[0041] 其中，s是非零尺度因子，在齊次坐標(biāo)運(yùn)算中不影響計算結(jié)果。rdPrsSR的第一列 和第二列。
[0042] ④卡爾曼濾波(Kalman filter)是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸 出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾 的影響，所以最優(yōu)估計也可看作是濾波過程。利用卡爾曼濾波進(jìn)行最優(yōu)估計時，不需要存儲 之前的測量數(shù)據(jù)。當(dāng)系統(tǒng)獲取新的測量數(shù)據(jù)后，利用新的測量數(shù)據(jù)和前一時刻狀態(tài)變量的 估計值，利用系統(tǒng)本身的狀態(tài)轉(zhuǎn)移方程，即可按遞推的方式計算當(dāng)前時刻的狀態(tài)變量的估 計值，且其計算量小，可實(shí)時計算?？柭鼮V波算法是針對線性系統(tǒng)的濾波算法，但是實(shí)際 情況下，狀態(tài)方程和測量方程均可能是非線性系統(tǒng)方程。這種情況下可以采用擴(kuò)展卡爾曼 濾波(Extended Kalman Fi 1 ter，EKF)算法，其基本思想是:在濾波值附近，應(yīng)用泰勒展開式 將非線性系統(tǒng)展開，并省去二階以上的高階項，從而原非線性系統(tǒng)就變成了一個線性系統(tǒng)， 再用標(biāo)準(zhǔn)卡爾曼濾波算法進(jìn)行濾波處理。本發(fā)明中采用擴(kuò)展卡爾曼濾波算法對人體目標(biāo)進(jìn) 行跟蹤。
[0043] ④Vibe背景分割(Visual Background Extractor)算法是一種基于像素的背景建 ?；蚯熬皺z測的算法，該方法與傳統(tǒng)的方法最大的不同就在于:傳統(tǒng)的方法將圖像中每一 個像素進(jìn)行統(tǒng)計建模，并計算每一個像素的概率分布函數(shù)，然后通過統(tǒng)計分布函數(shù)的統(tǒng)計 參數(shù)(例如平均值和方差)確定該像素是否屬于背景;Vibe算法則不用概率分布函數(shù)對每一 個像素點(diǎn)進(jìn)行建模，而是直接為每一個背景像素點(diǎn)建立一個樣本集合，樣本集合中是由該 像素點(diǎn)過去的像素值和若干其鄰域點(diǎn)的像素值組成，然后將每一個新的像素值和樣本集合 的像素值進(jìn)行比較，判斷是否屬于背景點(diǎn)。在模型的初始化上，Vibe背景分割算法只需要一 張圖片就能對模型進(jìn)行初始化，相比于其他背景分割的算法，有較大優(yōu)勢。此外，其模型的 更新策略也充分考慮到了像素之間的空間相關(guān)性，能夠應(yīng)對背景的突然變化。本發(fā)明中采 用Vibe算法對運(yùn)動人體目標(biāo)進(jìn)行前景分割。
[0044] 如圖1所示，本發(fā)明提出的一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量方法的 詳細(xì)步驟如下：
[0045] 1.對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)和外參數(shù)矩陣，并計算無窮消影點(diǎn)的圖像 點(diǎn)，在本步驟中，可以直接采用OpenCV的相機(jī)標(biāo)定程序?qū)ο鄼C(jī)進(jìn)行標(biāo)定，得到相機(jī)的像平面 與地面之間的單應(yīng)矩陣H g、內(nèi)參數(shù)A和外參數(shù)[R t]。當(dāng)內(nèi)參數(shù)矩陣和外參數(shù)矩陣已知時，垂 直消影點(diǎn)mv可以通過式（1)計算得到；
[0046] 2.利用Vibe算法獲取待檢測視頻中運(yùn)動人體的前景圖像；
[0047] 在本發(fā)明的提取前景分割步驟中，采用Vibe算法進(jìn)行前景分割，在一實(shí)施例中，基 本參數(shù)可設(shè)置為r = 25,巾=20,其中r為以當(dāng)前像素為中心圓的半徑大小，巾為每個像素隨 機(jī)采樣的數(shù)目。圖2A-2B是利用Vibe算法提取到的運(yùn)動人體的前景圖像，圖2A為原始灰度圖 像，圖2B為前景分割結(jié)果。
[0048] 3.對所述前景圖像進(jìn)行形態(tài)學(xué)處理；
[0049]在本發(fā)明的前景圖像的形態(tài)學(xué)處理中，主要對圖像進(jìn)行腐蝕、膨脹和中值模糊三 個操作。首先對前景圖像進(jìn)行腐蝕操作，在一實(shí)施例中，窗口大小設(shè)置為3 X 3;然后再對前 景圖像進(jìn)行膨脹操作，同樣在一實(shí)施例中設(shè)置窗口大小為3X3;最后對處理后的前景圖像 進(jìn)行中值模糊，在一實(shí)施例中，窗口大小為3 X 3。
[0050] 4.獲取前景圖像中每一個人體位置的矩形包圍框；
[0051] 在經(jīng)過步驟3獲取去掉碎片的運(yùn)動人體的前景圖像后，可以通過對前景圖像進(jìn)行 團(tuán)塊檢測和擴(kuò)展卡爾曼濾波算法確定視頻中每一個運(yùn)動人體的矩形區(qū)域，該步驟具體的做 法:若運(yùn)動人體第一次出現(xiàn)在視頻中，則采用團(tuán)塊檢測的方法檢測出該人體目標(biāo)的矩形包 圍盒位置;若運(yùn)動人體不是第一次出現(xiàn)在視頻中，則采用擴(kuò)展卡爾曼濾波算法跟蹤該運(yùn)動 人體的矩形包圍框區(qū)域，估計在下一幀時該人體的包圍框位置，并在該區(qū)域重新進(jìn)行團(tuán)塊 檢測。
[0052]在本步驟中，有兩點(diǎn)需要進(jìn)一步說明：（a)在對前景圖像進(jìn)行團(tuán)塊檢測時，由于噪 聲的干擾，會檢測出一些噪聲點(diǎn)，為了提取人體團(tuán)塊區(qū)域，剔除前景圖像中面積小于500的 團(tuán)塊，。由于背景分割算法將人體目標(biāo)分割成不連通的區(qū)域，需要對不同團(tuán)塊質(zhì)心之間距離 小于某一個固定閾值的團(tuán)塊進(jìn)行合并，在本發(fā)明方法中，設(shè)置該閾值為250; (b)在對人體區(qū) 域矩形包圍框用擴(kuò)展卡爾曼濾波進(jìn)行目標(biāo)跟蹤時，假定經(jīng)過人體團(tuán)塊檢測得到的矩形區(qū)域 用對角坐標(biāo)表示該矩形為(^， 71，^，72)，那么在進(jìn)行跟蹤時的矩形區(qū)域大小應(yīng)該設(shè)置為 (X1-30， yi-30，X2+30，y2+30)。圖3為基于視頻的人體身高自動測量方法中的多人目標(biāo)團(tuán)塊 檢測和跟蹤的效果圖，圖3A為多人目標(biāo)團(tuán)塊灰度圖像，圖3B為多人目標(biāo)團(tuán)塊效果圖。
[0053] 5.從所獲取的每一個人體位置的矩形包圍框中提取頭部和腳部特征點(diǎn)的圖像點(diǎn)；
[0054] 本步驟分為頭部特征點(diǎn)提取和腳部特征點(diǎn)提取兩個步驟。
[0055]頭部特征點(diǎn)Vhead的提取步驟為：
[0056]計算垂直消影點(diǎn)mv與前景圖像上所有點(diǎn)的距離，如果mv在圖像坐標(biāo)系下v方向的分 量為正值，則對應(yīng)距離最大的點(diǎn)為頭部頂點(diǎn)的圖像特征點(diǎn);反之，則對應(yīng)距離最小的點(diǎn)為頭 部頂點(diǎn)的圖像特征點(diǎn)vhd，如圖4所示，其示出了基于視頻的人體身高自動測量方法中的頭 部特征點(diǎn)的提取結(jié)果。
[0057]腳部特征點(diǎn)的提取步驟為：
[0058] ( 1 )提取前景圖像V軸方向上的最高點(diǎn)Vmax和頭部特征點(diǎn)Vhead，貝可大致得出人體 區(qū)域在圖像V軸方向上的取值范圍。根據(jù)人體形態(tài)特征，腳部區(qū)域不會超過整個人體區(qū)域在 圖像V軸方向上的1〇%。則可以知道腳部區(qū)域在圖像V軸方向上的投影范圍為[9*(^^_ Vhd)，Vmax]，其中0為[0.8，0.9 ]之間的常數(shù)，圖5A示出了基于視頻的人體身高自動測量方 法中的人體目標(biāo)腳部區(qū)域圖像。
[0059] (2)以頭部特征點(diǎn)mh點(diǎn)為原點(diǎn)，mh點(diǎn)到垂直消影點(diǎn)mv的向量方向?yàn)榭v軸方向建 立臨時的平面坐標(biāo)系，在此坐標(biāo)系下求腳部區(qū)域邊緣的灰度梯度，由于人在運(yùn)動中兩腳在 圖像中的投影很可能有重疊，因此采取兩種情況進(jìn)行處理：（a)如果兩腳在圖像上的投影不 重疊，也就是說檢測到兩塊不連通的區(qū)域，那么可以檢測到兩段邊緣曲線，將這兩段曲線上 灰度梯度方向與心^方向夾角大于90°的邊緣點(diǎn)集合分別記為&和&，然后提取每個集合 中縱坐標(biāo)最大的點(diǎn)，分別記為》^和w /2 Kb)如果兩腳在圖像上的投影有重疊，也就是說只能 在圖像上檢測到一塊連通的區(qū)域，那么可以檢測到一段邊緣曲線，將此曲線上灰度梯度方 向與 4^,,方向夾角大于90°的邊緣點(diǎn)集合記為Tf，然后從集合中提取橫坐標(biāo)最小的點(diǎn)和橫坐 標(biāo)最大的點(diǎn)，分別記為°圖5B示出了基于視頻的人體身高自動測量方法中的人體 目標(biāo)腳部特征點(diǎn)，圖中實(shí)心圓圈是根據(jù)此步驟提取的腳部特征點(diǎn)的圖像點(diǎn)。
[0060] 6.建立約束方程組求解人體身高
[0061] 根據(jù)步驟5提取的兩個腳部圖像特征點(diǎn)》4和~/.，可以確定在圖像坐標(biāo)系下的一個 直線方程Lf
[0062] aix+biy+ci = 0 (2)
[0063] 其中ai，bi，ci均為常數(shù)。
[0064]又由頭部頂點(diǎn)的圖像特征點(diǎn)mh和垂直消影點(diǎn)mv，在圖像坐標(biāo)系下可以確定另外一 個直線方程Lv
[0065] a2X+b2y+C2 = 0 (3)
[0066] 其中a2，b2，C2均為常數(shù)。
[0067] 根據(jù)垂直消影點(diǎn)的定義可知，頭部頂點(diǎn)與垂直消影點(diǎn)的連線垂直于兩個腳部特征 點(diǎn)的連線，也就說直線Lf和直線L v的交點(diǎn)是垂足圖像點(diǎn)，記垂足圖像點(diǎn)為mP。聯(lián)立(2)和(3) 即可求得直線Lf和直線L v的交點(diǎn)mP，通常情況下叫不在無窮遠(yuǎn)處。
[0068]假定在三維空間中人頭部頂點(diǎn)的齊次坐標(biāo)為?11=(乂11，￥11，2 11，1)7，因?yàn)榈仄矫媸鞘?界坐標(biāo)系的XY平面，因此三維空間中人頭部頂點(diǎn)在地平面上的投影點(diǎn)的三維齊次坐標(biāo)為Pp = (Xh，Yh，0，l)T，則有 卜、
[0069] smp^H^ Yh U」 (4)
[0070] 將聯(lián)系方程(2)和(3)求得的叫坐標(biāo)代入(4)，即可求得Xh，Yh，也就說已經(jīng)確定了Pp 的空間坐標(biāo)。
[0071] 在已知&的情況下，可以確定投影矩陣Pro,投影矩陣可以提供關(guān)于人頭頂點(diǎn)的兩 個約束方程
[0072] smh=ProPh (5)
[0073] 將(4)求得的Xh和Yh代入(5)，即可求得最小二乘意義下的人頭部頂點(diǎn)Z軸坐標(biāo)Zh， 也就是人的高度。圖6為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的單個人體目標(biāo) 高度測量結(jié)果，圖7為本發(fā)明實(shí)施基于視頻的人體身高自動測量方法中的多個人體目標(biāo)高 度測量結(jié)果。
[0074] 圖8是以實(shí)驗(yàn)視頻數(shù)據(jù)為自動化所智能化大廈正門東側(cè)監(jiān)控攝像頭所采集的視頻 為實(shí)驗(yàn)數(shù)據(jù)，對算法的實(shí)時性進(jìn)行驗(yàn)證的時間消耗圖，可以看出每一幀的運(yùn)行時間在40-55ms之間擺動，其曲線雖偶有波動但是總體情況平穩(wěn)，平均每幀處理時間48.79ms，即實(shí)際 測量的幀率為20.1幀/s，可以滿足在線對視頻中多個人體目標(biāo)進(jìn)行身高測量的運(yùn)行時間需 求。圖9所示是為了驗(yàn)證算法的通用性，將該算法應(yīng)用在更多的數(shù)據(jù)集上進(jìn)行測試，測量結(jié) 果如9A-9B所示。
[0075] 以上所述的具體實(shí)施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步說 明，所用理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本 發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范 圍之內(nèi)。
【主權(quán)項】
1. 一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量方法，其包括： 步驟1、對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，根據(jù)所述內(nèi)參數(shù)矩陣 和外參數(shù)矩陣計算無窮垂直消影點(diǎn)； 步驟2、獲取待檢測視頻中運(yùn)動人體的前景圖像； 步驟3、對所述前景圖像進(jìn)行形態(tài)學(xué)處理； 步驟4、獲取所述前景圖像中每一個運(yùn)動人體位置的矩形包圍框； 步驟5、從所獲取的每一個運(yùn)動人體位置的矩形包圍框中提取頭部特征點(diǎn)和腳部特征 點(diǎn)' ； 步驟6、根據(jù)所提取的頭部特征點(diǎn)和腳部特征點(diǎn)求解每一個運(yùn)動人體的身高。2. 如權(quán)利要求1所述的方法，其中，步驟6具體包括： 步驟601:根據(jù)所提取的兩個腳部特征點(diǎn)確定該兩個腳部特征點(diǎn)所在直線的方程Lf; 步驟602:根據(jù)所述頭部特征點(diǎn)和無窮垂直消影點(diǎn)確定所述頭部特征點(diǎn)和無窮垂直消 影點(diǎn)所在直線的方程Lv; 步驟603:根據(jù)方程Lf和Lv確定垂直交點(diǎn)化； 步驟604:假設(shè)頭部特征點(diǎn)齊次坐標(biāo)為扣=(Xh，化，Zh, 1)T，其在地平面上的投影點(diǎn)的齊 次坐標(biāo)為Pp=(抽，Yh，0，l)T，則根據(jù)如下投影方程得到抽，化，進(jìn)而得到Pp=(抽，Yh，0，l)T:其中，S是非零尺度因子，Hg為根據(jù)相機(jī)標(biāo)定得到的像平面與標(biāo)定板平面的單應(yīng)矩陣； 步驟605:根據(jù)Hg確定投影矩陣Pro，進(jìn)而根據(jù)如下投影方程確定扣=(抽，化，Zh，1 )T，Zh即 為人體身高： Smh = ProPh 其中，mil為頭部特征點(diǎn)。3. 如權(quán)利要求1所述的方法，其中，步驟2中采用Vibe算法獲取運(yùn)動人體的前景圖像。4. 如權(quán)利要求1所述的方法，其中，步驟3中對所述前景圖像進(jìn)行形態(tài)學(xué)處理包括:對所 述前景圖像進(jìn)行腐蝕、膨脹和中值模糊操作。5. 如權(quán)利要求1所述的方法，其中，步驟4包括： 若運(yùn)動人體第一次出現(xiàn)在待檢測視頻中，則采用團(tuán)塊檢測方法檢測出運(yùn)動人體的矩形 包圍框;若運(yùn)動人體不是第一次出現(xiàn)在待檢測視頻中，則采用擴(kuò)展卡爾曼濾波算法跟蹤該 運(yùn)動人體的矩形包圍框，估計在下一帖時該運(yùn)動人體的矩形包圍框，并在該矩形包圍框中 重新進(jìn)行團(tuán)塊檢測。6. 如權(quán)利要求5所述的方法，其中，步驟4包括： 在對所述前景圖像進(jìn)行團(tuán)塊檢測時，剔除前景圖像中面值小于預(yù)定值的團(tuán)塊，并設(shè)定 團(tuán)塊面積在預(yù)定范圍內(nèi)； 將不同團(tuán)塊質(zhì)屯、之間的距離小于預(yù)定闊值的團(tuán)塊進(jìn)行合并。7. 如權(quán)利要求1所述的方法，其中，步驟5中頭部特征點(diǎn)的提取包括： 計算無窮垂直消影點(diǎn)mv與前景輪廓上所有點(diǎn)的距離，如果mv在圖像坐標(biāo)下V方向的分量 為正值，則對應(yīng)距離中最大的點(diǎn)作為頭部特征點(diǎn)；反之，如果mv在圖像坐標(biāo)下V方向的分量 為負(fù)值，則對應(yīng)距離最小的點(diǎn)作為頭部特征點(diǎn)。8. 如權(quán)利要求1所述的方法，其中，步驟5中腳部特征點(diǎn)的提取步驟包括： 提取前景圖像V軸方向上的最高點(diǎn)Vmax和頭部特征點(diǎn)Vhead，則可大致得出人體區(qū)域在圖 像V軸方向上的取值范圍； W頭部特征點(diǎn)皿點(diǎn)為原點(diǎn)，皿點(diǎn)到無窮垂直消影點(diǎn)Hlv的向量方向?yàn)榭v軸方向建立臨 時的平面坐標(biāo)系;在此坐標(biāo)系下求腳部區(qū)域邊緣的灰度梯度;如果檢測到兩段邊緣曲線，將 運(yùn)兩段曲線上灰度梯度方向與方向夾角大于90°的邊緣點(diǎn)集合分別記為與和7>,，然后 提取每個集合中縱坐標(biāo)最大的點(diǎn)，分別記為W.S:和W/:=如果檢測到一段邊緣曲線，將此邊緣 曲線上灰度梯度方向與方向夾角大于90°的邊緣點(diǎn)集合記為Tf,然后從集合中提取橫坐 標(biāo)最小的點(diǎn)和橫坐標(biāo)最大的點(diǎn)，分別記為和W.: 日M/。即為腳部特征點(diǎn)。9. 一種基于視頻的多人體目標(biāo)高度實(shí)時在線測量裝置，其包括： 標(biāo)定模塊，用于對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，根據(jù)所述內(nèi)參 數(shù)矩陣和外參數(shù)矩陣計算無窮垂直消影點(diǎn)； 前景檢測模塊，用于獲取待檢測視頻中運(yùn)動人體的前景圖像； 預(yù)處理模塊，用于對所述前景圖像進(jìn)行形態(tài)學(xué)處理； 人體區(qū)域獲取模塊，用于獲取所述前景圖像中每一個運(yùn)動人體位置的矩形包圍框； 特征點(diǎn)提取模塊，用于從所獲取的每一個運(yùn)動人體位置的矩形包圍框中提取頭部特征 點(diǎn)和腳部特征點(diǎn)； 身高計算模塊，用于根據(jù)所提取的頭部特征點(diǎn)和腳部特征點(diǎn)求解每一個運(yùn)動人體的身 局。10. 如權(quán)利要求9所述的裝置，其中，所述身高計算模塊如下計算人體身高： 根據(jù)所提取的兩個腳部特征點(diǎn)確定該兩個腳部特征點(diǎn)所在直線的方程Lf; 根據(jù)所述頭部特征點(diǎn)和無窮垂直消影點(diǎn)確定所述頭部特征點(diǎn)和無窮垂直消影點(diǎn)所在 直線的方程Lv; 根據(jù)方程Lf和Lv確定垂直交點(diǎn)Hip; 假設(shè)頭部特征點(diǎn)齊次坐標(biāo)為扣=(Xh，化，Zh, 1)T，其在地平面上的投影點(diǎn)的齊次坐標(biāo)為 Pp =(抽，化，0，1 )T，則根據(jù)如下投影方程得到抽，化，進(jìn)而得到Pp =(抽，化，0，1 )T:其中，S是非零尺度因子，Hg為根據(jù)相機(jī)標(biāo)定得到的像平面與標(biāo)定板平面的單應(yīng)矩陣； 根據(jù)Hg確定投影矩陣Pro,進(jìn)而根據(jù)如下投影方程確定扣=(抽，Yh, Zh, l)T，Zh即為人體身 局： Smh = PrOPh 其中，Hlh為頭部特化點(diǎn)D
【文檔編號】G06T7/20GK105913464SQ201610204926
【公開日】2016年8月31日
【申請日】2016年4月5日
【發(fā)明人】吳毅紅, 張亮, 董秋雷
【申請人】中國科學(xué)院自動化研究所