基于核函數(shù)非監(jiān)督聚類的多目標(biāo)跟蹤方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域多目標(biāo)跟蹤技術(shù)及系統(tǒng)，具體是一種基于 核函數(shù)非監(jiān)督聚類的多目標(biāo)跟蹤技術(shù)，以及實現(xiàn)該技術(shù)的軟件系統(tǒng)。
【背景技術(shù)】
[0002] 隨著計算機視覺的發(fā)展和人們對公眾安全意識不斷增強，多目標(biāo)監(jiān)控在生產(chǎn)和生 活中占有了越來越重要的地位。目標(biāo)檢測和目標(biāo)跟蹤成了重要的研究內(nèi)容。在監(jiān)控系統(tǒng)中， 跟蹤算法可以降低人工成本，節(jié)約社會資源。但是因為跟蹤環(huán)境中有很多不確定性的因素， 目標(biāo)的多樣性、復(fù)雜多變的光照環(huán)境、陰影干擾等問題都會給跟蹤算法帶來干擾。這也造成 目前已有的很多系統(tǒng)無法在實際應(yīng)用環(huán)境下穩(wěn)定的工作，從而缺少真正意義上的智能監(jiān)控 系統(tǒng)。對于多目標(biāo)跟蹤而言，除上述問題，各個目標(biāo)之間的相關(guān)性、相互遮擋等問題都會給 準(zhǔn)確跟蹤帶來更大的難度。
[0003] 基于此，山東大學(xué)常發(fā)亮老師與柯晶老師基于雙目視覺的運動目標(biāo)檢測與跟蹤能 有效解決遮擋、陰影等問題。2006年，常發(fā)亮老師將單目中的Camshift算法應(yīng)用于雙目視 覺中，2007年提出基于分層網(wǎng)絡(luò)最小分割的立體匹配方法對運動目標(biāo)進行跟蹤。之后柯晶 老師從改進的Harris角點算法改善檢測效果，然后，他們又利用之前Harris匹配的精確角 點作為控制點，進行區(qū)域相關(guān)的匹配得到整體稠密的視差圖。但是這樣稠密視差圖計算復(fù) 雜度依然很高，尤其在場景背景復(fù)雜度比較高的情況下，很難達到實時跟蹤的效果。
[0004] 經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國專利文獻號CN103106659A公開（公告）日 2013.05. 15,公開了一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標(biāo)檢測與跟蹤方法，也是 利用雙目系統(tǒng)得到特征點世界坐標(biāo)系，并投影至地平面上，借助人體體型信息和黃金分割 比完成離散點聚類。最后，以聚類為單元，結(jié)合聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)和目標(biāo)顏色信息完成監(jiān)控 區(qū)域內(nèi)行人目標(biāo)的魯棒檢測與跟蹤。該技術(shù)使得運算量變小，并且使得目標(biāo)檢測和跟蹤更 為準(zhǔn)確。但該技術(shù)將世界坐標(biāo)系中特征點投影到地面之后，利用人體體型及黃金分割比對 二維投影點進行聚類，難以做到對三維目標(biāo)形狀的高精度匹配。此外，使用聯(lián)合概率數(shù)據(jù)對 第一幀目標(biāo)稀疏特征點凸多邊形顏色直方圖和新檢測到目標(biāo)更新目標(biāo)位置，直方圖的統(tǒng)計 計算事實上又回到了稠密區(qū)域的計算，只是縮小了稠密區(qū)域的計算范圍，當(dāng)目標(biāo)較多時，依 然很難滿足實時性要求。
[0005] 中國專利文獻號CN101344965公開（公告）日2009. OL 14,公開了一種計算機視 覺領(lǐng)域的全自動的目標(biāo)檢測與跟蹤系統(tǒng)，其中：輸入模塊負責(zé)采集雙目攝像機所拍攝的數(shù) 字圖像作為系統(tǒng)輸入，所獲得的數(shù)字圖像輸入到特征提取模塊對其中一種圖像進行特征分 析出一些特征點作為隨后的處理圖像。通過匹配兩張圖像中特征點后計算其視差，結(jié)合預(yù) 先獲知的相機內(nèi)外參數(shù)，可計算出特征點的相機坐標(biāo)系下坐標(biāo)。進一步通過世界坐標(biāo)系與 相機坐標(biāo)系的關(guān)系，可知特征點世界坐標(biāo)下坐標(biāo)。聚類模塊將這些特征點聚類成集合表達 目標(biāo)位置，而軌跡分析模塊估計時間序列上的目標(biāo)位置得出目標(biāo)的運動軌跡。但該技術(shù)聚 類利用目標(biāo)特征點高度和位置進行聚類，同樣面臨目標(biāo)精度匹配問題，當(dāng)背景比較復(fù)雜是， 很難對不同形狀的目標(biāo)進行精準(zhǔn)的匹配。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于核函數(shù)非監(jiān)督聚類的多目標(biāo) 跟蹤方法，并實現(xiàn)該技術(shù)軟件系統(tǒng)。利用多攝像頭獲取圖像，通過不同視場圖像目標(biāo)特征之 間的聯(lián)系，計算特征點空間坐標(biāo)，解決遮擋問題帶來的干擾。接著，通過提取目標(biāo)稀疏特征 點并計算在空間位置的三維信息，并使用本文發(fā)明的基于核函數(shù)非監(jiān)督聚類方法，將目標(biāo) 位置和目標(biāo)方向作為變量，直接對世界坐標(biāo)三維特征點進行爬山并聚類，確定多目標(biāo)的位 置和方向。并結(jié)合最優(yōu)估計算法，根據(jù)上一幀跟蹤結(jié)果與當(dāng)前幀檢測結(jié)果，評估最優(yōu)目標(biāo)位 置與方向。本發(fā)明引入的核函數(shù)可以根據(jù)不同特征、不同形狀的目標(biāo)構(gòu)造不同的核函數(shù)，可 以對不同目標(biāo)進行更精確的匹配。此外，借助最優(yōu)估計算法，僅使用稀疏特征點聚類結(jié)果得 到的目標(biāo)位置與方向以及上一幀的結(jié)果便可以估計當(dāng)前幀最優(yōu)目標(biāo)位置與方向。
[0007] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0008] 本發(fā)明涉及一種基于核函數(shù)非監(jiān)督聚類的多目標(biāo)跟蹤方法，包括以下步驟：
[0009] 1)首先通過雙目攝像頭獲取同一時刻左、右序列圖作為輸入，利用雙目相機參數(shù) 對圖像校正。
[0010] 2)通過提取圖像特征點并匹配特征，計算視差。
[0011] 3)利用得到的視差計算目標(biāo)特征點相對相機坐標(biāo)位置，即相機坐標(biāo)，并完成地面 標(biāo)定，從而根據(jù)特征點距離地面高度，可以過濾地面陰影特征點，消除地面陰影的干擾。
[0012] 4)針對三維坐標(biāo)特征點，結(jié)合使用核函數(shù)，對不確定類別數(shù)的目標(biāo)進行非監(jiān)督聚 類，將一個目標(biāo)的所有特征點聚合成一個集合，即每一類別對應(yīng)一個觀測值的位置及方向， 并結(jié)合上一幀目標(biāo)的位置及方向預(yù)測得到目標(biāo)所在當(dāng)前幀，即預(yù)測值的位置及方向預(yù)測 值，使用最優(yōu)估計算法最終得到最優(yōu)目標(biāo)的位置及方向，從而達到多目標(biāo)快速跟蹤的效果。
[0013] 所述的圖像校正是指利用雙目相機的內(nèi)部和外部參數(shù)，對獲取到的圖像進行校 正，使得：
[0014] i)同一時刻空間一個點在左、右序列圖中滿足對極幾何定理。
[0015] ii)左、右序列圖中的任--幅中的一個確定點對應(yīng)的空間位置在另一序列圖的 極線上。
[0016] 所述的匹配特征是指先在左、右序列圖中的任一一幅中提取特征點，并利用匹配 算法在另一序列圖中的極線上搜索對應(yīng)的目標(biāo)點。
[0017] 所述的地面標(biāo)定是指：在地面上做標(biāo)記，提取左、右序列圖中該標(biāo)記上的特征點， 計算其相機坐標(biāo)，并利用最小二乘方法對地面上的特征點相機坐標(biāo)擬合地平面參數(shù)方程。
[0018] 所述的步驟4,具體包括：
[0019] a)對所有特征點進行過濾，篩選出高度可能屬于目標(biāo)的特征點，再為每個特征點 初始化一個角度Θ。，作為每個特征點可能屬于某個目標(biāo)的旋轉(zhuǎn)角度，即目標(biāo)方向；
[0020] b)構(gòu)造核密度函數(shù)為每個樣本點估計概率的權(quán)重值，在概率空間尋找局部最大值 對應(yīng)空間中目標(biāo)位置。在搜索時，從一個起始點開始在其鄰域范圍內(nèi)不斷搜索更大的概率 空間點，直至達到局部最大點的位置。即mean -shift爬山過程，并使用非監(jiān)督聚類方法對 爬山后的特征點位置進行聚類，類別數(shù)表示目標(biāo)個數(shù)。
[0021] c)利用最優(yōu)估計算法，根據(jù)目標(biāo)過去的運動向量預(yù)測新的運動向量，在上幀位置 基礎(chǔ)上得到當(dāng)前幀的預(yù)測位置，達到對當(dāng)前位置測量值修正的效果。
[0022] 所述的構(gòu)造核密度函數(shù)是指，通過特征點位置變量和角度變量，構(gòu)造一個函數(shù)表 示該特征點在地面投影的概率密度：Φ %札(rf/W4)，其中：概 率空間Ε(χ，Θ)中的局部最大點對應(yīng)著離散空間中點最稠密位置，表示當(dāng)前幀檢測到的目 標(biāo)，Md1(Q)KHx(Clj(X), Q1)是方向和位置的核函數(shù)，Cl1(Q)Uj(X)是方向與位置的歸一 化距離測度函數(shù)，φ(θ) = I |Ae (Θ-Q1) I |2, +(θ) = I |Ax(X-Xj) I |2,測度函數(shù)中的變量 x_j是指第j個特征點在地面上的投影坐標(biāo)，變量Θ i是在X 表示第j個特征投影點的坐標(biāo) [0, 2 31 ]中的第i個方向值，w]表示第j個特征投影點的權(quán)重值，即特征投影點確定目標(biāo)位 置時的相對重要性?？拷繕?biāo)中心重要性也越大。
[0023] 所述的核函數(shù)Hx與方向核函數(shù)H e表示目標(biāo)特征點的空間性質(zhì)，不同的目標(biāo)類型 有不同的空間屬性，也應(yīng)該對應(yīng)不同的核函數(shù),Hjd, (X)，G1)是指在方向參數(shù)作用下 移橢圓中心將Hx(d,)逆時針旋轉(zhuǎn)Q 1角度得到的核函數(shù)，方向核函數(shù)表示形狀核函數(shù)相對 中心的旋轉(zhuǎn)角度，從[0, 2 31]區(qū)域里均勻選取^個角度樣本值。
[0024] 所述的使用非監(jiān)督聚類方法對爬山后的特征點位置進行聚類是指，將爬山后距離 很小的點聚為一類，表示一個目標(biāo)，其中：兩個特征點之間的距離可以表示為d( Xl，Xj)，當(dāng) 距離小于一定值則劃分為一類。
[0025] 對于聚類結(jié)果，如果兩個小的類別距離很近，則將兩個小類別合并為一個大類別。 反之，對于一個大類別如果類內(nèi)特征點分的比較開，則將該大類別拆分為兩個類別。為了評 測聚類是否屬于大聚類而分割成兩個小的聚類，基于方向距離定義聚類內(nèi)部點距離的方差 為：
該方差表示較小的聚類，具有較大權(quán)重投影點都靠近中心點，即 該聚類的方差較小，而大的聚類包含多個目標(biāo)的投影點，造成許多大權(quán)重的點都遠離集合 中心點導(dǎo)致統(tǒng)計方差比較大，故當(dāng)某個聚類方差較大時應(yīng)分裂成兩個新的聚類。
[0026] 本發(fā)明涉及一種實現(xiàn)上述方法的系統(tǒng)，包括：相機標(biāo)定模塊、參數(shù)輸入模塊、圖像 處理模塊、特征提取與匹配模塊、地面標(biāo)定模塊、坐標(biāo)系轉(zhuǎn)換模塊、核函數(shù)聚類模塊、濾波跟 蹤模塊、界面展示模塊，其中：相機標(biāo)定模塊標(biāo)定雙目相機的相機參數(shù)并存儲于參數(shù)輸入模 塊，參數(shù)輸入模塊讀取標(biāo)定好的相機參數(shù)輸出至圖像處理模塊，圖像處理模塊根據(jù)相機參 數(shù)對雙目序列圖片進行校正并輸出至特征提取與匹配模塊，特征提取與匹配模塊從校正后 的圖片中提取出目標(biāo)特征，通過相關(guān)性匹配特征點計算特征點視差和相機坐標(biāo)并分別輸出 至坐標(biāo)系轉(zhuǎn)換模塊和地面標(biāo)定模塊，地面標(biāo)定模塊對地面參數(shù)進行標(biāo)定，并在跟蹤時將地 面參數(shù)輸出至坐標(biāo)系轉(zhuǎn)換模塊，坐標(biāo)系轉(zhuǎn)換模塊將特征點的相機坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)并輸 出至核函數(shù)聚類模塊進行聚類，核函數(shù)聚類模塊將每個目標(biāo)聚成一個集合，即當(dāng)前幀檢測 結(jié)果輸出至濾波跟蹤模塊，濾波跟蹤模塊根據(jù)上一幀結(jié)果及當(dāng)前幀檢測結(jié)果估計出最優(yōu)的 目標(biāo)位置與方向，并由界面展示模塊顯示跟蹤結(jié)果。 技術(shù)效果
[0027] 與現(xiàn)有技術(shù)相比，本發(fā)明利用搭建的雙目視覺平臺將監(jiān)控場景中目標(biāo)特征還原出 三維坐標(biāo)信息。新穎的核函數(shù)聚類算法依據(jù)特征點距離地面高度和位置形成聚類集合，確 定目標(biāo)的數(shù)量、位置以及方向。該方法與傳統(tǒng)基于顏色特征的方法相比，在光照變化條件下 更穩(wěn)定，因為兩個相機觀察同一場景光照變化可以相互抵消。同時靠近地板平面的陰影的 特征點由于高度較低而被過濾，從而有效地解決了陰影問題帶來的干擾，且目標(biāo)在俯視角 度下不存在目標(biāo)之間的遮擋問題。此外，