一種多視角實時行人檢測方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機視覺目標(biāo)檢測技術(shù)領(lǐng)域，特別是設(shè)及一種多視角實時行人檢測 方法及系統(tǒng)，尤其適用于實時統(tǒng)計公共場所的人流量數(shù)據(jù)。
【背景技術(shù)】
[0002] 行人檢測是計算機視覺與模式識別相結(jié)合的一個重要研究領(lǐng)域。行人檢測的目標(biāo) 是在圖像中標(biāo)定出行人，例如盡可能緊湊的包含各個行人的矩形框。如果針對視頻，有時還 需要確定同一行人的運動軌跡，即行人跟蹤。值得注意的是，檢測不等于識別，不需要標(biāo)定 行人的身份信息。另一方面，檢測通常是識別的先決條件，即首先確定包含某個行人的緊湊 矩形區(qū)域，然后根據(jù)身份識別特征確定運個行人的身份。
[0003] 行人檢測較早的工作起始于90年代末，代表性的工作如MIT人工智能實驗室的 M.化en和C.Papageorgiou等人在1998年提出的基于小波模板的行人檢測。運種方法有 兩個主要特點：（1)使用了哈爾（Haar)特征區(qū)分行人自身的相似性和行人/背景間的差異 性；（2)使用固定大小的滑動窗和全圖比例縮放完成全圖不同大小行人圖像檢測的任務(wù)。
[0004] 行人檢測的突破性進展來自P.Viola和M.Jones在2001年提出的基于類哈爾 化aar-l化e)特征和自舉度oosting)學(xué)習(xí)算法的目標(biāo)檢測。雖然P.Viola和M. ^nes方法 一開始的主要檢測對象是人臉，但是很快就被用于檢測其它目標(biāo)，特別是行人目標(biāo)。他們的 方法的特點在于：（1)使用積分圖（IntegralImage)計算類哈爾特征。積分圖不僅僅是目 標(biāo)檢測領(lǐng)域，也是更廣泛的計算機視覺領(lǐng)域一個重要突破，現(xiàn)在積分圖已經(jīng)是目標(biāo)檢測的 一個基本工具；（2)采用AdaBoost自動選取最有辨別能力的類哈爾特征。AdaBoost最初是 僅用來提高簡單學(xué)習(xí)算法（又稱為弱分類器）的性能：將弱分類器線性組合成為一個強分 類器。理論研究證明，強分類器在訓(xùn)練集上的檢測錯誤（誤警和漏報）隨弱分類器的數(shù)量 指數(shù)下降。此外，強分類器一般化的性能（測試集上的性能）也有理論保證；（3)采用了強 分類器串聯(lián)（cascading)的結(jié)構(gòu)。一個檢測窗當(dāng)且僅當(dāng)所有的強分類器都檢測為+1才輸 出+1 ;任何一級強分類器檢測為-1則立即退出檢測器，輸出為-1。
[0005] 現(xiàn)有的行人檢測還通常使用N.Dalai和B.Triggs在2005年提出梯度方向直方 圖化istogramsofOrientedGradients,HOG)。HOG的基本出發(fā)點是目標(biāo)的局部表觀和形 狀特征可W通過局部圖像梯度和邊緣方向的分布刻畫，而不需要確切的每個像素位置上的 梯度和邊緣方向。HOG結(jié)合了邊緣方向直方圖巧dge-化ientationHistograms),尺度不 變特征變換（ScaleInvariantFea1:urehansform,SIFT)描述符，W及形狀背景（化ape Contexts)特征，與類哈爾特征相似，HOG特征也可W通過類似積分圖的形式快速計算。與 之前用在行人檢測的特征相比，HOG特征都有顯著的優(yōu)勢。到目前為止，HOG是用于行人檢 測性能最好的單獨特征。
[0006] 行人檢測器有兩個要素：特征和分類器。不同類型的特征之間有互補的關(guān)系，增加 特征類型和數(shù)量會提高檢測準(zhǔn)確度但同時也會降低計算效率。也就是說，對于行人檢測系 統(tǒng)來說兩個主要問題是：（1)如何提高檢測準(zhǔn)確度；（2)如何提高計算效率。同時運兩個問 題也是相互緊密聯(lián)系的。
[0007] 構(gòu)造一個實用的行人檢測器往往需要在復(fù)雜度和檢測準(zhǔn)確度之間權(quán)衡。一方面， 面對行人的多姿態(tài)，多尺度，遮擋，復(fù)雜光照，和復(fù)雜背景，為了確保檢測準(zhǔn)確度，往往需要 大量的特征，如化ar-like特征、HOG特征、Edgelet特征（描述行人局部輪廓方向的特征）、 局部二元模式化ocalBinary化ttern,LB巧特征、協(xié)方差特征、身體部位特征等。增加特 征通?？蒞提高檢測準(zhǔn)確度，但同時也意味著計算量的增加。另一方面，分類器也同時影響 檢測的準(zhǔn)確度和效率。在搭建行人檢測系統(tǒng)的時候，盡量考慮易于訓(xùn)練和實現(xiàn)、有快速算法 的分類器。在一定的復(fù)雜度約束下，可W計算的特征數(shù)量有限，因此提高特征計算的效率間 接的提高了分類器的準(zhǔn)確度。特別是視頻圖像的行人檢測，在實時的約束下，處理速度不能 低于視頻的帖率，限制了計算量，也間接的限制了檢測的準(zhǔn)確度。
[0008] 除上述問題外，對于實用的行人檢測系統(tǒng)來說，必須關(guān)注行人間及行人與物體間 存在的遮擋問題。在單攝像機條件下，當(dāng)前的方法能在一定程度上處理局部遮擋的問題，但 效果并不理想。為解決該問題，目前多采用多攝像機或利用深度信息來檢測行人。但運些 方法大都假設(shè)場景中的目標(biāo)是連續(xù)運動，并不對目標(biāo)的類別進行判別，即只是利用多攝像 機來對場景中連續(xù)運動的目標(biāo)進行跟蹤，而不是判斷目標(biāo)是否是行人。

【發(fā)明內(nèi)容】

[0009] 為了克服現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種多視角行人檢測方法及 系統(tǒng)，W解決特征選擇和計算效率間的權(quán)衡問題。
[0010] 本發(fā)明的技術(shù)方案提供一種多視角實時行人檢測方法，包括W下步驟，
[0011] 步驟1，分別針對訓(xùn)練圖像和測試圖像進行多通道圖像預(yù)處理，包括多通道圖像采 集，多通道圖像多尺度平滑濾波，W及多通道參數(shù)設(shè)定；所述多通道圖像采集包括在多個視 角多個頻譜范圍采集連續(xù)的視頻圖像；
[0012] 步驟2,多通道特征學(xué)習(xí)，包括從大量多通道特征中隨機抽取特征，通過訓(xùn)練圖像 得到該特征對行人目標(biāo)的區(qū)分能力，予W舍棄或保留；然后根據(jù)保留的特征構(gòu)造弱分類器， 多個弱分類器融合為強分類器；最后強分類器串聯(lián)構(gòu)造局部檢測器；
[0013] 步驟3,局部檢測，在步驟1預(yù)處理后的測試圖像的各個位置和尺度的局部區(qū)域應(yīng) 用步驟2得到的行人檢測器，標(biāo)定各個位置和尺度的局部區(qū)域是否存在行人；
[0014] 步驟4,全圖行人檢測，根據(jù)步驟3得到的測試圖像各個位置和尺度局部是否存在 行人的標(biāo)定，融合為全局標(biāo)定，輸出可能包含行人的區(qū)域坐標(biāo)，W及該區(qū)域存在行人可能性 指標(biāo)。
[0015] 而且，步驟2中，對特征予W舍棄或保留的實現(xiàn)方式為，采用Viola-Jones檢測器 的AdaBoost方法進行篩選。
[0016] 本發(fā)明還提供一種多視角實時行人檢測系統(tǒng)，包括W下模塊，
[0017] 多通道圖像預(yù)處理模塊，用于分別針對訓(xùn)練圖像和測試圖像進行多通道圖像預(yù)處 理，包括多通道圖像采集，多通道圖像多尺度平滑濾波，W及多通道參數(shù)設(shè)定；所述多通道 圖像采集包括在多個視角多個頻譜范圍采集連續(xù)的視頻圖像；
[0018] 多通道特征學(xué)習(xí)模塊，用于從大量多通道特征中隨機抽取特征，通過訓(xùn)練圖像得 到該特征對行人目標(biāo)的區(qū)分能力，予W舍棄或保留；然后根據(jù)保留的特征構(gòu)造弱分類器，多 個弱分類器融合為強分類器；最后強分類器串聯(lián)構(gòu)造局部檢測器；
[0019]局部檢測模塊，用于在多通道圖像預(yù)處理模塊所得預(yù)處理后的測試圖像的各個位 置和尺度的局部區(qū)域應(yīng)用多通道特征學(xué)習(xí)模塊得到的行人檢測器，標(biāo)定各個位置和尺度的 局部區(qū)域是否存在行人；
[0020] 全圖行人檢測模塊，用于根據(jù)局部檢測模塊得到的測試圖像各個位置和尺度局部 是否存在行人的標(biāo)定，融合為全局標(biāo)定，輸出可能包含行人的區(qū)域坐標(biāo)，W及該區(qū)域存在行 人可能性指標(biāo)。
[0021] 而且，多通道特征學(xué)習(xí)模塊中，對特征予W舍棄或保留的實現(xiàn)方式為，采用 Viola-Jones檢測器的AdaBoost方法進行篩選。
[0022] 本發(fā)明提供了一種統(tǒng)一高效的特征選擇框架，整合體現(xiàn)圖像不同側(cè)面性質(zhì)的特 征，在保證較低復(fù)雜度的同時提高檢測的準(zhǔn)確度。
【附圖說明】
[0023]圖1為本發(fā)明實施例的整體流程示意圖；
[0024] 圖2為本發(fā)明實施例的圖像預(yù)處理示意圖。
【具體實施方式】
[0025] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明了，W下結(jié)合具體實施案例，并參 照附圖，對本發(fā)明進一步詳細說明。
[0026] 本發(fā)明實施例提供一種多視角實時行人檢測方法，該方法包括W下步驟：
[0027] 步驟1，多通道圖像預(yù)處理，如圖2所示，包括多通道圖像采集，多通道圖像多尺度 平滑濾波，W及多通道參數(shù)設(shè)定。同樣的圖像預(yù)處理應(yīng)用于訓(xùn)練圖像和測試圖像。
[0028] 多通道圖像采集包括在多個視角，多個頻譜范圍，例如可見光或紅外攝像頭采集 連續(xù)的視頻圖像，例如每秒24帖640x480的圖像。
[0029] 多通道圖像多尺度平滑濾波既在各個圖像通道，例如灰度、紅綠藍色度、紅外、俯 視、側(cè)視等圖像通道上，不同的尺度，例如原始尺度，1/2采樣和1/4采樣通過平滑濾波器過 濾圖像精細結(jié)構(gòu)和降低圖像噪音的作用，同時也決定了圖像的局部特性。本實施例采用離 散Gauss(高斯）平滑濾波器，通過設(shè)定不同的方差，獲得不同平滑程度的圖像。此時，為了 避免Gauss平滑濾波的邊界效應(yīng)，濾波器的支集的半徑不小于兩倍方差。
[0030] 通道參數(shù)的設(shè)定決定了通道特征的區(qū)分能力和計算復(fù)雜度。W梯度強度和梯度直 方圖通道為例，運兩個通道還需要設(shè)定圖像梯度核函數(shù)。梯度的數(shù)學(xué)定義是唯一的，如下所 示：
[0031]
[0032] 運里，（X，y)是像素的橫縱坐標(biāo)，I(X，y)是像素的值，▽I(X，y)表示（X，y)處的 梯度，f巧f表示X方向和y方向的偏導(dǎo)，但是由于圖像的像素是離散，梯度計算有多種方 法，即不同的核函數(shù)。本實施例可W采用不同梯度核函數(shù)，包括：無中屯、對稱梯度核[-1，1] (每個像素點沿水平、豎直方向各計算一次）、有中屯、對稱梯度核[-1，0, 1]、=階矯正梯度 核[-1,-8, 0, 8, 1]、化及2X2對角線梯度核[0, 1 ;-1，0]和[-1,0 ;0, 1]等。實驗表明上述 各個核函數(shù)檢測性能相似。因此，從計算效率和位置對其的角度出發(fā)，本實施例優(yōu)選帶中屯、 對稱梯度核[-1,0, 1]計算梯度。運樣計算任何一個像素處的梯度只需要兩次減法操作。
[0033] 梯度直方圖通道需要設(shè)定梯度方向劃分的數(shù)量（角度量化階數(shù)）。更多的角度量 化方向可W提高梯度直方圖的角度精度，更好的區(qū)分圖像上精細的有方向性的性質(zhì)，但是 也會降低直方圖統(tǒng)計特性的穩(wěn)定性，同時也提高了計算發(fā)雜度、增加了存儲量。根據(jù)實驗， 本實施例在角度區(qū)分能力、統(tǒng)計穩(wěn)定性、和計算存儲量做出權(quán)衡、最后優(yōu)選將梯度方向在 [0,n)上8階均勻量化，運樣梯度直方圖是一個8維向量。
[0034] 步驟2,多通道特征學(xué)習(xí)，首先從大量多通道特征中隨機抽取特征，通過訓(xùn)練圖像 得到該特征對行人目標(biāo)的區(qū)分能力，予W舍棄或保留；然后根據(jù)保留的特征構(gòu)造弱分類器， 多個弱分類器融合為強分類器；最后強分類器串聯(lián)構(gòu)造局部檢測器；
[0035] 本實施例W灰度、梯度強度、W及梯度直方圖運=個通道為例。每個通道圖像在不 同位置、不同