專利名稱：多角度特定物體判斷設(shè)備及多角度特定物體判斷方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多角度特定物體判斷設(shè)備及多角度特定物體判斷方法，更具體地 說，本發(fā)明涉及一種可以在不影響判斷精度的前提下，實(shí)現(xiàn)提升特定物體判斷速度的多角 度特定物體判斷設(shè)備及多角度特定物體判斷方法。
背景技術(shù)：
快速而準(zhǔn)確的物體檢測算法是圖像處理和視頻內(nèi)容分析領(lǐng)域中許多應(yīng)用的基礎(chǔ) 性工作，所述應(yīng)用諸如人臉檢測和情感狀態(tài)分析、視頻會(huì)議控制和分析、行人保護(hù)系統(tǒng)等 等。Adaboost人臉檢測算法可以有效地用于人臉的正面識(shí)別，市場上有很多基于該領(lǐng)域的 產(chǎn)品出現(xiàn)，比如數(shù)字照相機(jī)中的人臉檢測功能。但是，隨著數(shù)字照相機(jī)和移動(dòng)電話的迅速發(fā) 展，僅僅進(jìn)行正面的物體識(shí)別已經(jīng)遠(yuǎn)不能滿足需求，而是開始關(guān)注于多角度情況下的快速、 準(zhǔn)確的物體檢測問題。美國專利No. 7，3 ，671 B2提出了可用于多角度人臉檢測的算法和設(shè)備。在該專 利中，人臉檢測系統(tǒng)通過一系列復(fù)雜度遞增的強(qiáng)分類器把非人臉數(shù)據(jù)在層級(jí)分類器結(jié)構(gòu)中 前面的層級(jí)(復(fù)雜度較低的層級(jí))中濾除掉。其層級(jí)分類器結(jié)構(gòu)為金字塔結(jié)構(gòu)，采用了由 粗到精、由簡單到復(fù)雜的策略，利用比較簡單的特征(層級(jí)分類器結(jié)構(gòu)中前面層級(jí)采用的 特征)就可以濾除大量的非人臉數(shù)據(jù)，從而得到了實(shí)時(shí)多角度人臉檢測系統(tǒng)。該算法最大 的問題在于，金字塔結(jié)構(gòu)在檢測過程中同時(shí)包含了大量的冗余信息，從而影響了檢測的速 度和精度。美國專利No. 7，457，432 B2提出了可用于特定物體檢測的方法和設(shè)備。在該專利 中，HAAR特征被作為弱特征采用。Real-Adaboost算法被用來對(duì)層級(jí)分類器結(jié)構(gòu)中每層級(jí) 的強(qiáng)分類器進(jìn)行訓(xùn)練以進(jìn)一步提升檢測精度，LUT (查詢表)數(shù)據(jù)結(jié)構(gòu)被提出以提升特征選 擇的速度。其中，“強(qiáng)分類器”及“弱特征”均為本技術(shù)領(lǐng)域中普遍熟知的概念。該專利的主 要缺點(diǎn)在于，該方法只適用于特定物體在一定的角度范圍內(nèi)的檢測，主要是正面人臉識(shí)別， 以致在一定程度上限制了它的應(yīng)用。專利申請(qǐng)公開WO No. 2008/151470 Al提出了用于在復(fù)雜背景條件下進(jìn)行魯棒性 人臉檢測的算法和裝置。其中，具有低計(jì)算復(fù)雜度和高冗余度的微特征結(jié)構(gòu)被用來描述人 臉特性。對(duì)于損失敏感的Adaboost算法被采用來選擇最有效的人臉弱特征來形成層級(jí)分 類器結(jié)構(gòu)中每層級(jí)的強(qiáng)分類器，以區(qū)分人臉數(shù)據(jù)和非人臉數(shù)據(jù)。由于每層級(jí)的強(qiáng)分類器都 可以在保證檢測率的前提下盡可能多地降低對(duì)于非人臉數(shù)據(jù)的錯(cuò)誤接受率，因此最終的分 類器結(jié)構(gòu)可以在只具有簡單結(jié)構(gòu)的情況下在復(fù)雜背景中得到很高的檢測性能。其中，“弱特 征”為本技術(shù)領(lǐng)域中普遍熟知的概念。該技術(shù)的主要缺點(diǎn)在于，該方法只可以用于特定物體 在一定的角度范圍內(nèi)的檢測，主要是正面人臉識(shí)別，以致在一定程度上限制了其應(yīng)用。盡管理論上由多個(gè)檢測角度的分類器組成的層級(jí)分類器結(jié)構(gòu)就可以實(shí)現(xiàn)多角度 檢測問題，但是通常的多角度檢測的層級(jí)分類器結(jié)構(gòu)無法克服如下兩個(gè)主要問題(1)由 于增加了分類器的數(shù)目，造成分類器的判斷時(shí)間增加，以致整個(gè)檢測系統(tǒng)檢測速度慢，無法達(dá)到實(shí)時(shí)檢測；( 無法達(dá)到與某一特定角度下的單角度物體檢測的精度同等的檢測精 度，也就是造成檢測精度低。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問題而作出本發(fā)明，本發(fā)明著眼于特定物體檢測過程 中對(duì)窗口圖像是否為特定物體圖像進(jìn)行判斷的關(guān)鍵環(huán)節(jié)，提供針對(duì)這一環(huán)節(jié)的多角度特定 物體判斷設(shè)備及多角度特定物體判斷方法，通過采用多個(gè)級(jí)聯(lián)分類器組形式的多層級(jí)分類 器結(jié)構(gòu)，改進(jìn)對(duì)窗口圖像是否為特定物體圖像進(jìn)行判斷的速度及精度，以有助于加速檢測 過程并同時(shí)提高檢測精度。根據(jù)本發(fā)明的一個(gè)方面，提供一種多角度特定物體判斷設(shè)備，包括輸入裝置，用 于輸入圖像數(shù)據(jù)；多個(gè)級(jí)聯(lián)分類器組，其中每個(gè)級(jí)聯(lián)分類器組由多個(gè)與同一檢測角度相對(duì) 應(yīng)的分類器級(jí)聯(lián)構(gòu)成，不同分類器與不同特征相對(duì)應(yīng)，各個(gè)分類器用于計(jì)算圖像數(shù)據(jù)在相 應(yīng)特征方面屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像數(shù)據(jù)是否 屬于特定物體，其特征在于，在級(jí)聯(lián)分類器組的分類器之間，設(shè)置自適應(yīng)姿態(tài)估計(jì)裝置，用 于根據(jù)該自適應(yīng)姿態(tài)估計(jì)裝置之前的與同一檢測角度相應(yīng)的各分類器計(jì)算的置信度值，判 斷圖像數(shù)據(jù)是否進(jìn)入該檢測角度的位于該自適應(yīng)姿態(tài)估計(jì)裝置之后的各分類器。根據(jù)本發(fā)明的另一個(gè)方面，提供一種多角度特定物體判斷方法，包括輸入步驟， 輸入圖像數(shù)據(jù)；多個(gè)并列的分類步驟，其中每個(gè)分類步驟由多個(gè)與同一檢測角度相對(duì)應(yīng)的 子分類步驟依次構(gòu)成，不同子分類步驟與不同特征相對(duì)應(yīng)，在各個(gè)子分類步驟中計(jì)算圖像 數(shù)據(jù)在相應(yīng)特征方面屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像 數(shù)據(jù)是否屬于特定物體，其特征在于，在分類步驟的子分類步驟之間，執(zhí)行自適應(yīng)姿態(tài)估計(jì) 步驟，根據(jù)該自適應(yīng)姿態(tài)估計(jì)步驟之前的與同一檢測角度相應(yīng)的各子分類步驟計(jì)算的置信 度值，判斷是否對(duì)圖像數(shù)據(jù)執(zhí)行該檢測角度的在該自適應(yīng)姿態(tài)估計(jì)步驟之后的各子分類步 馬聚ο通過本發(fā)明的上述方面，通過加入姿態(tài)估計(jì)，在結(jié)構(gòu)的前層級(jí)中就可以放棄一些 與輸入數(shù)據(jù)姿態(tài)無關(guān)的分類器，從而加快判斷速度；同時(shí)，自適應(yīng)的姿態(tài)估計(jì)過程可以確保 與輸入數(shù)據(jù)姿態(tài)相近的分類器被選中以用于后續(xù)的判斷，從而保證判斷精度。從而，通過采 用本發(fā)明的上述方面，有助于在保證檢測精度的前提下，提升特定物體檢測的速度。通過閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本 發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。


圖1是示出現(xiàn)有的多角度特定物體判斷設(shè)備的示意圖。圖2是示出根據(jù)本發(fā)明實(shí)施例的多角度特定物體判斷設(shè)備的示意圖。圖3A和圖;3B示意性地說明物體相對(duì)于正面圖像的旋轉(zhuǎn)情況，圖3A示出面內(nèi)旋轉(zhuǎn) 的情況，圖3B示出面外旋轉(zhuǎn)的情況。圖4是示出從全圖中提取窗口的示意圖。圖5是示出窗口圖像聚類效果的示意圖。圖6是示出按照本發(fā)明實(shí)施例的自適應(yīng)姿態(tài)估計(jì)裝置的示意結(jié)構(gòu)框圖。
圖7A和圖7B示出了自適應(yīng)姿態(tài)估計(jì)裝置根據(jù)隸屬度值選擇級(jí)聯(lián)分類器組的示 例。圖8示出在輸入正面人臉圖像的情況下不同層級(jí)不同檢測角度的分類器將其判 斷為非人臉的數(shù)目的示例。圖9示出在采用根據(jù)本發(fā)明實(shí)施例的自適應(yīng)姿態(tài)估計(jì)裝置的情況下對(duì)于其后相 鄰層級(jí)中的分類器使用情況的影響的例子。圖10示出了在未采用和采用自適應(yīng)姿態(tài)估計(jì)裝置的情況下、經(jīng)過某層級(jí)分類器 判斷之后的輸入圖像數(shù)據(jù)的數(shù)目關(guān)于其最多將要進(jìn)入下一層級(jí)的檢測角度數(shù)目的分布的 對(duì)比示例。
具體實(shí)施例方式圖1是示出現(xiàn)有的多角度特定物體判斷設(shè)備的示意圖。其中，輸入裝置100用于輸 入圖像數(shù)據(jù)；級(jí)聯(lián)分類器組110、120、130分別對(duì)應(yīng)于不同的檢測角度，級(jí)聯(lián)分類器組110由
分類器111、112.......Iln級(jí)聯(lián)而成，級(jí)聯(lián)分類器組120由分類器121、122.......12η級(jí)
聯(lián)而成，級(jí)聯(lián)分類器組130由分類器131、132.......13η級(jí)聯(lián)而成，η為自然數(shù)。分類器標(biāo)
號(hào)左起第2位數(shù)字代表該分類器的檢測角度，左起第3位數(shù)字代表該分類器在相應(yīng)的級(jí)聯(lián) 分類器組中的位置次序，也就是說，多個(gè)級(jí)聯(lián)分類器組中左起第3位數(shù)字相同的分類器可 以視為處于同一層級(jí)，同一組中位置不同的分類器采用的特征不同，而不同組中處于同一 層級(jí)的分類器所采用的特征不必相同。而且，盡管圖1中示出各個(gè)級(jí)聯(lián)分類器組中均具有 η個(gè)分類器，然而，本領(lǐng)域技術(shù)人員可以理解，由于不同檢測角度采用的特征可能不同，各個(gè) 級(jí)聯(lián)分類器組中的分類器數(shù)目也可以不同，也就是，分類器不必然形成如圖1所示的矩陣 陣列，或者說分類器不必填滿這樣的矩陣。而且，盡管圖1中示出用于3個(gè)檢測角度的3個(gè)級(jí)聯(lián)分類器組，然而，對(duì)于本領(lǐng)域 技術(shù)人員顯而易見的是，也可以增加或減少檢測角度，例如設(shè)置2個(gè)級(jí)聯(lián)分類器組用于2個(gè) 檢測角度，或4個(gè)級(jí)聯(lián)分類器組用于4個(gè)檢測角度，或更多個(gè)級(jí)聯(lián)分類器組用于更多個(gè)檢測 角度，或者甚至只設(shè)置1個(gè)級(jí)聯(lián)分類器組用于單角度檢測作為多角度特定物體判斷設(shè)備的 一種特殊形式。所輸入的圖像數(shù)據(jù)分別進(jìn)入各個(gè)級(jí)聯(lián)分類器組，首先由各組中處于第1層級(jí)的分 類器計(jì)算圖像數(shù)據(jù)在相應(yīng)特征方面屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信 度判斷該圖像數(shù)據(jù)是否屬于特定物體，例如人臉。如果某個(gè)分類器將圖像數(shù)據(jù)判斷為非人 臉，即判斷結(jié)果為F (False)，則將其歸為非人臉圖像，該圖像數(shù)據(jù)在相應(yīng)檢測角度的判斷結(jié) 束，如果該分類器將圖像數(shù)據(jù)判斷為人臉，即判斷結(jié)果為T(True)，則圖像數(shù)據(jù)進(jìn)入該角度 的下一分類器進(jìn)行判斷，依此類推，直到級(jí)聯(lián)分類器組中最后一個(gè)分類器，例如處于第η層 級(jí)的分類器將將圖像數(shù)據(jù)判斷為人臉，判斷為Τ，則將該圖像數(shù)據(jù)歸為人臉圖像。其中，各個(gè)分類器可以是任意類型的強(qiáng)分類器，例如采用支持向量機(jī)(Support Vector Machine，SVM)、Adab00st等等的算法的公知的分類器。對(duì)于各個(gè)強(qiáng)分類器，可以使 用多種表象局部紋理結(jié)構(gòu)的弱特征或其組合來進(jìn)行計(jì)算，所述弱特征諸如HAAR特征、多尺 度LBP特征等等在本領(lǐng)域中通常采用的特征。針對(duì)某特定物體的分類器基于某特定姿態(tài)下的某特定物體特性的訓(xùn)練而得到，其中，所謂姿態(tài)在本領(lǐng)域中通常是指物體相對(duì)于正面圖像的旋轉(zhuǎn)角度，如圖3所示。圖3A和 圖3B示意性地說明物體相對(duì)于正面圖像的旋轉(zhuǎn)情況。圖3A示出面內(nèi)旋轉(zhuǎn)(rotation in plane, RIP)的情況，即以位于圖中最上方的正面圖像為基準(zhǔn)，相對(duì)于垂直于圖像平面的軸 來旋轉(zhuǎn)。圖3B示出面外旋轉(zhuǎn)(rotation off plane, R0P)的情況，即以位于圖中正中央的 正面圖像為基準(zhǔn)，在Pitch(俯仰)方向和Yaw(左右搖擺)方向的旋轉(zhuǎn)。所謂正面圖像是 本領(lǐng)域的公知公認(rèn)的概念，與正面圖像有一微小旋轉(zhuǎn)角度的圖像在實(shí)踐中也視為正面圖像 來處理。在圖1所示的相關(guān)現(xiàn)有技術(shù)中，以及在下文描述的本發(fā)明實(shí)施例中，均以人臉作 為待處理等特定物體，然而，無論現(xiàn)有技術(shù)還是本發(fā)明均可以處理多種物體，例如人臉、手 掌、行人等等。無論何物體、何特征、何角度，只要在處理任務(wù)之前事先指定，并通過采用樣 本進(jìn)行訓(xùn)練，就可以得到相應(yīng)的分類器，組成級(jí)聯(lián)的分類器組，針對(duì)不同角度進(jìn)行訓(xùn)練，即 得到能夠進(jìn)行多角度判斷或檢測處理的多個(gè)級(jí)聯(lián)分類器組。圖1示意性地示出的多角度特定物體判斷設(shè)備可以用于例如用于對(duì)諸如靜態(tài)圖 像和視頻等等的多種數(shù)據(jù)介質(zhì)進(jìn)行處理，檢測出其中的特定物體。可以選擇采用窗口提取 裝置，先從整幅圖像中提取窗口圖像，將窗口圖像數(shù)據(jù)作為圖像數(shù)據(jù)輸出到多角度特定物 體判斷設(shè)備來進(jìn)行判斷處理。圖4是示意性地示出從全圖中提取窗口的示意圖，S卩，可以根 據(jù)不同尺度以不同步長的窗口在全幅圖像上遍歷，得到一系列窗口圖像。無論是對(duì)于經(jīng)過 提取所得到的窗口圖像，還是甚至對(duì)于未提取窗口的整幅圖像，多角度特定物體判斷設(shè)備 均可以按照同樣的方式來處理。多角度特定物體判斷設(shè)備輸出的結(jié)果是對(duì)于所輸入的圖像數(shù)據(jù)是否屬于定物體 或者說是否是該特定物體的圖像的判斷，判斷為是(T)的所輸入圖像數(shù)據(jù)即可作為物體檢 測的結(jié)果來輸出。然而，還可以選擇采用聚類裝置，用來把在原整幅圖像中實(shí)際上是同一特 定物體的多個(gè)判斷為是(T)的窗口圖像聚類為一個(gè)圖像，使得一個(gè)特定物體只有一個(gè)檢測 出的結(jié)果。圖5是示出窗口圖像聚類效果的示意圖。聚類前的多個(gè)表示為虛線框的窗口圖 像經(jīng)過聚類成為一個(gè)實(shí)線框表示的窗口圖像?？梢酝ㄟ^本領(lǐng)域公知的現(xiàn)有技術(shù)來進(jìn)行該聚 類處理，例如K均值聚類。顯然，只要是多角度特定物體判斷設(shè)備判斷為是(T)的窗口圖像 數(shù)據(jù)均被檢測為屬于該特定物體，不經(jīng)過聚類處理也可以作為檢測結(jié)果輸出。圖2是示出根據(jù)本發(fā)明實(shí)施例的多角度特定物體判斷設(shè)備的示意圖。根據(jù)本發(fā)明 實(shí)施例的多角度特定物體判斷設(shè)備包括輸入裝置200，用于輸入圖像數(shù)據(jù)；多個(gè)級(jí)聯(lián)分類 器組210、220、230，其中每個(gè)級(jí)聯(lián)分類器組由多個(gè)與同一檢測角度相對(duì)應(yīng)的分類器級(jí)聯(lián)構(gòu) 成，不同分類器與不同特征相對(duì)應(yīng)，各個(gè)分類器用于計(jì)算圖像數(shù)據(jù)在相應(yīng)特征方面屬于相 應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像數(shù)據(jù)是否屬于特定物體；在 級(jí)聯(lián)分類器組的分類器之間設(shè)置的自適應(yīng)姿態(tài)估計(jì)裝置250，用于根據(jù)該自適應(yīng)姿態(tài)估計(jì) 裝置之前的與同一檢測角度相應(yīng)的各分類器計(jì)算的置信度值，判斷圖像數(shù)據(jù)是否進(jìn)入該檢 測角度的位于該自適應(yīng)姿態(tài)估計(jì)裝置之后的各分類器。級(jí)聯(lián)分類器組210、220、230分別對(duì)應(yīng)于不同的檢測角度，級(jí)聯(lián)分類器組210由分
類器211、212.......21η級(jí)聯(lián)而成，級(jí)聯(lián)分類器組220由分類器221、222....... 2 級(jí)聯(lián)
而成，級(jí)聯(lián)分類器組230由分類器231、232....... 23η級(jí)聯(lián)而成，η為自然數(shù)。分類器標(biāo)號(hào)
左起第2位數(shù)字代表該分類器的檢測角度，左起第3位數(shù)字代表該分類器在相應(yīng)的級(jí)聯(lián)分類器組中的位置次序，也就是說，多個(gè)級(jí)聯(lián)分類器組中左起第3位數(shù)字相同的分類器可以 視為處于同一層級(jí)，同一組中位置不同的分類器采用的特征不同，而不同組中處于同一層 級(jí)的分類器所采用的特征不必相同。如同圖1所示的現(xiàn)有的多角度特定物體判斷設(shè)備那樣，盡管圖2中示出根據(jù)本發(fā) 明實(shí)施例的多角度特定物體判斷設(shè)備中，各個(gè)級(jí)聯(lián)分類器組中均具有η個(gè)分類器，然而，本 領(lǐng)域技術(shù)人員可以理解，由于不同檢測角度采用的特征可能不同，各個(gè)級(jí)聯(lián)分類器組中的 分類器數(shù)目也可以不同。而且，盡管圖2中示出用于3個(gè)檢測角度的3個(gè)級(jí)聯(lián)分類器組，然而，對(duì)于本領(lǐng)域 技術(shù)人員顯而易見的是，也可以增加或減少檢測角度，例如設(shè)置2個(gè)級(jí)聯(lián)分類器組用于2個(gè) 檢測角度，或4個(gè)級(jí)聯(lián)分類器組用于4個(gè)檢測角度，或更多個(gè)級(jí)聯(lián)分類器組用于更多個(gè)檢測 角度，或者甚至只設(shè)置1個(gè)級(jí)聯(lián)分類器組用于單角度檢測作為多角度特定物體判斷設(shè)備的 一種特殊形式。如同圖1所示的現(xiàn)有的多角度特定物體判斷設(shè)備那樣，根據(jù)本發(fā)明實(shí)施例的多角 度特定物體判斷設(shè)備既可以處理整幅圖像，也可以處理經(jīng)窗口提取裝置提取得到的窗口圖 像，無論對(duì)何種圖像，根據(jù)本發(fā)明實(shí)施例的多角度特定物體判斷設(shè)備均可以按照同樣的方 式來處理。而且，如同圖1所示的現(xiàn)有的多角度特定物體判斷設(shè)備那樣，根據(jù)本發(fā)明實(shí)施例 的多角度特定物體判斷設(shè)備輸出的結(jié)果是對(duì)于所輸入的圖像數(shù)據(jù)是否屬于特定物體或者 說是否是該特定物體的圖像的判斷，判斷為是(T)的所輸入圖像數(shù)據(jù)即可作為物體檢測的 結(jié)果來輸出，也可以選擇采用聚類裝置，把在原整幅圖像中實(shí)際上是同一特定物體的多個(gè) 判斷為是(T)的窗口圖像聚類為一個(gè)圖像，使得一個(gè)特定物體只有一個(gè)檢測出的結(jié)果。通過對(duì)圖1、圖2所示的多角度特定物體判斷設(shè)備進(jìn)行比較，并且根據(jù)前文的描述 可以理解，根據(jù)本發(fā)明實(shí)施例的多角度特定物體判斷設(shè)備與現(xiàn)有技術(shù)的多角度特定物體判 斷設(shè)備中相同的部件可以具有相同的功能，各個(gè)分類器可以采用強(qiáng)分類器，經(jīng)過相應(yīng)訓(xùn)練 可以處理各種特定物體，既可以是人臉，也可以是手掌、行人等等。本發(fā)明實(shí)施例的多角度 特定物體判斷設(shè)備相對(duì)于現(xiàn)有技術(shù)的一個(gè)區(qū)別在于，在級(jí)聯(lián)分類器組的分類器之間設(shè)置的 自適應(yīng)姿態(tài)估計(jì)裝置250，通過將一些與輸入圖像數(shù)據(jù)的姿態(tài)無關(guān)的分類器舍棄掉，來節(jié)省 大量的檢測時(shí)間，并且保留與輸入數(shù)據(jù)姿態(tài)相近的分類器以用于后續(xù)的判斷，從而保證判 斷精度。在圖2所示的例子中，級(jí)聯(lián)分類器組210中分類器212之后的分類器，如所示的分 類器21η，由于被自適應(yīng)姿態(tài)估計(jì)裝置250判斷為其檢測角度與輸入圖像數(shù)據(jù)的姿態(tài)差距 較大而在后續(xù)判斷中被放棄使用，其余檢測角度與輸入數(shù)據(jù)姿態(tài)相近的例如級(jí)聯(lián)分類器組 220和230中的分類器被用來繼續(xù)處理圖像。顯然，根據(jù)具體的實(shí)施環(huán)境，取決于輸入圖像 的情況，可能是其它角度的分類器被放棄。值得注意的是，自適應(yīng)姿態(tài)估計(jì)裝置250用來選 擇與輸入圖像數(shù)據(jù)中物體姿態(tài)接近的檢測角度的分類器，而非直接判斷輸入圖像數(shù)據(jù)是否 屬于作為檢測對(duì)象的特定物體。被自適應(yīng)姿態(tài)估計(jì)裝置之前的分類器判斷為非特定物體圖 像的輸入圖像由于不再處理，因而不會(huì)進(jìn)入自適應(yīng)姿態(tài)估計(jì)裝置250，因此，對(duì)于進(jìn)入自適 應(yīng)姿態(tài)估計(jì)裝置250、要由自適應(yīng)姿態(tài)估計(jì)裝置250處理的圖像數(shù)據(jù)，均假定其為特定物體 圖像。在各個(gè)級(jí)聯(lián)分類器組中，可以按照所計(jì)算的特征復(fù)雜度升高的順序排列分類器， 也就是，在靠前的層級(jí)中的分類器計(jì)算的特征相對(duì)簡單，計(jì)算復(fù)雜度較低，層級(jí)越靠后，分
8類器計(jì)算的特征越復(fù)雜，計(jì)算復(fù)雜度較高。然而，本領(lǐng)域技術(shù)人員可以理解，在級(jí)聯(lián)分類器 組中，分類器的排列可以按照任何次序，可以與所針對(duì)的特征沒有任何關(guān)系，或者也可以按 照特征的其它關(guān)系。，自適應(yīng)姿態(tài)估計(jì)裝置可以設(shè)置在級(jí)聯(lián)分類器組內(nèi)的任何位置，可以位 于第一層級(jí)和第二層級(jí)之間，或者也可以位于第二層級(jí)和第三層級(jí)之間，本領(lǐng)域技術(shù)人員 可以理解，位于其它層級(jí)之間也可以實(shí)現(xiàn)將一些與輸入圖像數(shù)據(jù)的姿態(tài)無關(guān)的分類器舍棄 掉，起到節(jié)省檢測時(shí)間提高判斷精度的作用。圖6是示出按照本發(fā)明實(shí)施例的自適應(yīng)姿態(tài)估計(jì)裝置250的示意結(jié)構(gòu)框圖。自適 應(yīng)姿態(tài)估計(jì)裝置250包括歸一化計(jì)算裝置252，用于把所述自適應(yīng)姿態(tài)估計(jì)裝置之前的與 同一檢測角度相應(yīng)的各分類器計(jì)算的置信度值進(jìn)行歸一化，獲得置信度歸一化值；融合計(jì) 算裝置254，用于融合由所述歸一化計(jì)算裝置獲得的置信度歸一化值，獲得與檢測角度相應(yīng) 的融合值；姿態(tài)估計(jì)裝置256，用于根據(jù)融合計(jì)算裝置獲得的各個(gè)檢測角度的融合值，計(jì)算 圖像數(shù)據(jù)關(guān)于各個(gè)檢測角度的隸屬度值；級(jí)聯(lián)分類器組選擇裝置258，用于將各個(gè)檢測角 度的隸屬度值分別與預(yù)定閾值進(jìn)行比較，選擇隸屬度值大于預(yù)定閾值的檢測角度的該自適 應(yīng)姿態(tài)估計(jì)裝置之后的各分類器，供圖像數(shù)據(jù)進(jìn)入。自適應(yīng)姿態(tài)估計(jì)裝置250位于每個(gè)級(jí)聯(lián)分類器組中處于相同層級(jí)的分類器之間， 因而自適應(yīng)姿態(tài)估計(jì)裝置250及其中的部件歸一化計(jì)算裝置252、融合計(jì)算裝置254、姿態(tài) 估計(jì)裝置256、級(jí)聯(lián)分類器組選擇裝置258均是針對(duì)同一層級(jí)之前的判斷結(jié)果進(jìn)行估計(jì)，也 就是說，自適應(yīng)姿態(tài)估計(jì)裝置250及其部件執(zhí)行的各個(gè)操作都是針對(duì)同一層級(jí)之前的各組 中的分類器進(jìn)行的。歸一化計(jì)算裝置252的任務(wù)是將各個(gè)級(jí)聯(lián)分類器組中在自適應(yīng)姿態(tài)估計(jì)裝置250 之前的每一層級(jí)的強(qiáng)分類器的輸出數(shù)據(jù)歸一化到同一個(gè)度量空間。假定當(dāng)前處理的第i個(gè) 級(jí)聯(lián)分類器組在歸一化計(jì)算裝置252之前有m個(gè)層級(jí)，m為自然數(shù)，當(dāng)前針對(duì)第i個(gè)級(jí)聯(lián)分 類器組中的第j層級(jí)的分類器進(jìn)行處理，其中i和j為正整數(shù)的索引量，該分類器計(jì)算得到 的圖像數(shù)據(jù)在相應(yīng)特征方面屬于相應(yīng)檢測角度的特定物體的置信度值為valy。歸一化計(jì) 算裝置252可以采用多種數(shù)據(jù)歸一化方法，例如最大最小化算法Min-Max、或Z-SCOre、MAD、 Double—Sigmoid、及 Tanh-estimator 等等。例如，在采用最大最小化的歸一化方法的情況下，可以通過公式(1)計(jì)算該第i組 的第j層級(jí)的分類器的歸一化值nvaly。nvali, j = (Vali，j-Valmin)/(Valmax-Valmin)(1)其中，Valmax, Valmin是分類器訓(xùn)練過程中得到的值，具體地講，Valfflax代表在關(guān)于與 該第i個(gè)級(jí)聯(lián)分類器組相應(yīng)的檢測角度的該第j個(gè)分類器所采用的特征進(jìn)行的訓(xùn)練中所得 的置信度值中的最大值，即該強(qiáng)分類器對(duì)所有輸入的樣本數(shù)據(jù)可以取得的最大值，Valmin代 表在對(duì)該分類器進(jìn)行的訓(xùn)練中所得的置信度值中的最小值，即該強(qiáng)分類器對(duì)所有輸入的樣 本數(shù)據(jù)可以取得的最小值。在訓(xùn)練中采用了非人臉樣本圖像的情況下，由于對(duì)非人臉樣本求得的置信度值變 化范圍相對(duì)較大，造成容易在數(shù)據(jù)度量的時(shí)候引入數(shù)據(jù)噪音，影響歸一化結(jié)果的準(zhǔn)確性。分 類器對(duì)非人臉樣本計(jì)算得到的分類結(jié)果即置信度基本為負(fù)值，而人臉樣本所得的置信度基 本為正值，為了解決此問題，可以使上述公式(1)中的Valmin直接為零，以消除那些偏離正 確數(shù)據(jù)分布的數(shù)據(jù)噪音對(duì)于歸一化造成的影響。如此改進(jìn)公式(1)后得到歸一化公式(2)。
Hvalijj = (Valij-Ο)/(valmax-0)(2)歸一化計(jì)算裝置252也可以采用例如Z-score歸一化方法，在此情況下，可以通過 公式(3)計(jì)算該第i組的第j層級(jí)的分類器的歸一化值Iwali,」。nvaly = (valy-μ )/σ(3)其中μ和σ分別為在關(guān)于與該第i個(gè)級(jí)聯(lián)分類器組相應(yīng)的檢測角度的該第j個(gè) 分類器所采用的特征進(jìn)行的訓(xùn)練中所得的數(shù)值的算術(shù)平均值和均方差。融合計(jì)算裝置254的目的是進(jìn)行數(shù)據(jù)融合，可以把各個(gè)級(jí)聯(lián)分類器組在自適應(yīng)姿 態(tài)估計(jì)裝置250之前所有層級(jí)的強(qiáng)分類器的計(jì)算結(jié)果進(jìn)行融合，分別獲得關(guān)于各個(gè)級(jí)聯(lián)分 類器組的融合值。融合計(jì)算裝置2M可以采用多種基于數(shù)據(jù)的融合方法，例如加法準(zhǔn)則 Sum、乘法準(zhǔn)則Product、或者M(jìn)AX等等。例如，融合計(jì)算裝置2M采用加法準(zhǔn)則將前層級(jí)強(qiáng)分類器的輸出數(shù)據(jù)進(jìn)行加法融 合，不僅可以充分利用級(jí)聯(lián)分類器組中前面各層級(jí)的歷史信息，還可以進(jìn)一步增強(qiáng)融合的 魯棒性，在此情況下，通過公式(4)來根據(jù)第i個(gè)級(jí)聯(lián)分類器組在歸一化計(jì)算裝置252之前 的m個(gè)層級(jí)的分類器的置信度歸一化值Iivali,」求得融合值Siwali。Snvali=EnvaliJ (4)或者，除了加法準(zhǔn)則之外，融合計(jì)算裝置2M也可以采用例如乘法準(zhǔn)則將前層級(jí) 強(qiáng)分類器的輸出數(shù)據(jù)進(jìn)行加法融合，利用如下公式(5)，根據(jù)第i個(gè)級(jí)聯(lián)分類器組在歸一化 計(jì)算裝置252之前的m個(gè)層級(jí)的分類器的置信度歸一化值rwaly求得融合值Siwali。Snvali=TTnvaliJ (5)姿態(tài)估計(jì)裝置256可以自適應(yīng)地根據(jù)融合計(jì)算裝置2M得到的融合結(jié)果來估計(jì)出 該特征物體最合適的姿態(tài)，即所處理的圖像數(shù)據(jù)中特定物體的實(shí)際角度，根據(jù)圖像數(shù)據(jù)中 特定物體的角度與相應(yīng)檢測角度的關(guān)系，計(jì)算圖像數(shù)據(jù)關(guān)于相應(yīng)檢測角度的隸屬度，其自 適應(yīng)性體現(xiàn)在，所采用的計(jì)算公式可以自適應(yīng)地根據(jù)之前各個(gè)層級(jí)的分類器的數(shù)據(jù)分布來 做出姿態(tài)估計(jì)。例如，姿態(tài)估計(jì)裝置256可以通過利用如下的自適應(yīng)公式(6)，根據(jù)融合計(jì)算裝置 254求得的第i個(gè)級(jí)聯(lián)分類器組中之前的m個(gè)分類器的置信度的融合值srwal”自適應(yīng)姿 態(tài)估計(jì)裝置250涵蓋的所有檢測角度的級(jí)聯(lián)分類器組的之前的m個(gè)分類器的置信度的融合 值中的最大值Siwalmax，求出圖像數(shù)據(jù)關(guān)于與第i個(gè)級(jí)聯(lián)分類器組相應(yīng)的檢測角度的隸屬 度值ratio”ratioj = Bbs(Snvali-Snvalmax)ZSnvali, (6)其中，abs代表絕對(duì)值計(jì)算。作為替代，姿態(tài)估計(jì)裝置256也可以通過利用如下的自適應(yīng)公式(7)，根據(jù)融合計(jì) 算裝置2M求得的第i個(gè)級(jí)聯(lián)分類器組中之前的m個(gè)分類器的置信度的融合值srwal”自 適應(yīng)姿態(tài)估計(jì)裝置250涵蓋的所有檢測角度的級(jí)聯(lián)分類器的之前的m個(gè)分類器的置信度的 融合值中的最大值Siwalmax，求出圖像數(shù)據(jù)關(guān)于與第i個(gè)級(jí)聯(lián)分類器組相應(yīng)的檢測角度的 隸屬度值ratio”ratioj = SnvaliZsnvalmax (7)級(jí)聯(lián)分類器組選擇裝置258用來從多個(gè)檢測角度中選擇出最合適的一個(gè)或多個(gè) 檢測角度用于之后層級(jí)的物體識(shí)別判斷，也就是，如果圖像數(shù)據(jù)中特定物體的角度關(guān)于某檢測角度的隸屬度過低，則在后續(xù)層級(jí)的判斷中不再使用該檢測角度的分類器。在對(duì)各個(gè)檢測角度的分類器進(jìn)行選擇的過程中，利用預(yù)先定義的閾值thr來判斷 姿態(tài)估計(jì)裝置256為各個(gè)角度計(jì)算的隸屬度值是否可以通過級(jí)聯(lián)分類器組選擇裝置258。 例如，采用如下的公式(8)來判斷是否選擇第i個(gè)級(jí)聯(lián)分類器組，如果rati0i大于等于預(yù) 定閾值thr，則選擇結(jié)果res為1，表示在自適應(yīng)姿態(tài)估計(jì)裝置250之后繼續(xù)采用第i個(gè)級(jí) 聯(lián)分類器組的分類器，如果rati0i小于預(yù)定閾值thr，則選擇結(jié)果res為0，表示在自適應(yīng) 姿態(tài)估計(jì)裝置250之后不再采用第i個(gè)級(jí)聯(lián)分類器組的分類器。
權(quán)利要求
1.一種多角度特定物體判斷設(shè)備，包括輸入裝置，用于輸入圖像數(shù)據(jù)；多個(gè)級(jí)聯(lián)分類器組，其中每個(gè)級(jí)聯(lián)分類器組由多個(gè)與同一檢測角度相對(duì)應(yīng)的分類器 級(jí)聯(lián)構(gòu)成，不同分類器與不同特征相對(duì)應(yīng)，各個(gè)分類器用于計(jì)算圖像數(shù)據(jù)在相應(yīng)特征方面 屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像數(shù)據(jù)是否屬于特定物 體，其特征在于，在級(jí)聯(lián)分類器組的分類器之間，設(shè)置自適應(yīng)姿態(tài)估計(jì)裝置，用于根據(jù)該自適應(yīng)姿態(tài)估 計(jì)裝置之前的與同一檢測角度相應(yīng)的各分類器計(jì)算的置信度值，判斷圖像數(shù)據(jù)是否進(jìn)入該 檢測角度的位于該自適應(yīng)姿態(tài)估計(jì)裝置之后的各分類器。
2.根據(jù)權(quán)利要求1所述的多角度特定物體判斷設(shè)備，其中，所述自適應(yīng)姿態(tài)估計(jì)裝置 包括歸一化計(jì)算裝置，用于把所述自適應(yīng)姿態(tài)估計(jì)裝置之前的與同一檢測角度相應(yīng)的各分 類器計(jì)算的置信度值進(jìn)行歸一化，獲得置信度歸一化值；融合計(jì)算裝置，用于融合由所述歸一化計(jì)算裝置獲得的置信度歸一化值，獲得與檢測 角度相應(yīng)的融合值；姿態(tài)估計(jì)裝置，用于根據(jù)融合計(jì)算裝置獲得的各個(gè)檢測角度的融合值，計(jì)算圖像數(shù)據(jù) 關(guān)于各個(gè)檢測角度的隸屬度值；級(jí)聯(lián)分類器組選擇裝置，用于將各個(gè)檢測角度的隸屬度值分別與預(yù)定閾值進(jìn)行比較， 選擇適合度值大于預(yù)定閾值的檢測角度的該自適應(yīng)姿態(tài)估計(jì)裝置之后的各分類器，供圖像 數(shù)據(jù)進(jìn)入。
3.根據(jù)權(quán)利要求1所述的多角度特定物體判斷設(shè)備，其中，在級(jí)聯(lián)分類器組中，按照特 征復(fù)雜度升高的順序排列分類器。
4.根據(jù)權(quán)利要求3所述的多角度特定物體判斷設(shè)備，其中，各個(gè)級(jí)聯(lián)分類器組中排列 位置相同的分類器確定為屬于同一層級(jí)，所述自適應(yīng)姿態(tài)估計(jì)裝置位于第一層級(jí)和第二層 級(jí)之間或第二層級(jí)和第三層級(jí)之間。
5.根據(jù)權(quán)利要求1所述的多角度特定物體判斷設(shè)備，其中，所述特定物體為人臉。
6.根據(jù)權(quán)利要求1所述的多角度特定物體判斷設(shè)備，其中，所述分類器為強(qiáng)分類器。
7.一種多角度特定物體判斷方法，包括輸入步驟，輸入圖像數(shù)據(jù)；多個(gè)并列的分類步驟，其中每個(gè)分類步驟由多個(gè)與同一檢測角度相對(duì)應(yīng)的子分類步驟 依次構(gòu)成，不同子分類步驟與不同特征相對(duì)應(yīng)，在各個(gè)子分類步驟中計(jì)算圖像數(shù)據(jù)在相應(yīng) 特征方面屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像數(shù)據(jù)是否屬 于特定物體，其特征在于，在分類步驟的子分類步驟之間，執(zhí)行自適應(yīng)姿態(tài)估計(jì)步驟，根據(jù)該自適應(yīng)姿態(tài)估計(jì)步 驟之前的與同一檢測角度相應(yīng)的各子分類步驟計(jì)算的置信度值，判斷是否對(duì)圖像數(shù)據(jù)執(zhí)行 該檢測角度的在該自適應(yīng)姿態(tài)估計(jì)步驟之后的各子分類步驟。
8.根據(jù)權(quán)利要求7所述的多角度特定物體判斷方法，其中，所述自適應(yīng)姿態(tài)估計(jì)步驟 包括歸一化計(jì)算步驟，把在所述自適應(yīng)姿態(tài)估計(jì)步驟之前的與同一檢測角度相應(yīng)的各子分類步驟中計(jì)算的置信度值進(jìn)行歸一化，獲得置信度歸一化值；融合計(jì)算步驟，融合在所述歸一化計(jì)算步驟中獲得的置信度歸一化值，獲得與檢測角 度相應(yīng)的融合值；姿態(tài)估計(jì)步驟，根據(jù)在融合計(jì)算步驟中獲得的各個(gè)檢測角度的融合值，計(jì)算圖像數(shù)據(jù) 關(guān)于各個(gè)檢測角度的隸屬度值；分類步驟選擇步驟，將各個(gè)檢測角度的隸屬度值分別與預(yù)定閾值進(jìn)行比較，選擇適合 度值大于預(yù)定閾值的檢測角度的該自適應(yīng)姿態(tài)估計(jì)步驟之后的各子分類步驟，來處理圖像 數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的多角度特定物體判斷方法，其中，在分類步驟中，按照特征復(fù) 雜度升高的順序排列子分類步驟。
10.根據(jù)權(quán)利要求9所述的多角度特定物體判斷方法，其中，各個(gè)分類步驟中排列次序 相同的子分類步驟確定為屬于同一層級(jí)，所述自適應(yīng)姿態(tài)估計(jì)步驟在第一層級(jí)和第二層級(jí) 之間或第二層級(jí)和第三層級(jí)之間執(zhí)行。
全文摘要
本發(fā)明提供一種多角度特定物體判斷設(shè)備，包括輸入裝置，用于輸入圖像數(shù)據(jù)；多個(gè)級(jí)聯(lián)分類器組，其中每個(gè)級(jí)聯(lián)分類器組由多個(gè)與同一檢測角度相對(duì)應(yīng)的分類器級(jí)聯(lián)構(gòu)成，不同分類器與不同特征相對(duì)應(yīng)，各個(gè)分類器用于計(jì)算圖像數(shù)據(jù)在相應(yīng)特征方面屬于相應(yīng)檢測角度的特定物體的置信度值，并根據(jù)置信度判斷該圖像數(shù)據(jù)是否屬于特定物體，其特征在于，在級(jí)聯(lián)分類器組的分類器之間，設(shè)置自適應(yīng)姿態(tài)估計(jì)裝置，用于根據(jù)該自適應(yīng)姿態(tài)估計(jì)裝置之前的與同一檢測角度相應(yīng)的各分類器計(jì)算的置信度值，判斷圖像數(shù)據(jù)是否進(jìn)入該檢測角度的位于該自適應(yīng)姿態(tài)估計(jì)裝置之后的各分類器。本發(fā)明還提供一種多角度特定物體判斷方法。
文檔編號(hào)G06K9/00GK102147851SQ201010108579
公開日2011年8月10日 申請(qǐng)日期2010年2月8日 優(yōu)先權(quán)日2010年2月8日
發(fā)明者劉童, 師忠超, 李滔, 王剛, 袁勛, 鐘誠 申請(qǐng)人:株式會(huì)社理光