專利名稱：用來(lái)處理視頻數(shù)據(jù)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及數(shù)字信號(hào)處理領(lǐng)域，更具體地說(shuō)涉及用來(lái)有效地表達(dá)和處理信號(hào)或圖像數(shù)據(jù)(最具體地說(shuō)，視頻數(shù)據(jù))的裝置和方法。
背景技術(shù)：
本發(fā)明存在于其中的現(xiàn)有技術(shù)的一般系統(tǒng)描述能用圖1表示。在這里方框圖顯示典型的現(xiàn)有技術(shù)視頻處理系統(tǒng)。這樣的系統(tǒng)通常包括下列幾級(jí)輸入級(jí)102、處理級(jí)104、輸出級(jí)106和一個(gè)或多個(gè)數(shù)據(jù)儲(chǔ)存機(jī)制108。
輸入級(jí)102可能包括若干元素，例如，照相機(jī)敏感元件，照相機(jī)敏感元件陣列、測(cè)距敏感元件、或從儲(chǔ)存機(jī)制取回?cái)?shù)據(jù)的裝置。輸入級(jí)提供表達(dá)合成的和/或自然發(fā)生的現(xiàn)象的時(shí)間相關(guān)序列的視頻數(shù)據(jù)。該數(shù)據(jù)的顯著成份可能被噪音或其它不想要的信號(hào)掩蓋或污染。
視頻數(shù)據(jù)可以依照預(yù)先定義的轉(zhuǎn)移協(xié)議以數(shù)據(jù)流、陣列或數(shù)據(jù)包的形式被直接地或通過(guò)中間的儲(chǔ)存元素108送到處理級(jí)104。處理級(jí)104可以采用專用的模擬或數(shù)字裝置或可編程的裝置(例如，中央處理器(CPUs)、數(shù)字信號(hào)處理器(DSPs)、或現(xiàn)場(chǎng)可編程門陣列(FPGAs))的形式來(lái)執(zhí)行所需要的一組視頻數(shù)據(jù)處理操作。處理級(jí)104通常包括一個(gè)或多個(gè)CODECs(編碼/解碼器)。
輸出級(jí)106產(chǎn)生能夠影響使用者或外部裝置的信號(hào)、顯示或其它響應(yīng)。通常，輸出裝置被用來(lái)產(chǎn)生指示信號(hào)、顯示、硬拷貝、在存儲(chǔ)器中處理過(guò)的數(shù)據(jù)或開(kāi)始向遠(yuǎn)程站點(diǎn)傳輸?shù)臄?shù)據(jù)的表達(dá)。它也可以用來(lái)提供在后來(lái)的處理操作中使用的中間信號(hào)或控制參數(shù)。
在這個(gè)系統(tǒng)中存儲(chǔ)器是作為非必選的元素出現(xiàn)的。當(dāng)被采用時(shí)，儲(chǔ)存元素108可以是非易失的，例如，只讀儲(chǔ)存媒體，或易失的，例如，動(dòng)態(tài)隨機(jī)存取儲(chǔ)存器(RAM)。單一視頻處理系統(tǒng)包括若干種類型的儲(chǔ)存元素并非是罕見(jiàn)的，這些元素對(duì)輸入級(jí)、處理級(jí)和輸出級(jí)有各種不同的關(guān)系。這樣的儲(chǔ)存元素的例子包括輸入緩沖器，輸出緩沖器和處理高速緩沖存儲(chǔ)器。
圖1所示視頻處理系統(tǒng)的主要目的是處理輸入數(shù)據(jù)以便產(chǎn)生對(duì)特定應(yīng)用意義深長(zhǎng)的輸出。為了實(shí)現(xiàn)這個(gè)目標(biāo)，可以利用多種處理操作，包括減少或消除噪音、特征提取、目標(biāo)分段和/或規(guī)范化、數(shù)據(jù)分類、事件探測(cè)、編輯、數(shù)據(jù)選擇、數(shù)據(jù)重新編碼和代碼變換。
產(chǎn)生受不良約束的數(shù)據(jù)的許多數(shù)據(jù)來(lái)源(尤其是聲音和可視圖像)對(duì)人是重要的。在大多數(shù)情況下，這些來(lái)源信號(hào)的基本特征對(duì)有效數(shù)據(jù)處理的目標(biāo)有不利的影響。來(lái)源數(shù)據(jù)固有的易變性是在不引進(jìn)起因于在派生工程假定中使用的未試驗(yàn)過(guò)的經(jīng)驗(yàn)的和探索性的方法的誤差的情況下以可靠且有效的方式處理數(shù)據(jù)的障礙。這種易變性對(duì)于某些應(yīng)用當(dāng)輸入數(shù)據(jù)被自然地或故意地限制在定義狹窄的特征組(例如，有限的一組符號(hào)值或狹窄的帶寬)之中的時(shí)候是減輕的。這些限制時(shí)常導(dǎo)致商業(yè)價(jià)值低的處理技術(shù)。
信號(hào)處理系統(tǒng)的設(shè)計(jì)受該系統(tǒng)的有意使用和作為輸入使用的來(lái)源信號(hào)的預(yù)期特征的影響。在大多數(shù)情況下，所需的完成效率也將是重要的設(shè)計(jì)因素。完成效率本身又受與可得的儲(chǔ)存數(shù)據(jù)相比較將被處理的數(shù)據(jù)的數(shù)量以及與可得的計(jì)算能力相比較該應(yīng)用的計(jì)算復(fù)雜性影響。
傳統(tǒng)的視頻處理方法因具有許多低效率性質(zhì)而蒙受損害，這些低效率性質(zhì)是以數(shù)據(jù)通信速度慢、存儲(chǔ)需求大和干擾知覺(jué)假象的形式出現(xiàn)的。這些可能是嚴(yán)重的問(wèn)題，因?yàn)槿藗兿Ｍ褂煤筒倏v視頻數(shù)據(jù)的方法的多樣性和因?yàn)槿藗儗?duì)某些形式的可視信息有先天的敏感性。
“最佳的”視頻處理系統(tǒng)在完成一組預(yù)期的處理操作方面是有效的、可靠的和強(qiáng)健的。這樣的操作可以包括數(shù)據(jù)的儲(chǔ)存、傳輸、顯示、壓縮、編輯、加密、增強(qiáng)、分類、特征探測(cè)和識(shí)別。次要的操作可以包括這種經(jīng)過(guò)處理的數(shù)據(jù)與其它數(shù)據(jù)來(lái)源的整合。在視頻處理系統(tǒng)的情況下，同樣重要的是，輸出應(yīng)該通過(guò)避免引進(jìn)知覺(jué)假象與人類視覺(jué)相容。
如果它的速度、效率和質(zhì)量不強(qiáng)烈地取決于輸入數(shù)據(jù)的任何特定特征的特性視頻處理系統(tǒng)可以被描述為“強(qiáng)健的”。強(qiáng)健也與一些輸入誤差時(shí)完成操作的能力有關(guān)。許多視頻處理系統(tǒng)無(wú)法強(qiáng)健到足以考慮到一般的應(yīng)用類別，僅僅適用于在研發(fā)該系統(tǒng)時(shí)使用的同樣受狹窄約束的數(shù)據(jù)。
顯著的信息可能由于輸入元素的抽樣速率與感知現(xiàn)象的信號(hào)特征不匹配在連續(xù)取值的數(shù)據(jù)來(lái)源的離散化中被丟失。另外，當(dāng)信號(hào)強(qiáng)度超過(guò)敏感元件的極限，從而導(dǎo)致飽和的時(shí)候也有丟失。同樣，當(dāng)輸入數(shù)據(jù)的完整數(shù)值范圍用一組不連續(xù)的數(shù)值表示，借此降低數(shù)據(jù)表達(dá)的準(zhǔn)確性之時(shí)發(fā)生在任何量化程序中的輸入數(shù)據(jù)的準(zhǔn)確性降低的時(shí)候，數(shù)據(jù)被遺失。
整體易變性指的是一類數(shù)據(jù)或信息來(lái)源的任何無(wú)法預(yù)測(cè)性。因?yàn)榭梢曅畔⑼ǔＪ遣皇芗s束的，所以代表可視信息的數(shù)據(jù)有程度非常大的整體易變性。視覺(jué)數(shù)據(jù)可以表達(dá)能用在敏感元件陣列上入射的光線形成的任何空間陣列序列或時(shí)空序列。
在建立視覺(jué)現(xiàn)象模型時(shí)，視頻處理器通常把某組限制和/或結(jié)構(gòu)強(qiáng)加在表達(dá)或解釋數(shù)據(jù)的方式上。結(jié)果，這樣的方法可能引進(jìn)將影響輸出的質(zhì)量、可用來(lái)考慮輸出的信心和能在該數(shù)據(jù)上可靠地完成的后續(xù)處理任務(wù)的類型的系統(tǒng)誤差。
量化方法在試圖保持那組數(shù)據(jù)的統(tǒng)計(jì)變化的同時(shí)降低視頻畫(huà)面的數(shù)據(jù)準(zhǔn)確性。通常，視頻數(shù)據(jù)是這樣分析的，以致數(shù)據(jù)值的分布被收集到概率分布之中。另外，有一些方法，這些方法為了把數(shù)據(jù)的特色表現(xiàn)為空間頻率的混合把數(shù)據(jù)映射到相空間中，借此允許準(zhǔn)確性下降以較少引起反對(duì)的方式散布。這些量化方法在被大量利用的時(shí)候往往導(dǎo)致知覺(jué)上難以相信的顏色而且能在視頻畫(huà)面的原本平滑的區(qū)域中引起突然的怪僻狀態(tài)。
差分編碼通常也用來(lái)利用數(shù)據(jù)的局部空間相似性。在畫(huà)面的一個(gè)部分中數(shù)據(jù)傾向于聚集在畫(huà)面中的相似數(shù)據(jù)周圍和后續(xù)畫(huà)面中的相似位置。然后，根據(jù)它的空間毗連數(shù)據(jù)表達(dá)數(shù)據(jù)能通過(guò)量化組合起來(lái)，而最終結(jié)果是對(duì)于給定的準(zhǔn)確性使用數(shù)據(jù)的絕對(duì)值表達(dá)差分是比較精確的。這個(gè)假定在原來(lái)的視頻數(shù)據(jù)的光譜分辨率有限(例如，在黑白圖像或顏色少的圖像中)的時(shí)候很好地工作。隨著圖像的光譜分辨率逐漸增加，相似性假定被嚴(yán)重破壞。這種破壞是沒(méi)有能力有選擇地保護(hù)視頻數(shù)據(jù)準(zhǔn)確性造成的。
殘差編碼與差分編碼類似，因?yàn)檫@種表達(dá)的誤差被進(jìn)一步差分編碼，以便把原始數(shù)據(jù)的準(zhǔn)確性恢復(fù)到預(yù)期的準(zhǔn)確性水平。
這些方法的變化嘗試把視頻數(shù)據(jù)變換成把數(shù)據(jù)相關(guān)關(guān)系暴露在空間相位和刻度之中的替代表達(dá)。一旦視頻數(shù)據(jù)已經(jīng)以這些方式變換，量化和差分編碼的方法就能適用于被變換的數(shù)據(jù)，從而導(dǎo)致增加顯著圖像特征的保存。這些變換視頻壓縮技術(shù)中最普遍兩種是離散余弦變換(DCT)和離散子波變換(DWT)。DCT變換的誤差表明在視頻數(shù)據(jù)數(shù)值方面有廣泛的變化，因此，DCT通常被用在視頻數(shù)據(jù)塊上，為的是使這些錯(cuò)誤的相關(guān)關(guān)系定位。來(lái)自這種定位的假象往往沿著這些區(qū)段的邊緣出現(xiàn)。就DWT而言，更復(fù)雜的假象在基礎(chǔ)函數(shù)和某些紋理之間有誤配的時(shí)候發(fā)生，而且這引起模糊效應(yīng)。為了抵消DCT和DWT的負(fù)面效應(yīng)，表達(dá)的準(zhǔn)確性以寶貴的帶寬為代價(jià)增加到較少的失真。

發(fā)明內(nèi)容
本發(fā)明是一種在計(jì)算和分析方面均優(yōu)于現(xiàn)有頂級(jí)技術(shù)的方法的視頻處理方法。原則上本發(fā)明的方法是線性分解法，空間分段法和空間規(guī)范化法的整合?？臻g限定的視頻數(shù)據(jù)大幅地增加線性分解法的強(qiáng)健性和適用性。此外，當(dāng)其它的高變異性數(shù)據(jù)在空間上與被分析的數(shù)據(jù)毗連的時(shí)候，數(shù)據(jù)的空間分段能減輕所引起的非線性。
具體地說(shuō)，本發(fā)明提供一種能用它把信號(hào)數(shù)據(jù)有效地處理成一個(gè)或多個(gè)有益的表達(dá)的裝置。本發(fā)明在處理許多普遍發(fā)生的數(shù)據(jù)組時(shí)是有效的而且在處理視頻和圖像數(shù)據(jù)時(shí)是特別有效的。本發(fā)明的方法分析該數(shù)據(jù)并且提供數(shù)據(jù)的一個(gè)或多個(gè)簡(jiǎn)潔表達(dá)以促進(jìn)它的處理和編碼。每個(gè)新的比較簡(jiǎn)潔的數(shù)據(jù)表達(dá)對(duì)于許多應(yīng)用(包括但不限于視頻數(shù)據(jù)的編碼、壓縮、傳輸、分析、儲(chǔ)存和顯示)允許減少計(jì)算處理、傳輸帶寬和儲(chǔ)存需求。本發(fā)明包括用來(lái)識(shí)別和提取視頻數(shù)據(jù)的顯著成份的方法，允許區(qū)分?jǐn)?shù)據(jù)的處理和表達(dá)的優(yōu)先次序。信號(hào)中的噪音和其它不想要的部分被認(rèn)為是優(yōu)先權(quán)比較低的，以致進(jìn)一步的處理能集中在視頻信號(hào)中優(yōu)先權(quán)比較高的部分的分析和表達(dá)上。結(jié)果，視頻信號(hào)的表達(dá)比先前可能的更簡(jiǎn)潔。而且把準(zhǔn)確性的損失集中在視頻信號(hào)中知覺(jué)上不重要的部分。


圖1是舉例說(shuō)明現(xiàn)有技術(shù)視頻處理系統(tǒng)的方框圖。
圖2是提供本發(fā)明的概觀的方框圖，它展示用于處理視頻的主要組件。
圖3是舉例說(shuō)明本發(fā)明的運(yùn)動(dòng)評(píng)估方法的方框圖。
圖4是舉例說(shuō)明本發(fā)明的全面配準(zhǔn)方法的方框圖。
圖5是舉例說(shuō)明本發(fā)明的規(guī)范化方法的方框圖。
具體實(shí)施例方式
在視頻信號(hào)數(shù)據(jù)中，視頻畫(huà)面組裝成通常描繪投影到二維成像表面上的三維現(xiàn)場(chǎng)的圖像序列。每個(gè)畫(huà)面(或圖像)都由代表成像敏感元件對(duì)抽樣信號(hào)的響應(yīng)的象素組成。時(shí)常，抽樣信號(hào)對(duì)應(yīng)于用二維敏感元件陣列抽樣的反射的、折射的或發(fā)射的電磁能。連續(xù)的順序抽樣導(dǎo)致時(shí)空數(shù)據(jù)流，每個(gè)畫(huà)面的兩個(gè)空間維度和一個(gè)時(shí)間維度對(duì)應(yīng)于該畫(huà)面在視頻序列中的次序。
如同圖2舉例說(shuō)明的那樣，本發(fā)明分析信號(hào)數(shù)據(jù)和識(shí)別顯著成份。當(dāng)信號(hào)由視頻數(shù)據(jù)組成的時(shí)候，時(shí)空流分析揭示時(shí)常作為特定目標(biāo)的顯著成份(例如，面)。識(shí)別程序限定顯著成份的存在和重要性并且選擇那些顯著成份之中最重要的一個(gè)或多個(gè)顯著成份。這在目前描述的處理之后或同時(shí)不限制其它較為不顯著的成份的確認(rèn)和處理。然后，上述的顯著成份被進(jìn)一步分析，從而識(shí)別易變的和不變的子成份。不變的子成份的識(shí)別是建立該成份一些方面的模型的程序，借此揭示允許將該成份被合成到預(yù)期的準(zhǔn)確性水平的模型的參數(shù)表達(dá)法。
在本發(fā)明的一個(gè)實(shí)施方案中，探測(cè)和跟蹤前景目標(biāo)。該目標(biāo)的象素被識(shí)別并且從每個(gè)圖像畫(huà)面中分段出來(lái)?；趨^(qū)段的運(yùn)動(dòng)評(píng)估在多畫(huà)面中被應(yīng)用于被分段的目標(biāo)。然后，這些運(yùn)動(dòng)評(píng)估被整合成高級(jí)的運(yùn)動(dòng)模型。該運(yùn)動(dòng)模型用來(lái)把目標(biāo)例證隱藏到公用的空間配置中。對(duì)于特定的數(shù)據(jù)，在這種配置中，目標(biāo)的多數(shù)特征被對(duì)準(zhǔn)。這種規(guī)范化允許將目標(biāo)象素?cái)?shù)值的線性分解緊湊地表達(dá)在多畫(huà)面上。屬于目標(biāo)外表的顯著信息包含在這個(gè)緊湊的表達(dá)之中。
本發(fā)明的優(yōu)選實(shí)施方案詳細(xì)描述前景視頻目標(biāo)的線性分解。目標(biāo)在空間上規(guī)范化，借此得出緊湊的線性外觀模型。此外，進(jìn)一步的優(yōu)選實(shí)施方案在空間規(guī)范化之前將來(lái)自視頻畫(huà)面背景的前景目標(biāo)分段。
本發(fā)明的一個(gè)優(yōu)選實(shí)施方案將本發(fā)明應(yīng)用于進(jìn)入攝像機(jī)的人邊說(shuō)話邊進(jìn)行少量運(yùn)動(dòng)的錄像片。
本發(fā)明的一個(gè)優(yōu)選實(shí)施方案將本發(fā)明應(yīng)用于錄像片中能通過(guò)空間轉(zhuǎn)換很好表達(dá)的任何目標(biāo)。
本發(fā)明的一個(gè)優(yōu)選實(shí)施方案明確地使用基于區(qū)段的運(yùn)動(dòng)評(píng)估來(lái)確定兩個(gè)或多個(gè)視頻畫(huà)面之間的有限差異。為了要提供更有效線性分解，高級(jí)運(yùn)動(dòng)模型是依據(jù)該有限差異因式分解的。
探測(cè)&跟蹤一旦已經(jīng)確定信號(hào)的顯著構(gòu)成成份，這些成份就可以被保留，而所有其它的信號(hào)成份可以被減少或去除。保留的成份代表該視頻數(shù)據(jù)的中間形式。然后，這個(gè)中間數(shù)據(jù)能使用對(duì)于現(xiàn)有的視頻處理方法通常不可得的技術(shù)編碼。因?yàn)樵撝虚g數(shù)據(jù)以幾種形式存在，所以標(biāo)準(zhǔn)的視頻編碼技術(shù)能用來(lái)給這些中間形式中的一些編碼。對(duì)于每個(gè)例證，本發(fā)明都先確定然后使用最有效的編碼技術(shù)。
特性分析程序進(jìn)行顯著信號(hào)模式的探測(cè)和分類。這個(gè)程序的一個(gè)實(shí)施方案使用明確地為產(chǎn)生強(qiáng)度與視頻畫(huà)面中目標(biāo)被探測(cè)的特性有關(guān)的響應(yīng)信號(hào)而設(shè)計(jì)的空間過(guò)濾器的組合。該分類程序是以不同的空間刻度應(yīng)用于視頻畫(huà)面不同位置的。來(lái)自分類程序的響應(yīng)的強(qiáng)度指出顯著信號(hào)模式出現(xiàn)的可能性。當(dāng)中心定在十分顯著的目標(biāo)上的時(shí)候，該程序用對(duì)應(yīng)強(qiáng)烈的響應(yīng)給它分類。顯著信號(hào)模式的探測(cè)通過(guò)促成對(duì)視頻序列中的顯著數(shù)據(jù)的后來(lái)的處理和分析來(lái)辨別本發(fā)明。
給出顯著信號(hào)模式在一個(gè)或多個(gè)視頻畫(huà)面中的探測(cè)位置，本發(fā)明分析顯著信號(hào)模式的無(wú)變化特征。此外，本發(fā)明對(duì)于無(wú)變化的特征分析該信號(hào)的殘值，“較少顯著的”信號(hào)模式。無(wú)變化特征的識(shí)別提供用來(lái)減少多余信息和分段(即，區(qū)分)信號(hào)模式的基礎(chǔ)。
特征點(diǎn)跟蹤在本發(fā)明一個(gè)實(shí)施方案中，在一個(gè)或多個(gè)畫(huà)面中的空間位置是通過(guò)空間強(qiáng)度字段梯度分析確定的。這些特征對(duì)應(yīng)于“線”的一些交點(diǎn)，這些交點(diǎn)能被不嚴(yán)謹(jǐn)?shù)孛枋鰹椤肮战恰薄＿@樣的實(shí)施方案進(jìn)一步選擇一組這樣的拐角作為強(qiáng)壯的彼此空間上無(wú)聯(lián)系的拐角，在此稱之為特征點(diǎn)。促進(jìn)，使用光學(xué)流的分層多分辨率評(píng)估允許確定隨著時(shí)間流逝特征點(diǎn)的平移位移。
特征跟蹤的非限制性實(shí)施方案能被這樣使用，以致這些特征被用來(lái)證明更規(guī)則的梯度分析法(例如，基于區(qū)段的運(yùn)動(dòng)評(píng)估)合格。
另一個(gè)實(shí)施方案期待以特征跟蹤為基礎(chǔ)的運(yùn)動(dòng)評(píng)估的預(yù)測(cè)。
以目標(biāo)為基礎(chǔ)的探測(cè)和跟蹤在本發(fā)明的一個(gè)非限制性實(shí)施方案中，強(qiáng)健的目標(biāo)分類程序被用來(lái)跟蹤視頻畫(huà)面中的面。這樣的分類程序以對(duì)面上已經(jīng)過(guò)訓(xùn)練的定向邊緣的級(jí)聯(lián)響應(yīng)為基礎(chǔ)。在這個(gè)分類程序中，邊緣被定義為一組基本的Haar特征和那些特征的45度旋轉(zhuǎn)。級(jí)聯(lián)分類程序是AdaBoost算法的變體。此外，響應(yīng)計(jì)算能通過(guò)使用總面積表被優(yōu)化。
局部配準(zhǔn)配準(zhǔn)包括在兩個(gè)或多個(gè)視頻畫(huà)面中被識(shí)別的目標(biāo)元素之間的對(duì)應(yīng)關(guān)系的分配。這些對(duì)應(yīng)關(guān)系變成用來(lái)建立在視頻數(shù)據(jù)中時(shí)間上截然不同的點(diǎn)的視頻數(shù)據(jù)之間的空間關(guān)系模型的基礎(chǔ)。
現(xiàn)在描述用于本發(fā)明的各種不同的非限制性的配準(zhǔn)方法，為的是根據(jù)廣為人知的算法和那些算法的富有創(chuàng)造性的派生算法舉例說(shuō)明特定的實(shí)施方案和它們相關(guān)聯(lián)的對(duì)實(shí)踐的縮減量。
在時(shí)空序列中建立明顯的光學(xué)流模型的一種方法可以是通過(guò)從視頻數(shù)據(jù)的兩個(gè)或多個(gè)畫(huà)面產(chǎn)生有限差分字段實(shí)現(xiàn)的。如果對(duì)應(yīng)關(guān)系遵照特定的恒定不變的限制，光學(xué)流場(chǎng)能在空間和強(qiáng)度雙重意義上被稀疏地評(píng)估。
菱形搜尋假定把一個(gè)視頻畫(huà)面不重疊地分割成若干區(qū)段，搜尋與每個(gè)區(qū)段匹配的先前的視頻畫(huà)面。以全面搜尋區(qū)段為基礎(chǔ)的(FSBB)運(yùn)動(dòng)評(píng)估找出與當(dāng)前畫(huà)面中的一個(gè)區(qū)段比較時(shí)在早先的視頻畫(huà)面中誤差最小的位置。完成FSBB可能是計(jì)算費(fèi)用十分浩大的，而且往往不產(chǎn)生比以局部運(yùn)動(dòng)假設(shè)為基礎(chǔ)的其它評(píng)估方案更好的匹配。以菱形搜尋區(qū)段為基礎(chǔ)的(DSBB)梯度下降運(yùn)動(dòng)評(píng)估是FSBB的常見(jiàn)的替代品，它使用各種不同尺寸的菱形搜尋圖案朝著對(duì)于某個(gè)區(qū)段最好的匹配的方向反復(fù)地橫越誤差梯度。
在本發(fā)明的一個(gè)實(shí)施方案中，DSBB被用于一個(gè)或多個(gè)視頻畫(huà)面之間的圖像梯度字段分析，以便產(chǎn)生其數(shù)值稍后被因式分解成高階運(yùn)動(dòng)模型的有限差分。
熟悉這項(xiàng)技術(shù)的人知道基于區(qū)段的運(yùn)動(dòng)評(píng)估能被視為規(guī)則網(wǎng)孔的頂點(diǎn)分析的同價(jià)物。
基于相位的運(yùn)動(dòng)評(píng)估在現(xiàn)有技術(shù)中，基于區(qū)段的運(yùn)動(dòng)評(píng)估通常是作為導(dǎo)致一個(gè)或多個(gè)空間匹配的空間搜尋實(shí)現(xiàn)的。基于相位的規(guī)范化的互相關(guān)(PNCC)如同圖3舉例說(shuō)明的那樣把來(lái)自當(dāng)前畫(huà)面和先前畫(huà)面的區(qū)段變換到“相空間”中并且尋找兩個(gè)區(qū)段的互相關(guān)關(guān)系。該互相關(guān)關(guān)系被表達(dá)為其位置與兩個(gè)區(qū)段之間的邊緣的“相移”相對(duì)應(yīng)的數(shù)值字段。這些位置通過(guò)定閾值被隔離，然后被逆變換成空間坐標(biāo)。這些空間坐標(biāo)是截然不同的邊緣位移，而且對(duì)應(yīng)于運(yùn)動(dòng)矢量。
PNCC的優(yōu)勢(shì)包括允許視頻流中的增益/曝光調(diào)節(jié)允差的反差掩蔽。另外，PNCC允許來(lái)自或許從基于空間的運(yùn)動(dòng)評(píng)估程序獲得許多迭代的單一步驟的結(jié)果。此外，該運(yùn)動(dòng)評(píng)估是子象素精確的。
本發(fā)明的一個(gè)實(shí)施方案在一個(gè)或多個(gè)視頻畫(huà)面之間的圖像梯度字段的分析中利用PNCC，為的是產(chǎn)生其數(shù)值稍后被因式分解成高階運(yùn)動(dòng)模型的有限差分。
全面配準(zhǔn)在一個(gè)實(shí)施方案中，本發(fā)明將來(lái)自有限差分評(píng)估的字段的一個(gè)或多個(gè)線性模型因式分解。發(fā)生這樣的抽樣的字段在此被稱為有限差分的一般群體。所描述的方法使用與RANSAC算法類似的強(qiáng)健的評(píng)估。
在線性模型評(píng)估算法的一個(gè)實(shí)施方案中，運(yùn)動(dòng)模型評(píng)估程序以線性最小二乘解為基礎(chǔ)。這種相關(guān)性使評(píng)估程序擺脫離群數(shù)據(jù)?；赗ANSAC，所揭示的方法是一種通過(guò)數(shù)據(jù)子集的反復(fù)評(píng)估制止離群效應(yīng)，對(duì)將描述數(shù)據(jù)的重要子集的運(yùn)動(dòng)模型進(jìn)行探查的強(qiáng)健方法。每個(gè)探頭產(chǎn)生的模型都對(duì)它所代表的數(shù)據(jù)百分比進(jìn)行測(cè)試。如果有相當(dāng)大的迭代次數(shù)，則將發(fā)現(xiàn)適合最大的數(shù)據(jù)子集的模型。
如同在圖4中構(gòu)思和舉例說(shuō)明的那樣，本發(fā)明揭示一些在算法變更形式上超過(guò)RANSAC算法的改革，包括有限差分的初始抽樣(子樣)和線性模型的最小二乘評(píng)估。綜合誤差是使用已解的線性模型對(duì)一般群體中的所有子樣評(píng)估的。根據(jù)子樣數(shù)目把一個(gè)等級(jí)分配給該線性模型，其殘差符合預(yù)先設(shè)定的閾值，這個(gè)等級(jí)被看作是“候選共識(shí)”。
初始抽樣、求解和歸類是通過(guò)迭代完成的，直到終止判據(jù)得到滿足為止。一旦該判據(jù)得到滿足，等級(jí)最高的線性模型被看作是群體的最后共識(shí)。
一個(gè)非必選的改進(jìn)步驟包括按照對(duì)候選模型擬合最好的次序反復(fù)地分析子樣的子集和逐漸增加子集的大小，直到加一后較多的子樣將超過(guò)整個(gè)子集的殘留誤差閾值。
所描述的本發(fā)明的非限制性實(shí)施方案可以作為抽取矢量空間(前面被描述為有限差分矢量的字段)子樣的一般方法被進(jìn)一步推廣，為的是在將與某特定的線性模型相對(duì)應(yīng)的另一個(gè)參數(shù)矢量空間中確定子空間簇。
全面配準(zhǔn)程序的一個(gè)較進(jìn)一步的結(jié)果是這和地方配準(zhǔn)之間的不同程序產(chǎn)生地方配準(zhǔn)剩余的。這個(gè)剩余是在接近地方模型方面全局模型誤差。
規(guī)范化規(guī)范化指的是朝著標(biāo)準(zhǔn)的或通常的空間配置方向再次抽取空間強(qiáng)度字段子樣。當(dāng)這些相對(duì)空間配置是這樣的配置之間的可逆變換的時(shí)候，象素的再次抽樣和附帶插值也是直到拓?fù)錁O限可逆的。本發(fā)明規(guī)范化方法是用圖5舉例說(shuō)明的。
當(dāng)兩個(gè)以上空間強(qiáng)度字段被規(guī)范化的時(shí)候，增高的計(jì)算效率可以通過(guò)保存中間的規(guī)范化計(jì)算結(jié)果來(lái)實(shí)現(xiàn)。
為了配準(zhǔn)的目的，或等效地為了規(guī)范化，用來(lái)再次抽取圖像子樣的空間變換模型包括總體模型和本地模型?？傮w模型有從平移變換到影射變換逐漸增加的階次。本地模型是暗示在基本上用區(qū)段或更復(fù)雜地用分段線性網(wǎng)孔確定的鄰近象素上的內(nèi)插式的有限差分。
原始強(qiáng)度字段對(duì)規(guī)范化強(qiáng)度字段的插值增加基于強(qiáng)度字段子集的PCA外表模型的直線性。
分段通過(guò)進(jìn)一步描述的分段程序識(shí)別的空間間斷點(diǎn)是通過(guò)它們各自邊界的幾何參數(shù)表達(dá)法(被稱為空間間斷點(diǎn)模型)有效地編碼的。這些空間間斷點(diǎn)模型可以以永遠(yuǎn)慮及與編碼子集相對(duì)應(yīng)的更簡(jiǎn)潔的邊界描述的漸進(jìn)方式編碼。漸進(jìn)式編碼提供在保留空間間斷點(diǎn)的許多顯著方面的同時(shí)按優(yōu)先次序安排空間幾何學(xué)的強(qiáng)健方法。
本發(fā)明一個(gè)優(yōu)選實(shí)施方案把多分辨率分段分析和空間強(qiáng)度梯度字段分析結(jié)合起來(lái)并且進(jìn)一步使用時(shí)間穩(wěn)定性限制，為的是實(shí)現(xiàn)強(qiáng)健的分段。
本發(fā)明使用的無(wú)變化特征分析的一種形式把重心集中在空間間斷點(diǎn)的識(shí)別上。這些間斷點(diǎn)是作為邊緣、陰影、遮蔽、線、拐角或任何其它在一個(gè)或多個(gè)視頻成像畫(huà)面中引起象素之間突然的和可以辨認(rèn)的分離的可見(jiàn)特征出現(xiàn)的。此外，在顏色和/或紋理類似的目標(biāo)之間細(xì)微的空間間斷點(diǎn)出現(xiàn)在視頻畫(huà)面中目標(biāo)象素相對(duì)于目標(biāo)自己正在經(jīng)歷粘附運(yùn)動(dòng)而相對(duì)于其它目標(biāo)正在經(jīng)歷不同的運(yùn)動(dòng)之時(shí)。本發(fā)明利用頻譜分段、紋理分段和運(yùn)動(dòng)分段的組合強(qiáng)健地識(shí)別與顯著信號(hào)模式相關(guān)聯(lián)的空間間斷點(diǎn)。
時(shí)間分段把平移運(yùn)動(dòng)矢量或在空間強(qiáng)度字段中等價(jià)的有限差分測(cè)量結(jié)果按時(shí)間整合成高階運(yùn)動(dòng)模型是現(xiàn)有技術(shù)描述的一種運(yùn)動(dòng)分段形式。
在本發(fā)明的一個(gè)實(shí)施方案中，產(chǎn)生密集的運(yùn)動(dòng)矢量場(chǎng)表現(xiàn)圖像中目標(biāo)運(yùn)動(dòng)的有限差分。這些導(dǎo)數(shù)通過(guò)瓦片的規(guī)則分割或借助設(shè)定初值程序(例如，空間分段)按空間聚集在一起。每組的“導(dǎo)數(shù)”都使用線性最小二乘評(píng)估程序整合成一高階運(yùn)動(dòng)模型。然后，由此產(chǎn)生的運(yùn)動(dòng)模型作為運(yùn)動(dòng)模型空間中的矢量使用k-means群集技術(shù)群集。這些導(dǎo)數(shù)是根據(jù)與它們擬合最好的群分類的。然后，群標(biāo)作為空間分割的演化按空間群集。該程序一直繼續(xù)到空間分割是穩(wěn)定的。
在本發(fā)明的進(jìn)一步的實(shí)施方案中，用于給定孔徑的運(yùn)動(dòng)矢量被內(nèi)插到一組與該孔徑相對(duì)應(yīng)的象素位置。當(dāng)用這種內(nèi)插定義的區(qū)段跨越與目標(biāo)邊界相對(duì)應(yīng)的象素時(shí)候，由此產(chǎn)生的分類是該區(qū)段的某種不規(guī)則的對(duì)角線分割。
在現(xiàn)有技術(shù)中，用來(lái)整合導(dǎo)數(shù)的最小二乘評(píng)估程序?qū)﹄x群值是非常敏感的。這種敏感性能產(chǎn)生使運(yùn)動(dòng)模型群集方法嚴(yán)重地向迭代結(jié)果相差很大地發(fā)散的點(diǎn)傾斜的運(yùn)動(dòng)模型。
在本發(fā)明中，運(yùn)動(dòng)分段方法通過(guò)在兩個(gè)以上視頻畫(huà)面上分析明顯的象素運(yùn)動(dòng)識(shí)別空間間斷點(diǎn)。明顯的運(yùn)動(dòng)在這些視頻畫(huà)面上對(duì)一致性分析的并且被整合成參數(shù)運(yùn)動(dòng)模型。與這種一致運(yùn)動(dòng)相關(guān)聯(lián)的空間間斷點(diǎn)被識(shí)別。運(yùn)動(dòng)分段也可以被稱為時(shí)間分段，因?yàn)闀r(shí)間變化可能是由運(yùn)動(dòng)引起的。然而，時(shí)間變化也可可能是由一些其它的現(xiàn)象(例如，局部變形、照明變化，等等)引起的。
通過(guò)所描述的方法，與規(guī)范化方法相對(duì)應(yīng)的顯著信號(hào)模式能被識(shí)別而且能通過(guò)幾種背景減法之一與周圍的信號(hào)模式(背景或非目標(biāo))分開(kāi)。時(shí)常，這些方法從統(tǒng)計(jì)上建立象素在每個(gè)時(shí)間樣本呈現(xiàn)最小變化的背景模型。變化能被視為象素?cái)?shù)值差異。作為替代，運(yùn)動(dòng)分段能在給出顯著圖像模式的被探測(cè)位置和數(shù)值范圍的情況下實(shí)現(xiàn)。距離變換能用來(lái)確定每個(gè)象素距被探測(cè)位置的距離。如果與最大距離相關(guān)聯(lián)的象素?cái)?shù)值被保留，合理的背景模型能被求解。換句話說(shuō)，能使用信號(hào)差異度量標(biāo)準(zhǔn)按時(shí)間對(duì)環(huán)境信號(hào)再次抽樣。
給出環(huán)境信號(hào)的模型，就能按每個(gè)時(shí)間樣本區(qū)別完全的顯著信號(hào)模式。這些差別每個(gè)都能通過(guò)再次抽樣變成空間規(guī)范化的信號(hào)差異(絕對(duì)差異)。然后，這些差異被相對(duì)彼此對(duì)準(zhǔn)和累積。由于這些差異相對(duì)于顯著信號(hào)模式已按空間規(guī)范化，所以，差異的峰通常將對(duì)應(yīng)于與顯著信號(hào)模式相關(guān)聯(lián)的象素位置。
梯度分段紋理分段方法或同義的強(qiáng)度梯度分段分析象素在一個(gè)或多個(gè)視頻畫(huà)面中的本地梯度。梯度響應(yīng)是表征空間間斷點(diǎn)的統(tǒng)計(jì)尺度，其中所述空間間斷點(diǎn)對(duì)于該視頻畫(huà)面中的象素位置是本地的。然后，使用幾種空間群集技術(shù)之一把這些梯度響應(yīng)組合成一些空間區(qū)域。這些區(qū)域的邊界在識(shí)別一個(gè)或多個(gè)視頻畫(huà)面中的空間間斷點(diǎn)方面是有用的。
在本發(fā)明的一個(gè)實(shí)施方案中，來(lái)自計(jì)算機(jī)圖形紋理生成的總面積表概念被用于加快強(qiáng)度場(chǎng)梯度計(jì)算的目的。累加值字段的產(chǎn)生使通過(guò)與四次加法運(yùn)算結(jié)合的四次查詢計(jì)算任何長(zhǎng)方形原始字段的總和變得容易。
進(jìn)一步的實(shí)施方案使用對(duì)一幅圖像產(chǎn)生的Harris響應(yīng)，而每個(gè)象素的鄰近區(qū)域被歸類為同種的、邊緣或拐角。響應(yīng)數(shù)值是依據(jù)這個(gè)信息產(chǎn)生的并且指出畫(huà)面中每種元素的邊緣狀態(tài)或拐角狀態(tài)的程度。
光譜分段光譜分段方法分析視頻信號(hào)中黑白、灰度或彩色象素的統(tǒng)計(jì)概率分布。頻譜分類程序是通過(guò)完成關(guān)于那些象素的概率分布的群集操作構(gòu)成的。然后，使用該分類程序把一個(gè)或多個(gè)象素分類，使之屬于某個(gè)概率類別。然后，由此產(chǎn)生的概率類別和它的象素被賦予類別標(biāo)簽。然后，這些類別標(biāo)簽按空間與截然不同的邊界聯(lián)合進(jìn)入象素區(qū)域。這些邊界識(shí)別在一個(gè)或多個(gè)視頻畫(huà)面中的空間間斷點(diǎn)。
本發(fā)明可以利用基于光譜分類的空間分段來(lái)分割視頻畫(huà)面中的象素。此外，區(qū)域之間的對(duì)應(yīng)關(guān)系可以基于光譜區(qū)域與先前分段的區(qū)域的重疊確定。
業(yè)已觀察到當(dāng)視頻畫(huà)面大致由空間上被連接成與視頻畫(huà)面中的目標(biāo)相對(duì)應(yīng)的較大區(qū)域的連續(xù)彩色區(qū)域組成的時(shí)候，彩色(或光譜)區(qū)域的識(shí)別和跟蹤能促進(jìn)圖像序列中目標(biāo)的后續(xù)分段。
建立外觀模型視頻處理的通常目標(biāo)往往是建立模型和保存視頻畫(huà)面序列的外觀。本發(fā)明指向允許通過(guò)預(yù)處理的運(yùn)用以強(qiáng)健的和廣泛適用的方式應(yīng)用強(qiáng)制外觀建模技術(shù)。先前描述的配準(zhǔn)、分段和規(guī)范化明顯地適合這個(gè)目的。
本發(fā)明揭示建立外觀變化模型的方法。在線性模型的情況下分析特征矢量的主要基礎(chǔ)是揭示開(kāi)發(fā)利用線性相關(guān)關(guān)系的堅(jiān)實(shí)基礎(chǔ)。表達(dá)空間強(qiáng)度場(chǎng)象素的特征矢量能組裝成外觀變化模型。
在替代實(shí)施方案中，外觀變化模型是依據(jù)被分段的象素子集計(jì)算的。此外，該特征矢量能被分成若干空間上不重疊的特征矢量。這樣空間分解可以用空間鋪瓦來(lái)實(shí)現(xiàn)。計(jì)算效率可以通過(guò)處理這些時(shí)間總體實(shí)現(xiàn)，而不犧牲更全面的PCA方法的維數(shù)減少。
在產(chǎn)生外觀變化模型時(shí)，空間強(qiáng)度場(chǎng)規(guī)范化能被用來(lái)減少空間變形的PCA建模。
主要成份分析產(chǎn)生外觀變化模型的優(yōu)選方法是通過(guò)把視頻畫(huà)面作為圖案矢量組裝成一個(gè)訓(xùn)練矩陣或總體和把主要成份分析(PCA)應(yīng)用在該訓(xùn)練矩陣上。當(dāng)這樣的擴(kuò)展被刪節(jié)的時(shí)候，由此產(chǎn)生的PCA變形矩陣被用來(lái)分析和合成后面的視頻畫(huà)面。基于刪節(jié)水平，改變象素最初的外觀質(zhì)量水平能實(shí)現(xiàn)。
構(gòu)成和分解圖案矢量的特定方法對(duì)于熟悉這項(xiàng)技術(shù)的人是廣為人知的。
給出來(lái)自環(huán)境信號(hào)的顯著信號(hào)模式的空間分段和這個(gè)模式的空間規(guī)范化，象素本身，或同義地，由此產(chǎn)生的規(guī)范化信號(hào)的外觀，能被因式分解成線性相關(guān)的成份，其中低級(jí)參數(shù)表達(dá)考慮到象素外觀表達(dá)的近似值誤差和比特率之間的直接交換。
連續(xù)的PCAPCA使用PCA變換把圖案編碼成PCA系數(shù)。用PCA變換表達(dá)的圖案越好，給該圖案編碼所需要的系數(shù)就越少。承認(rèn)圖案矢量隨著時(shí)間流逝在獲得的訓(xùn)練圖案和被編碼的圖案之間可能降級(jí)，更新變換能幫助抵消這種降級(jí)。作為產(chǎn)生新變換的替代品，現(xiàn)有圖案的連續(xù)更新在特定的情況下是計(jì)算上更有效的。
許多最新穎的視頻壓縮算法依據(jù)一個(gè)或多個(gè)其它的畫(huà)面預(yù)測(cè)某視頻畫(huà)面。預(yù)測(cè)模型通?；诎衙總€(gè)預(yù)測(cè)畫(huà)面分割成與另一畫(huà)面中對(duì)應(yīng)的補(bǔ)丁和相關(guān)聯(lián)的用偏移運(yùn)動(dòng)矢量參數(shù)化的平移位移的相匹配的不重疊的瓦片。非必選地與畫(huà)面索引耦合的空間位移提供瓦片的“運(yùn)動(dòng)預(yù)測(cè)”版本。如果預(yù)測(cè)的誤差在特定的閾值以下，則瓦片的象素適合殘差編碼；而且在壓縮效率方面有對(duì)應(yīng)的增益。否則，瓦片的象素被直接編碼。這種基于瓦片的或叫做基于區(qū)段的運(yùn)動(dòng)預(yù)測(cè)方法通過(guò)平移包含象素的瓦片建立影像模型。當(dāng)影像中的成像現(xiàn)象堅(jiān)持這個(gè)建模類型的時(shí)候，對(duì)應(yīng)的編碼效率增加。為了與在基于區(qū)段的預(yù)測(cè)中固有的平移假定一致，這種建模限制假定特定的時(shí)間分辨率水平(或每秒幀數(shù))對(duì)于正在經(jīng)歷運(yùn)動(dòng)的成像目標(biāo)是存在的。這種平移模型的另一個(gè)需求是對(duì)于特定的時(shí)間分辨率空間位移受限制；換言之，用來(lái)推導(dǎo)預(yù)測(cè)結(jié)果的畫(huà)面和被預(yù)測(cè)的畫(huà)面之間的時(shí)差必須是比較短的絕對(duì)時(shí)間量。這些時(shí)間分辨率和運(yùn)動(dòng)限制使存在于視頻流中的特定的多余視頻信號(hào)成份的確認(rèn)和建模變得容易。
基于殘差的分解在MPEG視頻壓縮中，當(dāng)前的畫(huà)面是通過(guò)先對(duì)先前的畫(huà)面使用運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，然后把殘差更新應(yīng)用于補(bǔ)償區(qū)段，最后將任何沒(méi)有充份匹配的區(qū)段作為新區(qū)段完成編碼構(gòu)成的。
與剩余區(qū)段相對(duì)應(yīng)的象素通過(guò)運(yùn)動(dòng)矢量映射到先前畫(huà)面中的象素上。結(jié)果是象素通過(guò)能通過(guò)連續(xù)應(yīng)用殘值合成的影像的瞬時(shí)路徑。這些象素被確認(rèn)為能最好地使用PCA表達(dá)的象素。
基于遮蔽的分解本發(fā)明的進(jìn)一步提高確定適用于諸區(qū)段的運(yùn)動(dòng)矢量是否將會(huì)導(dǎo)致來(lái)自先前畫(huà)面的任何象素被移動(dòng)象素遮蔽(覆蓋)。對(duì)于每個(gè)遮蔽事件，都把遮蔽象素劈成新層。沒(méi)有歷史的象素也將被暴露。暴露出來(lái)的象素被放到在當(dāng)前畫(huà)面中適合它們而且歷史上適宜于它們的也能變得適合所述層的任何層上。
象素的時(shí)間連續(xù)性是通過(guò)象素對(duì)不同層的接合和移植得到支持的。一旦獲得穩(wěn)定的層模型，每層中的象素就能基于對(duì)條理分明的運(yùn)動(dòng)模型的從屬關(guān)系聚集。
分波段時(shí)間量化本發(fā)明的替代實(shí)施方案使用離散的余弦變換(DCT)或離散的子波變換(DWT)把每個(gè)畫(huà)面分解成分波段圖像。然后，將主要成份分析(PCA)應(yīng)用于這些“分波段”影像之中的每幅影像。概念是視頻畫(huà)面的分波段分解與原始視頻畫(huà)面比較時(shí)減少任何一個(gè)分波段中的空間變化。
就移動(dòng)目標(biāo)(人)的影像而言，空間變化傾向于支配用PCA建模的變化。分波段分解減少任何一個(gè)分解影像中的空間變化。
就DCT而言，任何一個(gè)分波段的分解系數(shù)在空間上被安排到分波段影像之中。舉例來(lái)說(shuō)，DC系數(shù)是從每個(gè)區(qū)段獲取的并且被安排到分波段影像之中，看起來(lái)像原始影像的郵票版本一樣。這對(duì)所有其它的分波段重復(fù)，而且由此產(chǎn)生的分波段影像每個(gè)都使用PCA處理。
就DWT而言，分波段是已經(jīng)以對(duì)DCT描述的方式排列的。
在非限制性實(shí)施方案中，PCA系數(shù)的刪節(jié)是變化的。
子波當(dāng)使用離散的子波變換(DWT)分解數(shù)據(jù)的時(shí)候，以較低的空間分辨率產(chǎn)生多個(gè)帶通數(shù)據(jù)組。轉(zhuǎn)換程序能被遞歸地應(yīng)用于導(dǎo)出數(shù)據(jù)直到僅僅產(chǎn)生單一的標(biāo)量數(shù)值為止。在已分解的結(jié)構(gòu)中標(biāo)量元素通常以分等級(jí)的父母/孩子方式相關(guān)。由此產(chǎn)生的數(shù)據(jù)包含多分辨率的分等級(jí)結(jié)構(gòu)以及有限差分。
當(dāng)DWT被應(yīng)用于空間強(qiáng)度字段的時(shí)候，許多自然發(fā)生的圖像現(xiàn)象是借助由低空間頻率造成的第一或第二低帶通導(dǎo)出數(shù)據(jù)結(jié)構(gòu)以與微不足道的知覺(jué)損失表達(dá)的。在當(dāng)高頻空間數(shù)據(jù)不是不存在就是被視為噪音的時(shí)候，刪節(jié)分等級(jí)的結(jié)構(gòu)提供簡(jiǎn)明的表達(dá)。
盡管PCA可以用來(lái)以為數(shù)不多的系數(shù)實(shí)現(xiàn)正確的重建，但是這種變換本身可能是相當(dāng)大的。為了減少這個(gè)“初始”變換的大小，可以使用子波分解的嵌零樹(shù)(EZT)結(jié)構(gòu)來(lái)建立變換矩陣的越來(lái)越精確的版本。
權(quán)利要求
1.一種用來(lái)生成來(lái)自為數(shù)眾多的視頻畫(huà)面的視頻信號(hào)數(shù)據(jù)的編碼形式的裝置，該裝置包括探測(cè)所述視頻畫(huà)面序列中的目標(biāo)的裝置；通過(guò)所述視頻畫(huà)面序列中的兩畫(huà)面或多畫(huà)面跟蹤所述目標(biāo)的裝置；識(shí)別所述目標(biāo)在兩畫(huà)面或多畫(huà)面之間的對(duì)應(yīng)元素的裝置；建立這種對(duì)應(yīng)關(guān)系的模型產(chǎn)生模型式對(duì)應(yīng)關(guān)系的裝置；在所述視頻畫(huà)面中再次抽取與所述目標(biāo)相關(guān)聯(lián)的象素?cái)?shù)據(jù)子樣的裝置，所述再次抽樣裝置利用所述的模型式對(duì)應(yīng)關(guān)系；把與所述目標(biāo)相關(guān)聯(lián)的所述象素?cái)?shù)據(jù)與所述視頻畫(huà)面序列中其它的象素?cái)?shù)據(jù)分割開(kāi)的裝置；分解所述被分割的目標(biāo)象素?cái)?shù)據(jù)的裝置，所述的分解裝置包括主要成份分析，所述的分割裝置包括臨時(shí)整合，所述對(duì)應(yīng)關(guān)系建模裝置包括對(duì)仿射運(yùn)動(dòng)模型的解的強(qiáng)健的抽樣共識(shí)，所述對(duì)應(yīng)關(guān)系建模裝置包括基于依據(jù)在所述序列中的兩個(gè)或多個(gè)視頻畫(huà)面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估所產(chǎn)生的有限差異的抽樣群體，而所述目標(biāo)探測(cè)和跟蹤裝置包括Viola/Jones面探測(cè)算法。
全文摘要
這項(xiàng)發(fā)明描述用來(lái)處理視頻數(shù)據(jù)的裝置和方法。本發(fā)明提供一種視頻數(shù)據(jù)的表達(dá)，該表達(dá)能用來(lái)評(píng)定數(shù)據(jù)和用于數(shù)據(jù)的特定參數(shù)表達(dá)的擬合模型之間的一致性。這允許比較不同的參數(shù)化技術(shù)和選擇最佳的繼續(xù)處理該特定視頻數(shù)據(jù)的技術(shù)。所述表達(dá)能以中間形式作為較大程序的鋪墊或作為反饋機(jī)制被用于處理視頻數(shù)據(jù)。當(dāng)以它的中間形式被利用的時(shí)候，本發(fā)明能被用于視頻數(shù)據(jù)的儲(chǔ)存、增強(qiáng)、提煉、特征提取、壓縮、編碼和傳輸?shù)某绦?。本發(fā)明可用來(lái)以強(qiáng)健有效的方式提取顯著的信息，同時(shí)確定通常與視頻數(shù)據(jù)來(lái)源相關(guān)聯(lián)的問(wèn)題的地址。
文檔編號(hào)G06K9/00GK101036150SQ200580032385
公開(kāi)日2007年9月12日 申請(qǐng)日期2005年7月28日 優(yōu)先權(quán)日2004年7月30日
發(fā)明者查爾斯·保羅·佩斯 申請(qǐng)人:歐幾里得發(fā)現(xiàn)有限責(zé)任公司