專利名稱：處理視頻數(shù)據(jù)裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明 一般地涉及凄t字信號(hào)處理領(lǐng)域，更具體地i兌涉及用來 有歲丈i也表達(dá)和處理信號(hào)或圖傳4t據(jù)(最具體地_說，4見頻凄t據(jù))的計(jì) 算才幾裝置和計(jì)算才幾實(shí)現(xiàn)的方法。
背景技術(shù)：
本發(fā)明存在于其中的現(xiàn)有技術(shù)的一般系統(tǒng)描述能用圖1表 示。在這里方框圖顯示典型的現(xiàn)有4支術(shù)4見頻處理系統(tǒng)。這樣的系 統(tǒng)通常包括下列幾級(jí)輸入級(jí)102、處理級(jí)104、輸出級(jí)106和 一個(gè)或多個(gè)數(shù)據(jù)儲(chǔ)存才幾制108。
輸入級(jí)102可能包括若干元素，例如，照相枳4文感元件，照 相機(jī)每丈感元件陣列、測距敏感元件、或從儲(chǔ)存機(jī)制取回?cái)?shù)據(jù)的方 法。輸入級(jí)提供表達(dá)人造的和/或自然發(fā)生的現(xiàn)象的時(shí)間相關(guān)序列 的視頻數(shù)據(jù)。該數(shù)據(jù)的顯著成份可能被噪音或其它不想要的信號(hào) 掩蓋或污染。
視頻數(shù)據(jù)可以依照預(yù)先定義的轉(zhuǎn)移協(xié)議以數(shù)據(jù)流、陣列或數(shù) 據(jù)包的形式直4妄地或通過中間的〗諸存元素108 ^是交癥合處理級(jí) 104。處理級(jí)104可以采用專用才莫擬或^:字器件或可編程器件(例 如，中央處理器(CPU)、數(shù)字信號(hào)處理器(DSP)、或現(xiàn)場可編程門 陣列(FPGA))的形式來執(zhí)行所需要的一組;現(xiàn)頻數(shù)據(jù)處理才喿作。處 理級(jí)104通常包括一個(gè)或多個(gè)CODEC(編碼/解碼器)。
輸出級(jí)106產(chǎn)生能夠影響使用者或外部裝置的信號(hào)、顯示或 其它響應(yīng)。通常，輸出器件被用來產(chǎn)生指示信號(hào)、顯示、硬拷貝、 處理過的數(shù)據(jù)在存儲(chǔ)器中的表達(dá)，或開始向遠(yuǎn)程站點(diǎn)傳輸數(shù)據(jù)。 它也可以用來提供在后面的處理操作中使用的中間信號(hào)或控制參數(shù)。
存儲(chǔ)器在這個(gè)系統(tǒng)中是作為非必選元素出現(xiàn)的。在^f吏用時(shí)， 儲(chǔ)存元素108可以是非易失的，例如，只讀儲(chǔ)存々某體，或易失的， 例如，動(dòng)態(tài)隨機(jī)存取儲(chǔ)存器(RAM)。單一的視頻處理系統(tǒng)包括若 干種儲(chǔ)存元素并非是罕見的，這些元素對(duì)輸入級(jí)、處理級(jí)和輸出 級(jí)有各種不同的關(guān)系。這樣儲(chǔ)存元素的例子包括輸入緩沖器，輸 出緩沖器和處理高速緩沖存儲(chǔ)器。
圖1所示3見頻處理系統(tǒng)的主要目的是處理輸入數(shù)據(jù)，產(chǎn)生對(duì)
特定應(yīng)用意義深長的^rir出。為了實(shí)現(xiàn)這個(gè)目標(biāo)，可以利用多種處
理才喿作，包括減少或消除噪音、特征纟是取、對(duì)象拆分和/或^L范化、
數(shù)據(jù)分類、事件探測、編輯、數(shù)據(jù)選擇、數(shù)據(jù)重新編碼和代碼變 換。
產(chǎn)生受不良約束的數(shù)據(jù)的許多數(shù)據(jù)來源(尤其是聲音和可視 圖像)對(duì)人是重要的。在大多數(shù)情況下，這些來源信號(hào)的基本特 征對(duì)有效數(shù)據(jù)處理的目標(biāo)有不利的影響。來源數(shù)據(jù)固有的易變性 是在不引進(jìn)起因于在推導(dǎo)工程邗I定中使用的未試過的經(jīng)驗(yàn)的和 探索性的方法的誤差的情況下以可靠且有效的方式處理數(shù)據(jù)的 障礙。這種易變性對(duì)于某些應(yīng)用當(dāng)輸入數(shù)據(jù)被自然地或故意地限 制在定義狹窄的特征組(例如， 一組有限的符號(hào)值或狹窄的帶寬) 之中的時(shí)候^皮減輕。這些限制時(shí)常導(dǎo)致商業(yè)<介值<氐的處理:忮術(shù)。
信號(hào)處理系統(tǒng)的i殳計(jì)受該系統(tǒng)的預(yù)期用途和作為1俞入4吏用 的來源信號(hào)的預(yù)期特征的影響。在大多數(shù)情況下，所需的完成效 率也將是重要的設(shè)計(jì)因素。完成效率反過來受待處理的數(shù)據(jù)的數(shù) 量與可用的數(shù)據(jù)儲(chǔ)存器相比較的影響以及受該應(yīng)用程序的計(jì)算 復(fù)雜性與可得的計(jì)算能力相比較的影響。
傳統(tǒng)的視頻處理方法因具有許多低效率性質(zhì)而蒙受損害，這 些低效率性質(zhì)是以數(shù)據(jù)通信速度慢、存儲(chǔ)需求大和干擾感性假象 的形式出現(xiàn)的。這些可能是嚴(yán)重的問題，因?yàn)槿藗兿Ｍ卸喾N方 法4吏用和搮:縱纟見頻lt據(jù)和人們對(duì)某些形式的可纟見信息有先天的 敏感性。
"最佳的"頻處理系統(tǒng)在完成 一 組預(yù)期的處理梯:作方面是 高效率的、可靠的和強(qiáng)健的。這樣的操作可能包括數(shù)據(jù)的儲(chǔ)存、 傳輸、顯示、壓縮、編輯、加密、增強(qiáng)、分類、特征檢測和確認(rèn)。 二次操作可能包括這樣處理過的數(shù)據(jù)與其它數(shù)據(jù)來源的整合。在 視頻處理系統(tǒng)的情況下同等重要的是輸出應(yīng)該通過避免^ 1進(jìn)知 覺人為現(xiàn)象與人類視覺相容。
視頻處理系統(tǒng)如果它的速度、效率和質(zhì)量不強(qiáng)烈地取決于輸 入數(shù)據(jù)的任何特定特征的細(xì)節(jié)則可以被描迷為"強(qiáng)健的"。，強(qiáng)健 也與在某些輸入出現(xiàn)錯(cuò)誤的時(shí)候完成操作的能力有關(guān)。許多視頻
處理系統(tǒng)未能強(qiáng)到足以考慮到應(yīng)用的 一 般類別， <又<又為在該系 統(tǒng)的研發(fā)中使用的同樣受狹窄限制的數(shù)據(jù)提供應(yīng)用。
顯著信息由于輸入元素的抽樣速率與感知現(xiàn)象的信號(hào)特性 不匹配可能在連續(xù)取值的數(shù)據(jù)來源的離散化中丟失。另外，當(dāng)信 號(hào)強(qiáng)度超過傳感器才及限導(dǎo)致々包和的時(shí)4類也有遺失。同樣，當(dāng)輸入 數(shù)據(jù)的精度下降的時(shí)候，數(shù)據(jù)也會(huì)遺失，這在輸入數(shù)據(jù)的完整的 數(shù)值范圍用一組離散數(shù)值表達(dá)，借此降低數(shù)據(jù)表達(dá)的精度的時(shí)候 發(fā)生在任何量化程序中。
總體易變性指的是 一 類數(shù)據(jù)或信息來源中的任何無法預(yù)測 性。因?yàn)橐曈X信息通常不受限制，所以代表視覺信息特征的數(shù)據(jù) 有非常大的總體易變性程度。視覺信息可以表達(dá)任何由于光線入 射在傳感器陣列上所形成的空間陣列序列或時(shí)間空間的序列。
在仿制視覺現(xiàn)象時(shí)，視頻處理器通常把一些限制組和/或結(jié)構(gòu) 強(qiáng)加在表達(dá)或解釋數(shù)據(jù)方式上。結(jié)果，這樣的方法可能引進(jìn)將會(huì) 影響輸出質(zhì)量、可能用來考慮輸出的置信水平和能在該數(shù)據(jù)上可 靠地完成的后續(xù)處理工作的類型的系統(tǒng)i吳差。
一些量化方法降低視頻畫面中的數(shù)據(jù)精度同時(shí)試圖保有那 個(gè)凄t據(jù)的統(tǒng)計(jì)變化。通常， 一見頻數(shù)據(jù)是這樣分一斤的，以致lt據(jù)值 的分布^^皮收集到相克率分布之中。也有一些方法把^:據(jù)映射到相空 間之中，以便將數(shù)據(jù)的特色表示為空間頻率的混合，借此允許精 度下降以較少引起反對(duì)的方式擴(kuò)散。這些量化方法在被大量地利 用時(shí)往往導(dǎo)致知覺上難以相信的顏色和能在該^L頻畫面原本平 滑的區(qū)域中引起突然的怪異狀態(tài)。
差分編碼通常也用來利用凄t據(jù)的局部空間相似性。在畫面的
一個(gè)部分中的彩:據(jù)傾向于聚集在那個(gè)畫面中的相似#:據(jù)周圍和 后續(xù)畫面中的相似位置。然后，根據(jù)它的空間毗連數(shù)據(jù)表達(dá)該數(shù)
據(jù)能與量化組合起來，而最終結(jié)果是對(duì)于給定的準(zhǔn)確性表達(dá)差分 比使用數(shù)據(jù)的絕對(duì)值更精確。這個(gè)布i定在原始視頻數(shù)據(jù)的光譜分 辨率有限的時(shí)候(例如，在黑白圖像或顏色少的圖像中)很好地工 作。隨著圖^象的光譜分辨率逐漸增加，相似性布I定4皮嚴(yán)重石皮壞。 這種-皮壞是由于沒有能力有選擇地保護(hù)一見頻數(shù)據(jù)準(zhǔn)確性造成的。
殘差編碼與差分編碼類似，因?yàn)檫@種表達(dá)的誤差被進(jìn)一步差 分編碼，以便把原始數(shù)據(jù)的準(zhǔn)確性恢復(fù)到預(yù)期的準(zhǔn)確性水平。
這些方法的變化嘗試把 一見頻數(shù)據(jù)變才奐成把tt才居相關(guān)關(guān)系暴 露在空間相位和刻度之中的替^表達(dá)。 一旦3見頻勒:才居已經(jīng)以這些 方式變換，量化和差分編碼的方法就能適用于^皮變纟灸的凄t據(jù)，乂人 而導(dǎo)致增加顯著圖像特征的保存。這些變換視頻壓縮技術(shù)中最普 遍兩種是離散余弦變換(DCT)和離散子波變換(DWT)。 DCT變換 的誤差表明在視頻數(shù)據(jù)數(shù)值方面有廣泛的變化，因此，DCT通常 被用在視頻數(shù)據(jù)的區(qū)段上，為的是使這些錯(cuò)誤的相關(guān)關(guān)系定位。 來自這種定位的假象往往沿著這些區(qū)段的邊界出現(xiàn)。就DWT而 言，更復(fù)雜的々i象在基礎(chǔ)函數(shù)和某些紋理之間有誤配的時(shí)候發(fā) 生，而且這引起才莫糊效應(yīng)。為了4氐消DCT和DWT的負(fù)面效應(yīng)， 提高表達(dá)的準(zhǔn)確性以便以寶貴的帶寬為代價(jià)減少失真。

發(fā)明內(nèi)容
本發(fā)明是 一 種在計(jì)算和分析兩個(gè)方面均優(yōu)于現(xiàn)有頂級(jí)技術(shù) 的方法的計(jì)算4幾實(shí)現(xiàn)的頻處理方法。原則上本發(fā)明的方法是線 性分解法，空間拆分法和空間規(guī)范化法的整合。從空間上限制視 頻數(shù)據(jù)大大提高線性分解法的強(qiáng)健性和適用性。此外，與空間規(guī)
范化相對(duì)應(yīng)的數(shù)據(jù)空間拆分能進(jìn)一步用來增加單獨(dú)來源于空間 A見范化的利益。
具體地說，本發(fā)明提供一種能有效地把信號(hào)數(shù)據(jù)處理成一 個(gè)
或多個(gè)有益的表達(dá)的方法。本發(fā)明在處理許多普遍發(fā)生的翁:據(jù)組 時(shí)是有效的而且在處理視頻和圖像數(shù)據(jù)時(shí)是特別有效的。本發(fā)明 的方法分析該數(shù)據(jù)并且提供那個(gè)數(shù)據(jù)的一種或多種簡潔表達(dá)以 4吏它的處理和編碼變得容易。對(duì)于許多應(yīng)用(包括「但不限于#見 頻數(shù)據(jù)的編碼、壓縮、傳輸、分析、儲(chǔ)存和顯示)，每種新的比 較簡潔的數(shù)據(jù)表達(dá)都允許減少計(jì)算處理、傳輸帶寬和儲(chǔ)存需求。 本發(fā)明包括用來識(shí)別和提取視頻數(shù)據(jù)的顯著成份的方法，從而允 許區(qū)分?jǐn)?shù)據(jù)的處理和表達(dá)的優(yōu)先次序。信號(hào)中的噪音和其它多余 部分被看作是優(yōu)先權(quán)比較低的，所以進(jìn)一 步處理能集中在分析和 表達(dá)視頻信號(hào)中優(yōu)先權(quán)比較高的部分上。結(jié)果，視頻信號(hào)的表達(dá) 比先前可能的表達(dá)更簡潔。而且把準(zhǔn)確性的損失集中在^L頻信號(hào) 中知覺上不重要的部分。


圖1是舉例說明現(xiàn)有技術(shù)視頻處理系統(tǒng)的方框圖。
圖2是提供本發(fā)明的概觀的方框圖，它展示用來處理影像的 主要模塊。
圖3是舉例說明本發(fā)明的運(yùn)動(dòng)評(píng)估方法的方框圖。 圖4是舉例說明本發(fā)明的整體配準(zhǔn)方法的方框圖。 圖5是舉例說明本發(fā)明的^見范化方法的方框圖。 圖6是舉例:說明混合式空間 >見范化壓縮方法的方框圖。
圖7是舉例i兌明本發(fā)明在局部失見范化中4吏用的網(wǎng)孔生成方法 的方框圖。
范化方法的方?jīng)_匡圖。
圖9是舉例說明本發(fā)明的組合式整體和局部規(guī)范化方法的方 框圖。
圖IO是舉例說明本發(fā)明的GPCA-基本多項(xiàng)式擬合和微分方 法的方^匡圖。
圖11是舉例說明本發(fā)明的回歸GPCA提煉方法的方框圖。 圖12是舉例it明背景分辨方法的方框圖。 圖13是舉例說明本發(fā)明的對(duì)象拆分方法的方框圖。 圖14是舉例說明本發(fā)明的對(duì)象插值方法的方框圖。 具體實(shí)施方法
在視頻信號(hào)數(shù)據(jù)中，視頻畫面被組裝成通常描繪在二維成l象 表面上投影(成像)的三維現(xiàn)場的圖像序列。每個(gè)畫面(或圖像)都 由代表響應(yīng)抽樣信號(hào)的成像敏感元件的象素組成。時(shí)常，抽樣信 號(hào)對(duì)應(yīng)于被二維每丈感元件陣列抽樣的 一些反射的、折射的或發(fā)射 的能量(例如，電磁能、聲能等)。連續(xù)的順序抽樣導(dǎo)致時(shí)空數(shù)據(jù) 流，每個(gè)畫面的兩個(gè)空間維度和一個(gè)時(shí)間維度3于應(yīng)于該畫面在一見 步頁序列中的次序。
本發(fā)明如同圖2舉例i兌明的那樣分4斤信號(hào)彩:據(jù)和識(shí)別顯著成 份。當(dāng)信號(hào)由視頻數(shù)據(jù)組成的時(shí)候，時(shí)空流分析揭示時(shí)常作為特 定對(duì)象(例如，面部)的顯著成份。識(shí)別程序限定該顯著成份的存 在和重要性并且選擇在那些被限定的顯著成份之中最重要的一 個(gè)或多個(gè)顯著成^f分。這不限制在現(xiàn)在描述的處理之后或同時(shí)識(shí)別 和處理其它顯著性4支〗氐的成〗分。然后，上述的顯著成4分一皮進(jìn)一步 分析，以-使識(shí)別易變的和不變的子成4分。不變子成4分的識(shí)別是該 成份某個(gè)方面的建模程序，借此揭示該模型的參數(shù)表達(dá)法，以允 許將該成f分纟皮合成到預(yù)期的準(zhǔn)確性水平。
在本發(fā)明的一個(gè)實(shí)施方案中，探測和^艮蹤前景對(duì)象。識(shí)別該
對(duì)象的象素并且把這些象素從每個(gè)^L頻畫面中拆分出來。把基于 區(qū)段的運(yùn)動(dòng)評(píng)估應(yīng)用于從多個(gè)畫面中拆分出來的對(duì)象。然后，把 這些運(yùn)動(dòng)評(píng)估結(jié)果整合成一個(gè)高級(jí)的運(yùn)動(dòng)模型。該運(yùn)動(dòng)模型用來 把該對(duì)象的例證隱藏到^^用的空間配置中。對(duì)于特定的tt據(jù)，在 這個(gè)配置中，該對(duì)象更多的特征被對(duì)準(zhǔn)。這種身見范化允許緊湊地 表達(dá)多個(gè)畫面上的對(duì)象象素的數(shù)值的線性分解。屬于對(duì)象外^L的 顯著信息被包含在這個(gè)緊湊表達(dá)之中。
本發(fā)明的優(yōu)選實(shí)施方案詳細(xì)描述前景3見頻對(duì)象的線性分解。 該對(duì)象是按空間規(guī)范化的，借此得出緊湊的線性外觀模型。此夕卜， 進(jìn)一步優(yōu)選的實(shí)施方案在空間>見范4匕之前先把前景對(duì)象乂人一見頻 畫面的背景中拆分出來。
本發(fā)明的優(yōu)選實(shí)施方案將本發(fā)明應(yīng)用于一個(gè)人對(duì)著插j象才幾 邊i兌話邊進(jìn)行少量運(yùn)動(dòng)的影 -像。
本發(fā)明的優(yōu)選實(shí)施方案將本發(fā)明應(yīng)用于影像中能通過空間 轉(zhuǎn)換4艮好地表達(dá)的任何對(duì)象。
本發(fā)明的優(yōu)選實(shí)施方案明確地W吏用基于區(qū),殳的運(yùn)動(dòng)評(píng)估來 確定兩個(gè)或多個(gè)一見頻畫面之間的有限差分。為了要才是供更有效的 線性分解，高級(jí)運(yùn)動(dòng)^^莫型是依據(jù)那些有限差分因式分解的。
探測&跟蹤
4支術(shù)上已經(jīng)知道#笨測 一 幅畫面中的某個(gè)對(duì)象并在預(yù)定凄t目 的后續(xù)畫面中3艮蹤那個(gè)對(duì)象。在能用來實(shí)現(xiàn)對(duì)象#罙測功能的算法
和禾呈序之中的是Viola/Jones: P. Viola和M. Jones發(fā)表在Proc. 2nd Int'l Workshop on Statistical and Computational Theories of Vision -Modeling, Learning, Computing and Sampling 中的 "Robust Real-time Object Detection"。同樣，有一些算法和程序能用來在 連續(xù)的畫面中if艮蹤4果測到的對(duì)象。例子包括C. Edwards、 C. Taylor和T. Cootes發(fā)表在Proc. Int'l Conf. Auto. Face and Gesture Recognition(1998年)，260-265頁中的"Learning to identify and track faces in an image sequence"。
對(duì)象纟果測程序的結(jié)果是一個(gè)lt據(jù)組，該lt據(jù)組詳細(xì)i兌明在畫 面中對(duì)象中心的一般位置和關(guān)于對(duì)象比例(大小)的指示。跟蹤程 序的結(jié)果是一個(gè)lt據(jù)組，該l史據(jù)組代表該對(duì)象的時(shí)間標(biāo)簽和l呆i正 在連續(xù)畫面中探測到的對(duì)象是同 一對(duì)象的概率達(dá)到特定水平。
對(duì)象#果測和5艮蹤算法可能適用于畫面中的單一對(duì)象或畫面 中的兩個(gè)或多個(gè)對(duì)象。
人們還知道在 一組連續(xù)的畫面中跟蹤被探測對(duì)象的 一 個(gè)或 多個(gè)特征。舉例來說，如果對(duì)象是人的臉部，所述特征可能是眼 睛或鼻子。在一種技術(shù)中，特征是用"線，，的交叉點(diǎn)表示的，該 交叉點(diǎn)可以被寬松地描述為"拐角"。優(yōu)選的是將強(qiáng)壯的和空間 上4皮此完全不同的"拐角，，選作特4正。那些特征可以通過空間強(qiáng)
度場梯度分析來識(shí)別。使用光學(xué)流的分層多分辨率判斷允許確定
那些特征在連續(xù)畫面中的平移位移。M.J. Black和Y. Yacoob發(fā) 表在1995年6月于馬薩諸塞州波士頓市召開的計(jì)算機(jī)設(shè)想國際 會(huì)i義的會(huì)i義錄的第374-381頁(Proc eedings of the International Conference on Computer Vision, pages 374-381， Boston, Mass., June 1995.)中的 "Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions" 是 使用這項(xiàng)技術(shù)跟蹤特征的算法的一個(gè)例子。
一旦已經(jīng)確定信號(hào)的顯著構(gòu)成成份，就可以保留這些成f分， 而且可以減少或除去所有其它的信號(hào)成〗分。纟罙測顯著成<分的程序 展示在圖2，其中視頻畫面(202)是用一個(gè)或多個(gè)探測對(duì)象(206) 程序處理的，從而導(dǎo)致一 個(gè)或多個(gè)對(duì)象纟皮識(shí)別并且隨后被跟蹤。 保留的成份代表視頻數(shù)據(jù)的中間形式。然后，可以使用對(duì)于現(xiàn)有 的 一見頻處理方法通常不可得的#支術(shù)給這個(gè)中間教:才居編石馬。因?yàn)樵?中間數(shù)據(jù)以幾種形式存在，所以標(biāo)準(zhǔn)的視頻編碼技術(shù)也能用來給 這些中間形式中的幾種形式編石馬。對(duì)于每個(gè)例i正，本發(fā)明都先確
定然后^f吏用最有效的編碼才支術(shù)。
在一個(gè)優(yōu)選實(shí)施方案中，顯著特征分析程序完成顯著信號(hào)才莫 式的探測和分類。這個(gè)程序的一個(gè)實(shí)施方案使用專門為產(chǎn)生強(qiáng)度 與在視頻畫面中探測到的對(duì)象顯著特征有關(guān)的響應(yīng)信號(hào)而設(shè)計(jì) 的空間過濾器的組合。以不同的空間刻度在S見頻畫面的不同位置 應(yīng)用該分類程序。來自該分類程序的響應(yīng)的強(qiáng)度指出顯著信號(hào)模 式出現(xiàn)的可能性。在把中心置于十分顯著的對(duì)象上的時(shí)候，該程 序用對(duì)應(yīng)的強(qiáng)烈響應(yīng)給它分類。顯著信號(hào)模式的探測通過激活對(duì) 視頻序列中的顯著信息的后續(xù)處理和分析來辨別本發(fā)明。
給出顯著信號(hào)模式在一個(gè)或多個(gè)視頻畫面中的#:測位置，本 發(fā)明分析顯著信號(hào)模式的無變化特征。此外，對(duì)于無變化的特征，
本發(fā)明分析該信號(hào)的殘值，"較少顯著的"信號(hào)模式。無變化特 征的識(shí)別提供用來減少冗余信息和拆分(即，分離)信號(hào)模式的基 礎(chǔ)。
特征點(diǎn)跟蹤
在本發(fā)明一個(gè)實(shí)施方案中，在一個(gè)或多個(gè)畫面中的空間位置 是通過空間強(qiáng)度場梯度分析確定的。這些特征對(duì)應(yīng)于"一些線" 的一些交點(diǎn)，這些交點(diǎn)能^皮寬^H也描述為"拐角"。這樣的實(shí)施 方案進(jìn)一步選擇一組這樣的拐角，這些拐角是強(qiáng)壯的而且在空間
上是4皮此異類的，在此稱之為特;f正點(diǎn)。此外，〗吏用光學(xué)流的分層 次的多分辨率評(píng)估允i午確定隨著時(shí)間流逝特4正點(diǎn)的平移位移。
在圖2中，跟蹤對(duì)象(220)程序是為了把來自探測對(duì)象程序 (208)的探測例證和在許多^L頻畫面(202和204)上一個(gè)或多個(gè)#皮 探測對(duì)象的特征的進(jìn) 一 步的識(shí)別對(duì)應(yīng)關(guān)系(222)拉到 一起而展示的。
特征跟蹤的非限制性實(shí)施方案能被這樣使用，以致這些特征 被用來限定更規(guī)則的梯度分析法(例如，基于區(qū)段的運(yùn)動(dòng)評(píng)估)。
另 一 個(gè)實(shí)施方案期;f寺以特4正3艮蹤為基礎(chǔ)的運(yùn)動(dòng)評(píng)估的預(yù)測。 基于對(duì)象的探測和跟蹤
在本發(fā)明的 一個(gè)非限制性實(shí)施方案中，強(qiáng)健的對(duì)象分類程序 -陂用來跟蹤視頻畫面中的面部。這樣的分類程序以對(duì)已在面部上 訓(xùn)練過的定向邊緣的級(jí)聯(lián)響應(yīng)為基礎(chǔ)。在這個(gè)分類程序中，邊緣 被定義為一組基本的Haar特征和那些特征的45度旋轉(zhuǎn)。該級(jí)聯(lián) 分類程序是AdaBoost算法的變體。此外，響應(yīng)計(jì)算能通過使用 總面積表優(yōu)化。
局部配準(zhǔn)
配準(zhǔn)包括在兩個(gè)或多個(gè)^L頻畫面中#:識(shí)別對(duì)象的諸元素之 間的對(duì)應(yīng)關(guān)系的分配。這些乂于應(yīng)關(guān)系變成建立該^L頻參j居中時(shí)間 點(diǎn)截然不同的視頻數(shù)據(jù)之間的空間關(guān)系模型的基礎(chǔ)。
為了根據(jù)廣為人知的算法和那些算法的富有創(chuàng)造性的派生 算法舉例說明特定的實(shí)施方案和它們與實(shí)踐相關(guān)l關(guān)的縮減量，現(xiàn) 在描述用于本發(fā)明的各種不同的非限制性的配準(zhǔn)方法。
在時(shí)空序列中建立明顯的光學(xué)流才莫型的一種方法可以通過 乂人-現(xiàn)頻凄t據(jù)的兩個(gè)或多個(gè)畫面產(chǎn)生有限差分i或來實(shí)現(xiàn)的。如果該 對(duì)應(yīng)關(guān)系在空間和強(qiáng)度雙重意義上符合特定的恒定性限制，則光 學(xué)流場能^皮稀疏地評(píng)估。
如圖3所示，畫面(302或304)有可能通過十取一程序(306) 或一些其它的二次4由才羊禾呈序(舉例來i兌，4氐通過濾器)才要空間;故二 次抽樣。這些在空間上減少的圖像(310&312)也可能i皮進(jìn)一 步二 次抽樣。
菱形搜尋
假定把一個(gè)視頻畫面分割成若干不重疊的區(qū)革殳，4叟尋與每個(gè) 區(qū)段匹配的先前的視頻畫面。以全面搜尋區(qū)段為基礎(chǔ)(FSBB)的運(yùn) 動(dòng)"i平4古4戈出在先前的禍L步貞畫面中與當(dāng)前畫面中的區(qū),更相比專交時(shí) 誤差最小的位置。完成FSBB可能是計(jì)算費(fèi)用十分浩大的，而且 往往不產(chǎn)生比以局域化運(yùn)動(dòng)布￡_沒為基礎(chǔ)的其它評(píng)估方案更好的 匹配。以菱形搜尋區(qū)段為基礎(chǔ)(D S B B)的梯度下降運(yùn)動(dòng)評(píng)估是 FSBB的常見的替代品，它使用各種不同尺寸的菱形搜尋圖案朝 著對(duì)于某個(gè)區(qū)4爻最好的匹配的方向反復(fù)地4黃越誤差梯度。
在本發(fā)明的一個(gè)實(shí)施方案中，為了產(chǎn)生數(shù)值稍后被因式分解
成高階運(yùn)動(dòng)模型的有限差分，DSBB被用于一個(gè)或多個(gè)視頻畫面 之間的圖像梯度域分析。
熟悉這項(xiàng)技術(shù)的人知道基于區(qū)段的運(yùn)動(dòng)評(píng)估能被視為規(guī)貝'J 網(wǎng)孔頂點(diǎn)分析的等同物。
基于網(wǎng)孔的運(yùn)動(dòng);平估
基于網(wǎng)孔的預(yù)測使用頂點(diǎn)被邊緣連接起來的幾何網(wǎng)孔描繪 視頻畫面的不連續(xù)區(qū)域，隨后通過受網(wǎng)孔頂點(diǎn)位置控制的變形模 型子貞測后續(xù)畫面中那些區(qū)i或的變形和運(yùn)動(dòng)。為了子貞測當(dāng)前畫面， 因?yàn)轫旤c(diǎn)是移動(dòng)的，所以在用頂點(diǎn)定義的區(qū)i或之內(nèi)的象素也是移 動(dòng)的。原始象素凄t值的相對(duì)運(yùn)動(dòng)和由此產(chǎn)生的近似是通過一些插 值方法完成的，這些插值方法將象素位置與鄰近那個(gè)象素的頂點(diǎn) 的位置聯(lián)系起來。當(dāng)這樣的運(yùn)動(dòng)存在于視頻信號(hào)中的時(shí)候，縮》文 和旋轉(zhuǎn)的附加建模與純粹的平移相比較能產(chǎn)生更精確的畫面象 素子貞觀'J。
通常，網(wǎng)孔模型能被定義為是規(guī)則的或自適應(yīng)的。身見則的網(wǎng) 孔模型是在不考慮基礎(chǔ)信號(hào)特性的情況下設(shè)計(jì)的，而自適應(yīng)的方 法嘗試按空間安排與基礎(chǔ)視頻信號(hào)的特征相關(guān)的頂點(diǎn)和邊緣。
規(guī)則網(wǎng)孔表示法提供一種方法，倘若影像中的成像對(duì)象有較 多的空間間斷點(diǎn)與網(wǎng)孔邊^(qū)^相對(duì)應(yīng)，運(yùn)動(dòng)或運(yùn)動(dòng)中固有的變形就 能用該方法預(yù)測或建才莫。
自適應(yīng)網(wǎng)孔是在實(shí)質(zhì)上比規(guī)則網(wǎng)孔更多地考慮基礎(chǔ)視頻信 號(hào)的特征的情況下形成的。此夕卜，這種網(wǎng)孔的自適應(yīng)性質(zhì)可以隨 著時(shí)間逝去考慮到網(wǎng)孔的各種不同的>^是煉。
為了實(shí)現(xiàn)網(wǎng)孔和象素配準(zhǔn)，本發(fā)明4吏用同種判據(jù)調(diào)整頂點(diǎn)搜 尋。空間上與異種強(qiáng)度梯度相關(guān)聯(lián)的頂點(diǎn)是先于那些有比較同種 的梯度的頂點(diǎn)完成運(yùn)動(dòng)評(píng)估的。
在優(yōu)選的實(shí)施方案中，網(wǎng)孔的頂點(diǎn)運(yùn)動(dòng)評(píng)估是通過針對(duì)同等 或近乎同等的同種頂點(diǎn)的運(yùn)動(dòng)評(píng)估的空間填注另外區(qū)分優(yōu)先次 序的。
在優(yōu)選的實(shí)施方案中，最初的網(wǎng)孔空間配置和最后的網(wǎng)孔配 置是通過使用標(biāo)準(zhǔn)的圖解式填充例行程序用小平面標(biāo)識(shí)符填充 映射圖像在小平面水平上相互映射的。與每個(gè)三角形相關(guān)聯(lián)的仿 射變換能很快地從變換表中查出，而在一個(gè)網(wǎng)孔中與小平面相關(guān) 聯(lián)的象素位置能很快地轉(zhuǎn)換成在另 一個(gè)網(wǎng)孔中的位置。
在優(yōu)選的實(shí)施方案中，為了評(píng)定與每個(gè)運(yùn)動(dòng)評(píng)估匹配相關(guān)聯(lián) 的殘留誤差針對(duì)頂點(diǎn)進(jìn)行初步的運(yùn)動(dòng)評(píng)估。這個(gè)初步的評(píng)估被另 外用來區(qū)分頂點(diǎn)運(yùn)動(dòng)評(píng)估次序的優(yōu)先次序。這樣的殘差分析的好 處是與比較少的失真相關(guān)聯(lián)的運(yùn)動(dòng)評(píng)估將導(dǎo)致維持更似乎真實(shí)
6勺網(wǎng)孑L4S4卜。
在優(yōu)選的實(shí)施方案中，網(wǎng)孔頂點(diǎn)運(yùn)動(dòng)評(píng)估被依比例縮減到某 個(gè)有限范圍，而且多種運(yùn)動(dòng)評(píng)估是通過一些迭代完成的，為的是 允許網(wǎng)孔接近更全面優(yōu)化的和拓樸正確的解。
在優(yōu)選的實(shí)施方案中，利用中心在每個(gè)頂點(diǎn)上矩形瓦塊鄰域 的基于區(qū)段的運(yùn)動(dòng)評(píng)估被用來確定考慮到內(nèi)插多角形鄰域的頂 點(diǎn)位移。除了針對(duì)誤差梯度由來避免象素的空間插值和變形之 外，這項(xiàng)技術(shù)也允許運(yùn)動(dòng)評(píng)估的平行計(jì)算。 基于相位的運(yùn)動(dòng)評(píng)估
在現(xiàn)有技術(shù)中，基于區(qū)段的運(yùn)動(dòng)評(píng)估通常是作為導(dǎo)致一個(gè)或 多個(gè)空間匹配的空間^叟尋實(shí)現(xiàn)的?；谙辔坏氖б姺痘幕ハ嚓P(guān)
(PNCC)如同圖3舉例說明的那樣把來自當(dāng)前畫面和先前畫面的 區(qū)段變換到"相空間"中，并且尋找那兩個(gè)區(qū)段的互相關(guān)。這種 互相關(guān)被表達(dá)為位置與兩個(gè)區(qū)段之間邊緣的"相移"相對(duì)應(yīng)的數(shù) 值域。這些位置通過定閾值被隔離，然后^皮逆變換成空間坐標(biāo)。 這些空間坐標(biāo)是截然不同的邊縛_位移，而且對(duì)應(yīng)于運(yùn)動(dòng)矢量。
PNCC的優(yōu)勢包括對(duì)比度遮掩，該對(duì)比度遮掩在3見頻流中預(yù) 留增益/曝光調(diào)節(jié)的容許偏差。另外，PNCC允許來自單一步驟的 結(jié)果，該單一步驟或i午處理來自基于空間的運(yùn)動(dòng)評(píng)估程序的許多 迭代。此外，該運(yùn)動(dòng)評(píng)估是子象素精確的。
本發(fā)明的一個(gè)實(shí)施方案在一個(gè)或多個(gè)賴L頻畫面之間的圖傳_ 梯度域的分析中利用PNCC，為的是產(chǎn)生其數(shù)值稍后被因式分解 成高階運(yùn)動(dòng)^t型的有限差分。
整體配準(zhǔn)
在一個(gè)實(shí)施方案中，本發(fā)明Y吏用在兩幅或多幅視頻畫面中萍皮
:探測對(duì)象的對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生對(duì)應(yīng)關(guān)系;漠型。通過將來自 有限差分評(píng)估域的一個(gè)或多個(gè)線性模型因式分解來分析這些關(guān) 系。術(shù)語"域"指的是每個(gè)有空間位置的有限差分。這些有限差 分可能是在探測&跟蹤段落所描述的完全不同的視頻畫面中對(duì)應(yīng)
對(duì)象特;f正的平移位移。發(fā)生這樣的抽樣的域在此^皮稱為有限差分 的一般總體。所描述的方法使用與在文獻(xiàn)"M. A. Fischler, R. C. Bolles, 'Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography',
Comm. oftheACM, VoI24, pp 381-395, 1981"中描述的RANSAC 算法類似的強(qiáng)健的評(píng)估。
如圖4所示，在建立整體運(yùn)動(dòng)模型的情況下，有限差分是收 集到借助那些運(yùn)動(dòng)評(píng)估的隨機(jī)抽樣(410)被迭代處理的一般總體 庫(404)中的平移運(yùn)動(dòng)評(píng)估(402),而且線形模型被因式分解，提 取那些樣本的公因子(420)。然后，那些結(jié)果被用來調(diào)節(jié)總體(404) 以Y更通過排除通過隨才幾處理發(fā)現(xiàn)的該才莫型的異己沖羊本更好地闡 明該線性模型。
本發(fā)明能利用一個(gè)或多個(gè)強(qiáng)健的預(yù)估程序；其中之一可能是 強(qiáng)健的RANSAC評(píng)估程序。這些強(qiáng)健的預(yù)估程序在現(xiàn)有4支術(shù)中 已得到很好的證明。
在線性模型評(píng)估算法的 一個(gè)實(shí)施方案中，運(yùn)動(dòng)模型評(píng)估程序 以線性最小二乘解為基礎(chǔ)。這種相關(guān)性使該評(píng)估程序擺脫異己樣 本數(shù)據(jù)。基于RANSAC，所揭示的方法是一種通過反復(fù)評(píng)估數(shù)據(jù) 子集抵消異己樣本的效應(yīng)從而探查將描述重要的數(shù)據(jù)子集的運(yùn) 動(dòng)才莫型的強(qiáng)健方法。每個(gè)#果頭產(chǎn)生的模型都對(duì)它所代表的數(shù)據(jù)的 百分比進(jìn)行測試。如果有足夠的迭代次數(shù)，則將發(fā)現(xiàn)與最大的數(shù) 據(jù)子集擬合的模型。在文獻(xiàn)"r. Dutter和PJ. Huber, 'Numerical methods for the nonlinear robust regression problem' ， Journal of Statistical and Computational Simulation, 13:79-113, 1981"中有關(guān) 于怎才羊完成這樣強(qiáng)健的線性最小二乘回歸的描述。
如同圖4i殳想和舉例i兌明的那才羊，本發(fā)明揭示一些在算法變 更形式上超過RANSAC算法的改革，包4舌有限差分的初始4由樣 (樣本)和線性模型的最小二乘評(píng)估。綜合誤差是使用已解的線性
模型對(duì)一般總體中的所有樣本評(píng)估的。根據(jù)殘差與預(yù)先設(shè)定的閾
值一致的樣本的數(shù)目給該線性模型分配一個(gè)等級(jí)。這個(gè)等級(jí)被看 作是"候選的共識(shí)"。
初始抽樣、求解和歸類是通過迭代完成的，直到終止判據(jù)得 到滿足為止。 一旦該判據(jù)得到滿足，等級(jí)最高的線性^t型被看作 是該總體的最后共識(shí)。
最初的抽樣、求解和歸類是通過迭代完成的，直到終止判據(jù) 得到滿足為止。 一旦該判據(jù)得到滿足，等級(jí)最高的線性模型被看 作是該總體的最后共識(shí)。
非必選的改進(jìn)步驟包括按照與候選模型擬合最好的次序反 復(fù)分析該樣本子集并且逐漸增加子集規(guī)模，直到再多加一個(gè)樣本 將超過整個(gè)子集的殘留誤差閾值。
如圖4所示，整體才莫型評(píng)估程序(450)—直重復(fù)到共識(shí)等級(jí)可 接受性測試令人滿意(452)為止。當(dāng)該等級(jí)尚未實(shí)現(xiàn)的時(shí)候，在設(shè) 法揭示線性模型把與已發(fā)現(xiàn)的模型相關(guān)的有限差分的總體(404) 分類。最好的(最高等級(jí)的)運(yùn)動(dòng)模型被添加到程序460的解集當(dāng) 中。然后，在程序470中再次評(píng)估該才莫型。完成后，該總體(404) 被再次分類。
為了在將與某特定的線性模型相對(duì)應(yīng)的另一個(gè)參數(shù)矢量空 間中確定子空間簇，所描述的本發(fā)明的非限制性實(shí)施方案可以作 為對(duì)矢量空間(前面 一皮描述為有限差分矢量域)抽才羊的一4S:方法#皮 進(jìn)一步推廣。
整體配準(zhǔn)考呈序的進(jìn)一步的結(jié)果是這個(gè)配準(zhǔn)禾呈序和局部配準(zhǔn)
程序之間的差異產(chǎn)生局部配準(zhǔn)殘差。這個(gè)殘差是整體;t莫型在近似 局部才莫型時(shí)的誤差。
規(guī)范化
規(guī)范化指的是朝著標(biāo)準(zhǔn)的或通常的空間配置方向再次抽取 空間強(qiáng)度場樣本。當(dāng)這些相關(guān)的空間配置是在這才羊的配置之間可 逆的空間變換的時(shí)候，象素的再次抽樣和附帶插值也是直到拓樸
才及限可逆的。本發(fā)明的少見范4匕方法是用圖5舉例-說明的。
當(dāng)兩個(gè)以上空間強(qiáng)度場^皮M^范化的時(shí)候， -提高的計(jì)算效率可 以通過^f呆存中間的身見范化計(jì)算結(jié)果來實(shí)現(xiàn)。
為了配準(zhǔn)的目的，或等效地為了身見范化，用來再次抽取圖像 樣本的空間變換模型包括總體模型和局部模型?？傮w模型有從平 移變換到影射變換逐漸增加的階次。局部模型是有限差分，該有 限差分暗示在基本上用區(qū)段或更復(fù)雜地用分段線性網(wǎng)孔確定的 關(guān)于鄰近象素的內(nèi)插式。
原始強(qiáng)度場向規(guī)范化強(qiáng)度場的插值增加基于強(qiáng)度場子集的 PCA外觀^莫型的直線性。
如圖2所示，對(duì)象象素(232和234)能被再次抽樣(240)以便得 到所述對(duì)象象素的規(guī)范化版本(242和244)。
基于網(wǎng)孔的失見范化
本發(fā)明進(jìn)一 步的實(shí)施方案把特征點(diǎn)鑲嵌到基于三角形的網(wǎng) 孔中，跟蹤該網(wǎng)孔的頂點(diǎn)，并且使用每個(gè)三角形的頂點(diǎn)的相對(duì)位 置來評(píng)估與那三個(gè)頂點(diǎn)一致的平面的三維表面法線。當(dāng)該表面法 線與攝影機(jī)的投影軸相符的時(shí)候，成像象素能提供與該三角形相 對(duì)應(yīng)的對(duì)象的扭曲最小的透4見圖。創(chuàng)造傾向于支持正交表面法線 的規(guī)范化圖像能產(chǎn)生保存中間數(shù)據(jù)類型的象素，這將提高后來以 外觀為基礎(chǔ)的PCA模型的直線性。
另 一個(gè)實(shí)施方案利用傳統(tǒng)的以區(qū)#爻為基礎(chǔ)的運(yùn)動(dòng)評(píng)估來含 蓄地建立整體運(yùn)動(dòng)^t型。在一個(gè)非限制性實(shí)施方案中，該方法將 來自傳統(tǒng)的以區(qū),殳為基礎(chǔ)的運(yùn)動(dòng)評(píng)估/預(yù)測所描述的運(yùn)動(dòng)矢量的 整體仿射運(yùn)動(dòng)模型因式分解。
本發(fā)明的方法利用 一 項(xiàng)或多項(xiàng)整體運(yùn)動(dòng)評(píng)估^支術(shù)，包括 一 組 仿射投影方程的線性解。其它的投影模型和求解方法在現(xiàn)有技術(shù) 中已有描述。
圖9舉例i兌明整體和局部^見范化的組合方法。 漸進(jìn)的幾〗可身見范化
空間間斷點(diǎn)的分類4皮用來對(duì)準(zhǔn)4裏嵌的網(wǎng)孔，以^更在它們與網(wǎng) 孔邊緣一致的時(shí)候含蓄地建立間斷點(diǎn)才莫型。
同種區(qū)域的邊界是用多角形4侖廓近似的。為了確定每個(gè)多角 形頂點(diǎn)的顯著優(yōu)先權(quán)，該輪廓是以逐次降低的精度逐次近似的。 為了保護(hù)共享頂點(diǎn)的頂點(diǎn)優(yōu)先權(quán)，頂點(diǎn)優(yōu)先權(quán)在各個(gè)區(qū)域上傳播。
在這項(xiàng)發(fā)明的一個(gè)實(shí)施方案中，多角形分解方法允i午與4見場 的同種分類相關(guān)聯(lián)的邊界的優(yōu)先排序。象素是依照一些同種標(biāo)準(zhǔn) (例如，光鐠相似性)分類的，然后把分類標(biāo)簽按空間連接到各個(gè) 區(qū)域之中。在進(jìn)一步優(yōu)選的非限制性實(shí)施方案中，4-或8-連通性 判據(jù);波用來確定空間連通性。
在優(yōu)選的實(shí)施方案中，這些空間區(qū)域的邊界隨后被離散成多 角形。所有多角形對(duì)所有同種區(qū)域的空間覆蓋呈棋盤格狀并且結(jié) 合在 一 起形成初步的網(wǎng)孔。4吏用 一 些判據(jù)將這種網(wǎng)孔的頂點(diǎn)分
解，以揭示{呆有最初網(wǎng)孔的大多凄t知覺特4正的車交簡單的網(wǎng)孔表達(dá)。
在優(yōu)選的實(shí)施方案中，圖 <象配準(zhǔn)方法與這傷4兌明書的另 一部 分揭示的 一樣用強(qiáng)壯的圖像梯度向這些高優(yōu)先權(quán)頂點(diǎn)偏置。由此 產(chǎn)生的變形模型傾向于保護(hù)與成像對(duì)象的幾何形狀相關(guān)聯(lián)的空 間間斷點(diǎn)。
在優(yōu)選的實(shí)施方案中，活躍的輪廓用來改善區(qū)域邊界。每個(gè) 多角形區(qū)域的活躍輪廓都允許增殖一次迭代。在不同的區(qū)域中每 個(gè)活躍輪廓頂點(diǎn)的"變形"或移動(dòng)被結(jié)合在計(jì)算平均值操作中， 以便考慮到隱式網(wǎng)孔受限制的增殖，對(duì)于該網(wǎng)孔它們有隸屬關(guān) 系。
在優(yōu)選的實(shí)施方案中，頂點(diǎn)被分配在適合也作為不同區(qū)域的 壽侖廓部分的毗鄰頂點(diǎn)的網(wǎng)孔中它有的W比鄰頂點(diǎn)凄t的計(jì)婆t 。這些其 它的頂點(diǎn)纟皮定義為處在對(duì)立狀態(tài)。如果頂點(diǎn)計(jì)lt為1,則它有沒 有對(duì)立頂點(diǎn)，因此需要得到4呆護(hù)。如果兩個(gè)毗鄰的對(duì)立頂點(diǎn)的計(jì)
凄t都為l(意p未著這兩個(gè)頂點(diǎn)在不同的多角形中而JU皮此相鄰)， 那么一個(gè)頂點(diǎn)對(duì)另一個(gè)是可分辯的。當(dāng)計(jì)數(shù)為1的頂點(diǎn)與數(shù)值為 2的鄰近的多角形頂點(diǎn)對(duì)立的時(shí)候，計(jì)數(shù)為1的頂點(diǎn)被轉(zhuǎn)化為計(jì) 凄t為2的頂點(diǎn)，而且那個(gè)頂點(diǎn)的計(jì)lt等于1。因此，如果出現(xiàn)另 一個(gè)鄰近的對(duì)立頂點(diǎn)，那么這個(gè)頂點(diǎn)能^皮再一次分辯。對(duì)于這種 情況，保留最初的頂點(diǎn)計(jì)數(shù)是重要的，所以在分辨頂點(diǎn)的時(shí)候， 我們能基于最初的頂點(diǎn)計(jì)數(shù)偏置求解方向。這是為了頂點(diǎn)a變得 只于頂點(diǎn)b清晰可見，那么頂點(diǎn)b乂于頂點(diǎn)cM夸不清晰可見，而頂點(diǎn) c應(yīng)該對(duì)頂點(diǎn)b變4尋清晰可見，因?yàn)閎已經(jīng)-故用于一種分辨率。
在優(yōu)選的實(shí)施方案中，T一妻合點(diǎn)-陂明確i也處理。這些是在田比 鄰的多角形中沒有點(diǎn)的多角形中的點(diǎn)。在這種情況下，每個(gè)多角
形頂點(diǎn)都首先被畫在圖 <象點(diǎn)映射圖上，這張映射圖識(shí)別頂點(diǎn)的空 間位置及其多角形標(biāo)識(shí)符。然后橫越和測試每個(gè)多角形的周長看 看是否有任何來自另 一個(gè)多角形的毗鄰頂點(diǎn)。如果有來自另 一個(gè) 區(qū)域的鄰近頂點(diǎn)，那么它們每個(gè)都被測試，看看它們是否已經(jīng)有 來自當(dāng)前的多角形的鄰近頂點(diǎn)。如果它們沒有，那么當(dāng)前的點(diǎn)作 為當(dāng)前的多角形的頂點(diǎn)^皮添加進(jìn)去。這種額外的測試4呆i正在另一
個(gè)多角形中的孤立頂點(diǎn)被用來產(chǎn)生T-接合點(diǎn)。否則，這將在這個(gè) 區(qū)域已經(jīng)有匹配頂點(diǎn)的情況下僅僅添加新的頂點(diǎn)。所以，只有當(dāng) 鄰近的頂點(diǎn)不與這個(gè)當(dāng)前區(qū)域?qū)α⒌臅r(shí)候才添力。對(duì)立頂點(diǎn)。在進(jìn) 一步的實(shí)施方案中，通過使用掩模圖像增加檢測T-聯(lián)接的效率。 連續(xù)地訪問多角形頂點(diǎn)，而且這樣更新掩才莫，以致頂點(diǎn)的象素4皮 確i人為屬于某個(gè)多角形頂點(diǎn)。然后多角形周長的象素^皮詳細(xì)研 究，如果它們與多角形頂點(diǎn)一致，那么它們被記錄為在當(dāng)前的多 角形之內(nèi)的頂點(diǎn)。
在優(yōu)選的實(shí)施方案中，當(dāng)一個(gè)光i瞽的區(qū)域已經(jīng)^皮一個(gè)或多個(gè) 交疊的同種圖^f象梯度區(qū)域再映射，而且另 一個(gè)同種光i普區(qū)域也重 疊的時(shí)4美，先前^皮再映射的區(qū)i或全4皮賦予與當(dāng)前^皮再映射的那些 區(qū)域相同的標(biāo)簽。因此基本上，如果光鐠區(qū)域被兩個(gè)同種區(qū)域遮 住，那么所有被那兩個(gè)同種區(qū)域遮住的光譜區(qū)域都將獲得同樣的 標(biāo)簽，因此一個(gè)光譜區(qū)域真的被一個(gè)同種區(qū)域而不是兩個(gè)同種區(qū) 域覆蓋是相似的。
在本發(fā)明的一個(gè)實(shí)施方案中，為了找到鄰接歸并判據(jù)，處理 區(qū)域映射圖而不是處理區(qū)域目錄是有利的。在進(jìn)一步的實(shí)施方案 中，光譜拆分分類器能被修正以便訓(xùn)練該分類器使用非同種區(qū) 域。這允許將處理集中在光譜區(qū)域的邊緣。此外，增加以^吏用邊 緣(例如，穩(wěn)定的邊緣4企測器)為基礎(chǔ)的不同的拆分并且把那個(gè)々貴
送給活躍的輪廓識(shí)別最初的那組多角形將考慮到同種區(qū)域的專交 大差別。
局部規(guī)范化
本發(fā)明提供能以"局部"方式完成象素在時(shí)空流中配準(zhǔn)的方法。
一種這樣的局域化方法〗吏用幾何網(wǎng)孔的空間應(yīng)用提供分才斤 象素的方法，以致在成像現(xiàn)象中局域相干性在分辯與成像現(xiàn)象 (或明確地說成像對(duì)象)的局部變形有關(guān)的表觀圖像亮度恒定性才莫 棱兩可的時(shí)候得到解釋。
這樣的網(wǎng)孔被用來提供在像平面中表面變形的分段線性才莫
型作為局部M^范化的方法。當(dāng)視J象流的時(shí)間分辨率與視J象中的運(yùn) 動(dòng)相比高的時(shí)候，成像現(xiàn)象可能往往與這樣的模型相對(duì)應(yīng)。模型 假設(shè)之例外是通過多種技術(shù)處理的，包括象素和圖^象梯度區(qū)域 的拓樸限制、鄰近頂點(diǎn)限制和同種分斗斤。
在一個(gè)實(shí)施方案中，特4正點(diǎn)用來產(chǎn)生由頂點(diǎn)與特4正點(diǎn)相對(duì)應(yīng) 的三角形元素構(gòu)成的網(wǎng)孔。對(duì)應(yīng)的特;f正點(diǎn)是其它畫面暗示三角形 及其對(duì)應(yīng)象素的內(nèi)插造成的"變形"產(chǎn)生局部變形模型。
圖7舉例說明這樣的對(duì)象網(wǎng)孔的產(chǎn)生。圖8舉例i兌明使用這 樣的對(duì)象網(wǎng)孔局部地失見范化畫面。
在一個(gè)優(yōu)選的實(shí)施方案中，產(chǎn)生一幅識(shí)別三角形的三角形映 射圖，其中所述映射圖的每個(gè)象素都來自所述三角形。此外，與 每個(gè)三角形相對(duì)應(yīng)的仿射變換是作為優(yōu)化步驟預(yù)先計(jì)算的。再 者，在產(chǎn)生局部變形模型的時(shí)候，使用空間坐標(biāo)在固定圖像(先
前的)上來回移動(dòng)以確定來源象素的抽樣坐標(biāo)。這個(gè)^^皮抽樣的象 素將代替當(dāng)前象素位置。
在另一個(gè)實(shí)施方案中，局部變形是在整體變形之后預(yù)先形成 的。在先前揭示的i兌明書中，整體^見范化是作為^f吏用整體配準(zhǔn)方
法從空間上^L范化兩幅或多幅^L頻畫面中的象素的程序描述的。 由此產(chǎn)生的整體規(guī)范化的視頻畫面能被進(jìn)一步局部規(guī)范化。這兩 種方法的組合把局部規(guī)范化限制在整體上得到的解決辦法的細(xì) 分方面。這能大大減少求解所需要的局部方法的不明確性。
在另一個(gè)非限制性實(shí)施方案中，特征點(diǎn)或"規(guī)則網(wǎng)孔"情況 下的頂點(diǎn)是通過分析那些點(diǎn)鄰近區(qū)域的圖像梯度限定的。這個(gè)圖 -泉梯度能直4妄地或通過一些間-接計(jì)算(例如，Harris響應(yīng))^皮計(jì)算 出來。此外，這些點(diǎn)能被用與圖像梯度下降相關(guān)聯(lián)的空間限制和 運(yùn)動(dòng)評(píng)估結(jié)果誤差過濾。合格的點(diǎn)能作為網(wǎng)孔的基礎(chǔ)被許多棋盤 格化技術(shù)之一使用，從而導(dǎo)致其元素是三角形的網(wǎng)孔。對(duì)于每個(gè) 三角形，基于那些點(diǎn)和它們殘留的運(yùn)動(dòng)矢量產(chǎn)生一個(gè)仿射模型。
本發(fā)明的方法利用 一 種或多種圖像強(qiáng)度梯度分析方法，包括 Harris響應(yīng)。其它的圖^象強(qiáng)度梯度分析方法在現(xiàn)有4支術(shù)中已有描述。
在優(yōu)選的實(shí)施方案中，維持三角形仿射參數(shù)的目錄。這個(gè)目 錄通過迭代構(gòu)成當(dāng)前的/早先的點(diǎn)目錄(使用頂點(diǎn)查尋映射圖)。當(dāng)
前的/早先的點(diǎn)目錄被傳送給用來評(píng)估為那個(gè)三角形計(jì)算仿射參 數(shù)的變換的例行程序。然后，這些仿射參數(shù)或模型被保存在三角 形仿射參數(shù)目錄中。
在進(jìn)一 步的實(shí)施方案中，該方法橫移三角形標(biāo)識(shí)符圖像映射 圖，在這種情況下該映射圖中的每個(gè)象素包含在該象素有隸屬關(guān)
系的網(wǎng)孔中的三角形的標(biāo)識(shí)符。而且對(duì)于屬于某個(gè)三角形的每個(gè) 象素，計(jì)算適合那個(gè)象素的對(duì)應(yīng)的整體變形和局部變形坐標(biāo)。那
些坐標(biāo)依次用來完成對(duì)應(yīng)象素的^由樣并且把它的#:<直用在對(duì)應(yīng) 者的"規(guī)范化"位置。
在進(jìn)一步的實(shí)施方案中，以起因于圖像梯度搜尋的密度和圖 像強(qiáng)度對(duì)應(yīng)關(guān)系嚴(yán)格性為基礎(chǔ)把空間限制應(yīng)用于那些點(diǎn)。在基于 某種圖像強(qiáng)度殘差基準(zhǔn)完成運(yùn)動(dòng)評(píng)估結(jié)果之后將那些點(diǎn)分類。然 后，以空間密度限制為基礎(chǔ)對(duì)這些點(diǎn)進(jìn)4于過濾。
在進(jìn)一步的實(shí)施方案中，〗吏用空間光i普拆分，而且把小的同 種光譜區(qū)域基于空間親和力(它們的強(qiáng)度和/或顏色與鄰近區(qū)域的 相似性)合并。然后，使用同種合并把光譜區(qū)域以它們與同種質(zhì) 地(圖像梯度)區(qū)域的重疊為基礎(chǔ)組合在一起。進(jìn)一步的實(shí)施方案 然后使用中心周圍點(diǎn)(那些點(diǎn)是被較大的區(qū)域包圍的小區(qū)域)作為 合格的感興趣的點(diǎn)來支持網(wǎng)孔的頂點(diǎn)。在進(jìn)一步的非限制性實(shí)施 方案中，中心周圍點(diǎn)的定義為其邊界沖匡在尺寸為3x3或5x5或 7x7象素的一個(gè)象素之內(nèi)而且對(duì)于那個(gè)邊界框空間圖像梯度是 角落形狀的區(qū)域。該區(qū)域的中心能被歸類為角落，從而進(jìn)一步限 定那個(gè)〗立置為有利的頂點(diǎn)4立置。
在進(jìn)一步的實(shí)施方案中，水平和垂直的象素有限差分圖傳^皮 用來分類每個(gè)網(wǎng)孔邊緣的強(qiáng)度。如果邊緣有許多與它的空間位置 一致的有限差分，那么該邊緣和那個(gè)邊緣的頂點(diǎn)被認(rèn)為是對(duì)于成 -像現(xiàn)象的局部變形非常重要的。如果在邊緣的有限差分之和的平 均值之間有大的派生差異，那么該區(qū)域邊緣通常很可能對(duì)應(yīng)于質(zhì) i也變化邊纟彖，而不是量4b步驟。
在進(jìn)一步的實(shí)施方案中，空間密度模型終止條件被用來優(yōu)化 網(wǎng)孔頂點(diǎn)的處理。當(dāng)檢查過數(shù)目足以覆蓋大部分檢測矩形始端的空間區(qū)i或的點(diǎn)的時(shí)^美，于是可以結(jié)束該處理。纟冬止產(chǎn)生4尋分。進(jìn) 入處理的頂點(diǎn)和特征點(diǎn)用這個(gè)得分來分類。如果那個(gè)點(diǎn)與現(xiàn)有的 點(diǎn)在空間上挨得太近，或者那個(gè)點(diǎn)不與圖像梯度的邊緣相對(duì)應(yīng)， 則將它丟棄。否則，在那個(gè)點(diǎn)的鄰近:t也區(qū)中的圖《象梯度下降，而 且如果梯度的殘差超過某個(gè)界限，那么那個(gè)點(diǎn)也^皮丟棄。
在優(yōu)選實(shí)施方案中，局部變形建模是通過迭代完成的，隨著 每次迭代頂點(diǎn)位移減少收癥支到解上。
在另一個(gè)實(shí)施方案中，局部變形才莫型^皮完成，而且如果該整 體變形已經(jīng)提供相同的規(guī)范化利益，則將該模型的參數(shù)丟棄。
規(guī)則網(wǎng)孔規(guī)范化
本發(fā)明利用規(guī)則網(wǎng)孔擴(kuò)展上述的局部規(guī)范化方法。這種網(wǎng)孔 是不考慮潛在象素構(gòu)成的，然而它的位置和尺寸與^皮;險(xiǎn)測對(duì)象相 對(duì)應(yīng)。
纟合定祐:才企測對(duì)象區(qū)域，空間畫面4立置和指出面部大小的刻度
在面部區(qū)域的始端上產(chǎn)生規(guī)則網(wǎng)孔。在優(yōu)選的實(shí)施方案中，使用 一組不重疊的瓦片描繪矩形網(wǎng)孔，然后完成瓦片的對(duì)角線分割產(chǎn) 生有三角形網(wǎng)孔元素的M^則網(wǎng)孔。在進(jìn)一步的優(yōu)選實(shí)施方案中，
瓦片與用于傳統(tǒng)的^見頻壓縮算法(例如，MPEG-4 AVC)的那些成比例。
在優(yōu)選的實(shí)施方案中，與上述網(wǎng)孔相關(guān)聯(lián)的頂點(diǎn)通過分析在 用于訓(xùn)練的特定的^L頻畫面中包圍這些頂點(diǎn)的象素區(qū)域區(qū)分優(yōu) 先次序。分析這樣的區(qū)域的梯度提供關(guān)于與每個(gè)頂點(diǎn)相關(guān)的將依 靠局部圖像梯度的處理(例如，基于區(qū)段的運(yùn)動(dòng)評(píng)估結(jié)果)的置信度。
頂點(diǎn)位置在多個(gè)畫面的對(duì)應(yīng)關(guān)系是通過簡單的逐步降^f氐圖 像梯度找到的。在優(yōu)選實(shí)施方案中，這是通過基于區(qū)段的運(yùn)動(dòng)評(píng) 估實(shí)現(xiàn)的。在目前的實(shí)施方案中，高置信度的頂點(diǎn)考慮到高置信 度的對(duì)應(yīng)關(guān)系。置信度較低的頂點(diǎn)對(duì)應(yīng)關(guān)系是通過推理經(jīng)過求解 不明確的圖像梯度從置信度較高的頂點(diǎn)對(duì)應(yīng)關(guān)系獲得的。
在 一 個(gè)優(yōu)選實(shí)施方案中，則網(wǎng)孔是在最初的跟蹤矩形上制 作的。產(chǎn)生16x16的瓦片，并且沿著對(duì)角線切割，形成三角形 網(wǎng)孔。對(duì)這些三角形的頂點(diǎn)進(jìn)行運(yùn)動(dòng)評(píng)估。運(yùn)動(dòng)評(píng)估結(jié)果耳又決于 每個(gè)點(diǎn)的質(zhì)地類型。質(zhì)地被分為三類角落、邊緣和同種，它們 也定義頂點(diǎn)的處理次序。角落頂點(diǎn)使用鄰近頂點(diǎn)的評(píng)估結(jié)果，即， 鄰近點(diǎn)(如果可得)的運(yùn)動(dòng)評(píng)估4皮用于預(yù)言性運(yùn)動(dòng)矢量，而運(yùn)動(dòng)評(píng) 估結(jié)果適用于每一個(gè)。提供最低的瘋狂誤差(mad error)的運(yùn)動(dòng)矢 量是作為這個(gè)頂點(diǎn)運(yùn)動(dòng)矢量使用的。用于角落的搜尋策略是所有 的(寬的、小的和原點(diǎn))。對(duì)于邊纟彖，再一次一使用最近的相鄰運(yùn)動(dòng) 矢量作為預(yù)言性運(yùn)動(dòng)矢量，而且使用誤差最小的那一個(gè)。邊緣的 搜尋策略是小的和原點(diǎn)。對(duì)于同種區(qū)域，搜尋鄰近的頂點(diǎn)并且使 用誤差最小的運(yùn)動(dòng)評(píng)估。
在 一 個(gè)優(yōu)選實(shí)施方案中，每個(gè)三角形頂點(diǎn)的圖像梯度被計(jì)算 出來，而且基于類別和大小被分類。所以，角落先于邊緣，邊緣 先于同種區(qū)域。對(duì)于角落，強(qiáng)的角落先于弱的角落，對(duì)于邊緣， 強(qiáng)的邊緣先于弱的邊緣。
在一個(gè)優(yōu)選實(shí)施方案中，每個(gè)三角形的局部變形以與那個(gè)三 角形相關(guān)耳關(guān)的運(yùn)動(dòng)評(píng)估為基礎(chǔ)。每個(gè)三角形都有對(duì)它；平估的仿 射。如果三角形不作拓樸逆轉(zhuǎn)，或變成退化的，那么作為三角形 部分的象素被用來以獲得的評(píng)估仿射為基礎(chǔ)抽取當(dāng)前圖像的樣 本。
拆分
通過進(jìn) 一 步描述的拆分程序識(shí)別的空間間斷點(diǎn)是通過它們 各自邊界的幾何參數(shù)表達(dá)法(凈皮稱為空間間斷點(diǎn)才莫型)有效i也編碼 的。這些空間間斷點(diǎn)4莫型可以以不斷i也考慮到與編石馬子集相只于應(yīng) 的更簡潔的邊界描述的漸進(jìn)方式編碼。漸進(jìn)式編碼提供一種在保 留空間間斷點(diǎn)的許多顯著方面的同時(shí)區(qū)分空間幾何學(xué)優(yōu)先次序 的強(qiáng)健方法。
本發(fā)明的優(yōu)選實(shí)施方案將多分辨率拆分分^斤與空間強(qiáng)度場 的梯度分析結(jié)合起來，并且進(jìn)一步使用時(shí)間穩(wěn)定性限制來實(shí)現(xiàn)強(qiáng) 健的拆分。
如圖2所示， 一旦已經(jīng)隨著時(shí)間的流逝^艮蹤對(duì)象的特4i的刈-應(yīng)關(guān)系(220)并且建立了 ^t型(224)，遵守這個(gè)運(yùn)動(dòng)/變形;漠型能用 來拆分與那個(gè)對(duì)象相對(duì)應(yīng)的象素(230)?？梢詫?duì)畫面(202和204) 中已探測到的許多對(duì)象(206和208)重復(fù)這個(gè)程序。
本發(fā)明使用的無變化特征分析的 一種形式被集中在空間間 斷點(diǎn)的識(shí)別上。這些間斷點(diǎn)是作為邊緣、陰影、遮蔽、線、拐角 或4壬<可其它的在一個(gè)或多個(gè)^L頻成^f象畫面中引起象素之間突然 的可辨認(rèn)的分離的可見特征出現(xiàn)的。此外，在顏色和/或紋理類似 的對(duì)象之間的細(xì)孩史的空間間斷點(diǎn)可能<義僅出現(xiàn)在^f見頻畫面中各 個(gè)對(duì)象的象素相對(duì)于那些對(duì)象本身正在經(jīng)歷粘附運(yùn)動(dòng)而相對(duì)于 其它對(duì)象正在經(jīng)歷不同的運(yùn)動(dòng)之時(shí)。本發(fā)明利用頻鐠拆分、紋理 拆分和運(yùn)動(dòng)拆分的組合強(qiáng)健地識(shí)別與顯著信號(hào)模式有關(guān)的空間 間斷點(diǎn)。時(shí)間拆分
把平移運(yùn)動(dòng)矢量或在空間強(qiáng)度場中等價(jià)的有限差分測量結(jié) 果按時(shí)間整合成高階運(yùn)動(dòng)模型是現(xiàn)有技術(shù)描述的一種運(yùn)動(dòng)拆分 形式。
在本發(fā)明的一個(gè)實(shí)施方案中，產(chǎn)生運(yùn)動(dòng)矢量的稠密域，表現(xiàn) -現(xiàn)頻畫面中對(duì)象運(yùn)動(dòng)的有限差分。這些導(dǎo)數(shù)是通過^見則地分割瓦 片或借助某種初始化程序(例如，空間拆分)按空間集合的。每個(gè) 集合的"導(dǎo)數(shù)'，使用線性最小二乘評(píng)估程序整合成一個(gè)高階運(yùn)動(dòng) 模型。然后，由此產(chǎn)生的運(yùn)動(dòng)模型作為矢量在運(yùn)動(dòng)模型空間中使
用K均值聚類技術(shù)。這些導(dǎo)數(shù)是基于與它們擬合最好的群分類 的。然后，群標(biāo)是作為空間分割的演化按空間群集的。該程序一 直繼續(xù)到空間分割穩(wěn)定為止。
在本發(fā)明的進(jìn)一步的實(shí)施方案中，適合給定的孔徑的運(yùn)動(dòng)矢 量被內(nèi)插到 一組與該孔徑相對(duì)應(yīng)的象素位置。當(dāng)用這種內(nèi)插定義 的區(qū)段橫越與對(duì)象邊界相對(duì)應(yīng)的象素時(shí)候，由此產(chǎn)生的分類是該 區(qū)段的某種不規(guī)則的對(duì)角線分割。
在現(xiàn)有技術(shù)中，用來整合導(dǎo)數(shù)的最小二乘評(píng)估程序?qū)﹄x群值 是非常敏感的。這種敏感性能產(chǎn)生使運(yùn)動(dòng)模型的群集方法嚴(yán)重地 向迭代結(jié)果大大發(fā)散的點(diǎn)傾斜的運(yùn)動(dòng)才莫型。
在本發(fā)明中，運(yùn)動(dòng)拆分方法通過分析兩個(gè)以上視頻畫面上明 顯的象素運(yùn)動(dòng)識(shí)別空間間斷點(diǎn)。明顯的運(yùn)動(dòng)是針對(duì)這些視頻畫面 上的一致性分析的并且^皮整合成參凄史運(yùn)動(dòng)才莫型。與這種一致的運(yùn) 動(dòng)相關(guān)聯(lián)的空間間斷點(diǎn)凈皮識(shí)別出來。運(yùn)動(dòng)拆分也可以#皮稱為時(shí)間 拆分，因?yàn)闀r(shí)間變化可能是由運(yùn)動(dòng)引起的。然而，時(shí)間變化也可 能是由一些其它的現(xiàn)象(例如，局部變形、照明變化，等等)引起 的。
通過所描述的方法，與規(guī)范化方法相對(duì)應(yīng)的顯著信號(hào)才莫式能 被識(shí)別而且能通過幾種背景減法之一與環(huán)境信號(hào)模式(背景或非 對(duì)象)分開。時(shí)常，這些方法從統(tǒng)計(jì)上建立背景模型，因?yàn)橄笏?br> 在每個(gè)時(shí)間例i正都呈現(xiàn)最小的變化量。變化能纟皮^L為象素凄i:值差 異。
基于拆分周界的整體變形模型是通過先創(chuàng)造圍繞對(duì)象的周 界達(dá)成，然后使該周界向探測到的對(duì)象中心倒塌直到該周界的頂 點(diǎn)已經(jīng)實(shí)現(xiàn)位置與異種圖像梯度一致。運(yùn)動(dòng)評(píng)估是針對(duì)這些新的 頂點(diǎn)位置推斷的，而強(qiáng)健的仿射評(píng)估被用來發(fā)現(xiàn)整體變形模型。
基于拆分網(wǎng)孔頂點(diǎn)圖像世系的有限差分^皮整合成整體變形 模型。
對(duì)象拆分
圖13所示方才匡圖展示對(duì)象拆分的一個(gè)優(yōu)選實(shí)施方案。該牙呈 序由規(guī)范化圖像(13 02)的系綜開始，然后所述規(guī)范化圖像在該系 綜當(dāng)中被逐對(duì)地計(jì)算差分(1304)。然后，這些差分被逐元素地積 聚到積聚緩沖區(qū)之中(1306)。為了識(shí)別比較重要的誤差區(qū)域，給 該積聚緩沖區(qū)設(shè)定閾值(1310)。然后，為了確定累積誤差區(qū)域的 空間支持(1310),對(duì)通過閾值的元素掩模進(jìn)行形態(tài)學(xué)分析(1312)。 然后，由此產(chǎn)生的形態(tài)學(xué)分碎斤(1312)的抽出物(1314)與^笨測到的 對(duì)象位置進(jìn)行比較相較(1320)，以便將后來的處理集中在與該對(duì) 象一致的累積誤差區(qū)域。然后，用形成其凸殼(1324)的多角形近 似孤立空間區(qū)域(1320)的邊界(1322)。然后，調(diào)整殼的輪廓(1332), 以便更好地初始化用于活躍輪廓分析(1332)的頂點(diǎn)位置。 一旦活
躍輪廓分析(1332)已經(jīng)在累積誤差空間中會(huì)聚在低能解上，該輪 廓-故用作最后4侖廓(1334)，而且一皮限制在該l侖廓之中的象素^皮3見 為最有可能是對(duì)象象素的那些象素，而該輪廓之外的那些象素被 視為非對(duì)象象素。
在優(yōu)選的實(shí)施方案中，運(yùn)動(dòng)拆分能在給定顯著圖像模態(tài)的被
:探測位置和規(guī)4莫的情況下實(shí)現(xiàn)。距離變換能用來確定每個(gè)象素離 開該被探測位置的距離。如果與最大距離相關(guān)聯(lián)象素?cái)?shù)值被保 留，合理的背景模型能被求解。換句話說，環(huán)境信號(hào)是使用信號(hào) 差衡量標(biāo)準(zhǔn)按時(shí)再次抽樣的。
進(jìn)一步的實(shí)施方案包括使用與當(dāng)前探測位置相關(guān)的距離變 換來:^巴距離分配給每個(gè)象素。如果到某個(gè)象素的距離大于在某個(gè) 最大象素距離表中的距離，那么該象素?cái)?shù)值被記錄下來。在適當(dāng) 的訓(xùn)練周期之后，如果適合于那個(gè)象素的最大距離是大的，則假 定該象素有最高的作為背景象素的可能性。
給出環(huán)境信號(hào)模型，完全的顯著信號(hào)模態(tài)能按每個(gè)時(shí)間例證 計(jì)算差分。這些差分每個(gè)都能被再次抽樣變成空間規(guī)范化的信號(hào) 差(絕對(duì)差)。然后，這些差分4皮此對(duì)準(zhǔn)并且被累積。由于這些差 分相對(duì)于顯著信號(hào)模式是空間規(guī)范化的，所以差分的峰值將主要 對(duì)應(yīng)于與顯著信號(hào)模式有關(guān)的象素位置。
在本發(fā)明的一個(gè)實(shí)施方案中，訓(xùn)練周期被定義，其中一些對(duì) 象探測位置被確定而且那些位置的質(zhì)心被用來與遠(yuǎn)離這個(gè)位置 將考慮到畫面差分化產(chǎn)生將有最高的作為非對(duì)象象素的概率的 背景象素的的探測位置 一起確定最佳的畫面數(shù)。
在本發(fā)明的一個(gè)實(shí)施方案中，活躍4侖廓模型被用來通過在累 積誤差"圖像"中確定輪廓頂點(diǎn)位置把前景對(duì)象從非對(duì)象背景中
拆分出來。在優(yōu)選的實(shí)施方案中，活躍輪廓的邊緣被細(xì)分得與被 探測對(duì)象的比例相稱，以便得到較大的自由度。在優(yōu)選的實(shí)施方 案中，最后輪廓的位置能快速靈活地移動(dòng)到最接近的規(guī)則網(wǎng)孔頂 點(diǎn)，以便得到有規(guī)律地隔開的輪廓。
在對(duì)象拆分的一個(gè)非限制性實(shí)施方案中，使用一個(gè)導(dǎo)向核來 針對(duì)時(shí)間上成對(duì)的圖4象產(chǎn)生誤差圖像過濾器響應(yīng)。對(duì)取向與總運(yùn) 動(dòng)方向正交的過濾器的響應(yīng)傾向于在相^f于背景的運(yùn)動(dòng)乂人遮蔽 背景到顯露背景的時(shí)候增強(qiáng)誤差表面。
規(guī)范化圖像系綜的規(guī)范化圖像畫面強(qiáng)度矢量是依據(jù) 一 個(gè)或 多個(gè)創(chuàng)造殘差矢量的參考畫面計(jì)算差分的。這些殘差矢量是逐元 素地累積的，以形成累積殘差矢量。然后，這個(gè)累積殘差矢量^皮 按空間地調(diào)查，以便定義適合對(duì)象象素和非對(duì)象象素的空間拆分 的空間對(duì)象邊界。
在一個(gè)優(yōu)選實(shí)施方案中，為了得出能用來給累積殘差矢量設(shè) 定閾值的統(tǒng)計(jì)閾值，完成了最初的累積殘差矢量統(tǒng)計(jì)分4斤。通過 先腐蝕后膨脹的形態(tài)學(xué)操作，形成初步的對(duì)象區(qū)域掩模。然后， 分^斤該區(qū)i或的輪廓多角形點(diǎn)以揭示那些點(diǎn)的凸殼。然后，把該凸 殼作為初始輪廓用于活躍輪廓分析法。該活躍輪廓在它會(huì)聚在該 對(duì)象的累積殘差空間邊界上之前是一直增殖的。在進(jìn)一步優(yōu)選的 實(shí)施方案中，初步的輪廓邊緣通過添加中點(diǎn)頂點(diǎn)被進(jìn)一 步細(xì)分到 實(shí)現(xiàn)適合于所有的邊緣長度的最小邊緣長度。這個(gè)進(jìn)一 步的實(shí)施 方案意味著逐漸增加活i 夭輪廓才莫型的自由度以便更精確地適合 該》十象的輪廓。
在優(yōu)選的實(shí)施方案中，細(xì)化的輪廓用來產(chǎn)生通過覆蓋該輪廓 暗示的多角形和覆蓋規(guī)范化圖像中的多角形指出該對(duì)象的象素 的象素掩模。
非對(duì)象的分辨
圖12所示的方框圖揭示非對(duì)象拆分或同義地背景分辨的一 個(gè)優(yōu)選實(shí)施方案。通過背景緩沖區(qū)(1206)和初始最大距離值緩沖 區(qū)(1204)的初始化，該程序是為通過把"穩(wěn)定性"與距被纟罙測對(duì) 象位置(1202)的最大距離聯(lián)系起來確定最穩(wěn)定的非對(duì)象象素而工 作的。給出新:探測的對(duì)象位置(1202),該程序4全查每個(gè)象素位置 (1210)。對(duì)于每個(gè)象素位置(1210)，使用距離變換計(jì)算離開被4果 測對(duì)象位置(1210)的3巨離。如果那個(gè)象素的3巨離大于在最大3巨離 緩沖區(qū)(1204)中先前儲(chǔ)存的位置(1216),那么先前的數(shù)值被當(dāng)前 的彩:值^替(1218),而且該象素凝J直凈皮記錄在象素《爰沖區(qū)中 (1220)。
纟合出清晰的背景圖i象,這個(gè)圖^f象和當(dāng)前畫面之間的誤差可以 按空間規(guī)范化和按時(shí)間累積.這樣的清晰背景圖像是在"背景分 辨"部分中描述的。通過這個(gè)方法背景的分辨率祐^見為基于時(shí)間 的閉塞過濾器程序。
然后，由此產(chǎn)生的累積誤差通過閾值檢驗(yàn)提供初始輪廓。然 后，該輪廓在空間上擴(kuò)展以-使殘留i吳差與輪廓變形平衡。
在替代實(shí)施方案中，計(jì)算在當(dāng)前畫面和被分辨背景畫面之間 的絕對(duì)差別。然后，將元素狀態(tài)的絕對(duì)差別拆分到截然不同的空 間區(qū)域。這樣計(jì)算這些區(qū)域邊界框的平均象素值，以致當(dāng)更新被 分辨背景的時(shí)候，當(dāng)前的和已分辨的背景平均象素值之間的差能 用來實(shí)現(xiàn)反差變化，所以當(dāng)前區(qū)域能更有效地?fù)交煸诒环直娴谋?景之中。在另一個(gè)實(shí)施方案中，在規(guī)范化畫面掩模里面的頂點(diǎn)是 針對(duì)每幅畫面進(jìn)行運(yùn)動(dòng)評(píng)估和保全的。然后，使用SVD處理這 些頂點(diǎn)以產(chǎn)生用于每幅畫面的局部變形預(yù)測。
梯度拆分
紋理拆分方法或同義的強(qiáng)度梯度拆分分析象素在一個(gè)或多 個(gè)4見頻畫面中的局部梯度。梯度響應(yīng)是一種表^正空間間斷點(diǎn)的統(tǒng) 計(jì)尺度，其中所述空間間斷點(diǎn)對(duì)于該^L頻畫面中的象素位置是局 部的。然后，〗吏用幾種空間群集4支術(shù)之一把這些梯度響應(yīng)組合成 一些空間區(qū)i或。這些區(qū)域的邊界在識(shí)別 一個(gè)或多個(gè)^L頻畫面中的 空間間斷點(diǎn)方面是有用的。
在本發(fā)明的一個(gè)實(shí)施方案中，來自計(jì)算機(jī)圖形紋理生成的總 面積表相克念被用于加快強(qiáng)度場梯度計(jì)算的目的。累加值域的產(chǎn)生 使通過與四次加法運(yùn)算結(jié)合的四次查詢計(jì)算任何長方形原始域 的總和變得容易。
進(jìn)一步的實(shí)施方案^f吏用對(duì)一幅圖l象產(chǎn)生的Harris響應(yīng)，而每 個(gè)象素的鄰近區(qū)域被歸類為同種的、邊緣或拐角。響應(yīng)數(shù)值是依 據(jù)這個(gè)信息產(chǎn)生的并且指出畫面中每種元素的邊緣化或拐角化 的程度。
多刻度梯度分析
本發(fā)明的實(shí)施方案通過以幾種空間刻度產(chǎn)生圖像梯度值進(jìn) 一步約束圖像梯度支持。這個(gè)方法能幫助限定圖像梯度的資格， 以致在不同刻度下的空間間斷點(diǎn)能用來彼此相互支持，只要"邊 緣"在幾種不同的空間刻度下能被分辯，該邊緣應(yīng)該是"顯著的"。 更有資格的圖像梯度將傾向于與更顯著的特征相對(duì)應(yīng)。
在優(yōu)選實(shí)施方案中，紋理響應(yīng)區(qū)域是首先產(chǎn)生的，然后，這個(gè)區(qū) 域的數(shù)值以k均值聚類算法分區(qū)間/分割為基礎(chǔ)被量化成若干區(qū)間。 然后，使用每個(gè)區(qū)間作為單一迭代能把分水嶺拆分能應(yīng)用于它的
數(shù)值間隔漸進(jìn)地處理最初的圖像梯度數(shù)值。這種方法的好處是同 種是在相對(duì)意義上用強(qiáng)烈的空間偏置定義的。
光i普拆分
光語拆分方法分析視頻信號(hào)中黑白象素、灰度象素或彩色象 素的統(tǒng)計(jì)概率分布。頻譜分類程序是通過完成關(guān)于那些象素的概 率分布的群集操作構(gòu)成的。然后，使用該分類程序把一個(gè)或多個(gè) 象素分類，使之屬于某個(gè)概率類別。然后，由此產(chǎn)生的概率類別 和它的象素被賦予類別標(biāo)簽。然后，4吏這些類別標(biāo)簽在空間上合 并成有截然不同的邊界的象素區(qū)域。這些邊界識(shí)別在一個(gè)或多個(gè) 一見步貞畫面中的空間間斷點(diǎn)。
本發(fā)明可以利用基于光i普分類的空間拆分來拆分^L頻畫面 中的象素。此外，各個(gè)區(qū)域之間的對(duì)應(yīng)關(guān)系可以是基于各個(gè)光i普 區(qū)域與先前拆分的區(qū)域的重疊確定的。
業(yè)已觀察到當(dāng)S見頻畫面大體上由空間上被連接成與碎見頻畫 面中的對(duì)象相對(duì)應(yīng)的較大區(qū)域的連續(xù)彩色區(qū)域組成的時(shí)候，彩色 (或光譜)區(qū)域的識(shí)別和跟蹤能促進(jìn)圖像序列中對(duì)象的后續(xù)拆分。
背景拆分
本發(fā)明包4舌以每幅^L頻畫面中的纟罙測對(duì)象和每個(gè)個(gè)別象素 之間的空間距離測量結(jié)果的瞬時(shí)最大值為基礎(chǔ)建立視頻畫面背 景才莫型的方法。給定探測到的對(duì)象位置，應(yīng)用距離變換，產(chǎn)生適 合畫面中每個(gè)象素的標(biāo)量距離lt值。在所有的4見頻畫面上每個(gè)象
素的最大距離的映射圖^皮保留。當(dāng)最初分配最大凄t值的時(shí)候，或 后來用不同的新凄t值更新該最大數(shù)值的時(shí)候，適合于那幅一見頻畫 面的對(duì)應(yīng)的象素^L保留在"清晰的背景"畫面中。
建立外觀才莫型
-現(xiàn)頻處理的共同目標(biāo)往往是建立才莫型和^f呆存一見頻畫面序列 的夕卜觀。本發(fā)明以允許通過預(yù)處理的運(yùn)用以強(qiáng)健的和廣泛適用的 方式應(yīng)用強(qiáng)制性外觀建模技術(shù)為目標(biāo)。先前描述的配準(zhǔn)、拆分和 -見范化明顯地適合這個(gè)目的。
本發(fā)明揭示建立外變化一莫型的方法。建立外變化#莫型的 主要基礎(chǔ)在線性模型的情況下是分析特征矢量，以揭示開發(fā)利用 線性相關(guān)關(guān)系的堅(jiān)實(shí)基礎(chǔ)。表達(dá)空間強(qiáng)度場象素的特征矢量能被 組裝成外觀變化一莫型。
在替代實(shí)施方案中，外觀變化模型是依據(jù)被拆分的象素子集 計(jì)算的。此外，該特征矢量能被分成若干空間上不重疊的特征矢 量。這才羊的空間分解可以用空間4甫瓦來實(shí)現(xiàn)。計(jì)算效率可以通過 處理這些臨時(shí)總體來實(shí)現(xiàn)，而不犧牲更普遍的PCA方法的維H 減少。
在產(chǎn)生外觀變化模型時(shí)，空間強(qiáng)度場規(guī)范化能用來減少空間 變換的PCA建才莫。
建立變形模型
當(dāng)頂點(diǎn)位移和插值函數(shù)能用來依照與那些象素相關(guān)聯(lián)的頂 點(diǎn)決定象素再次抽樣的時(shí)候，能建立局部變形一莫型。這些頂點(diǎn)位 移可以作為單一參數(shù)組提供很多橫越許多頂點(diǎn)看到的運(yùn)動(dòng)變化。 這些參數(shù)的相關(guān)關(guān)系能大大減少這個(gè)參數(shù)空間的維度。
PCA
產(chǎn)生外觀變化模型的優(yōu)選方法是通過把^L頻畫面作為圖案 矢量組裝成一個(gè)訓(xùn)練矩陣或總體然后把主要成〗分分析(PCA)應(yīng)用 在該訓(xùn)練矩陣上。當(dāng)這樣的展開式被截取的時(shí)候，由此產(chǎn)生的 PCA變換矩陣;陂用來分碎斤和合成后面的纟見頻畫面。基于截取^水 平，改變象素的初始外^L質(zhì)量水平能實(shí)現(xiàn)。
圖案矢量的特定的構(gòu)成和分解方法對(duì)于熟悉這項(xiàng)l支術(shù)的人 是廣為人知的。
給出來自環(huán)境信號(hào)的顯著信號(hào)模式的空間拆分和這個(gè)模式 的空間纟見范化，象素本身或同義的由此產(chǎn)生的身見范化信號(hào)的外乂見 能被因式分解成線性相關(guān)的成份，其中低級(jí)參數(shù)表達(dá)考慮到適合 表達(dá)象素外》見的近似值誤差和比特率之間的直4妄交換。用來實(shí)王見 <氐等級(jí)近似的一種方法是通過舍棄編碼#:據(jù)的一些字節(jié)和/或4立。 低等級(jí)近似值祐j見為原始凄t據(jù)的壓縮，如同這項(xiàng)才支術(shù)的特定應(yīng)用 所確定的那樣。舉例來"i兌，在^L頻壓縮中，如果數(shù)據(jù)的舍棄并非 不適當(dāng)?shù)厥垢兄|(zhì)量降低，那么該應(yīng)用的特定目標(biāo)將連同壓縮一 起實(shí)現(xiàn)。
如圖2所示，為了得到量綱上簡明的數(shù)據(jù)版本(252和254), 規(guī)范化的對(duì)象象素(242和244)能投射到矢量空間中而且線性對(duì) 應(yīng)關(guān)系能使用分解程序(250)建立才莫型。
連續(xù)的PC A
PCA使用PCA變換把圖案編碼成PCA系數(shù)。用PCA變換 表達(dá)的圖案越好，給該圖案編碼所需要的系數(shù)就越少。承認(rèn)圖案 矢量可能隨著時(shí)間在獲得訓(xùn)練圖案和待編碼圖案之間流逝降級(jí)， 更新變換能幫助抵消這種降級(jí)。作為產(chǎn)生新變換的替代品，現(xiàn)有 圖案的連續(xù)更新在特定的情況下是計(jì)算上更有效的。
許多最新:忮術(shù)的^L頻壓縮算法依據(jù)一個(gè)或多個(gè)其它畫面預(yù) 測某視頻畫面。預(yù)測模型通?；诎衙總€(gè)預(yù)測畫面分割成與在另 一畫面中對(duì)應(yīng)的補(bǔ)丁相匹配的不重疊的瓦片和相關(guān)l關(guān)的用偏移 運(yùn)動(dòng)矢量參數(shù)化的平移位移。這個(gè)非必選地與畫面索引耦合的空 間位移提供瓦片的"運(yùn)動(dòng)預(yù)測"版本。如果預(yù)測的誤差在特定的
閾值以下，則瓦片的象素適合殘差編碼；而且在壓縮效率方面有 對(duì)應(yīng)的增益。否則，瓦片的象素4皮直4矣編碼。這種基于瓦片的4灸 句話i兌基于區(qū))殳的運(yùn)動(dòng)預(yù)測方法通過平移包含象素的瓦片建立 影像模型。當(dāng)影像中的成像現(xiàn)象堅(jiān)持這種建模的時(shí)候，對(duì)應(yīng)的編 碼效率增加。為了與在基于區(qū)段的預(yù)測中固有的平移4艮定一致，
存在的。這種平移模型的另 一個(gè)必要條件是對(duì)于特定的時(shí)間分辨 率空間位移必須受到限制；換言之，用來推導(dǎo)預(yù)測結(jié)果的畫面和 #皮預(yù)測的畫面之間的時(shí)間差必須是比4交短的絕對(duì)時(shí)間。這些時(shí)間 分辨率和運(yùn)動(dòng)限制使存在于視頻流中的某些多余的^L頻信號(hào)成 份的識(shí)別和建模變得容易。
在本發(fā)明的方法中，連續(xù)的PCA與嵌零樹子波結(jié)合以進(jìn)一 步 提高混合壓縮法的實(shí)用性。連續(xù)的PCA技術(shù)提供能針對(duì)有時(shí)間 相千性或時(shí)間局部平滑性的信號(hào)提高傳統(tǒng)的PCA的方法。嵌零 樹子波提供能為了提高特定處理的強(qiáng)健性和該算法的計(jì)算效率 4巴局部平滑的空間信號(hào)分解成空間刻度表達(dá)的方法。對(duì)于本發(fā) 明，將這兩種技術(shù)結(jié)合起來，增加變異模型的表達(dá)能力和提供那 些緊湊且安排好的模型的表達(dá)，以致該基礎(chǔ)的許多表達(dá)能力是由 該基礎(chǔ)的舍棄提供的。
在另 一個(gè)實(shí)施方案中，連續(xù)的PCA是與固定的輸入?yún)^(qū)段大小 和固定的允差一起應(yīng)用的，以增加對(duì)第一個(gè)和大多凌t有力的PCA 成份的加權(quán)偏移。對(duì)于較長的數(shù)據(jù)序列，這第一個(gè)PCA成^f分往 往是p眷一的PCA成4分。這影響重建的畫面質(zhì)量而且能以某種方 式限制所述方法的實(shí)效。本發(fā)明將不同的基準(zhǔn)用于PCA成份的 選擇，這種選擇對(duì)慣常使用的最小二乘基準(zhǔn)是優(yōu)選的。這種模型 選才奪形式避免用第一個(gè)PCA成^f分過度近似。
在另一個(gè)實(shí)施方案中，區(qū)段PCA程序連同每個(gè)數(shù)據(jù)區(qū)段的固 定的輸入?yún)^(qū)段大小和規(guī)定的PCA成份數(shù)目 一起用來提供有益的 統(tǒng)一重建代替使用相對(duì)較多的成份。在進(jìn)一步的實(shí)施方案中，區(qū) 段PCA被用于與連續(xù)的PCA組合，在這種情況下區(qū)段PCA在一 組步驟凄t目之后用一個(gè)區(qū)4殳PCA步驟重新初始化連續(xù)的PCA。 這通過減少PCA成份的數(shù)目提供有益的統(tǒng)一近似值。
在另一個(gè)實(shí)施方案中，本發(fā)明利用PCA成份在編碼-解石馬之 前和之后3見覺上相似的情形。圖^f象序列重建質(zhì)量在編碼-解碼之 前和在之后也可能在視覺上相似，這往往取決于所用的量化程 度。本發(fā)明的方法先將PCA成4分解碼，然后再次身見范化它們4吏 之有個(gè)體基準(zhǔn)。對(duì)于適度的量化，解碼后的PCA成份是近似正 交的。在較高的量化水平，解碼后的PCA成份被SVD的應(yīng)用程 序部分地恢復(fù)以獲得 一正交基礎(chǔ)和 一組修改過的重建系數(shù)。
在另一個(gè)實(shí)施方案中，可變的自適應(yīng)的區(qū)^1大小被應(yīng)用于混 合的繼續(xù)PCA方法，為的是產(chǎn)生對(duì)于合成質(zhì)量有所改善的結(jié)果。 本發(fā)明將區(qū)段大小建立在PCA成份的最大數(shù)目和對(duì)于那些區(qū)賴: 給定的容許誤差的基礎(chǔ)上。然后，該方法擴(kuò)充當(dāng)前的區(qū)段大小， 直到達(dá)到PCA成份的最大ft目。在進(jìn)一步的實(shí)施方案中，PCA 成4分的序列凈皮;現(xiàn)為^:據(jù)流，這導(dǎo)致維凄t進(jìn)一步減少。該方法完成 后處理步驟，在那里可變的數(shù)據(jù)區(qū)段是為來自每個(gè)區(qū)段的第一個(gè)PCA成份收集的，而SVD被應(yīng)用，為的是進(jìn)一步減少維度。然 后，相同的程序被應(yīng)用于第二個(gè)、第三個(gè)等成份的收集。
對(duì)稱的分解
在本發(fā)明的一個(gè)實(shí)施方案中，分解是基于對(duì)稱總體完成的。 這個(gè)總體將正方形圖像表示成六個(gè)正交成〗分之和。每個(gè)成份對(duì)應(yīng)
于該正方形的一種不同的對(duì)稱。由于對(duì)稱，每個(gè)正交成^分都是用
"基本區(qū)域"確定的，該基本區(qū)域4昔助對(duì)稱作用被映入完全的成
份。假定輸入圖像本身沒有特別的對(duì)稱性，那么基本區(qū)域之和有
與輸入圖像一樣的集容量。
基于殘差的分解
在MPEG視頻壓縮中，當(dāng)前的畫面是通過先使用運(yùn)動(dòng)矢量對(duì) 先前的畫面進(jìn)4亍運(yùn)動(dòng)補(bǔ)償，然后把殘差更新應(yīng)用于那些補(bǔ)^f嘗區(qū) |爻，最后將任何沒有充々分匹配的區(qū),殳作為新區(qū)段完成編碼構(gòu)成 的。
對(duì)應(yīng)于殘留區(qū)段的象素通過運(yùn)動(dòng)矢量映射到先前畫面的象 素上。結(jié)果是象素通過能通過連續(xù)應(yīng)用殘值合成的影像的瞬時(shí)^各 徑。這些象素^皮確i人為能^f吏用PCA最明確地表達(dá)的象素。
基于遮擋的分解
本發(fā)明的進(jìn)一步提高確定適用于多個(gè)區(qū)^殳的運(yùn)動(dòng)矢量是否 將導(dǎo)致來自先前畫面的任何象素被移動(dòng)象素遮擋(覆蓋)。對(duì)于每 個(gè)遮擋事件，都把遮擋象素劈成新層。沒有歷史的象素也將暴露 出來。暴露出來的象素被放到任何將在當(dāng)前畫面中與它們擬合而 且歷史擬合也能在那層上完成的層上。 象素的時(shí)間連續(xù)性是通過象素對(duì)不同層的接合和移植得到 支持的。 一旦獲得穩(wěn)定的層模型，每層中的象素就能基于對(duì)條理 分明的運(yùn)動(dòng)^T莫型的隸屬關(guān)系編組。
分波_度時(shí)間量化
本發(fā)明的替代實(shí)施方案使用離散余弦變換(DCT)或離散子波 變換(DWT)把每個(gè)畫面分解成分波段圖像。然后，將主要成份分 析(PCA)應(yīng)用于這些"分波段"影像之中的每幅影像。概念是視 頻畫面的分波^殳分解與原始一見頻畫面相比4交減少 <壬4可一個(gè)分波 ,史中的空間變化。
就移動(dòng)對(duì)象(人)的影像而言，空間變化傾向于支配用PCA建 模的變化。分波段分解減少任何一個(gè)分解影像中的空間變化。
就DCT而言，任何一個(gè)分波段的分解系數(shù)都按空間安排在 分波段影像之中。舉例來說，DC系數(shù)是乂人每個(gè)區(qū)^殳獲取的并且 被安排在看起來像原始影像的郵票版本一樣的分波段影像之中。 這將對(duì)所有其它的分波段重復(fù)，而且使用PCA處理每個(gè)由此產(chǎn) 生的分波段影像。
就DWT而言，分波段已經(jīng)按針對(duì)DCT描述的方式排列好。
在非限制性實(shí)施方案中，PCA系數(shù)的截取是變化的。
子波
當(dāng)使用離散子波變換(DWT)分解數(shù)據(jù)的時(shí)候，多個(gè)帶通凄t據(jù) 組以較^f氐的空間分辨率為結(jié)果。變才灸程序能^皮遞歸;也應(yīng)用于導(dǎo)出 數(shù)據(jù)直到僅僅產(chǎn)生單 一 的標(biāo)量數(shù)值為止。在已分解的結(jié)構(gòu)中標(biāo)量
元素通常以分等級(jí)的父母/孩子方式相關(guān)。由此產(chǎn)生的數(shù)據(jù)包含多 分辨率的分等級(jí)結(jié)構(gòu)以及有限差分。
當(dāng)DWT被應(yīng)用于空間強(qiáng)度場的時(shí)候，許多自然發(fā)生的圖傳_ 現(xiàn)象由于空間頻率低是用第 一或第二低帶通導(dǎo)出數(shù)據(jù)結(jié)構(gòu)以凝: 不足道的知覺損失表達(dá)的。截短該分等級(jí)結(jié)構(gòu)在高頻率空間勒:才居 不是不存在就是被視為噪音的時(shí)候提供簡明的表達(dá)。
盡管PCA可以用來以為數(shù)不多的系數(shù)實(shí)現(xiàn)精確的重建，但是 這種變換本身可能是相當(dāng)大的。為了減少這個(gè)"初始"變換的規(guī) 模，可以使用子波分解的嵌零樹(EZT)結(jié)構(gòu)來建立變換矩陣的越 來越精確的版本。
子空間分類
如同實(shí)踐這項(xiàng)技術(shù)的人充分理解的那樣，離散抽樣的現(xiàn)象數(shù) 據(jù)和導(dǎo)出數(shù)據(jù)能被表達(dá)成一組與代數(shù)矢量空間相對(duì)應(yīng)的數(shù)據(jù)矢 量。這些數(shù)據(jù)矢量以非限制性方式包括拆分后對(duì)象的規(guī)范化外表 中的象素、運(yùn)動(dòng)參凄t和特4正或頂點(diǎn)的4壬何二或三維結(jié)構(gòu)位置。這 些矢量都存在于矢量空間之中，而且該空間的幾何分析能用來產(chǎn) 生樣本或參數(shù)矢量的簡潔表達(dá)。有益的幾何條件是借助形成緊湊 子空間的參數(shù)矢量代表的。當(dāng)一個(gè)或多個(gè)子空間混合，形成表面 上更復(fù)雜的單一子空間的時(shí)候，那些要素子空間可能難以辨別。 有幾種拆分方法考慮到通過4企查通過原始矢量的一些交互作用 (例如，內(nèi)積)產(chǎn)生的高維矢量空間中的數(shù)據(jù)分離這樣的子空間。
一種差分矢量空間的方法包括4巴矢量才殳射到表達(dá)多項(xiàng)式的 Veronese矢量空間之中。這種方法在現(xiàn)有技術(shù)中是作為通用的 PCA或GPCA技術(shù)廣為人知的。通過這樣的才殳射，多項(xiàng)式的法 線被找到、聚集，而且與原始矢量相關(guān)聯(lián)的那些法線能聚集在一
起。這種技術(shù)的實(shí)用性的例子是把隨著時(shí)間推移跟蹤的二維空間 點(diǎn)對(duì)應(yīng)關(guān)系因式分解成三維結(jié)構(gòu)模型和那個(gè)三維模型的運(yùn)動(dòng)。
GPCA技術(shù)在作為明確定義的僅僅在以少許噪音產(chǎn)生數(shù)據(jù)矢 量的時(shí)候易受影響的結(jié)果應(yīng)用的時(shí)候是不完全的?，F(xiàn)有技術(shù)作支定 管理程序使用者介入對(duì)GPCA算法的管理。這個(gè)限制大大限制該 技術(shù)的潛能。
本發(fā)明擴(kuò)展了 GPCA方法的概念基礎(chǔ)，以^更在有噪音和混合 余維數(shù)存在時(shí)強(qiáng)健地處理多個(gè)子空間的識(shí)別和拆分。這種改革在 技術(shù)狀態(tài)上為該技術(shù)提供無人監(jiān)督的改進(jìn)。
在現(xiàn)有技術(shù)中，GPCA在Veronese映射圖的多項(xiàng)式的法向矢 量上操作，不考慮那些法向矢量的正切空間。本發(fā)明的方法擴(kuò)充 GPCA,以便找到與通常在Veronese映射圖中找到的法向矢量的 空間正交的正+刀空間。然后〗吏用這個(gè)"正+刀空間"或Veronese 映射圖的子空間把該Veronese映射圖因式分解。
正切空間是通過平面波膨脹和揭示幾何對(duì)象(明確地，說， Veronese映射圖的多項(xiàng)式的法線的切線)的表達(dá)的二元性的 Legendre變才灸在4立置坐標(biāo)和正+刀平面坐標(biāo)之間的應(yīng)用識(shí)別的。離 散的Legendre變換是通過凸分析應(yīng)用于定義與法向矢量相對(duì)應(yīng) 的導(dǎo)數(shù)的受約束形式。這種方法用來在有噪音存在的情況下通過 計(jì)算法向矢量拆分?jǐn)?shù)據(jù)矢量。這個(gè)凸分析與GPCA合并提供一種 比較強(qiáng)健的算法。
本發(fā)明在應(yīng)用GPCA的時(shí)候利用迭代的因子分解法。具體地 說，在現(xiàn)有技術(shù)中發(fā)現(xiàn)的基于導(dǎo)數(shù)的落實(shí)被延伸到通過在此描述 的同一 GPCA方法細(xì)分分類數(shù)據(jù)矢量的總體。被重復(fù)應(yīng)用，這項(xiàng) 技術(shù)能用來強(qiáng)健地找出Veronese映射中的候選法向矢量，然后使
用這種擴(kuò)展的GPCA^支術(shù)進(jìn)一步限定那些矢量。就因子分解步驟 而言，乂人原始凄t據(jù)組中除去與那組細(xì)分的矢量相關(guān)耳關(guān)的原始凄t 據(jù)。剩余的數(shù)據(jù)組能用這種改進(jìn)的GPCA技術(shù)分析。這種改進(jìn)對(duì) 于以無人監(jiān)督的方式^f吏用GPCA算法是至關(guān)重要的。圖11舉例 -沈明#:據(jù)矢量的遞歸細(xì)分。
人們將進(jìn)一步確認(rèn)，本發(fā)明對(duì)GPCA才支術(shù)的改進(jìn)在Veronese 多項(xiàng)式矢量空間中有多個(gè)根的情況下有較大的優(yōu)勢。此外，當(dāng) Veronese映射圖的法線平行于矢量空間軸線之時(shí)現(xiàn)有技術(shù)在遇到 退化情形的時(shí)候，本發(fā)明的方法不會(huì)退化。
圖10舉例說明基本的多項(xiàng)式擬合和求微分的方法。
在優(yōu)選實(shí)施方案中，GPCA是用適合任意的余維子空間的多 項(xiàng)式樣i分法實(shí)現(xiàn)的。SVD #皮用來得到對(duì)準(zhǔn)每個(gè)凄t據(jù)點(diǎn)的正失見空間 的尺寸和依照該正規(guī)空間尺寸群集數(shù)據(jù)點(diǎn)。在每個(gè)群集里面的凄t 據(jù)點(diǎn)當(dāng)它們對(duì)某個(gè)允差全部屬于最大的有同一等于共同的正類L 空間尺寸的等級(jí)的組的時(shí)候被指定給同 一子空間。人們將認(rèn)識(shí)到 這種方法對(duì)于免于無噪音的數(shù)據(jù)是最佳的。
采用多項(xiàng)式孩史分的另 一個(gè)非限制性GPCA實(shí)施方案有任意的 余維子空間。這是"多項(xiàng)式微分"法的改編本。當(dāng)噪音傾向于增 加 一 組幾乎排好的法向矢量的等級(jí)的時(shí)候，多項(xiàng)式除法步驟是依 照SVD尺寸通過先群集數(shù)據(jù)點(diǎn)然后以最小的余維選擇有最小殘 差的點(diǎn)初始化的。然后，在這個(gè)點(diǎn)的正關(guān)見空間與多項(xiàng)式除法一起 應(yīng)用于近似地減少Veronese映射圖。
在進(jìn)一步的實(shí)施方案中，梯度加權(quán)的殘差在所有數(shù)據(jù)點(diǎn)的范 圍內(nèi)被減到最小，而SVD在最佳點(diǎn)被應(yīng)用于估計(jì)余維和基礎(chǔ)矢
量。然后，該基礎(chǔ)矢量與多項(xiàng)式區(qū)分一起^皮應(yīng)用于近似地減少
Veronese映射圖。
在優(yōu)選實(shí)施方案中，RCOP誤差由于它隨著噪音水平線性地i 縮放所以被用來設(shè)定數(shù)值允差。在優(yōu)選實(shí)施方案中，GPCA是以 這才羊的方式實(shí)現(xiàn)的，以<更將SVD應(yīng)用于每個(gè)點(diǎn)的預(yù)估法向矢量 和識(shí)別其法向矢量SVD有相同等級(jí)的點(diǎn)。然后，將連續(xù)的SVD 應(yīng)用于每次用相同的等級(jí)在那些點(diǎn)收集正失見矢量。那些連續(xù)SVD 改變等級(jí)的點(diǎn)-故確i人為不同的子空間。
混合空間規(guī)范化壓縮
本發(fā)明通過把拆分視頻流添加到"規(guī)范化"的視頻流之中充 分發(fā)揮以區(qū)段為基礎(chǔ)的運(yùn)動(dòng)預(yù)測編碼方案的效率。然后，這些—見 頻流分開編碼以允許傳統(tǒng)的編碼解碼器的平移運(yùn)動(dòng)^f叚i殳是有效 的。在完成規(guī)范化視頻流的解碼之時(shí)，視頻流解除規(guī)范化，進(jìn)入 它們適當(dāng)?shù)奈恢貌⑶冶唤M合在一起產(chǎn)生原始的視頻序列。
在一個(gè)實(shí)施方案中， 一個(gè)或多個(gè)對(duì)象是在4見頻流中纟采測到 的，而與探測到的每個(gè)個(gè)別對(duì)象有關(guān)的象素隨后被拆分，離開非 對(duì)象象素。接下來，針對(duì)對(duì)象象素和非對(duì)象象素產(chǎn)生整體空間運(yùn) 動(dòng)模型。這個(gè)整體模型用來完成對(duì)象象素和非對(duì)象象素的空間規(guī) 范化。這樣的規(guī)范化已經(jīng)有效地把非平移的運(yùn)動(dòng)從視頻流中除去 并且已經(jīng)提供一組影Y象，這組影《象的相互遮擋經(jīng)一皮減到最少。這 些是本發(fā)明的方法的兩個(gè)有益的特4正。
象素已按空間規(guī)范化的對(duì)象和非對(duì)象的新影像是作為給傳 統(tǒng)的以區(qū)段為基礎(chǔ)的壓縮算法的輸入提供的。在這些影像解碼 時(shí)，整體運(yùn)動(dòng)沖莫型的參數(shù)被用來還原規(guī)范化的解碼畫面，對(duì)象象 素 一起合成到非對(duì)象象素之上，產(chǎn)生最初的一見頻流的近似。
如圖6所示，對(duì)于一個(gè)或多個(gè)對(duì)象(630和650)先前4笨測到的 對(duì)象例證(206和208)每個(gè)都用傳統(tǒng)視頻壓縮方法(632)的分開例 證處理。此外，起因于對(duì)象的拆分(230)的非對(duì)象(602)也使用傳 統(tǒng)的視頻壓縮(632)壓縮。這些分開的壓縮編碼(632)之中的每一 個(gè)的結(jié)果是分開的傳統(tǒng)編碼流，每個(gè)編碼流(634)分開i也對(duì)應(yīng)于每 個(gè)^L頻流。在某個(gè)點(diǎn)，可能在傳輸之后，這些中間編碼流(234) 能被解壓縮(636)成規(guī)范化的非對(duì)象(610)和許多對(duì)象(638和658) 的合成物。這些合成后的象素能解除身見范化(640),變成它們的已 解除規(guī)范化的版本(622、 642和662),把這些象素按空間相對(duì)于 其它象素》文置在正確的位置，以致合成程序(670)能4巴對(duì)象象素和 非對(duì)象象素結(jié)合成完整的合成畫面(672)。
在優(yōu)選實(shí)施方案中，編碼模式之間的切換是基于諸如將允許 傳統(tǒng)的隨子空間方法改變的P S NR之類統(tǒng)計(jì)的變形度量標(biāo)準(zhǔn)完成 的，以i^更完成纟見步貞畫面的編>石馬。
在本發(fā)明的另一個(gè)實(shí)施方案中，外貌、整體變形和局部變形 的編碼參數(shù)是為得到否則將不必編碼的中間畫面的預(yù)測而插值 的。該插值方法可以是<壬<可標(biāo)準(zhǔn)的插值方法，例如，線性插值、 三次插值、樣條內(nèi)插，等等。
如圖14所示，對(duì)象插值方法能通過一系列用外貌參數(shù)和變 形參數(shù)表達(dá)的^L范化對(duì)象(1402、 1404&1406)的插值分析(1408) 來實(shí)現(xiàn)。該分4斤確定能應(yīng)用4tY直函凄t的時(shí)間范圍(1410)。然后， 可以將該范圍的規(guī)才各(1410)與規(guī)范化的對(duì)象規(guī)格(1414&1420)結(jié) 合，以^更近似和最后合成臨時(shí)的M^范化對(duì)象(1416&1418)?；旌暇幋a解碼的整合
在把傳統(tǒng)的基于區(qū),殳的壓縮算法和本發(fā)明描述的*見范化-拆 分方案結(jié)合起來時(shí)，有一些已經(jīng)產(chǎn)生結(jié)果的本發(fā)明的方法。首先， 有專門的數(shù)據(jù)結(jié)構(gòu)和必要的通信協(xié)議。
主要的數(shù)據(jù)結(jié)構(gòu)包括整體空間變形參數(shù)和對(duì)象拆分規(guī)范掩 模。主要的通信協(xié)議是包括傳輸整體空間變形參數(shù)和對(duì)象拆分規(guī) 范掩模的各個(gè)層面。
權(quán)利要求
1.一種利用眾多視頻畫面產(chǎn)生視頻信號(hào)數(shù)據(jù)的編碼形式的計(jì)算機(jī)實(shí)現(xiàn)方法，該方法包括在兩幅或多幅視頻畫面中探測至少一個(gè)對(duì)象；通過視頻畫面中的兩幅或多幅畫面跟蹤至少一個(gè)對(duì)象；在兩幅或多幅視頻畫面中識(shí)別至少一個(gè)對(duì)象的對(duì)應(yīng)元素；分析所述的對(duì)應(yīng)元素產(chǎn)生所述對(duì)應(yīng)元素之間的關(guān)系；通過使用所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生對(duì)應(yīng)關(guān)系模型；利用所述對(duì)應(yīng)關(guān)系模型在兩幅或多幅視頻畫面中對(duì)與至少一個(gè)對(duì)象相關(guān)聯(lián)的象素?cái)?shù)據(jù)再次抽樣，借此產(chǎn)生再次抽樣象素?cái)?shù)據(jù)，所述的再次抽樣象素?cái)?shù)據(jù)代表所述數(shù)據(jù)的第一中間形式；以及利用對(duì)應(yīng)關(guān)系模型恢復(fù)所述再次抽樣象素?cái)?shù)據(jù)的空間位置，借此產(chǎn)生被恢復(fù)的象素；其中沒有探測結(jié)果將指出整個(gè)畫面的間接探測結(jié)果；以及其中所述的探測和跟蹤包括使用Viola/Jones臉部探測算法。
2.—種依據(jù)眾多#見頻畫面產(chǎn)生^L頻信號(hào)數(shù)據(jù)的編碼形式的計(jì) 算才幾實(shí)現(xiàn)方法，該方法包4舌在兩幅或多幅^L頻畫面纟采測至少一個(gè)對(duì)象；通過4見頻畫面中兩幅或多幅畫面3艮3宗那至少一個(gè)只于象； 在那兩幅或多幅4見頻畫面中爿尋與那至少一個(gè)乂于象相關(guān)聯(lián): 的象素?cái)?shù)據(jù)從其它的象素?cái)?shù)據(jù)中拆分出來，以便產(chǎn)生所述凄丈據(jù)的第二中間形式，所述拆分利用象素#t據(jù)的空間拆分；識(shí)別兩幅或多幅^見頻畫面中至少一個(gè)乂于象的只于應(yīng)元素；分析所述的對(duì)應(yīng)元素以產(chǎn)生所述對(duì)應(yīng)元素之間的關(guān)系；〃使用所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生對(duì)應(yīng)關(guān)系才莫型；4巴所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)的才莫型；利用所述的對(duì)應(yīng)關(guān)系才莫型又十與那兩幅或多幅-現(xiàn)頻畫面中 的那至少一個(gè)對(duì)象相關(guān)聯(lián)的象素?cái)?shù)據(jù)再次抽樣，借此產(chǎn)生再 次抽樣象素?cái)?shù)據(jù)，該再次抽樣象素?cái)?shù)據(jù)代表所述數(shù)據(jù)的第一 中間形式；利用所述對(duì)應(yīng)關(guān)系模型恢復(fù)再次抽樣象素?cái)?shù)據(jù)的空間位 置，借此產(chǎn)生復(fù)原象素；而且將所述復(fù)原象素與所述數(shù)據(jù)的第二中間形式的相關(guān)部分 重新結(jié)合在一起以產(chǎn)生原始纟見頻畫面；而且其中沒有探測結(jié)果將指出整個(gè)畫面的間接探測結(jié)果；其中所述的4果測和跟蹤包括使用臉部4罙測算法；而且其中所述產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的預(yù)估程序用于 多維投射運(yùn)動(dòng)才莫型的解，其中所述分析對(duì)應(yīng)元素包括在兩幅或多幅視頻畫面之間 使用基于外貌的運(yùn)動(dòng)評(píng)估。
3. 4艮據(jù)纟又利要求1的方法，進(jìn)一步包括在兩幅或多幅;現(xiàn)頻畫面中^)奪與那至少一個(gè)對(duì)象相關(guān)聯(lián)的 象素?cái)?shù)據(jù)從其它的象素?cái)?shù)據(jù)中拆分出來以產(chǎn)生數(shù)據(jù)的第二 中間形式，所述拆分利用時(shí)間整合；以及 將所述復(fù)原象素與所述數(shù)據(jù)的第二中間形式的相關(guān)部分 重新組合在 一起以產(chǎn)生原始^見頻畫面。
4. 根據(jù)權(quán)利要求l的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因式 分解成若干整體模型的方法，該方法包括才巴對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)才莫型；其中所述產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的抽樣共識(shí)用于 二維仿射運(yùn)動(dòng)^^莫型的解，而且其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅一見頻 畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽 樣總體。
5. 根據(jù)權(quán)利要求1的方法，其中包括給所述數(shù)據(jù)的第一中間形 式編》馬，所述編》馬包4舌將再次抽樣的象素^t據(jù)分解成編碼表達(dá)，所述編碼表達(dá) 代表所述數(shù)據(jù)的第三中間形式；以及截掉所述編碼表達(dá)的零或多個(gè)字節(jié)；以及依據(jù)所述編碼表達(dá)重組再次抽樣的象素?cái)?shù)據(jù)；其中所述的分解和重組兩者都使用主成4分分斗斤。
6. 根據(jù)權(quán)利要求3的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因素 因式分解成若干整體模型的方法，該方法包括把所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)才莫型；將再次抽樣的象素?cái)?shù)據(jù)分解成編碼表達(dá)，所述編碼表達(dá) 代表所述數(shù)據(jù)的第四中間形式；截掉所述編碼表達(dá)的零或多個(gè)字節(jié)；以及依據(jù)所述編^馬表達(dá)重組再次抽樣象素凄史據(jù)； 其中所述的分解和重組兩者都使用主成4分分沖斤；其中所述產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的抽樣共識(shí)用于 二維仿射運(yùn)動(dòng)模型的解，其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅一見頻 畫面之間基于區(qū),殳的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的才由樣總體。
7. 根據(jù)權(quán)利要求6的方法，其中所述兩幅或多幅^L頻畫面之中 每幅畫面都包括對(duì)象象素和非對(duì)象象素，該方法包括在兩幅或多幅 一見頻畫面中識(shí)別非乂于象象素中的只f應(yīng)元素；分析所述非對(duì)象象素中的對(duì)應(yīng)元素以產(chǎn)生所述非對(duì)象象 素中7于應(yīng)元素之間的關(guān)系；y使用所述非對(duì)象象素中的對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生第二 對(duì)應(yīng)關(guān)系模型；其中所述分析對(duì)應(yīng)元素包括基于時(shí)間的閉塞過濾器。
8. 才艮據(jù)卄又利要求7的方法，其中包4舌將所述對(duì)應(yīng)關(guān)系模型因式分解成若干整體模型；將所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)^t型；將所述再次抽樣象素^:據(jù)分解成編碼表達(dá)，所述編碼表 達(dá)代表所述凄史據(jù)的第五中間形式；截掉所述編碼表達(dá)的零或多個(gè)字節(jié)；以及依據(jù)所述編碼表達(dá)重組再次抽樣象素?cái)?shù)據(jù)；其中所述的分解和重組兩者都^f吏用傳統(tǒng)的—見頻壓縮/解 壓程序；其中所述產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的抽樣共識(shí)用于 二維仿射運(yùn)動(dòng)^t型的解，其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅^見頻 畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽 樣總體。
9. 一種將駐留在不連續(xù)的線性子空間中的數(shù)據(jù)矢量分開的計(jì) 算才幾實(shí)^L方法，該方法包4舌(a) 在一組數(shù)據(jù)矢量上完成子空間拆分；以及(b) 通過正切矢量在隱含矢量空間分析中的應(yīng)用限制子 空間拆分判據(jù)；其中所述完成子空間拆分包4t使用GPCA;其中所述隱含矢量空間包括Veronese映射圖；其中所述正切矢量分4斤包4舌Legendre變換。
10. 根據(jù)權(quán)利要求9的方法，進(jìn)一步包括保留那組數(shù)據(jù)矢量的子集； 在那組ft據(jù)矢量的子集上完成(a)和(b)。
11. 根據(jù)權(quán)利要求5的方法，其中包括(a) 完成關(guān)于所述凄t據(jù)的第一中間形式的子空間拆分；(b) 通過正切矢量分析在隱含矢量空間中的應(yīng)用限制子 空間拆分判據(jù)；保留所述數(shù)據(jù)的第一中間形式子集；以及在所述數(shù)據(jù)的第 一 中間形式子集上完成(a)和(b);其中所述完成子空間拆分包括使用GPCA; 其中所述隱含矢量空間包括Veronese映射圖； 其中所述正切矢量分析包括Legendre變換。
12.根據(jù)權(quán)利要求7的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因式 分解成若干整體模型的方法，該方法包括(a) 4巴所迷對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)才莫型；(b) 在一組l丈據(jù)矢量上完成子空間拆分；(c) 通過正切矢量分析在隱含矢量空間中的應(yīng)用限制子 空間拆分判據(jù)；(d) 保留那組數(shù)據(jù)矢量的子集；(e) 在那組數(shù)據(jù)矢量的子集上完成(b)和(c); 其中所述完成子空間拆分包括 使用GPCA;其中所述隱含矢量空間包括Veronese映射圖； 其中所述正切矢量分析包括Legendre變換；而且 在(a)到(e)已經(jīng)完成之后，該方法進(jìn)一步包4舌(f) 將所述再次抽一羊象素H據(jù)分解成編碼表達(dá)，該編碼表 達(dá)代表所述凄t據(jù)的第四中間形式；(g) 截掉所述編碼表達(dá)的零或較多的字節(jié)；(h) 依據(jù)所述編碼表達(dá)重組所述再次抽樣象素^t據(jù)； 其中所述的分解和重組兩者都使用主成份分析；其中所述產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的抽樣共識(shí)用于 二維仿射運(yùn)動(dòng)模型的解，其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅視頻 畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽樣總體。
13. 根據(jù)權(quán)利要求l的方法，其中包括將所述的對(duì)應(yīng)關(guān)系模型因 式分解成局部變形纟莫型的方法，該方法包括定義覆蓋與至少一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔，所 述網(wǎng)孔以頂點(diǎn)和邊緣的規(guī)則柵格為基礎(chǔ)；依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)才莫型，所述 關(guān)系包4舌基于在兩幅或多幅朝L頻畫面之間乂人以區(qū)^殳為基石出 的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分的頂點(diǎn)位移。
14. 才艮據(jù)片又利要求13的方法，其中所述頂點(diǎn)對(duì)應(yīng)于不連續(xù)的圖 像特征，所述方法包括通過使用圖像梯度Harris響應(yīng)分析識(shí) 別與所述對(duì)象相對(duì)應(yīng)的重要圖像特征。
15. 根據(jù)權(quán)利要求4的方法，進(jìn)一步包括轉(zhuǎn)發(fā)所述數(shù)據(jù)的第 一 中間形式以便因式分解成局部變形 模型；定義覆蓋與那至少 一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔， 所述網(wǎng)孔以頂點(diǎn)和邊緣的規(guī)則格柵為基礎(chǔ)；依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)模型，所述 關(guān)系包4舌基于在兩幅或多幅4見頻畫面之間乂人以區(qū)^爻為基石出 的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分的頂點(diǎn)位移。
16. 才艮據(jù)4又利要求6的方法，其中包括轉(zhuǎn)發(fā)所述數(shù)據(jù)的第四中間形式以便因式分解成局部變形 模型；定義覆蓋與那至少一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孑L, 所述網(wǎng)孔以頂點(diǎn)和邊緣的規(guī)則格柵為基礎(chǔ)； 依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)4莫型，所述 關(guān)系包括以在兩幅或多幅-現(xiàn)頻畫面之間從基于區(qū)l殳的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的頂點(diǎn)位移；其中所述局部運(yùn)動(dòng)^=莫型以未用整體運(yùn)動(dòng)^^莫型近似的殘留 運(yùn)動(dòng)為基石出。
17. 才艮據(jù)4又利要求12的方法，其中包4舌轉(zhuǎn)發(fā)所述數(shù)據(jù)的第四中間形式以便因式分解成局部變形 模型；定義覆蓋與那至少一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔， 所述網(wǎng)孔以頂點(diǎn)和邊緣的規(guī)則格柵為基礎(chǔ)；依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)才莫型，所述 關(guān)系包4舌基于在兩幅或多幅—見頻畫面之間從以區(qū)^殳為基礎(chǔ) 的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分的頂點(diǎn)位移；其中所述局部運(yùn)動(dòng)模型以未用整體運(yùn)動(dòng)模型近似的殘留 運(yùn)動(dòng)為基礎(chǔ)。
18. 根據(jù)權(quán)利要求2的方法，其中包括給所述數(shù)據(jù)的第一中間形 式編；馬，所述編；馬包4舌將所述再次抽樣象素?cái)?shù)據(jù)分解成編碼表達(dá)，該編碼表達(dá) 代表所述數(shù)據(jù)的第三中間形式；截掉所述編碼表達(dá)的零或更多的字節(jié)；依據(jù)所述編碼表達(dá)重組所述的再次抽樣象素l史據(jù)；其中所述的分解和重組兩者都使用主成份分析。
19. 根據(jù)權(quán)利要求2的方法，其中包括將所述對(duì)應(yīng)關(guān)系沖莫型因式 分解成整體一莫型的方法，該方法包括把所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)模型；將所述再次抽樣象素tt據(jù)分解成編碼表達(dá)，該編碼表達(dá) 代表所述數(shù)據(jù)的第四中間形式；截掉所述編碼表達(dá)的零或更多的字節(jié)；依據(jù)所述編碼表達(dá)重組所述的再次4由才羊象素tt據(jù)；其中所述的分解和重組兩者都4吏用主成l分分析；其中所述的產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的預(yù)估程序用 于多維投射運(yùn)動(dòng)模型的解，其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅一見頻 畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽 樣總體。
20. 才艮據(jù)4又利要求19的方法，其中所述兩幅或多幅^L頻畫面之 中每幅;f見頻畫面都包括對(duì)象象素和非對(duì)象象素，所述方法包 括在那兩幅或多幅-現(xiàn)頻畫面中iK別非》于象象素中的乂于應(yīng)元素；分析所述非對(duì)象象素中的對(duì)應(yīng)元素以產(chǎn)生所述非對(duì)象象 素的乂于應(yīng)元素之間的關(guān)系；通過4吏用所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生非對(duì)象象素的第 二對(duì)應(yīng)關(guān)系模型；其中所述分析對(duì)應(yīng)元素包括基于時(shí)間的閉塞過濾器。
21. 根據(jù)權(quán)利要求20的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因式分解成若干整體模型；把所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)才莫型；將再次抽樣象素?cái)?shù)據(jù)分解成編碼表達(dá)，所述編碼表達(dá)代 表所述數(shù)據(jù)的第五中間形式；截掉編碼表達(dá)的零或較多的字節(jié)；依據(jù)編碼表達(dá)重組所述的再次抽樣象素?cái)?shù)據(jù)； 其中分解和重組兩者都<吏用傳統(tǒng)的#見頻壓縮/解壓縮禾呈序；其中產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的預(yù)估程序用于多維 投射運(yùn)動(dòng)模型的解，其中分析對(duì)應(yīng)元素包括 使用以依才居兩幅或多幅^見頻畫面 之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽樣總體。
22. 根據(jù)權(quán)利要求20的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因 式分解成若干整體模型的方法，該方法包括(a) 把所述對(duì)應(yīng)元素之間的關(guān)系整合成整體運(yùn)動(dòng)才莫型；(b) 在一組凄t才居矢量上完成子空間拆分；(c) 通過正切矢量分析在隱含矢量空間中的應(yīng)用限制子 空間拆分判據(jù)；(d) 保留那組數(shù)據(jù)矢量的子集；(e) 在那組數(shù)據(jù)矢量的子集上完成(b)和(c); 其中所述的完成子空間拆分包括 使用GPCA; 其中所述隱含矢量空間包括Veronese映射圖；其中所述正切矢量分析包括Legendre變換； 在(a)到(e)已經(jīng)完成之后，該方法進(jìn)一步包括(f) 將所述的再次抽樣象素?cái)?shù)據(jù)分解成編碼表達(dá)，所述的 編碼表達(dá)代表所述數(shù)據(jù)的第四中間形式；(g) 截掉所述編碼表達(dá)的零或更多的字節(jié)；(h) 依據(jù)所述的編碼表達(dá)重組所述的再次抽樣象素lt據(jù)；其中所述的分解和重組兩者都1吏用主成4分分才斤；其中所述的產(chǎn)生對(duì)應(yīng)關(guān)系模型包括將強(qiáng)健的預(yù)估程序用 于多維投射運(yùn)動(dòng)模型的解，其中所述分析對(duì)應(yīng)元素包括使用以依據(jù)兩幅或多幅^L頻 畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的抽樣總體。
23. 根據(jù)權(quán)利要求2的方法，其中包括將所述對(duì)應(yīng)關(guān)系模型因式 分解成局部變形才莫型的方法，該方法包4舌定義覆蓋與那至少 一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔， 所述網(wǎng)孔以頂點(diǎn)和邊全彖的失見則格斥冊為基礎(chǔ)；依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)^莫型，所述 關(guān)系包4舌以依才居兩幅或多幅禍L頻畫面之間基于區(qū)^殳的運(yùn)動(dòng) 評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的頂點(diǎn)位移。
24. 根據(jù)權(quán)利要求23的方法，其中所述頂點(diǎn)對(duì)應(yīng)于不連續(xù)的圖 像特征，該方法包括通過使用圖像強(qiáng)度梯度分析識(shí)別與所述 對(duì)象相對(duì)應(yīng)的重要圖 <象特征。
25. 才艮據(jù)4又利要求19的方法，其中包4舌轉(zhuǎn)發(fā)所述凄t據(jù)的第四中間形式以1更因式分解成局部變形 模型；定義覆蓋與那至少一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔， 所述網(wǎng)孔以頂點(diǎn)和邊緣的規(guī)則格4冊為基礎(chǔ)；依據(jù)所述對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)才莫型，所述 關(guān)系包4舌以依才居兩幅或多幅^見步貞畫面之間基于區(qū)4史的運(yùn)動(dòng) 評(píng)估產(chǎn)生的有限差分為基礎(chǔ)的頂點(diǎn)位移；其中所述局部運(yùn)動(dòng)模型以未用整體運(yùn)動(dòng)模型近似的殘留 運(yùn)動(dòng)為基礎(chǔ)。
26. 根據(jù)權(quán)利要求23的方法，其中包括轉(zhuǎn)發(fā)數(shù)據(jù)的第四中間形式以便因式分解成局部變形模型；定義覆蓋與那至少一個(gè)對(duì)象相對(duì)應(yīng)的象素的二維網(wǎng)孔， 所述網(wǎng)孑L以頂點(diǎn)和邊緣的頭見則才各4冊為基礎(chǔ)；依據(jù)對(duì)應(yīng)元素之間的關(guān)系產(chǎn)生局部運(yùn)動(dòng)^t型，所述關(guān)系 包括以依據(jù)兩幅或多幅^L頻畫面之間基于區(qū)段的運(yùn)動(dòng)評(píng)估 產(chǎn)生的有限差分為基礎(chǔ)的頂點(diǎn)位移；其中所述局部運(yùn)動(dòng)模型以未用整體運(yùn)動(dòng)模型近似的殘留 運(yùn)動(dòng)為基礎(chǔ)。
全文摘要
這項(xiàng)發(fā)明描述用來處理視頻數(shù)據(jù)的裝置和方法。本發(fā)明提供一種視頻數(shù)據(jù)的表達(dá)，該數(shù)據(jù)表達(dá)能用來評(píng)定所述數(shù)據(jù)和用于所述數(shù)據(jù)的特定參數(shù)表達(dá)的擬合模型之間的一致性。這允許比較不同的參數(shù)化技術(shù)和選擇繼續(xù)處理該特定視頻數(shù)據(jù)的最佳技術(shù)。所述表達(dá)能以中間形式作為較大程序的一部分或作為反饋機(jī)制被用于處理視頻數(shù)據(jù)。當(dāng)以它的中間形式被利用的時(shí)候，本發(fā)明能被用于視頻數(shù)據(jù)的儲(chǔ)存、增強(qiáng)、提煉、特征提取、壓縮、編碼和傳輸?shù)某绦颉１景l(fā)明可用來以強(qiáng)健有效的方式提取顯著的信息，同時(shí)確定通常與視頻數(shù)據(jù)來源相關(guān)聯(lián)的問題的地址。
文檔編號(hào)H04N7/26GK101167363SQ200680014079
公開日2008年4月23日 申請(qǐng)日期2006年3月30日 優(yōu)先權(quán)日2005年3月31日
發(fā)明者查爾斯·佩斯, 約翰·維斯 申請(qǐng)人:歐幾里得發(fā)現(xiàn)有限責(zé)任公司