專利名稱：雙路徑圖像序列穩(wěn)定化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及數(shù)碼照相機和數(shù)字成像，更具體地，涉及圖像序列 穩(wěn)定化方法和用于從數(shù)字圖像序列中檢測和去除抖動的雙路徑的照相 才幾和方法。
背景技術(shù)：
用諸如數(shù)字靜止或視頻照相機那樣的設(shè)備獲取的圖像序列常常在 圖像之間包含不需要的運動，被稱為抖動。例如，用手持視頻攝相機獲 取的視頻常常隨不同的幀呈現(xiàn)某些搖動或抖動，盡管用戶最盡力地保持 照相才幾穩(wěn)、定。
為了從數(shù)字圖像序列去除抖動，提出了幾種不同的方法。光學穩(wěn)定
器在獲取之前作用于光學圖像上。例如，美國專利1^).5,581,404描述被 用作為用于檢測和校正照相機的角速度的機構(gòu)的 一部分的振蕩陀螺儀 和旋轉(zhuǎn)棱鏡。光學穩(wěn)定化是有效的，但以附加的照相機重量、額外的部 件和需要的功率為代價。這些要求與照相機小型化的總的趨勢相矛盾。
穩(wěn)定化也可以通過從尺寸過大的電子成像器或圖像傳感器(諸如 CCD或CMOS成像器)中選擇適當偏移后的圖像區(qū)域，以便以電子或 數(shù)字方式確定照相機運動和補償這種運動而實現(xiàn)。當成像器獲取比起輸 出圖像中呈現(xiàn)的視場更大的視場時，電子成像器就是"尺寸過大的"?？?提供減小了尺寸的圖像以用于歸檔存儲和用于在獲取期間在電子取景 器或其它照相機顯示器中顯示。
電子穩(wěn)定化系統(tǒng)使用運動傳感換能器來檢測真實的照相機運動，后 者于是被用來相對于由尺寸過大的成像器所產(chǎn)生的圖像確定輸出窗口 的位置。電子穩(wěn)定化典型地在照相機內(nèi)執(zhí)行，其缺點在于換能器的重量 和成本。
采用數(shù)字穩(wěn)定化時，照相機的真實運動必須根據(jù)獲取的圖像序列來 估計。這個方法成本低，因為不需要額外的運動傳感器。數(shù)字穩(wěn)定化相 對于光學或電子穩(wěn)定在性能方面面臨挑戰(zhàn)，因為數(shù)字穩(wěn)定化會出現(xiàn)大量 計算負荷，而且圖像內(nèi)容會擾亂為穩(wěn)定化而需要的數(shù)字運動估計。
數(shù)字穩(wěn)定化可以在照相才幾內(nèi)或離線地執(zhí)4亍。每種方法各有它自己的 優(yōu)點和缺點。照相機內(nèi)數(shù)字穩(wěn)定化在可用的處理能力方面會受到限制。 離線數(shù)字穩(wěn)定化具有計算資源不太受限制的優(yōu)點。
照相機內(nèi)數(shù)字穩(wěn)定化容易被自動化，因為穩(wěn)定化步驟在照相機內(nèi)執(zhí) 行，以及可以在圖像序列獲取期間把輸出提供給照相機。離線穩(wěn)定化則 不那么方便。典型地，需要用戶利用適當?shù)能浖?zhí)行一個附加程序以得 到穩(wěn)定化的視頻。另一個問題是為了穩(wěn)定化而接收的圖像序列很可能要 通過一個或多個壓縮-解壓縮周期。這造成在穩(wěn)定化處理過程中增加偽像 的風險。
對于離線數(shù)字穩(wěn)定化，輸出圖像要被傳送，并且在穩(wěn)定化期間，輸 出圖像的視場被減小。這引起用戶期待的問題，因為用戶很可能在視場 減小之前已觀看輸出圖像。特別是在用戶期待方面，另外的問題是分辨 率也被降低，除非在穩(wěn)定化后再提供另外的插值步驟。
照相機內(nèi)穩(wěn)定化可以在獲取圖像序列期間把穩(wěn)定的圖像提供給取 景器，但這種做法只限于不使用未來幀的算法。在識別諸如照相機拍攝 全景那樣的有意識的運動時這導致性能變差。對于離線數(shù)字穩(wěn)定化，整 個圖像序列在穩(wěn)定化時間是可用的。這在穩(wěn)定一個給定的幀時允許使用 各種把來自未來幀和以前幀的數(shù)據(jù)加以利用的算法。
對于數(shù)字穩(wěn)定化，必須從獲取的視頻流來對實際的照相機運動加以 估計。這可能是困難的，因為必須區(qū)分目標運動和照相才幾運動。第一個 步驟是估計在幀之間的運動。隨后是軌跡估計，它計算所需照相機運動 的估值(通常是通過假設(shè)手的搖動比起所需的運動有更高的頻率)。抖 動是根據(jù)總的運動和所需的照相機運動估值進行估計的，然后通過圖像 移位或翹曲函數(shù)補償該抖動。
許多或大多數(shù)穩(wěn)定化技術(shù)對于運動估計使用某種形式的塊匹配。塊 匹配把圖像劃分成一 系列塊，并對每個塊找出在前一個圖像中匹配最好 的區(qū)域。 一旦對每個塊得到運動估值，就必須應(yīng)用一組法則，以〗更4巴這 些局部估值變換成運動的單獨的全局估值。因為基于塊的運動估值根據(jù) 整個圖像的不同區(qū)域得出局部運動估值，它對在場景內(nèi)獨立地運動的目 標可以是非常魯棒的。用來清除錯誤運動估值的 一個技術(shù)是形成所有的 局部運動估值的直方圖，并消除所有的不經(jīng)常出現(xiàn)的數(shù)值。還可以消除 其它局部估值，如果認為它們由于諸如該塊中包含重復的圖案或非常少
的邊緣那樣的原因而不可靠的話。 一旦局部估值被刪除而使得僅僅留下 可靠的估值，典型地選擇中值或均值作為全局運動估值。
Uomori等，"Automatic Image Stabilizing System by Full-Digital Signal Processing (通過全數(shù)字信號處理的自動圖像穩(wěn)定化系統(tǒng))",IEEE Transactions on Consumer Electronics, 36(3), August 1990, pp.510-519,揭
示了數(shù)字穩(wěn)定化和在抖動去除中使用專門的時間濾波器。數(shù)字濾波技術(shù) 的其它公開內(nèi)容包括美國專利號No.5,172,226; 5,748,231; 5,648,815; 5,510,834;和5,289,274。美國專利號No.5,748,231公開了有關(guān)運動向量 的失效條件的技術(shù)。這些技術(shù)都利用數(shù)字運動估計單元來估計在序列的 圖像之間的全局運動，并利用抖動計算算法來確定估計的運動的哪些分 量是抖動而不是有意的拍攝全景。
以上的基于塊的數(shù)字穩(wěn)定化技術(shù)和相關(guān)的技術(shù)在許多方面是滿意 的。該方法具有低的成本，因為算法是全部基于軟件的?；趬K的技術(shù) 具有獲取相當大的局部信息量和對于諸如在場景中獨立地移動的目標 那樣的因素是比較魯棒的優(yōu)點。另一方面，基于塊的技術(shù)在計算上是復 雜的。這對于光學或電子穩(wěn)定化提出了性能上的挑戰(zhàn)，并且限制了在諸 如當前可得到的中等價格的數(shù)碼照相機那種具有有限計算資源的應(yīng)用 中的有用性。
某些以上技術(shù)在估計運動時考慮旋轉(zhuǎn)、翹曲和一般的仿射變換。這 些方法在運動的計算和在隨后根據(jù)計算出的抖動運動而對圖像進行偏
移需要進行內(nèi)插這兩方面都導致很大的計算資源的需求。
美國專利No.6,130,912和美國專利No.6,128,047公開了對于運動估 值的整體投影的使用?；趬K的運動估計是在"Efficient Block Motion Estimate Using Integral Projections (使用整體才殳影的有效的塊運動估值)", K.Sauer和B.Schwartz, IEEE Trans, on Circuits and Systems for Video Technology, 6(5), 1996, pp.513-518中公開的。整體投影是在塊匹配框架 之中，以及受到基于塊的技術(shù)的限制。
整個幀的整體投影在計算基于塊的運動估值的全局擴展中的使用 是在"Real-time-Digital Video Stabilization for Multi-media Applications (用于多媒體應(yīng)用的實時數(shù)字視頻穩(wěn)定化)"，K.Ratakonda, IEEE Int，l Symposium on Circuit and Systems, 1998， vol.4, pp.69-72中公開的。整個 幀的整體投影是通過把二維圖像投影到兩個一維向量，即 一個水平向量和一個垂直向量上而進"f亍的。這可以通過4巴在每列中各元素相加以形成 水平投影和把在每行中各元素相加以形成垂直投影而達到。整個幀的整 體投影把二維全局運動估值問題歸結(jié)為兩個獨立的 一 維運動估值問
題，大大地減小了計算復雜性。Ratakonda的文章還公開了在使用通過 子采樣的整個幀的整體投影和基于插值的一半像素精度時得到的計算 的改進。這些技術(shù)具有要使用非因果濾波器的缺點。
雖然在許多方面是滿意的，但已知的數(shù)字和電子圖像向量穩(wěn)定化算 法具有許多缺點，包括不完善的性能和過度的計算復雜性。
因此希望提供能夠用有限的計算資源提供改進的圖像序列的數(shù)字 穩(wěn)、定化的照相才幾和方法。
發(fā)明概要
本發(fā)明由權(quán)利要求規(guī)定。廣義地，本發(fā)明提供圖像序列穩(wěn)定化方法 和在其中獲取輸入數(shù)字圖像序列的照相機。輸入數(shù)字圖像序列被復制，
以便提供相應(yīng)的歸檔圖像序列和相應(yīng)的顯示圖像序列。歸檔圖像序列被 自動穩(wěn)定，以提供穩(wěn)定化的歸檔圖像序列。顯示圖像序列被自動穩(wěn)定， 以提供穩(wěn)定的顯示圖像序列。兩種序列所用的穩(wěn)定化方法是不同的，雖 然二者都可以是數(shù)字的。
本發(fā)明的有利的效果是提供用相對較低的計算要求達到性能良好 的數(shù)字圖像序列穩(wěn)定化的改進了的方法和設(shè)備。
本發(fā)明的另 一個有利的效果是提供通過使用雙穩(wěn)定路徑以有限的 計算資源提供圖像序列的改進的數(shù)字穩(wěn)定化的改進的照相機和方法。
附圖筒述
通過參考結(jié)合附圖作出的本發(fā)明的實施例的以下的說明，本發(fā)明的 上述的和其它的特性和目的以及達到它們的方式將變得更明顯，并將更 好地了解本發(fā)明，圖上


圖1是雙路徑穩(wěn)定化的實施例的示意圖。
圖2是提供圖1的雙路徑穩(wěn)定化照相機實施例的示意圖。
圖3是顯示圖2的照相機的操作示意圖。
圖4是與圖3相同的圖，但顯示經(jīng)修改的照相機。
圖5是顯示圖2的照相機的穩(wěn)定器之一的操作示意圖。
圖6是顯示位于由圖2的照相機的過大尺寸成像器獲取的原始圖像 上輸出窗口的示意圖。輸出窗口是未經(jīng)調(diào)整的位置。
圖7是與圖6相同的圖，但，出窗口是在經(jīng)移位的位置上以補償抖
動。 ^
圖8是與圖6-7相同的圖，但輸出窗口被最大地向右和向下移位到 另一個經(jīng)移位的位置，該位置表示在這些方向可得到的最大抖動校正。
圖9是顯示在由圖2的照相機的穩(wěn)定器之一提供數(shù)字穩(wěn)定化時用來
形成垂直投影向量的圖像數(shù)據(jù)的示意圖。
圖IO是一個對應(yīng)于圖9的示意圖，顯示被用來形成水平投影向量
的圖像數(shù)據(jù)。
圖11是顯示在圖9的穩(wěn)定化中被用來計算與不同的運動偏移相關(guān) 聯(lián)的成本的圖像數(shù)據(jù)的示意圖。
圖12是相應(yīng)于圖11但使用經(jīng)修改的穩(wěn)定化方法的示意圖，其中用 來計算與運動偏移相關(guān)聯(lián)的成本的圖像數(shù)據(jù)被劃分成分段。
圖13是在圖11的穩(wěn)定化方法的另一個修改方案中的一個經(jīng)插值后 的水平投影向量的結(jié)構(gòu)的圖。
圖14是系統(tǒng)的實施例的示意圖。
發(fā)明詳細說明
下面關(guān)于本發(fā)明的實施例在總體上描述使用兩個不同穩(wěn)定化路徑 來提供圖像序列的穩(wěn)定性的方法和設(shè)備。穩(wěn)定化路徑之一能使用圖像序 列的快速數(shù)字穩(wěn)定化的方法，它使用中等的處理資源。數(shù)字穩(wěn)定化作用 于已獲取的尺寸過大的圖像幀的序列。確定在圖像幀之間的全局運動的 估值。運動估值一皮加以分析，以^更確定哪一部分運動例如由于拍^聶全景 的運動因而是需要的，以及哪一部分運動是非故意的抖動。每個圖像幀 用預定尺寸的窗口被加以修剪。如必要的話，窗口相對于每個尺寸過大 的圖像幀的位置被調(diào)節(jié)，以便補償計算出的抖動。
下面的某些部分是藉助于對計算機存儲器內(nèi)數(shù)據(jù)比特的算法和操 作的符號表示給出的。這些算法描述和表示由熟悉數(shù)據(jù)處理技術(shù)領(lǐng)域的 技術(shù)人員用來把他們的工作的實質(zhì)最有效地傳達給本領(lǐng)域技術(shù)人員。算 法在這里一般地被設(shè)想為一個導致所需結(jié)果的自協(xié)調(diào)操作序列。這些操 作是需要物理地搡控物理量的那些操作。通常(但并非是必須)，這些
量采取能夠被存儲、轉(zhuǎn)移、組合、比較和在另外的情況下被操控的電或 磁信號的形式。為了方便起見，這些信號在這里有時涉及到關(guān)于使用諸 如比特、數(shù)值、單元、符號、字符、術(shù)語、數(shù)目等等的對象的基礎(chǔ)信息。 然而，應(yīng)當記住，所有的這些和類似的術(shù)語與適當?shù)奈锢砹坑嘘P(guān)并 且它們僅僅是應(yīng)用于這些量的方便的標簽。除非專門闡述，如從以下的 討論中看到的，將會看到，在所有的說明中，諸如"處理"或"計算" 或"運算"或"確定"或"形成"或類似的術(shù)語被使用來指計算機系統(tǒng) 或類似的數(shù)據(jù)處理設(shè)備的動作和處理，它們把被表示為計算機系統(tǒng)的寄 存器和存儲器內(nèi)的物理(例如電子)量的數(shù)據(jù)操控和變換為被類似地表 示為計算機系統(tǒng)存儲器或寄存器或其它這樣的信息存儲、傳輸或顯示裝
置內(nèi)的物理量的其它數(shù)據(jù)。
這里的特定的實施例是照相機。該方法還可以使用其它系統(tǒng)來執(zhí) 行。在這兩種情形下，系統(tǒng)都可包括用于執(zhí)行這里描述的操作的設(shè)備的 特定的部件。諸如照相機或可編程計算機那樣的設(shè)備可以按所需要的用 途專門制造，或可包括由存儲的計算機程度有選擇地驅(qū)動或重新配置的 通用系統(tǒng)。
這里給出的方法不限于任何特定的計算機或照相機或其它設(shè)備。各 種通用系統(tǒng)可以按照這里的教導通過程序被使用，或構(gòu)建用來執(zhí)行該方 法的更專用的設(shè)備可以被證明是方便的。用于各種各樣的這些系統(tǒng)的結(jié) 構(gòu)從以下的說明中看到。另外，本發(fā)明不是對于任何特定的編程語言描 述的。將會看到，各種各樣的編程語言可被用來實施如這里描述的本發(fā) 明的教導。
在下面的說明中，本發(fā)明的某些實施例將作為軟件程序描述。本領(lǐng) 域技術(shù)人員將容易看到，這樣的軟件的等同物也可以以硬件來構(gòu)建。因 為圖像處理算法和系統(tǒng)是熟知的，本發(fā)明特別地針對形成按照本發(fā)明的 方法的 一部分或更直接地與其合作的算法和系統(tǒng)。這里沒有具體地顯示 和描述的用于產(chǎn)生或者處理這里牽涉到的圖像信號的這樣的算法和系 統(tǒng)以及石更件和/或軟件的其它方面可以從在沖支術(shù)上已知的這樣的系統(tǒng)、
算法、部件和元件中進4亍選4奪。在給出如在下面的i兌明中闡述的i^明
后，它的所有的軟件實施方案是常規(guī)的，和處在本領(lǐng)域的普通技求范圍 之內(nèi)。
用于執(zhí)行本發(fā)明的方法的計算機程序可以存儲在計算機可讀的存
儲媒體中。這個媒體可包括例如磁存儲媒體，諸如磁盤(諸如硬盤驅(qū)動
器或軟盤驅(qū)動器)或磁帶；光存儲媒體，諸如光盤、光帶，或機器可讀 的條形碼；固態(tài)電子存儲裝置，諸如隨機存取存儲器(RAM)、或只讀 存儲器(ROM);或被利用來存儲計算機程序的任何其它物理裝置或媒 體。用于執(zhí)行本發(fā)明的方法的計算機程序還可被存儲在藉助于本地或遠 端的網(wǎng)絡(luò)或其它通信媒體而連接到圖像處理器的計算機可讀的存儲媒 體。本領(lǐng)域技術(shù)人員將容易看到，這樣的計算機程序產(chǎn)品的等同物也可 以以被稱為專用集成電路(ASIC)的硬件或固件來建造。ASIC可以被 設(shè)計在單個硅片上以執(zhí)行本發(fā)明的方法。ASIC可包括執(zhí)行邏輯的電路、 微處理器、和對于執(zhí)行本發(fā)明的方法所必須的存儲器。對于本發(fā)明也可 以設(shè)想和利用多個ASIC。
機)讀出的形式的信息的任何項目。例如，機器可讀的媒體包括只讀存 儲器(ROM);隨機存取存儲器(RAM);磁盤存儲媒體；光學存儲 媒體；閃存裝置；光學的、聲學的、或其它形式傳播的信號(例如，載 波、紅外信號、數(shù)字信號等等)；等等。
本發(fā)明的實施例可以在計算機石更件和計算才幾化的設(shè)備，諸如數(shù)碼照 相機、數(shù)字掃描儀，和在個人計算機上實施。參照圖14，圖上顯示用于 實施本發(fā)明的計算機系統(tǒng)110。本發(fā)明不限于所顯示的計算機系統(tǒng)。本 發(fā)明的實施例可被使用于諸如在數(shù)碼照相機、家庭計算機、自動售貨 機、零售或批發(fā)照相沖洗、或用于處理數(shù)字圖像的任何其它系統(tǒng)中能找 到的任何電子處理系統(tǒng)。計算機系統(tǒng)U0包括基于微處理器的單元 112,它用于接收和處理軟件程序和用于執(zhí)行其它處理功能。顯示器114 被電連接到基于微處理器的單元112，以用于例如藉助于圖形用戶接口 顯示與用戶有關(guān)的與軟件相關(guān)聯(lián)的信息。鍵盤116也被連接到基于微處 理器的單元112,以用于讓用戶向軟件輸入信息。作為使用鍵盤116進 行輸入的替換例，鼠標118可被用來在顯示器114上移動選擇器120和 用于選擇由選擇器120覆蓋的項目，正如在技術(shù)上熟知的。
典型地包括軟件程序的光盤只讀存儲器(CD-ROM) 124或其它便 攜式存儲器媒體被插入到基于微處理器的單元，以用于提供把軟件程序 和其它信息輸入給基于微處理器的單元112的裝置。同樣地，軟盤126 也可以包括軟件程序，并且它被插入到基于微處理器的單元112，以用于輸入軟件程序。光盤只讀存儲器(CD-ROM) 124或軟盤126可以替 換地插入被連接到基于微處理器的單元112的外部設(shè)置的盤驅(qū)動單元 122。而且，正如技術(shù)上熟知的，基于孩i處理器的單元112可被編程， 以用于內(nèi)部地存儲軟件程序?；谖⑻幚砥鞯膯卧?12還可以具有網(wǎng)絡(luò) 連接127,諸如電話線，以便連接到外部網(wǎng)絡(luò)，諸如局域網(wǎng)或互聯(lián)網(wǎng)。 打印機128也可以被連接到基于微處理器的單元112，以用于打印來自 計算機系統(tǒng)110的輸出的硬拷貝。
圖像也可以經(jīng)由個人計算機卡(PC卡)130或其它存儲卡或類似物 而在顯示器114上被顯示，它含有在卡UO上以電子方式體現(xiàn)的數(shù)字化 圖像?？?30最終被插入到基于微處理器的單元112以允許圖像在顯示 器114上可視地顯示。替換地，卡130可被插入到被連接到基于微處理 器的單元112的外部設(shè)置的讀卡器132。圖像序列也可以經(jīng)由光盤123、 軟盤126或網(wǎng)絡(luò)連接127被輸入。被存儲在卡130、軟盤126或緊湊盤 124或通過網(wǎng)絡(luò)連接127輸入的任何圖像序列可以從各種各樣的源，諸 如數(shù)碼照相機(未示出)或掃描儀(未示出)得到。圖像序列也可以直 接從數(shù)碼照相機134經(jīng)由被連接到基于微處理器的單元112的一個照相 機對接端口 136輸入，或直接從數(shù)碼照相機134經(jīng)由到基于微處理器的 單元112的電纜連接138或經(jīng)由到基于微處理器的單元112的無線連接 140輸入。
輸出設(shè)備可以提供經(jīng)過變換的最后的圖像。輸出設(shè)備可以是打印機 或提供最后圖像硬拷貝的其它輸出設(shè)備。輸出設(shè)備也可以是以數(shù)字文件 提供最后的圖像的輸出設(shè)備。輸出設(shè)備還可包括輸出的組合，諸如打印 的圖像和在諸如CD或DVD的存儲器單元上的數(shù)字文件。
本發(fā)明可用于產(chǎn)生數(shù)字圖像的多種獲取設(shè)備。例如，圖14可以代 表照相沖印系統(tǒng)，其中圖像獲取設(shè)備是傳統(tǒng)的用于獲取在彩色負片或翻 轉(zhuǎn)片上的場景的照相膠巻照相機，和用于對膠片上沖洗出的圖像進行掃 描并產(chǎn)生數(shù)字圖像的掃描儀。獲取設(shè)備也可以是具有諸如電荷耦合器件 或CMOS成像器那樣的電子成像器的電子獲取單元(未示出)。電子獲 取單元可以具有模擬-數(shù)字變換器/放大器，它接收來自電子成像器的信 號、把信號放大和變換成數(shù)字形式、和把圖像信號發(fā)送到基于微處理器 的單元112。
基于微處理器的單元112提供用于處理數(shù)字圖像以便在預期的輸出
設(shè)備或媒體上產(chǎn)生美觀的圖像的裝置。本發(fā)明可用于各種各樣輸出設(shè) 備，可包括(但不限于)數(shù)字照片打印機和軟拷貝顯示器?；谖⑻幚?器的單元112可用來處理數(shù)字圖像，以便對于數(shù)字圖像的整體亮度、色 調(diào)、圖像結(jié)構(gòu)等等進行調(diào)整，使得由圖像輸出設(shè)備產(chǎn)生美觀的圖像。本 領(lǐng)域技術(shù)人員將會看到，本發(fā)明不限于剛才提到的這些圖像處理功能。
數(shù)字圖像包括一個或多個數(shù)字圖像信道或彩色分量。每個數(shù)字圖像 信道是二維像素陣列。每個像素值與由相應(yīng)于像素的物理區(qū)域的成像獲 取設(shè)備接收的光的量相關(guān)。對于彩色成像應(yīng)用，數(shù)字圖像通常由紅色、 綠色和藍色數(shù)字圖像信道組成。運動成像應(yīng)用可被看作為數(shù)字圖像序 列。本領(lǐng)域技術(shù)人員將會看到，本發(fā)明可被應(yīng)用于(但不限于)這里提 到的任何應(yīng)用的數(shù)字圖像信道。雖然數(shù)字圖像信道被描述為按行和列排 列的像素值的二維陣列，但本領(lǐng)域技術(shù)人員將會看到，本發(fā)明可適用于 非直線組成的陣列而具有相等效果。本領(lǐng)域技術(shù)人員還將會認識到，對 于數(shù)字圖像處理，這里在下面描述的用處理過的像素值代替原先的像素 值的步驟在功能上等同于描述與用處理過的像素值生成新的數(shù)字圖像 而同時保持原先的像素值的相同的處理步驟。
圖14所示的通用控制計算機可以存儲本發(fā)明的某些實施例作為計 算機程序產(chǎn)品，該產(chǎn)品具有存儲在計算機可讀的存儲媒體中的程序，這
個媒體可包括例如，磁存儲媒體，諸如磁盤(諸如軟盤)或磁帶；光 學存儲媒體，諸如光盤、光帶或機器可讀的條形碼；固態(tài)電子存儲裝置， 諸如隨機存取存儲器(RAM)、或只讀存儲器(ROM)。本發(fā)明的相 關(guān)的計算機程序?qū)嵤┓桨敢部梢源鎯υ谟脕泶鎯τ呻x線存儲器裝置表 示的計算機程序的任何其它物理設(shè)備或^ 某體。本發(fā)明的計算機程序產(chǎn)品 可以在諸如個人計算機那樣的任何熟知的計算機系統(tǒng)上被利用。
本發(fā)明的實施例可以以軟件和/或石更件的組合來實施，并且不限于物 理地連接的和/或位于同一個物理位置內(nèi)的設(shè)備。例如，圖14所示的一 個或多個設(shè)備或設(shè)備的部件可以位于遠端和可以經(jīng)由網(wǎng)絡(luò)被連接。 一個 或多個設(shè)備或設(shè)備的部件可以無線連接，諸如通過射頻鏈路，或直接地 或經(jīng)由網(wǎng)絡(luò)。
將會看到，所顯示和所描述的電路可以以本領(lǐng)域技術(shù)人員熟知的各 種方式來修改。還將會看到，這里藉助于物理電路描述的各種特性替換 地可以作為固件或軟件功能或二者的組合來提供。
本發(fā)明的實施例可以在各種各樣用戶范圍和環(huán)境下被利用。示例性
范圍和環(huán)境包括(但不限于)批發(fā)數(shù)字照相沖印；零售數(shù)字照相沖印 臺式機軟件(把算法應(yīng)用到數(shù)字圖像的軟件)；數(shù)字實施(在媒體中-來自媒體的或通過web的數(shù)字圖像、具有在媒體上的數(shù)字-非數(shù)字形式、 通過web的數(shù)字形式、或其它形式的數(shù)字處理)；自動售貨亭；移動設(shè) 備；和作為經(jīng)由局域網(wǎng)或大區(qū)域網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng))提供的服務(wù)。
圖像獲取和穩(wěn)定化可以是在同 一個設(shè)備或部件或分開的設(shè)備或部 件中。例如，圖像獲取和穩(wěn)定化可以都是在蜂窩電話或其它移動終端 中。類似地，圖像獲取和顯示路徑穩(wěn)定化可以是在蜂窩電話中，以及歸 檔穩(wěn)定化可在電話/數(shù)據(jù)網(wǎng)中的某些地方提供，或在成像服務(wù)供應(yīng)商處提 供。
無論如何，本發(fā)明可以是獨立的，或可以是較大的系統(tǒng)解決方案的 一個部分。而且，人的接口，例如掃描或輸入，數(shù)字處理，向用戶的顯 示(如果需要的話)，用戶請求或處理指令的輸入(如果需要的話)， 輸出，它們每個可以是在相同的或不同的設(shè)備和物理位置，以及在設(shè)備 和位置之間的通信可以是經(jīng)由公共或?qū)Ｓ镁W(wǎng)絡(luò)連接，或基于媒體的通 信。在遵從本發(fā)明的上述的公開內(nèi)容的場合下，本發(fā)明的方法可以是全 自動的，可以具有用戶輸入(是全部或部分手動的)，可以讓用戶或運 營商來觀察以便接受/拒絕結(jié)果，或可以由元數(shù)據(jù)予以協(xié)助(元數(shù)據(jù)可以 是用戶提供的，由(例如在照相機中的)測量設(shè)備提供的，或由算法確 定的)。此外，算法可以與各種各樣工作流程用戶接口方案對接。
本發(fā)明在這里總的是對數(shù)字視頻攝像機中獲取的圖像序列的穩(wěn)定 化方面描述的。這是為了方便。同樣的考慮可應(yīng)用到其它實施例，諸如 由移動多媒體通信設(shè)備獲取的或從膠片序列掃描出的圖像序列。
本發(fā)明對這里描述的實施例的組合是包容性的。說法"一個特定的 實施例"及類似方式是指在本發(fā)明的至少 一個實施例中存在的特征。分 開的說法"實施例"或"特定的一些實施例"或類似方式不一定是指同一個 或一些實施例；然而，這樣的實施例不是互相排斥的，除非是這樣表示 的，或?qū)Ρ绢I(lǐng)域技術(shù)人員而言是很明顯的。
雙3各徑穩(wěn)定化
現(xiàn)在參照圖1-4,在特定的實施例中，圖像序列使用兩個不同的穩(wěn) 定化路徑進行穩(wěn)定化。 一條穩(wěn)定化路徑(此后稱"歸檔路徑")終結(jié)在第
二經(jīng)穩(wěn)定的圖像序列的存儲器中。另一條穩(wěn)定化路徑(此后稱"顯示路 徑")終結(jié)在第一經(jīng)穩(wěn)定的圖像序列的顯示器上，例如在圖像序列獲取 期間在照相機的背面的液晶顯示器(LCD)上。兩條路徑的穩(wěn)定化程序 過程是不同的，并且取決于輸入，其最終得到的經(jīng)穩(wěn)定的圖像序列也是 不同的。以下說明總體上是針對那些其中兩條路徑都使用數(shù)字穩(wěn)定化的 實施例。作為替換例，兩條路徑或任一條路徑都可以利用一個或多個其 它類型的圖像穩(wěn)定化，諸如光學穩(wěn)定化。例如，在光學穩(wěn)定化中，旋轉(zhuǎn) 棱鏡透鏡可用來通過調(diào)節(jié)入射在圖像傳感器上的光而補償抖動。最終得 到的經(jīng)穩(wěn)定的序列被復制。 一個拷貝被直接使用。另一個拷貝還通過數(shù) 字穩(wěn)定化被進一步穩(wěn)定。在歸檔路徑上，幾個圖像幀可被緩存，以及對 于一個給定的幀，根據(jù)以前的、當前的和將來的幀計算出的運動估值可 連同已知的透鏡調(diào)節(jié)一起被分析，以便確定是否可以通過對要被編碼的 傳感器數(shù)據(jù)附加偏移而改進其穩(wěn)定化。同樣地，除了初始的電子穩(wěn)定化 步驟以外，第二穩(wěn)定化路徑可用來提供附加的穩(wěn)定化校正。
對于在兩條路徑上的數(shù)字穩(wěn)定化，優(yōu)選地，每條路徑所提供的穩(wěn)定 化與另一條路徑所提供的穩(wěn)定化是完全無關(guān)的。這給每條路徑用于它預
期的不同用途的最佳化提供了自由對于速度和低計算要求的顯示路 徑；對于質(zhì)量的歸檔路徑。
以下的說明總體上針對下列實施例，其中兩條穩(wěn)定化路徑被提供在 數(shù)字視頻照相機或配備有照相機的便攜式設(shè)備(諸如移動多媒體通信設(shè) 備)中。雙路徑穩(wěn)定化對于(但不限于)這種自身包含的便攜式設(shè)備是 特別有利的。例如，顯示路徑可以在便攜式設(shè)備中被提供，而歸檔路徑 可以在經(jīng)由有線或無線網(wǎng)與便攜式設(shè)備通信的另 一個設(shè)備中自動地提 供。
現(xiàn)在參照圖1，在該方法的實施例中，獲取(14)輸入數(shù)字圖像12 的序列10，并且產(chǎn)生(15)歸檔圖像20和顯示圖像22的相應(yīng)的序列16, 18。歸檔圖像序列16是自動穩(wěn)定(24)的以提供經(jīng)穩(wěn)定的歸檔圖像序 列26。顯示圖像序列18被不同地自動穩(wěn)定(28)以提供經(jīng)穩(wěn)定的顯示 圖像序列30。經(jīng)穩(wěn)定的歸檔圖像序列26被編碼器32編碼，然后存儲在 存儲器34。經(jīng)穩(wěn)定的顯示圖像序列30在照相機38的照相機顯示器36 上顯示。在顯示后，經(jīng)穩(wěn)定的顯示圖像序列30的圖像被丟棄(40)。
顯示圖像序列的穩(wěn)定化比起歸檔圖像序列的穩(wěn)定化更快速。顯示圖
像序列的穩(wěn)定化比起歸檔圖像序列的穩(wěn)定化更精確。兩條穩(wěn)定化路徑可 以共享其特性，但這不是優(yōu)選的。優(yōu)選地，歸檔i^徑與對顯示5^徑所施
加的時間約束條件是無關(guān)的，而顯示路徑與對歸檔路徑所施加的質(zhì)量約 束條件是無關(guān)的。
在使用照相機時，最好是顯示圖像序列穩(wěn)定化能足夠快，以便與獲 取同時即實時地或接近實時地提供穩(wěn)定化的圖像序列。在某些實施例 中，顯示圖像序列穩(wěn)定化所用的處理時間短于或等于圖像獲取的幀速 率。比這個時間更長的時間會在呈現(xiàn)穩(wěn)定化的顯示圖像時產(chǎn)生累積的延 時，對于用戶這成為可覺察的，于是隨著在圖像序列獲取期間增加的延 時而越來越討厭。
在獲取期間顯示經(jīng)穩(wěn)定的顯示圖像序列的限制在于，未來的圖像幀 用于穩(wěn)定化時是不可用的，因為這些幀還沒有獲取。這在把經(jīng)穩(wěn)定的顯 示圖像序列提供給攝影者以便在圖像序列荻取期間對準照相機時使用 的實施例中，在穩(wěn)定序列的每個幀時，限制了顯示圖像序列穩(wěn)定化在這 樣的實施例中 <吏用過去的和當前的幀。
雙路徑穩(wěn)定化在任何系統(tǒng)中是有用的，在其中提供快速但相對較不 精確的圖像序列穩(wěn)定化以及較慢但更精確的穩(wěn)定化是有利的。例如，計 算機程序可以在較慢而較高的質(zhì)量歸檔圖像序列穩(wěn)定化之前和/或期間 顯示穩(wěn)定化結(jié)果的快速估值。在這樣的非獲取實施例中，在其中要把各 個幀用于穩(wěn)定化的那些路徑之間可能有區(qū)別也可能沒有區(qū)別。
第二穩(wěn)定化路徑在穩(wěn)定化的圖像序列的存儲器中結(jié)束。為了節(jié)省存 儲器，可以提供壓縮。對第二穩(wěn)定化路徑?jīng)]有嚴格的時間約束條件。因 此，用于壓縮的編碼例行程序的效率和存儲與檢索的方式是方便的事 情。第二穩(wěn)定化不需要與時間嚴格相關(guān)的操作，不需要在獲取期間在取 景器或在照相機顯示器上顯示。
兩條穩(wěn)定化路徑可以共享特性，但這不是優(yōu)選的。優(yōu)選地，歸檔路
徑是與對顯示路徑所施加的時間約束條件無關(guān)的，而顯示路徑是與對歸
檔路徑所施加的質(zhì)量約束條件無關(guān)的。在歸檔路徑上，對于給定幀的照
相機抖動是根據(jù)來自過去的、當前的和未來的幀的運動估值計算的。表
示經(jīng)穩(wěn)定的圖像的傳感器圖像數(shù)據(jù)的區(qū)域被偏移以便補償計算的抖
動。在第二穩(wěn)定化路徑上的經(jīng)穩(wěn)定的區(qū)域在某些情形下不同于在第 一穩(wěn)
定化路徑上對于顯示所選擇的經(jīng)穩(wěn)定的區(qū)域，這取決于抖動和故意的照 相機運動這兩者。
對于歸檔圖像序列的穩(wěn)定化可用的較長的時間將允許有更高的精 度。在特定實施例中，歸檔圖像穩(wěn)定化既要向前看又要向后看，而顯示 圖像穩(wěn)定化僅僅是向后看。由于穩(wěn)定化的這種差別的結(jié)果，經(jīng)穩(wěn)定的顯 示圖像序列不能精確地和經(jīng)穩(wěn)定的歸檔圖像序列匹配。例如，經(jīng)穩(wěn)定的 顯示圖像序列可能在拍攝全景開始時相對于經(jīng)穩(wěn)定的歸檔圖像序列出 現(xiàn)某些跳動。雖然這個差別對于某些用戶，諸如專業(yè)照相機操作員和熟 練的業(yè)余愛好者，可能是不舒服的，但預期大多數(shù)用戶不在乎這種差 別。
在經(jīng)穩(wěn)定的顯示圖像序列中每個圖像在它顯示后被丟棄，除非有可 能要重復進行顯示。經(jīng)穩(wěn)定的顯示圖像序列的重復顯示僅僅是在經(jīng)穩(wěn)定 的歸檔圖像序列是不可用時才需要的。這是不太可能的，除非歸檔圖像 序列穩(wěn)定化是非常慢或經(jīng)穩(wěn)定的歸檔圖像序列由于邏輯約束條件而是 不可用的。在顯示了經(jīng)穩(wěn)定的顯示圖像序列后(并且最可能被丟棄)， 歸檔的圖像成為可用于顯示或其它用途。丟棄可包括擦除文件內(nèi)容，但 對于通常的計算機系統(tǒng)，可以限于文件名稱的改變等等，這允許用新的 數(shù)據(jù)進行重寫。
在照相機中，圖像序列的兩種穩(wěn)定化可以在同一個時間開始。歸檔 圖像序列的圖像幀可以根據(jù)可用的存儲器而被緩存。替換地，歸檔圖像 序列的圖像幀都可以存儲在存儲器中，并且歸檔圖像序列的穩(wěn)定化可被 延時，直至有更多計算資源是可利用為止。例如，歸檔圖像序列穩(wěn)定化 可被延時，直至某些或所有的經(jīng)穩(wěn)定的顯示圖像序列圖像已被顯示，或 已被顯示并丟棄為止。無論如何，特別優(yōu)選的是歸檔圖像序列的穩(wěn)定化 自動跟隨在顯示圖像序列的穩(wěn)定化后面。否則，會有這樣的風險，即可 能遺漏歸檔圖像序列的穩(wěn)定化和最終得到的歸檔圖像序列不能滿足用 戶的予貞期。
圖像幀通過相對于獲取的尺寸過大的圖像移動輸出窗口而得到穩(wěn)
定。在每條穩(wěn)定化路徑上，修剪可能是不可逆的，因為修剪過的圖像部
分不能在該路徑上再次使用。這對每條路徑上相對于原先的尺寸過大的
圖像序列的拷貝的尺寸而言降低了存儲要求。在顯示路徑上的圖像幀還
可以被子釆樣以達到對于預期的顯示所需要的分辨率。這進一步降低了
存儲要求。如果圖像幀在穩(wěn)定化之前被子采樣，則還會降低對穩(wěn)定化的
處理要求。
圖2顯示數(shù)碼照相機38的實施例。照相機38具有才幾身42,其上有 電子圖像獲取單元44。機身42提供對其它部件的結(jié)構(gòu)支撐和保護。照 相機38的機身42可以改變，以滿足特定的使用和式樣考慮的要求。電 子圖像獲取單元44具有安裝在機身42上的電子陣列成像器46。照相機 38具有安裝在機身38上的一個或多個透鏡單元49的拍攝鏡頭單元48。 拍攝鏡頭單元48由虛線和兩組透鏡單元49所顯示。將會看到，這是說 明性的，而不是限制。
再次參照圖2的實施例，拍攝鏡頭單元48是電動的變焦透鏡，其 中移動單元由變焦驅(qū)動器50相對于靜止單元而被驅(qū)動。圖2的實施例 的拍攝鏡頭單元4 8還是自動聚焦的。自動聚焦系統(tǒng)5 2具有傳感器5 3 ， 它把信號發(fā)送到測距器54,然后測距器操作聚焦驅(qū)動器55以移動拍攝 鏡頭單元48的一個或多個可聚焦單元(未分開地示出)。自動聚焦可 以是被動的、主動的、或二者的組合。拍攝鏡頭單元48也可以是簡單 的，諸如具有單獨的聚焦長度和手動聚焦或固定的焦點。也可以替代地 或與光學變焦組合地使用數(shù)字變焦(數(shù)字圖像的放大等價于光學變 焦)。
快門56阻擋到成像器46的光路。在光路上也可以提供膜片/孔徑片 58等等?？扉T56可以在打開狀態(tài)與閉合狀態(tài)之間切換。術(shù)語"快門"在 廣義上用來指物理的和/或邏輯的單元，它們提供如下功能讓光沿著光 路通過而到達膠巻或用于圖像獲取的成像器，并且在其它時間則禁止通 過。"快門"包括允許成像操作啟動和停止的電子陣列成像器的計算機軟 件和硬件特征。
成像器46接收光圖像(對象圖像)和把光圖像變換成模擬電信號 即電子圖像，它是圖像序列的一個幀。電子成像器46由成像器驅(qū)動器 60操作。在復制和處理后，電子圖像最終被發(fā)送到由圖像顯示驅(qū)動器62 操作的圖像顯示器36,并且也被發(fā)送到存儲器34。
現(xiàn)在參照圖2-4,照相機38具有控制單元64，它包括具有適當配置 的微計算機形式的圖像處理器/控制器66,諸如用于數(shù)據(jù)處理和執(zhí)行通 用程序的RAM的嵌入式微處理器?？刂茊卧?4控制照相機的其它部件 和執(zhí)行圖像處理功能。圖2所示的控制單元64包括控制器66、模擬-數(shù) 字(A/D)轉(zhuǎn)換器68、視頻編碼器32、復制器(未示出)、以及第一和第二穩(wěn)定器70, 72?？刂茊卧?4在工作中連接到緩存器存儲器74。用 于控制單元和其它部件的合適的硬件和軟件是本領(lǐng)域技術(shù)人員已知 的，并可被修改以提供這里討論的特征?？刂茊卧杀惶峁閱蝹€部件 或作為在分布的位置上等價功能的多個部件。同樣的考慮適用于處理器 和其它部件。同樣，這里顯示為分開單元的部件在某些實施例中可以方 便地組合或共享。
控制單元還提供數(shù)字處理，它對供給顯示器的驗證圖像進行校準。 校準可包括對電子圖像的變換以適應(yīng)不同部件的特性差別。例如，可以 提供一種變換，這種變換根據(jù)顯示器和成像器和電子獲取單元的其它部 件的灰度、色域、和白點修改每個圖像以適應(yīng)不同的能力。校準涉及到 部件特性，因此對不同的圖像是不變的。電子圖像也可以與其它數(shù)字照 相機相同的方式被修改以增強圖像，諸如邊緣增強。校準和其它圖像處 理可以在復制之前或之后進行，并且在兩條路徑上可以是不同的。例 如，處理和校準在精度和所提供的功能這兩方面都可受到限制以減小在 顯示路徑上的處理時間；而更精確的和完全的校準和處理可以在歸檔路 徑上被提供。在歸檔路徑上的數(shù)字處理還可包括涉及文件傳送的修改， 諸如，JPEG壓縮，和文件格式化。
控制單元在工作時連接到存儲器。"存儲器"涉及到在半導體存儲器 或磁存儲器等等中提供的物理存儲器的一個或多個適當大小的邏輯單 元。例如，存儲器可以是內(nèi)部存儲器，諸如閃存EPROM存儲器，或替 換地，可移動的存儲器，諸如緊湊閃存卡，或它們的以任何形式的組合。 控制單元64可以由存儲在用于圖像存儲裝置的相同的物理存儲器中的 軟件所控制，或如圖2所示，分開的存儲器可被提供用于圖像存儲和緩 存器，以及固件可被存儲在專用存儲器73,例如，在ROM或EPROM 固件存儲器。
可以使用各種類型的圖像顯示器36。例如，顯示器可以是液晶顯示 器("LCD")，或有機電致發(fā)光顯示器("OELD";也稱為有機發(fā)光顯示 器"OLED")。圖像顯示器36可以通過啟動用于圖像獲取的照相機觸 發(fā)器75或通過開關(guān)(未分開地示出)而根據(jù)需要工作，圖像顯示器36 可以由定時器或通過釋放照相機觸發(fā)器75而被關(guān)斷。顯示器36安裝在 機身42的背面或頂部，或在取景器(未示出)的內(nèi)部，以便在拍攝照 相期間易于由拍攝者觀看。 一個或多個信息顯示器(未示出)也可以被 提供在機身上，向拍攝者提供照相機信息，或這個信息可例如作為圖像 上的重疊物而被提供在圖像顯示器上。
優(yōu)選地，成像器獲取和圖像顯示器顯示經(jīng)穩(wěn)定的圖像幀的、與由歸 檔圖像序列所提供的基本上相同的幾何范圍。為此，優(yōu)選地，顯示器顯
示從85到100%的經(jīng)穩(wěn)定的圖像幀，或更優(yōu)選地，從95到100%的經(jīng)穩(wěn)
定的圖像幀。
初始電子圖像由模擬-數(shù)字(A/D)轉(zhuǎn)換器和放大器放大和轉(zhuǎn)換成數(shù) 字電子圖像，它然后在圖像處理器66中被復制、處理，并被顯示和存 儲在圖像存儲器34。由數(shù)據(jù)總線76表示的信號線以電子方式連接到成 像器46、控制單元64、顯示器36、和其它電子部件?？刂茊卧?4包括 定時生成器(未示出)，它提供定時關(guān)系的用于對所有電子部件的控制 信號。各個不同的照相機的校準值存儲在校準存儲器(未示出)諸如 EEPROM中，并提供給控制單元?？刂破鞑僮黩?qū)動器和存儲器，包括變 焦驅(qū)動器50、聚焦驅(qū)動器55、孔徑驅(qū)動器78、和快門驅(qū)動器80。照相 機38利用觸發(fā)器75和其它用戶控制裝置82來操作?？梢蕴峁┉h(huán)境傳 感器84和環(huán)境傳感器驅(qū)動器86 (由虛線表示)，作為分開的部件或作 為獲取單元44的一部分以用于確定曝光條件。
將會看到，所顯示和描述的電路可以以本領(lǐng)域技術(shù)人員熟知的各種 不同的方式被修改。還將會看到，這里在物理電路方面描述的各種特征 替換地可以被提供為固件或軟件功能或二者的組合。同樣地，這里被顯
成像器包括與圖像的圖像單元相對應(yīng)的照相格點(photosite)的二維 陣列，這些照相格點一起去獲取一個圖像。濾色器陣列位于照相格點 上，使得電子圖像獲取單元獲取多色圖像。當前優(yōu)選的是單個成像器連 同三色濾色器一起使用，然而，可以使用不同的濾色器陣列，正如也可 以使用多個單色成像器，每個具有不同的一種顏色的濾色器。適合的彩 色濾色器陣列是本領(lǐng)域技術(shù)人員熟知的。彩色濾色器陣列在某些情形下 與成像器合并而提供一個整體部件。
現(xiàn)在參照一個特定的實施例，線性的紅色、綠色、和藍色(RGB) 圖像數(shù)據(jù)從成像器被獲取。該數(shù)據(jù)可以是完全的RGB圖像，或它可以 是來自Bayer模式彩色濾色器陣列的圖像數(shù)據(jù)的紅色、綠色、和藍色層 面(plane)。正如在共同指定的美國專利No.3,971,065中描述的，在Bayer
幾何彩色濾色器陣列的情況下，每種彩色覆蓋成像器的照相格點或圖像 單元(像素)。
圖像傳感器被暴露在圖像光下，使得在各個照相格點處生成模擬圖 像電荷信息。電荷信息被施加到輸出二極管，后者把電荷信息變換成相 應(yīng)于各個圖像單元的模擬圖像信號。模擬圖像信號被施加到A/D轉(zhuǎn)換
器，A/D轉(zhuǎn)換器根據(jù)每個圖像單元的模擬圖像信號生成數(shù)字圖像信號。
數(shù)字圖像信號被復制。在復制之前或之后，數(shù)字圖像信號被輸入到 處理器，處理器可以應(yīng)用適當?shù)膱D像處理算法，諸如白平衡、插值、彩 色校正、自聚焦、和傳感器缺陷糾正。提供了圖像穩(wěn)定化，并把輸出的 圖像序列發(fā)送到顯示器和存儲器。后者可以首先被發(fā)送到視頻編碼器， 以便通過使用例如MPEG或H.263壓縮標準進行編碼。編碼的—見頻流然 后被存儲在存儲器中。
穩(wěn)定化方法可以通過使用來自圖像的一個或多個信道的圖像數(shù)據(jù) 而執(zhí)行。優(yōu)選地，用于穩(wěn)定化的圖像數(shù)據(jù)包括來自所有的彩色信道的信 息。在特定實施例中，圖像是根據(jù)所有的所述彩色信道的組合或根據(jù)亮 度值而被穩(wěn)定的。
圖像穩(wěn)定化由對顯示圖像序列起作用的第 一穩(wěn)定器和對歸檔圖像 序列起作用的第二穩(wěn)定器提供。使用過大尺寸的成像器獲取的和然后被 復制的圖像的序列被修剪成兩個不同輸出圖像序列所需要的尺寸。在這 兩種情形下，輸出窗口都規(guī)定了要被修剪的區(qū)域。輸出窗口在過大尺寸 的成像器所獲取的原始圖像的極限范圍內(nèi)移動以便補償抖動。第 一穩(wěn)定 器確定在當前的幀中存在的不需要的照相機運動，并生成經(jīng)穩(wěn)定的圖像 作為輸出，該圖像被發(fā)送到顯示器。歸檔的圖像序列的圖像首先被發(fā)送 到圖像緩存器。第二穩(wěn)定器確定在緩存的幀中存在的不需要的照相機運 動，這個緩存的圖像被視頻編碼器編碼，并最后被存儲在存儲器中。
獲取的圖像可被變換到不同的彩色空間然后再穩(wěn)定化。例如，圖3 顯示一個實施例，其中使用第一和第二穩(wěn)定器的穩(wěn)定化是在把由成像器 獲取的彩色濾色器陣列(CFA)數(shù)據(jù)變換到Y(jié)CbCr或RGB彩色空間之后 而執(zhí)行的。穩(wěn)定器可以作用在多色圖像數(shù)據(jù)，或一個或兩個穩(wěn)定器可以 分別作用在圖像數(shù)據(jù)的Y分量或G分量。
獲取的圖像可以立即被穩(wěn)定。穩(wěn)定化可以利用成像器獲取的彩色濾 色器陣列(CFA)數(shù)據(jù)或該CFA數(shù)據(jù)的一個或多個分量而進行工作。例
如，圖4顯示一個實施例，其中穩(wěn)定化是使用第一和第二穩(wěn)定器對成像
器所獲取的彩色濾色器陣列(CFA)數(shù)據(jù)執(zhí)行的。彩色濾色器陣列數(shù)據(jù) 的例子是在美國專利No.3,971,065中描述的來自熟知的Bayer才莫式陣列 的數(shù)據(jù)。CFA數(shù)據(jù)的使用減小處理要求，因為輸出圖像序列小于輸入圖 像序列，該輸出圖像序列此后被變換成不同的彩色空間。在Bayer模式 CFA數(shù)據(jù)中，每個像素位置包含一個彩色信道的數(shù)據(jù)紅色、綠色、藍 色。穩(wěn)定器可以作用在多彩色圖像數(shù)據(jù)上，或一個或兩個穩(wěn)定器可以作 用在圖像數(shù)據(jù)的綠色分量上。
兩個穩(wěn)定器都可以作用在同一個圖像數(shù)據(jù)，CFA或變換的彩色空 間，或一個穩(wěn)定器作用在CFA數(shù)據(jù)上，而另一個穩(wěn)定器作用在經(jīng)變換成 一個不同的彩色空間的圖像數(shù)據(jù)上。
經(jīng)穩(wěn)定的圖像數(shù)據(jù)被發(fā)送到在照相機背面的顯示器(諸如液晶顯示 器)以及被發(fā)送到視頻編碼器，后者通過使用MPEG或H.263壓縮標準 產(chǎn)生編碼的視頻流，并把它存儲在存儲器中。
圖5顯示了第一穩(wěn)定器70的實施例。第二穩(wěn)定器72可以具有相同 的特征。參照圖1和5,第一穩(wěn)定器70具有運動估計單元201,它計算 在顯示圖像序列18的兩個顯示圖像22之間的運動。
在這里詳細地討i侖的特定的實施例中，計算了在序列中4妄連的圖像 之間的運動。然而，本領(lǐng)域技術(shù)人員將會看到，在給予足夠的計算和存 儲器資源時，在多個幀上獲取的運動估值可以以同樣的方式被組合，以 提高各個幀到幀的運動估值的魯棒性和精確度。在特定的實施例中，運
動估計單元提供單個全局變換運動估值，包括水平分量和垂直分量。
再次參照圖1和5,運動估值然后由抖動估計單元202處理以確定 起因于照相機抖動的運動分量。應(yīng)當指出，通常，估計的運動包括故意 的運動，諸如照相機拍4聶全景；和由于照相機抖動造成的非故意的運 動。
在計算出抖動后，圖像移位/翹曲單元203識別傳感器圖像數(shù)據(jù)(輸 出窗口 )，這個數(shù)據(jù)是要用來提供經(jīng)穩(wěn)定的顯示圖像序列30的輸出圖 像204的。在優(yōu)選實施例中，運動是按全局變換值來估計的，而抖動則 按單個全局變換水平和垂直偏移值來計算。本領(lǐng)域技術(shù)人員將會認識 到，在給定足夠的計算資源時，用于估計旋轉(zhuǎn)的更復雜的運動模型或可 用的通用仿射變換，允許以后更加 一 般的圖像翹曲以校正非故意的抖
動。
在特定實施例中，圖像移位/翹曲單元203例如通過舍入或截斷而把 累積的抖動值調(diào)節(jié)到整數(shù)值。對給定的尺寸過大的傳感器數(shù)據(jù)，取整數(shù) 值的偏移容易得到補償。非整數(shù)偏移需要插值和另外的計算數(shù)據(jù)。圖6-8 顯示穩(wěn)定器70對于全局變換的抖動偏移值的總體性能。傳感器數(shù)據(jù)(原 始數(shù)字圖像)301包含比視頻的最終分辨率所需要的更多的像素。
參照圖6，在任何穩(wěn)定化之前，確定輸出窗口 302的中心，使得傳 感器數(shù)據(jù)的處在中心的內(nèi)部區(qū)域作為在輸出圖像序列中要被使用的圖 像數(shù)據(jù)而提供。在穩(wěn)定化期間，輸出窗口 302在可用的圖像數(shù)據(jù)的邊界 內(nèi)，左右地和上下地移位。在向上和向右的方向上最大可能的偏移分別 由箭頭304和303顯示。圖7顯示在向下的垂直偏移404和向右的水平 偏移403之后的輸出窗口 302的位置。圖8顯示邊界的情形，其中利用 了最大可能的抖動校正。在這種情形下，向下的垂直偏移504和向右的 水平偏移503處于最大值，而且通過使用可用的圖像數(shù)據(jù)以進一步進行 抖動校正是不可能的。優(yōu)選地，累積的水平和垂直抖動項在最大可能的 數(shù)值處被修剪，以避免對可用的傳感器數(shù)據(jù)以外的圖像數(shù)據(jù)的要求。
在運動估計時，要分析兩個或多個圖像以確定抖動。為了方便起 見，以下的討論總的針對在序列中的兩個接連的圖像。將會看到，同樣 的考慮適用于以后的成對圖像的分析，以及在三個或更大的和非接連的 圖像的組中的圖像的分析。
在兩個圖像之間的相對抖動可能是復雜的，以及該抖動的完全校正 可能需要一個或多個圖像變換，包括旋轉(zhuǎn)、翹曲、和一般的仿射變換。 這里的方法是針對有限的計算資源的情形的。已確定，簡化的運動估值 對去除由于拍攝者的不穩(wěn)固而造成的多個抖動是有利的。該簡化的運動 估值具有一個全局運動向量，它包含水平的和垂直的分量。
在本發(fā)明的特定實施例中，輸出窗口被調(diào)節(jié)，以便完全地保持在相 應(yīng)的輸入圖像的邊界內(nèi)。換句話說，輸出圖像被完全保持在各個輸入圖 像的視場內(nèi)。這避免由于輸入窗口的有限視場造成的在輸出窗口中出現(xiàn) 部分圖像的情形。來自早先各幀中附加信息等可用來補充圖像，例如， 如在美國專利5,289,274中公開的那樣，但由于增加的復雜性和處理這 樣的信息所需要的時間，這樣的方法是不希望的。
輸出窗口只有在達到邊界時才可停止，或抖動校正可被調(diào)節(jié)到能衰 減輸出窗口朝向邊界的運動。前 一 種情形是作為對最大幅度的累積的抖 動的約束而提供的。這提供兩個用途第一，施加了與視場限制相對應(yīng)
的物理約束條件；以及第二，累積的抖動的約束可以防止在故意的拍攝
全景期間由于把運動的相位延遲誤分類為抖動而造成經(jīng)抖動校正的視 頻過于落后。
相對于以前幀，對單個幀的最大抖動校正也可以或替代地設(shè)立邊 界。在給定了人手搖動幅度已知的物理特性以及照相機特性后，可以計 算最大預期的抖動幅度(以像素計)。這種約束條件可以通過阻止對單 獨幀的過度的抖動校正而改進魯棒性。
在不同條件下作為運動估計技術(shù)的整體投影可能失敗。在某些條件 下，有些失敗可以通過對抖動校正值或分量與試探地預定的閾值進行比 較而得以緩和。
這些條件中的一個是當場景包含重復的模式時使得多個不同的運 動估值產(chǎn)生類似的成本。這種情形可以通過不單查明最佳的運動估值， 而且也查明第二和第三最佳的運動估值而被識別。在正常環(huán)境下，這三 個最佳的運動估值將被集合在一起。如果在它們之間的差值大于預定的 閾值，則可以存在重復的模式。在這種情形下，各種抖動分量可以被取消。
基于整體投影的運動估計可能失敗的另一個條件是當場景具有非 常小的對比度或內(nèi)容時。在這種情形下，所有的運動估值具有相似的精 度，以及可能由于噪聲而一皮4普誤地確定最佳偏移。這種情形可以通過跟 蹤所有的運動估值的平均成本以及跟蹤最佳成本而得到識別。如果在平 均成本與最佳成本之間的比值太小，則它假設(shè)一個具有少量的內(nèi)容的場 景以及各個相應(yīng)的抖動分量被清除。
可能導致運動估計失敗的另一個情形是獨立運動的目標從一個圖 像引入到下一個圖像。在這種情形下，可能沒有產(chǎn)生低成本的運動偏 移。這種情形可以通過比較最佳的運動估值的成本與 一 個閾值而被識 別。如果超過了閾值，則抖動分量被清除。
可能導致運動估計失敗的另一個情形是從一個幀到下一個幀的照 明的改變。這種情形可以通過把整體投影向量中的數(shù)值相加以得到對每 個向量的總的強度值而被解決。這些數(shù)值可用來在估算各個運動估值偏 差之前把投影向量歸 一化。
在計算資源受約束的實施例中，抖動校正項被舍入到最接近的整 數(shù)，以避免需要內(nèi)插。對于其中色度分量在水平方向上以2作為因子進
行子采樣的YCbCr數(shù)據(jù)，可能必須把抖動校正值舍入到最接近的2的倍 數(shù)，以使得色度數(shù)據(jù)正確地對準。舍入可以以不同的方式提供。 一個解 決方案是簡單地使用累積的抖動的舍入值(A[n])作為對于每個幀的偏 移值。這個方法是筒單的，但會加重在接連的幀之間的抖動。避免以上 的問題的更優(yōu)選的方法是相對于以前的幀計算每個幀的單個抖動，然后 把這個值舍入。最終得到的數(shù)值圍繞一個零均值的擺動可以通過迫使各 個舍入操作在減小量化誤差的方向上進行而得以減小。 顯示圖像穩(wěn)定化
現(xiàn)在參照圖1， 3和5-8,在顯示路徑上的圖像22由第一穩(wěn)定器70 接收。輸入圖像22被分析以確定抖動。(如有需要，輸入圖像的分析 可以對兩條路徑各提供一次。)輸出窗口 302根據(jù)所確定的抖動被映射 到輸入圖像上。映射至少部分補償抖動。輸入圖像被修剪到輸出窗口以 提供相應(yīng)的輸出圖像。修剪與圖像序列的獲取同時進行，輸出圖像優(yōu)選 地被顯示給拍攝者。修剪可以用相應(yīng)的輸出圖像來替代存儲器中的輸入 圖像，或可以把輸入圖像和輸出圖像保持在存儲器。對于典型的存儲器 存儲，圖像信息被存儲在以光柵掃描方式排列的緩存器中。本方法以該 數(shù)據(jù)的整體移位的方式水平地和垂直地移動數(shù)據(jù)。這種移位在圖像數(shù)據(jù) 中不引入失真，并且可以非常快速地完成。
第 一穩(wěn)定器的穩(wěn)定化方法允許使用中等的處理資源快速地進行圖 像序列數(shù)字穩(wěn)定化，這使得它們特別適用于照相機中的圖像序列穩(wěn)定 化。這個方法可應(yīng)用于獲取期間的實時使用。在這種情形下，方法是向 后觀看的，即，在圖^象穩(wěn)定化時僅僅使用過去的和當前的幀。本方法也 可以用于在圖像序列獲取后的處理。在這種情形下，方法是同時向后觀 看和向前觀看的，即，在圖像穩(wěn)定化時使用過去的、當前的、和將來的 幀。
由于幾個原因在獲取時進行的穩(wěn)定化是有利的。在取景器或照相機 顯示器中提供的經(jīng)穩(wěn)定的輸出圖像序列給拍攝者提供了較好的反饋。經(jīng) 穩(wěn)定的輸出圖像序列易于存儲。在數(shù)字穩(wěn)定化中， 一般把一個尺寸過大 的電子成像用于圖像獲得。術(shù)語"過大尺寸"涉及到一個獲取具有比在輸 出圖像上呈現(xiàn)的更大視場的輸入圖像的成像器。額外的像素在穩(wěn)定化時
被使用，或在產(chǎn)生輸出圖像時被丟棄。要存儲的輸出圖像比輸入圖像更 小。在獲取時的穩(wěn)定化允許存儲輸出圖像而不是輸入圖像。在獲取時進 行的穩(wěn)定化的另外的優(yōu)點在于，穩(wěn)定化使用的是以前沒有經(jīng)歷過一個或 多個壓縮/解壓縮循環(huán)的圖像序列。這樣的循環(huán)在以后的數(shù)字穩(wěn)定化期間
會引起偽像。
在穩(wěn)定化時，輸出窗口的運動是基于在兩個正交方向上兩個不同的 圖像之間的運動組合的投影向量相比較的結(jié)果。第一穩(wěn)定器具有運動估 計單元，它計算在序列的兩個圖像之間的運動。每個圖像的組合投影向 量是該圖像在一個相應(yīng)方向上非重疊的局部投影向量的組合。在特定實 施例中，僅僅計算在序列中接連的圖像之間的運動。然而，本領(lǐng)域技術(shù) 人員將會看到，在給定足夠的計算的和存儲器的資源時，在多個幀上獲 取的運動估值也可以被計算，以便提高各個單獨的幀到幀的運動估值的 魯棒性和精確度。
在特定實施例中，運動估計單元提供單獨的全局平移運動估值，包 括水平分量和垂直分量。運動估值然后由抖動估計單元進行處理，以確 定歸因于抖動的運動的分量。估計的運動可以限于由于照相機抖動造成 的非故意運動，或可包括諸如照相機拍攝全景那樣的故意的運動和由于 照相積j牛動造成的非故意運動。
在特定實施例中，在產(chǎn)生全局運動向量時使用整體投影向量。完全 幀整體投影的操作是把二維圖像投影到在兩個正交方向上的兩個 一 維 向量上。這兩個方向與輸入圖像的像素陣列上的重復單元對準。這典型 地對應(yīng)于電子成像器中的像素陣列。這里為了方便起見，討論通常限于 具有矩形陣列的重復單元的實施例，其兩個方向通常稱為"水平的"和"垂 直的"。將會看到，這些術(shù)語是互相相對的，并且不一定對應(yīng)于圖像和 成像器的主方向。
水平和垂直完全幀整體投影向量是通過把在每列中的圖像元素相 加以形成水平投影向量和把在每行中的圖像元素相加以形成垂直投影
向量而形成的。這個概念和子采樣顯示于圖9-10。
在圖9上，垂直投影向量603是通過把在全部Y分量圖像數(shù)據(jù)602 內(nèi)的各個數(shù)據(jù)點601相加而形成的。在一個特定實施例中，當形成垂直 投影向量時，僅僅使用圖像數(shù)據(jù)子組。僅僅使用圖像數(shù)據(jù)子組可以減小 運動估計算法的計算復雜性。在圖9上，每行圖像數(shù)據(jù)中的每六個像素
只有一個像素被包括在行的總和中。另外，在求和時僅僅考慮每隔一行 的行。
同樣，圖10顯示作為在全部Y分量圖像數(shù)據(jù)702內(nèi)的各個數(shù)據(jù)點 701的總和而形成水平投影向量703。在一個特定實施例中，當形成水 平投影向量時，僅僅使用圖像數(shù)據(jù)子組。僅僅使用圖像數(shù)據(jù)子組可以減 小運動估計算法的計算復雜性。在圖10上，每列圖像數(shù)據(jù)的每四個像 素只有一個像素被包括在列的總和中。另外，在求和時僅僅考慮每隔一
列的列。
經(jīng)由整體投影估計運動的許多負擔存在于投影向量的初始計算 中。如有需要，這種復雜性可以以兩種方式減小。第一，對每個投影和 有影響的元素的數(shù)目可以通過子采才羊來減小。例如，當對列向下求和， 以形成水平投影向量時， 一列的每兩個元素只有一個被包括在總和中。 可以通過減小投影向量的密度而實現(xiàn)第二子采樣。例如，當形成水平投 影向量時，僅包括投影向量中每兩列中的一列。這種類型的子采樣進一 步減小了復雜性，因為它也減小尋找最佳偏移的后隨的匹配步驟的復雜 性，但它以降低運動分辨率為代價。
可以試探地選擇用于水平和垂直投影向量的成像數(shù)據(jù)子組，在此應(yīng) 當了解減小像素數(shù)目可以減小計算負擔，但也降低精度。為了精度的目 的，當前優(yōu)選的是全部子采樣所減小的樣本數(shù)不大于4:1-6:1的比值。
在本方法中，對每個圖像計算非重疊的局部投影向量。這些向量是 限于圖像的不同部分的投影向量。根據(jù)這些局部投影向量計算運動估 值。使用這些局部投影向量而不是使用完全幀投影向量，減小了在圖像 內(nèi)獨立運動的目標對運動估值的影響。
已確定，為了良好的結(jié)果，在每個方向上局部投影向量的數(shù)目不需 要很大。例如，在圖n所示的具體實施例中，局部投影向量表示在相 同方向上一個完全幀投影向量的四個四分之一。
一旦計算了兩個幀的局部投影向量，就可以獨立地估算在幀之間的
7JC平和垂直運動^古j直。
圖11顯示對兩個圖像的相應(yīng)局部區(qū)域之間的相應(yīng)局部才殳影向量進
行的比較。給定了長度M的水平投影向量和R個像素的搜索范圍，把 來自幀n-]的投影向量的中心的長度M-2R的局部向量801與在各個偏 移802, 803處來自幀n的局部向量進行比較。能產(chǎn)生最佳匹配的比較
結(jié)果被選擇為提供在相應(yīng)方向上的運動估值的抖動分量。最佳匹配被規(guī) 定為在被比較的兩個向量之間產(chǎn)生最小距離的偏移。通常的距離度量包
括最小平均絕對誤差(MAE)和最小均方誤差(MSE)。在一個特定實 施例中，絕對差值之和被用來作為比較局部向量的成本函數(shù)，而具有最 低成本的比較結(jié)果是最佳的匹配。
參照圖12，把來自幀n-l的投影向量的中心的長度M-2R的局部向 量901與在偏移902處來自幀n的局部向量進行比較。這些局部向量還 被劃分成更小的局部向量，它們把輸出窗口劃分成段。這示于圖12,其 中局部向量902被劃分成四個四分之一尺寸的局部向量903。可以對每 個局部向量903計算各個單獨的成本，同樣可對完全幀向量分開地或通 過組合各個局部幀向量成為組合的向量而計算成本。如果來自所有的四 分之一部分的差值(絕對值或平方的)被組合，則得到完全幀整體投影 距離的度量。最后的全局運動估值可以從所有的最佳估值中間進行選 擇。這種靈活性使得整體投影運動估值技術(shù)對于在場景中獨立地移動目 標更魯棒，這種場景可能使得總的圖像無法與以前的圖像達到良好的匹 配，即使圖像的較小分段可以有極佳的匹配。
在特定實施例中，各四分之一的部分被組合以產(chǎn)生圖像的 一半?yún)^(qū)域
的距離度量值
第一和第二個四分之一部分產(chǎn)生左半個圖像的距離度量；
第三和第四個四分之一部分產(chǎn)生右半個圖像的距離度量； 第一和第四個四分之一部分產(chǎn)生外面"半個"(在面積上等于一半圖
像的兩個分開的部分)的距離度量；以及
第二和第三個四分之一部分產(chǎn)生圖像的里面一半的距離度量。 一,代或除了計算在所有的四個四分之一部分的最佳匹配的偏移以 外，還可以對每個一半?yún)^(qū)域的最佳匹配計算各個偏移。這些另外的偏移 可以提高運動估值的魯棒性，這例如要通過選擇在五個可能值中間的中 值偏移，或要通過用最佳一半?yún)^(qū)域偏移替代全部區(qū)域偏移，如果全部區(qū) 域偏移被認為是不可靠的話。這在具有一個麻煩的獨立運動的目標(諸 如在顯示體育比賽的序列中一個球迷舉手)的場合下是有用的。球迷的 手將擾亂完全幀整體投影計算，但它不出現(xiàn)在來自外部的 一半?yún)^(qū)域的測 量中，
在運動估計過程中可以通過投影向量的內(nèi)插而得到改進的精度。圖
13顯示插值過程。通過把現(xiàn)有的元素復制在插值向量的所有偶數(shù)下標 處，并把各數(shù)值賦予在等于相鄰偶數(shù)值下標的平均值的奇數(shù)值下標處的
元素，把大小為n的投影向量1001內(nèi)插到大小為2n-l的向量中(標號 1002 )。這個過程可以由具有相加和移位運算的^5更件或軟件有效地完 成。
由于在整體投影中使用的相加函數(shù)是線性函數(shù)，對投影向量插值等 效于對原先的圖像數(shù)據(jù)進行插值和然后形成投影向量。然而，對投影向 量進行插值的復雜性低得多。
在一個特定實施例中，插值提供半像素偏移。由于投影運算是線性 的，投影向量可以進行插值，這比起把整個圖像進行插值和從插值后的 圖像數(shù)據(jù)形成半像素投影向量在計算上有效得多。參照圖13，向量是通 過計算作為現(xiàn)有的相鄰點的平均值的中點的新的數(shù)值而進行插值的。把
除以2作為向右移位1比特是容易實施的。最終得到的向量三元組是為 了最佳匹配而進行估算的。
插值后的向量可以在^壬4可運動估值偏移比壽交之前一皮建立，以及最佳 偏移是根據(jù)使用用于比較的經(jīng)過插值的向量而得到的最低成本而確定 的。替換地，來自兩個圖像的非插值向量首先被比較，以確定最佳的粗 略運動估值。隨后，插值后的向量只在與最佳當前估值相鄰的偏移處進 行比較以便提供對運動估值精度的改進。
給定了與最佳偏移有關(guān)的距離和它的兩個相鄰的偏移，可以對連續(xù) 的距離函數(shù)建模，以得出更精確的運動估值。為距離測量而選擇的模型 取決于究竟使用平均絕對誤差(MAE)還是使用均方誤差(MSE)作為 距離度量。如果使用MSE作為距離度量，則連續(xù)距離函數(shù)按二階建模。 拋物線可以與三個選中的偏移和它們的相關(guān)的距離相擬合。如果使用 MAE作為距離度量，則連續(xù)距離函數(shù)按逐段線性函數(shù)建模。
一旦計算了運動估值，就必須確定例如由于照相機拍攝全景而需要
的是哪個運動分量，和哪個運動分量是由于照相機抖動引起的。在簡單 的情形下，當需要的運動被認為是零，則所有的估計的運動可被歸類為 抖動，并且從序列中去除。然而，通常，可能有某些需要的照相機運動 伴隨著不需要的照相機抖動。典型的故意的照相機運動是低頻的，不會 大于l-2Hz，而手顫抖通常出現(xiàn)在2-10Hz。因此，可以對運動估計使用 低通時間濾波來消除高頻抖動。
除了具有消除高頻抖動信息的特定的頻率響應(yīng)以外，這種穩(wěn)定化路 徑所用的理想的低通濾波器也需要具有最小相位延遲。在故意的拍攝全 景運動期間，過大的相位延遲會導致大多數(shù)初始拍攝全景運動被誤歸類 為抖動。在這種情形下，經(jīng)穩(wěn)定的序列滯后于序列的需要的拍攝全景運 動。零相位濾波器需要非因果濾波，并造成在圖像的獲取與它在照相機 背面的顯示之間的時間延遲。在優(yōu)選實施例中，利用因果濾波方案，它 使得相位延遲最小化，而在照相機顯示器上顯示穩(wěn)定化的圖像之前不引 入4壬何時間延遲。
在一個特定實施例中，運動估值被低通時間濾波以去除拍攝全景的 影響，即故意的照相機運動的影響。這種濾波依賴于一種確定，即合理
地^i設(shè)任何需要的照相才幾運動具有非常低的頻率，不大于l或2Hz。這 與手的抖動不同，通常都知道它出現(xiàn)在2-10Hz之間。低通時間濾波因 此可被應(yīng)用于運動估值以消除高頻抖動信息，而同時保持任何故意的低 頻照相才幾運動。
在優(yōu)選實施例中，經(jīng)穩(wěn)定的圖像序列是在獲取期間可觀看到的。這
序列的獲取與該序列的顯示之間的時間延遲。(非因果時間濾波使用序 列中來自以前的和以后的圖像的數(shù)據(jù)。因果時間濾波局限于以前的 幀。)
因果時間濾波器，不像非因果時間濾波器，往往呈現(xiàn)過大的相位延 遲。這在任何實施例中是不需要的。在故意的拍攝全景運動期間，過大 的相位延遲會導致大多數(shù)初始拍攝全景運動被誤歸類為抖動。在這種情 形下，穩(wěn)定后的序列會滯后于序列中需要的跟蹤拍攝的運動。
在一個具體實施例中，全局運動估值被輸入到遞歸濾波器(無限脈
沖響應(yīng)濾波器)，它被設(shè)計為對于已知的手抖動頻率具有良好的頻率響 應(yīng)，并有良好的相位響應(yīng)，使得經(jīng)穩(wěn)定的圖像序列的相位延遲最小化。 濾波器由以下公式給出
<formula>formula see original document page 31</formula>
其中A[n]是幀n的累積的抖動，
v[n]是幀n的算出的運動估值，以及
a是其值在0和l之間的衰減因子。
對于幀n,在經(jīng)穩(wěn)定的序列中所使用的傳感器圖像數(shù)據(jù)周圍的有邊 界的方塊(在這里也稱為"輸出窗口")相對于它的初始位置被移位 A[n]。累積的抖動在x方向和y方向被獨立地跟蹤，項v[n]通常代表在
該兩個方向中的一個相應(yīng)方向的運動。作為計算上更復雜的替換例，濾 波器可一t修改成同時^艮蹤兩個方向上的運動。優(yōu)選i也，這個^^式獨立i也 應(yīng)用于水平和垂直運動估計。
衰減因子oc被用來當沒有運動時操控累積的抖動使之趨于0以及它 控制濾波器的頻率和相位響應(yīng)。衰減因子a能隨不同的幀而自適應(yīng)地改 變以考慮到估計的運動中的增加或減小。通常，a值接近于1時導致大 多數(shù)經(jīng)估值的運動被歸類為抖動。當a減小趨于零時，大部分經(jīng)估值的 運動被保持。oc的適當?shù)臄?shù)值、范圍或a的離散數(shù)值組可以針對特定的用 戶或用戶類別或呈現(xiàn)類似抖動的用途試探性地確定。典型地，手的抖動 至少是2Hz,因而2Hz或所有更高的頻率可被認為是抖動。還可以對運
動估值是否不可靠作出決定，例如，當諸如行駛中的汽車那樣的運動目 標被錯誤地跟蹤時，即使照相機是穩(wěn)定的，運動估值也是不可靠的。在 這種情形下，抖動累積過程由用戶輸入進行修改或自動進行修改，以便 不必計算對于當前的幀的任何另外的抖動。優(yōu)選地，累積的抖動保持為
恒定的，如果運動估值^^確定為不可靠的話。
最大允許的抖動校正也受到約束，如圖6-8所示。為了加強這種約 束，大于這個極限值的A[n]的數(shù)值被修剪，以防止校正嘗試超出原始獲 取的圖像的邊界。
在計算資源被約束的優(yōu)選應(yīng)用中，抖動校正項被舍入到最接近的整 數(shù)以避免需要進行插值。對于色度分量在水平方向上以2的因子被子采 樣的YCbCr數(shù)據(jù)中，有可能必須把抖動校正值舍入到最接近的2的倍 數(shù)，以使得色度數(shù)據(jù)正確地匹配。
歸檔圖像的穩(wěn)定化
現(xiàn)在更詳細地描述第二穩(wěn)定器。第二穩(wěn)定器被設(shè)計成使得當計算幀 n的運動的抖動分量時，存在來自以前的和將來的幀的運動估值，以允 許比在第 一穩(wěn)定器中更精確地計算抖動，該第 一穩(wěn)定器僅僅依賴于當前 的和以前的運動估值。
在一個特定實施例中，由第二穩(wěn)定器使用的緩存和抖動計算方案在
計算對應(yīng)于幀n的抖動時包括了對幀n-k到n+k的運動估值。由于幀n+k 成為對于處理是可用的，運動估計技術(shù)用來計算對當前幀的運動，并把 它添加到運動估值陣列。優(yōu)選地，抖動是使用非因果低通濾波器計算 的。從在幀n處原始運動估值中減去在幀n處低通濾波的運動估值，以 產(chǎn)生相應(yīng)于高頻抖動的運動的分量。累積的抖動計算由以下公式給出
其中J[n]是對幀n計算出的抖動。它是在原始運動估值v[n]與通過對運 動估值v[]與濾波器抽頭h[]進行巻積而給出的低通濾波的運動估值之間 的差值。累積的抖動A[n]是通過求出以前的累積的抖動與當前的抖動項 的和而給出的。A[n]代表對于幀n的需要的抖動校正值。
給出了需要的抖動校正項A[n]后，從用于保存自幀n到幀n+k的所 有圖像的圖像緩存器獲取幀n。要編碼的幀n的傳感器數(shù)據(jù)區(qū)域根據(jù)A[n] 被調(diào)節(jié)。這個數(shù)據(jù)被傳送到視頻編碼器，或直接傳送到存儲器以便進行 存儲而不用壓縮。
由濾波和緩存方案使用的特定的k值可以根據(jù)存儲圖像可得到的緩 存器空間的總量和其它準則進行選擇。通常，可得到的運動估值的幀越 多，則濾波方案能更加接近于達到需要的頻率響應(yīng)。由h[]給出的濾波 器抽頭的特定的值取決于濾波器的需要的頻率響應(yīng)，它進而又依賴于運 動的抖動分量的假設(shè)的頻率范圍，同樣也依賴于圖像序列的獲取幀的速
這里/>開的特定的穩(wěn)定化技術(shù)可以被使用于如先前描述的那樣的 照相機和系統(tǒng)，但它們沒有提供雙路徑穩(wěn)定化。
在以下的編號的句子中進一步描述特性。1.圖像序列穩(wěn)定化方法 包括以下步驟獲取輸入數(shù)字圖像序列；計算所述序列的每個第一和第 二輸入圖像的多個非重疊的水平局部投影向量；計算所述序列的每個第 一和第二輸入圖像的多個非重疊的垂直局部投影向量；估算所述第一和 第二輸入圖像的相應(yīng)的所述水平的局部投影向量以提供在水平方向上
特性
的抖動分量；估算所述第一和第二輸入圖像的相應(yīng)的所述垂直的局部投
影向量以提供在垂直方向上的抖動分量；以及從所述抖動分量確定抖動 校正值。2.句子1的方法，其中所述估算步驟每個還包括從相應(yīng)的所 述向量計算運動估值；以及對相應(yīng)的所述運動估值進行時間濾波，以提 供相應(yīng)的所述抖動分量。3.句子2的方法，其中所述計算步驟還包括 把所述第 一輸入圖像的相應(yīng)的所述局部投影向量組合成多個不同的第 一組合向量；把所述第二輸入圖像的各個所述局部投影向量組合成多個 不同的第二組合向量；以及在不同的相對偏移處比較相應(yīng)的所述第 一 和 第二組合向量。4.句子3的方法，其中所述計算還包括選擇相應(yīng)的所 述偏移的最佳匹配。5.句子4的方法，其中所述計算還包括以小于一 個完整像素的增量對相應(yīng)的所述局部投影向量的所述偏移進行插值。
6. 句子4的方法，其中所述選4奪還包括確定各個所述最佳匹配的中值。
7. 句子3的方法，其中在每個方向上每個圖像的所述局部投影向量每 個都是完全幀投影向量的不同的四分之一部分，以及所述組合向量包括 相應(yīng)的所述局部投影向量對的多個不同組合。8.句子7的方法，其中 所述組合向量包括在每個所述方向上規(guī)定完全幀向量的相應(yīng)的所述局 部投影向量的組合。9.句子2的方法，其中所述濾波還包括低通時間 濾波。10.句子l的方法，其中所述估算步驟每個還包括計算對每個所
所述第 一 圖像的所述抖動分量，所述濾波使用由以下公式給出的濾波 器A[n]- aA[n-l]+ocv[n]，其中A[n]是所述第一圖像n的所述累積的 抖動，v[n]是所述第一圖像n的各個所述運動估值，以及oc是其值在0 與l之間的衰減因子。11.句子1的方法還包括以下步驟把所述第一 輸入圖像修剪到預定的輸出窗口中以提供第一輸出圖像；把所述窗口移 位所述抖動校正值以提供經(jīng)調(diào)節(jié)的窗口 ；以及把所述第二輸入圖像修剪 到所述調(diào)節(jié)的窗口中以提供第二輸出圖像。12.句子11的方法，其中 所述修剪所述第一和第二輸入圖像是在所述獲取期間進行。13.句子ll 的方法還包括在所述獲取期間顯示所述輸出圖像。14.句子ll的方法， 其中所述圖像被獲取作為彩色濾波器陣列數(shù)據(jù)以及所述方法還包括在 所述獲取后，把來自所述彩色濾波器陣列數(shù)據(jù)的所述圖像變換成與成像 器無關(guān)的彩色空間的步驟。15.句子l的方法，其中所述各估算步驟是 互相獨立的。16.句子1的方法，其中所述確定還包括把所述抖動校正
限制到把所述輸出窗口保持在所述第二輸入圖像的邊界內(nèi)的數(shù)值。 17.句子l的方法，其中所述計算步驟每個還包括對所述輸入圖像進行 子采樣，以提供子樣本和從所述子樣本計算所述向量。18.用于圖像序 列穩(wěn)定化的計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括計算機可讀的存儲 媒體，具有被存儲在其上用于執(zhí)行句子1各步驟的計算機程序。19.圖
像序列穩(wěn)定化方法包括以下步驟獲取輸入圖像的序列；計算所述序列 的每個第 一和第二輸入圖像的多個非重疊的水平的和垂直的局部投影 向量；把所述第 一輸入圖像的所述水平局部投影向量組合成多個不同的 水平第一組合向量和把所述第一輸入圖像的所述垂直局部投影向量組
合成多個不同的垂直第一組合向量；以及把所述第二輸入圖像的所述水 平局部投影向量組合成多個不同的水平的第二組合向量和把所述第二 輸入圖像的所述垂直局部投影向量組合成多個不同的垂直的第二組合 向量；在不同的相對偏移處比較相應(yīng)的所述第一和第二組合向量；選擇 相應(yīng)的所述偏移的最佳匹配并根據(jù)相應(yīng)的最佳匹配計算在每個所述方
述抖動分量；以及從所述抖動分量確定抖動校正值。20.句子19的方 法，其中所述組合向量包括在每個所述方向上規(guī)定完全幀向量的相應(yīng)的 所述局部投影向量的組合。21.句子19的方法，其中所述水平和垂直 抖動分量是獨立確定的。22.句子19的方法還包括以下步驟把所述 第一輸入圖像修剪到預定的輸出窗口中以提供第一輸出圖像；把所述窗 口移位所述抖動校正值以提供經(jīng)調(diào)節(jié)的窗口 ；以及把所述第二輸入圖像 修剪到所述經(jīng)調(diào)節(jié)的窗口以提供第二輸出圖像；以及在所述獲取期間顯 示所述輸出圖像。23.句子22的方法，其中所述確定還包括把所述抖 動校正限制在用于把所述輸出窗口保持在所述相應(yīng)的所述圖像邊界內(nèi) 的數(shù)值。24.句子19的方法，還包括當相應(yīng)的所述最佳匹配超過預定 的閾值時，清除所述抖動分量。25.句子19的方法，還包括當相應(yīng)的 所述最佳匹配的向量與相應(yīng)的所述向量的其余部分的平均值之差小于 預定閾值時，清除各所述抖動分量之一。26.句子19的方法，還包括 查明所述第一和第二輸入圖像的相應(yīng)的所述組合向量的第二和第三最 佳偏移；以及當在相應(yīng)的所述最佳匹配、第二最佳匹配、和第三最佳的 匹配向量之間的差值超過閾值時，清除所述各抖動分量之一。27.句子 19的方法，其中所述計算步驟每個還包括對所述第二圖像的一個或多個
所述局部投影向量進行插值，以提供經(jīng)插值的局部投影向量。28.句子 27的方法，其中所述經(jīng)插值的局部投影向量位于相對于所述第二圖像的
相應(yīng)的所述局部投影向量的+ l/2像素和-l/2像素的偏移處。29.句子19 的方法還包括在所述查明后，在相對于所述第一圖像的所述水平局部 投影向量的+ l/2像素和-l/2像素的附加偏移處對具有所述最佳匹配的所 述第二圖像的所述水平局部投影向量進行插值，以提供水平局部投影向 量三元組，并重新確定在所述向量三元組的所述局部投影向量與所述第 一圖像的所述局部水平投影向量之間的最佳匹配；以及在所述查明后， 在相對于所述第一圖像的所述垂直局部投影向量的+ l/2像素和-l/2像素 的附加偏移處對具有所述最佳匹配的所述第二圖像的所述垂直局部投 影向量進行插值，以提供垂直局部投影向量三元組，以及重新確定在所 述向量三元組的所述局部投影向量與所述第一圖像的所述局部垂直投 影向量之間的最佳匹配。30.句子29的方法，其中所述查明步驟每個 還包括4巴相應(yīng)的所述向量三元體與距離函數(shù)相似合。31.獲取設(shè)備包 括電子成像器，用于獲取輸入圖像的序列；圖像處理器，用于從所述 成像器接收所述輸入圖像，所述圖像處理器通過計算所述序列的每個所 述輸入圖像的多個非重疊的水平的和垂直的局部投影向量而確定抖 動，估算在每個方向上所述第一和第二圖像的相應(yīng)的所述局部投影向量 以提供在相應(yīng)方向上的抖動分量，根據(jù)所述抖動分量確定抖動校正值， 根據(jù)所述抖動校正值把輸出窗口映射到所述輸入圖像；以及把所述輸入 圖像修剪到所述輸出窗口中以提供相應(yīng)的輸出圖像；以及顯示器，用于 在所述獲取期間顯示所述輸出圖像。32.句子31的設(shè)備，其中所述映 射不響應(yīng)于所述電子成像器的拍攝全景。
權(quán)利要求
1.一種圖像序列穩(wěn)定化方法，包括以下步驟獲取輸入數(shù)字圖像序列；根據(jù)所述輸入數(shù)字圖像生成相應(yīng)的歸檔圖像序列和相應(yīng)的顯示圖像序列；自動穩(wěn)定所述歸檔圖像序列，以提供經(jīng)穩(wěn)定的歸檔圖像序列；與所述穩(wěn)定歸檔圖像不同地自動穩(wěn)定所述顯示圖像序列，以提供經(jīng)穩(wěn)定的顯示圖像序列。
2. 權(quán)利要求1的方法，還包括在所述獲取期間顯示所述經(jīng)穩(wěn)定的 顯示圖像序列。
3. 權(quán)利要求2的方法，還包括在所述顯示后丟棄所述經(jīng)穩(wěn)定的顯 示圖像序列的每個所述圖像，而僅僅保持所述歸檔圖像序列的所述圖像。
4. 權(quán)利要求3的方法，還包括以下步驟存儲所述所述經(jīng)穩(wěn)定的歸檔圖像序列，以提供存儲的圖像序列；以及在所述顯示所述經(jīng)穩(wěn)定的顯示圖像序列后，允許恢復所述存儲的圖 像序列。
5. 權(quán)利要求2的方法，其中所述穩(wěn)定所述歸檔圖像序列跟隨在所 述顯示之后。
6. 權(quán)利要求2的方法，還包括在所述顯示相應(yīng)的所述圖像后自動 刪除所述顯示圖像序列的每個所述圖像。
7. 權(quán)利要求6的方法，其中兩種所述穩(wěn)定步驟同時開始，并且所 述穩(wěn)定所述顯示圖像序列是在所述穩(wěn)定所述歸檔圖像序列完成之前完 成的。
8. 權(quán)利要求6的方法，還包括其中所述穩(wěn)定所述歸檔圖像序列跟 隨在所述刪除之后。
9. 權(quán)利要求1的方法，其中所述穩(wěn)定所述顯示圖像序列與所述穩(wěn) 定所述歸檔圖像序列無關(guān)。
10. 權(quán)利要求l的方法，其中兩個所述穩(wěn)定步驟同時開始，以及對 所述穩(wěn)定所述顯示圖像序列是在所述穩(wěn)定所述歸檔圖像序列完成之前 完成的。
11. 權(quán)利要求l的方法，還包括其中所述穩(wěn)定所述歸檔圖像序列是 向后觀看和向前觀看的，而所述穩(wěn)定所述顯示圖像序列僅僅是向后觀看 的。
12. 權(quán)利要求l的方法，其中所述各穩(wěn)定步驟的每一個還包括修剪 各個所述圖像序列的每個圖像，所述修剪是不可逆的。
13. 權(quán)利要求l的方法，其中所述穩(wěn)定步驟每個還包括以數(shù)字方式 對相應(yīng)的所述圖像序列進行穩(wěn)定。
14. 權(quán)利要求l的方法，其中所述生成還包括減小所述顯示圖像的 分辨率。
15. —種用于圖〗象序列穩(wěn)定化的計算機程序產(chǎn)品，該計算機程序產(chǎn) 品包括計算機可讀的存儲媒體，它具有被存儲在其上以便執(zhí)行權(quán)利要求 1的步驟的計算機程序。
16. —種圖像序列穩(wěn)定化方法，包括以下步驟 獲取一個圖像序列；復制所述圖像序列，以提供第一拷貝和第二拷貝； 自動以數(shù)字方式穩(wěn)定所述第一拷貝，以提供顯示序列； 不同于所述第一拷貝地自動以數(shù)字方式穩(wěn)定所述第二拷貝，以提供 一個歸檔序列；與所述獲取同時地顯示所述顯示序列。
17. 權(quán)利要求16的方法，還包括在所述顯示后自動丟棄所述顯示 序列。
18. 權(quán)利要求17的方法，還包括自動存儲所述歸檔序列。
19. 權(quán)利要求18的方法，其中所述顯示還包括對所述顯示序列進 行子采樣，以及所述存儲還包括壓縮所述歸檔序列。
20. 權(quán)利要求16的方法，其中所述穩(wěn)定所述第二拷貝比所述穩(wěn)定 所述第一拷貝更慢。
21. —種圖像序列穩(wěn)定化系統(tǒng)，包括 用于獲取圖像的序列的裝置；用于復制所述圖像序列以提供第 一 拷貝和第二拷貝的裝置；用于自動以數(shù)字方式穩(wěn)定所述第 一拷貝以提供顯示序列和用于不同于所述第一拷貝地自動以數(shù)字方式穩(wěn)定所述第二拷貝以提供歸檔序列的裝置；顯示器，用于與所述獲取同時地顯示所述顯示序列； 編碼器，用于自動壓縮所述歸檔序列。
22. —種照相機，包括 電子成像器，用于獲取輸入圖像的序列；復制器，用于復制所述輸入圖像序列，以提供歸檔圖像序列和顯示 圖像序列；存儲器，用于存儲所述歸檔圖像序列；控制單元，用于接收所述顯示圖像序列，所述控制單元具有顯示序 列穩(wěn)定器，它用于穩(wěn)定所述顯示圖像序列以提供經(jīng)穩(wěn)定的顯示圖像序 列；以及顯示器，用于在所述獲取期間顯示所述經(jīng)穩(wěn)定的顯示圖像序列； 其中所述控制單元在所述顯示后自動刪除所述顯示圖像序列。
23. 權(quán)利要求22的照相機，其中所述控制單元具有歸檔序列穩(wěn)定 器，用于與所述穩(wěn)定所述顯示圖像序列無關(guān)地穩(wěn)定所述歸檔圖像序列。
24. 權(quán)利要求22的照相機，其中所述顯示序列穩(wěn)定器在計算方面 比所述歸檔序列穩(wěn)定器更簡單。
25. 權(quán)利要求22的照相機，其中由所述歸檔序列穩(wěn)定器進行的穩(wěn) 定是向后觀看和向前觀看的，而由所述顯示序列穩(wěn)定器進行的穩(wěn)定僅僅 是向后觀看的。
26. 權(quán)利要求22的照相機，其中所述穩(wěn)定對各個所述圖像序列的 每個圖像進行不可逆地修剪。
27. 權(quán)利要求22的照相機，其中所述顯示序列穩(wěn)定器以數(shù)字方式 穩(wěn)定所述顯示序列。
28. —種圖像序列穩(wěn)定化方法，包括以下步驟 獲取輸入圖像序列；計算所述序列的每個第 一和第二輸入圖像的多個非重疊的水平的局部才殳影向量；計算所述序列的每個第一和第二輸入圖像的多個非重疊的垂直局 部投影向量；估算所述第一和第二圖像的相應(yīng)的所述水平的局部投影向量，以確 定在水平方向上的抖動分量；估算所述第 一和第二圖像的相應(yīng)的所述垂直的局部投影向量，以確定在垂直方向上的抖動分量；以及根據(jù)所述抖動分量確定抖動校正值。
29.權(quán)利要求28的方法，其中所述估算步驟每個還包括計算對于 每個所述向量的運動估值；以及對每個所述運動估值進行時間濾波，以 提供所述第 一圖像的所述抖動分量，所述濾波使用由以下公式給出的濾 波器A[n]= aA[n－l]+av[n] 其中A[n]是所述第 一圖像n的所述累積的抖動， v[n]是所述第一圖像n的相應(yīng)的所述運動估值，以及 a是其值在0與l之間的衰減因子。
全文摘要
在圖像序列穩(wěn)定化方法和照相機中，獲取輸入數(shù)字圖像序列。輸入數(shù)字圖像序列被復制，以便提供相應(yīng)的歸檔圖像序列和相應(yīng)的顯示圖像序列。歸檔圖像序列被自動穩(wěn)定，以提供經(jīng)穩(wěn)定的歸檔圖像序列。顯示圖像序列被自動穩(wěn)定，以提供經(jīng)穩(wěn)定的顯示圖像序列。被使用于兩種序列的穩(wěn)定化方法是不同的，雖然二者都可以是數(shù)字方式的。
文檔編號H04N5/232GK101194501SQ200680016948
公開日2008年6月4日 申請日期2006年4月27日 優(yōu)先權(quán)日2005年5月17日
發(fā)明者A·T·迪弗, G·C·費爾丁, M·拉巴尼, R·格勒青格 申請人:伊斯曼柯達公司