專利名稱：模糊圖像部分的增強的制作方法
技術(shù)領域：
本發(fā)明涉及一種用于圖像增強的方法、計算機程序、計算機程序產(chǎn)品以及設備。
背景技術(shù)：
例如單鏡頭人像或者電影的后續(xù)圖像之類的圖像被產(chǎn)生來記錄或者顯示有用的信息，但是圖像形成以及記錄的處理并不完美。所記錄的圖像總是表示原始場景的質(zhì)量降低的版本。可能發(fā)生三種主要類型的質(zhì)量降低模糊、逐點非線性以及噪聲。
模糊是由于圖像形成處理而造成的一種形式的圖像帶寬減小。其可能由攝影機與原始場景之間的相對運動造成，或者可能由失焦的光學系統(tǒng)造成。
例如，當由一個攝影機把三維場景成像到二維圖像場上并且該場景的某些部分處于焦點對準狀態(tài)(清晰)而其他部分則處于失焦狀態(tài)(不清晰或者模糊)時，就會遇到失焦模糊。散焦的程度取決于有效透鏡直徑以及對象與攝影機之間的距離。
導演通常愿意以有限的焦深來記錄前景跟蹤鏡頭，以便減輕背景區(qū)域內(nèi)的所感知的運動抖動。然而，現(xiàn)今的具有運動補償畫面速率上變換的電視可以以一種更為先進的方式來消除運動抖動，這是通過(在所記錄的圖像之間)計算附加圖像，所述附加圖像在正確的位置處顯示移動對象。對于這些電視來說，背景區(qū)域內(nèi)的模糊僅僅是煩人的。
有限的焦深也可能由于不良照明條件而發(fā)生，或者可能出于藝術(shù)性的原因而被有意地產(chǎn)生。
為了防止模糊，美國專利US 6,404,460 B1提出了一種用于圖像邊緣增強的方法和設備。在該文獻中，發(fā)生在圖像邊緣處的視頻信號過渡被增強。然而，為了避免增強背景噪聲僅有其幅度高于特定閾值的視頻信號過渡才被增強。
因此，美國專利US 6,404,460 B1的方法僅僅提高了圖像的非模糊部分(其中過渡是非常明顯的)的銳度，而模糊部分基本上保持不變。

發(fā)明內(nèi)容
鑒于上面提到的問題，本發(fā)明的一般目的特別是提供一種用于增強圖像的模糊部分的方法、計算機程序、計算機程序產(chǎn)品以及設備。
提出了一種用于圖像增強的方法，包括區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分的第一步驟，以及增強所述輸入圖像的所述各模糊圖像部分的至少其中之一以便產(chǎn)生輸出圖像的第二步驟。
所述輸入圖像可以是單一圖像(比如照片)，或者可以是視頻的多個連續(xù)圖像的其中之一(比如MPEG視頻流的一幀)。在第一步驟中，區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分。其中，一個圖像部分可以表示所述輸入圖像的一個像素或一組像素。非模糊圖像部分例如可以被看作是所述輸入圖像中其銳度高于特定閾值的部分，而所述輸入圖像的模糊圖像部分可能具有低于特定閾值的銳度。很可能存在幾個可能相鄰或分開的模糊圖像部分，相應地很可能存在幾個同樣可能相鄰或分開的非模糊圖像部分。所述模糊圖像部分例如可能表示視頻圖像的背景，其是以有限的焦深記錄的并且因此處于失焦狀態(tài)，或者所述模糊圖像部分可能是由攝影機與原始場景之間的相對運動造成的。所述模糊圖像部分同樣可以表示圖像的前景部分，其中背景是非模糊的。此外，所述輸入圖像可以僅包括模糊圖像部分，或者僅包括非模糊圖像部分。在所述第一步驟中可以應用多種標準和技術(shù)來區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分。
在所述第二步驟中，在所述第一步驟中區(qū)分出的至少一個模糊圖像部分被增強。如果檢測出了幾個模糊圖像部分，則所有這些模糊圖像部分可以被增強。例如可以通過用增強的模糊圖像部分替換所述輸入圖像中的所述模糊圖像部分來實現(xiàn)所述增強。對所述輸入圖像的該至少一個模糊圖像部分的增強導致產(chǎn)生一個輸出圖像，該輸出圖像至少包含所述增強的模糊圖像部分。例如，所述輸出圖像可以表示輸入圖像，除了已經(jīng)用所述增強的模糊圖像部分替換了的該圖像部分之外。
所述增強可以指代與輸入圖像相比導致輸出圖像的客觀描繪或主觀接受的改進的任何類型的圖像處理。例如，所述增強可以指代去模糊，或者指代改變圖像部分的對比度、亮度或顏色星座圖。
因此，本發(fā)明提出首先區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分，隨后根據(jù)該模糊/非模糊區(qū)分的結(jié)果來增強模糊圖像部分以便產(chǎn)生改進的輸出圖像。因此，在任何情況下所區(qū)分出的模糊圖像部分都被增強，而在現(xiàn)有技術(shù)中，只有非模糊圖像部分被增強以避免增大背景噪聲。因此，根據(jù)本發(fā)明的方法僅僅增強了實際需要增強的圖像部分，從而避免了對于非模糊圖像部分的多余的或者可能導致質(zhì)量降低的增強，因此可以大大減小計算量，并且可以提高圖像質(zhì)量。由于關(guān)于被增強的圖像部分的判定不必基于例如圖像信號過渡的幅度之類的量度，因此可以實現(xiàn)對模糊圖像部分而不是有噪聲的圖像部分的更為簡練的增強。
根據(jù)本發(fā)明的一個優(yōu)選實施例，所述非模糊圖像部分不被增強。這樣允許實現(xiàn)極為簡單并且計算效率很高的設置。于是僅有模糊圖像部分被增強，并且例如可以通過用增強的模糊圖像部分替換所述模糊圖像部分來容易地獲得輸出圖像。然而，仍然可以對所述非模糊圖像部分應用一定量的處理，例如與應用于模糊圖像部分的增強類型不同的增強。只有根據(jù)本發(fā)明的第一步驟對模糊圖像部分與非模糊圖像部分進行了區(qū)分才有可能對于非模糊圖像部分和模糊圖像部分應用不同的增強技術(shù)。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一步驟包括根據(jù)第一變換對所述輸入圖像的至少一部分進行變換，以便獲得經(jīng)變換的輸入圖像部分；增強所述經(jīng)變換的輸入圖像部分的表示，以便獲得增強的經(jīng)變換的輸入圖像部分；處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分、以及所述經(jīng)變換的輸入圖像部分和通過根據(jù)第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的圖像部分二者的其中之一，以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分。
根據(jù)第一變換對所述輸入圖像的至少一部分(例如一個像素或一組像素)進行變換。同樣地，可以對所述整個輸入圖像進行變換。所述第一變換可以例如減少或者消除所述輸入圖像的所述部分的頻譜成分，例如可以進行對所述輸入圖像的所述部分的模糊化或者縮小(down-scaling)。
隨后增強所述經(jīng)變換的輸入圖像部分的表示。其中，所述經(jīng)變換的輸入圖像部分的所述表示可以是所述經(jīng)變換的輸入圖像部分本身，或者可以是與所述經(jīng)變換的輸入圖像部分類似或者以其他方式與所述經(jīng)變換的輸入圖像部分相關(guān)的一個圖像部分。例如，所述經(jīng)變換的輸入圖像部分的所述表示可以是一個已經(jīng)增強的圖像部分的經(jīng)變換的版本。
隨后增強所述經(jīng)變換的輸入圖像部分的所述表示，以便獲得增強的經(jīng)變換的輸入圖像部分。所述增強例如旨在恢復或者估計在所述第一變換期間被減少或消除的所述輸入圖像的所述部分的頻譜成分。例如，如果所述第一變換對所述輸入圖像的所述部分執(zhí)行了模糊化或者縮小，那么所述增強可以旨在分別對所述經(jīng)變換的輸入圖像部分進行去模糊或者非線性放大(up-scaling)。
所述第二變換可以與所述增強相關(guān)，其中所述第二變換和所述增強的目標類似，但是它們應用不同的算法來達到該目標。例如，如果所述第一變換導致對所述輸入圖像的所述部分的縮小，并且所述增強旨在對所述經(jīng)變換的輸入圖像部分進行非線性放大，那么所述第二變換可以例如旨在對所述經(jīng)變換的輸入圖像進行線性放大。
在根據(jù)本發(fā)明的該實施例的方法背后的理論基礎是觀察到模糊圖像部分和非模糊圖像部分對所述第一變換和隨后的增強的反應有所不同。其中模糊圖像部分被所述第一變換和所述隨后的增強顯著地修改，而所述第一變換和所述隨后的增強對非模糊圖像部分的修改較小。為了獲得一個參考圖像部分，所述輸入圖像的該圖像部分也經(jīng)受所述第一變換并且可能經(jīng)受第二變換，隨后，如此獲得的該參考圖像部分可以與所述增強的經(jīng)變換的輸入圖像以及所述輸入圖像的所述部分一起被處理，以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分。
所述處理例如可以包括一方面形成所述輸入圖像的所述部分與所述增強的經(jīng)變換的輸入圖像部分之間的差異，另一方面形成所述輸入圖像的所述部分與所述參考圖像部分(其或者是所述經(jīng)變換的輸入圖像部分，或者是通過所述第二變換獲得的所述其他圖像部分)之間的差異，以及對這些差異進行比較。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的所述處理包括確定所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異；確定所述經(jīng)變換的輸入圖像部分或者通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分與所述輸入圖像的所述部分之間的第二差異；以及對所述第一和第二差異進行比較，以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分。
對由增強處理鏈(其包括對輸入圖像的一部分的所述第一變換以及所述增強)在輸入圖像的一部分中引入的修改與由參考處理鏈(其包括對所述輸入圖像的所述部分的所述第一變換以及可能的第二變換)在所述輸入圖像的所述部分中引入的修改進行比較，這樣允許區(qū)分所述輸入圖像的所考慮的部分(或其多個部分)是模糊的還是非模糊的，這是因為模糊圖像部分與非模糊圖像部分對所述第一變換和所述隨后的增強的反應有所不同。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一變換導致減少或者消除所述輸入圖像的所述部分的頻譜成分，并且所述增強旨在恢復或者估計所述經(jīng)變換的輸入圖像部分的所述表示的頻譜成分。
在一個原本模糊的圖像部分中不存在顯著的頻譜成分，因此應用所述第一變換(例如對所述輸入圖像的所述部分的模糊化或者縮小)不會減少或者消除頻譜成分。然而，當在增強鏈中例如通過去模糊或者非線性放大來增強經(jīng)變換的圖像部分時，嘗試恢復或者估計頻譜成分，盡管它們原本并不存在于所述圖像部分中。于是，與不嘗試恢復或估計頻譜成分的參考鏈輸出的圖像部分相比，該增強的圖像部分與原始圖像部分的相似程度更低。與此相對，在原本非模糊的圖像部分中存在這種頻譜成分，這些頻譜成分在所述第一變換期間實際上被減少或者消除，并且在所述增強鏈的所述增強期間嘗試恢復或估計所述頻譜成分將導致與由所述參考鏈輸出的圖像部分相比更加類似于所述原始圖像部分的一個圖像部分，其中所述參考鏈不嘗試恢復或估計頻譜成分。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一和第二步驟被至少重復兩次，并且在每一次重復中分別涉及到不同的頻譜成分。這種方法允許處理不同的模糊量。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一變換導致所述輸入圖像的所述部分的模糊化，所述增強旨在對所述經(jīng)變換的輸入圖像部分的所述表示進行去模糊，所述第二差異是在所述經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間確定的，并且在其中所述第一差異大于所述第二差異的圖像部分被看作是模糊圖像部分。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一變換導致對所述輸入圖像的所述部分的縮小，所述增強導致對所述經(jīng)變換的輸入圖像部分的所述表示的非線性放大，所述第二差異是在通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分與所述輸入圖像的所述部分之間確定的，所述第二變換導致對所述經(jīng)變換的輸入圖像部分的線性放大，并且在其中所述第一差異大于所述第二差異的圖像部分被看作是模糊圖像部分。
所述放大和縮小導致被縮放的圖像部分的寬度和/或高度的減小，并且可以通過對應于所述寬度和/或高度的相應的縮放因子來表示，或者通過一個聯(lián)合縮放因子來表示。所述縮小優(yōu)選地是線性的。所述線性縮放僅僅包括線性運算，而所述非線性放大則還可以包括比如PixelPlus、Digital Reality Creation(數(shù)字真實顯像)或者DigitalEmotional Technology(數(shù)字情緒技術(shù))之類的分辨率放大技術(shù)，這些技術(shù)能夠再生至少一部分在所述縮小處理中丟失的細節(jié)以及無法利用線性放大技術(shù)再生的細節(jié)。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，在所述第二步驟中增強所述至少一個模糊圖像部分，這是通過利用在所述第一步驟中獲得的增強的經(jīng)變換的輸入圖像部分替換該至少一個模糊圖像部分來實現(xiàn)的。
本發(fā)明的該實施例在降低計算復雜度方面是特別有利的，這是因為在區(qū)分模糊圖像部分與非模糊圖像部分的處理中作為副產(chǎn)品所計算的所述增強的經(jīng)變換的輸入圖像部分實際上可以被用來替換輸入圖像中的所區(qū)分出的模糊圖像部分，以便獲得輸出圖像。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，在N次迭代中重復所述第一和第二步驟，以便從原始輸入圖像產(chǎn)生最終的輸出圖像，其中在每次迭代n＝1，...，N中，通過對所述原始輸入圖像的至少一部分應用N-n重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N-n重變換的版本被用作所述輸入圖像的所述部分，在第一次迭代n＝1中，通過對所述原始輸入圖像的所述部分應用N重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N重變換的版本被用作所述經(jīng)變換的輸入圖像部分的所述表示，在每次其他迭代n＝2，...，N中，由前一次迭代n-1所產(chǎn)生的所述輸出圖像的至少一部分被用作所述經(jīng)變換的輸入圖像部分的所述表示，并且在最后一次迭代n＝N中所產(chǎn)生的輸出圖像就是所述最終輸出圖像。
在本發(fā)明的該方法背后的理論基礎是觀察到由于輸入圖像中的模糊量可能是相當大的，因此可能通過使用幾次迭代N而獲得最好的結(jié)果，從而例如在所述第一變換和所述增強分別針對縮小和非線性放大的情況下獲得較大的縮小和放大因子。如果選擇了N＝3，則第一次迭代從所述原始輸入圖像的所述部分的經(jīng)過3重變換的版本開始。從所述輸入圖像的所述部分的該經(jīng)過3重變換的版本開始，并行執(zhí)行增強和可選的第二變換，并且基于其結(jié)果來區(qū)分模糊圖像部分與非模糊圖像部分以及增強至少一個模糊圖像部分，以便獲得該第一次迭代的輸出圖像。在第二次迭代中，對于前一次迭代的該輸出圖像的至少一部分執(zhí)行增強，并且可選地對所述原始輸入圖像的經(jīng)過2重變換的部分執(zhí)行所述第二變換。基于對所述結(jié)果的比較，該第二次迭代產(chǎn)生具有增強的模糊圖像部分的輸出圖像以作為到下一次迭代的輸入，后面依此類推。最后，在第三次迭代中獲得的輸出圖像被用作所述增強程序的最終輸出圖像。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，N等于3。所述迭代次數(shù)允許在圖像質(zhì)量和計算量之間獲得良好的折衷。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，根據(jù)PixelPlus、Digital RealityCreation(數(shù)字真實顯像)或者Digital Emotional Technology(數(shù)字情緒技術(shù))之類的技術(shù)來執(zhí)行所述非線性放大。在被應用于經(jīng)過縮小的圖像時，特別對于處于焦點對準狀態(tài)的圖像部分，所述非線性放大技術(shù)的性能一般優(yōu)于線性放大技術(shù)，這是因為所述非線性放大技術(shù)可以再生至少一部分在所述縮小處理中丟失的細節(jié)。
本發(fā)明還提出一種具有指令的計算機程序，所述指令適于使得處理器執(zhí)行上述方法步驟。
本發(fā)明還提出一種包括計算機程序的計算機程序產(chǎn)品，所述計算機程序具有指令，所述指令適于使得處理器執(zhí)行上述方法步驟。
本發(fā)明還提出一種用于圖像增強的設備，該設備包括第一裝置，其被設置成區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分；以及第二裝置，其被設置成增強所述輸入圖像的所述各模糊圖像部分的至少其中之一，以便產(chǎn)生輸出圖像。
根據(jù)本發(fā)明的設備的第一優(yōu)選實施例，所述第一裝置包括被設置成根據(jù)第一變換對所述輸入圖像的至少一部分進行變換以便獲得經(jīng)變換的輸入圖像部分的裝置；被設置成增強所述經(jīng)變換的輸入圖像部分的表示以便獲得增強的經(jīng)變換的輸入圖像部分的裝置；以及被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和通過根據(jù)第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的圖像部分以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的裝置。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和通過根據(jù)第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分的所述裝置包括被設置成確定所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異的裝置；被設置成確定通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分與所述輸入圖像的所述部分之間的第二差異的裝置；以及被設置成對所述第一和第二差異進行比較以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分的裝置。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一裝置包括被設置成根據(jù)第一變換對所述輸入圖像的至少一部分進行變換以便獲得經(jīng)變換的輸入圖像部分的裝置；被設置成增強所述經(jīng)變換的輸入圖像部分的表示以便獲得增強的經(jīng)變換的輸入圖像部分的裝置；以及被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和所述經(jīng)變換的輸入圖像部分以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的裝置。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和所述經(jīng)變換的輸入圖像部分的所述裝置包括被設置成確定所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異的裝置；被設置成確定所述經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第二差異的裝置；以及被設置成對所述第一和第二差異進行比較以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分的裝置。
根據(jù)本發(fā)明的另一個優(yōu)選實施例，所述第一和第二裝置形成一個單元，其中N個這種單元互連成一個級聯(lián)結(jié)構(gòu)，該級聯(lián)結(jié)構(gòu)從原始輸入圖像產(chǎn)生最終輸出圖像，其中，在每個單元n＝1，...，N中，通過對所述原始輸入圖像的至少一部分應用N-n重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N-n重變換的版本被用作所述輸入圖像，在第一單元n＝1中，通過對所述原始輸入圖像的所述部分應用N重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N重變換的版本被用作所述經(jīng)變換的輸入圖像部分的所述表示，在每個其他單元n＝2，...，N中，由前一單元n-1所產(chǎn)生的所述輸出圖像的至少一部分被用作所述經(jīng)變換的輸入圖像部分的所述表示，并且在最后一個單元n＝N中所產(chǎn)生的輸出圖像就是所述最終輸出圖像。
參照下面描述的實施例，本發(fā)明的這些和其他方面將變得顯而易見。


在附圖中示出圖1是根據(jù)本發(fā)明的用于圖像增強的設備的第一實施例的示意圖；圖2是根據(jù)本發(fā)明的用于圖像增強的設備的第二實施例的示意圖；圖3是根據(jù)本發(fā)明的用于圖像增強的設備的第三實施例的示意圖；以及圖4是根據(jù)本發(fā)明的用于圖像增強的方法的示例性流程圖。
具體實施例方式
本發(fā)明提出一種簡單并且計算效率很高的技術(shù)來增強輸入圖像的模糊圖像部分，其中這種增強例如可以涉及對這些模糊圖像部分的銳度的增強。為此，首先區(qū)分輸入圖像中的模糊圖像部分與非模糊圖像部分，并且隨后增強所述各模糊圖像部分的至少其中之一。
圖1示意性地描繪了根據(jù)本發(fā)明的用于圖像增強的設備10的第一實施例。在該實施例中，在模糊圖像部分與非模糊圖像部分之間進行區(qū)分是基于觀察到對于輸入圖像的縮小版本的線性和非線性放大對模糊圖像部分與非模糊圖像部分獲得不同的結(jié)果，從而基于所述兩種經(jīng)放大的圖像與(原始)輸入圖像的差異的比較，有可能區(qū)分所述模糊圖像部分與非模糊圖像部分。隨后，經(jīng)過非線性放大的圖像部分可以有利地被用作增強的模糊圖像部分，以用于替換(原始)輸入圖像中的模糊圖像部分。迭代地應用這種技術(shù)也是可能的，并且與單一步驟應用相比可以獲得更優(yōu)越的圖像質(zhì)量增強。
在圖1的設備10中，在單一步驟中執(zhí)行本發(fā)明的圖像增強技術(shù)。為此，將被增強的輸入圖像(例如是包含模糊圖像部分的輸入圖像)被饋送到所述設備10的縮小實例101中。在所述縮小實例中，按照縮放因子來減小所述輸入圖像的寬度和/或高度，所述縮放因子例如是一個公共縮放因子，其可以被用于寬度和高度減小。在本實施例中，這種縮小例如可以是線性的。例如，如果所述輸入圖像在兩個空間維度上都被縮小1倍，則在舊的和新的Nyquist邊界(分別位于采樣頻率的一半處)之間的所有頻譜成分都被丟失或混疊。隨后，經(jīng)過縮小的該輸入圖像被饋送到非線性放大實例102中，其在這里充當經(jīng)過縮小的輸入圖像的表示并且通過非線性放大而被增強(例如通過PixelPlus技術(shù))。與不改變頻譜內(nèi)容而只是把相同的圖像信號映射到更精細的柵格的線性放大不同，所述非線性放大把圖像信號映射到更精細的柵格并且還在兩個Nyquist頻率之間引入諧波。例如，PixelPlus實現(xiàn)這一點是通過識別出所述圖像信號中的邊緣信號的起點和終點并且用更為陡峭的邊緣來替換相應的邊緣，其中該更陡峭的邊緣居中在與原始邊緣相同的位置。在以下出版物中提供了對于PixelPlus技術(shù)的更詳細的描述E.B.Bellers和J.Caussyn的“A high-definition experience fromstandard definition video(來自標準清晰度視頻的高清晰度體驗)”，Proceedings of the SPIE，第5022卷，2003年，第594-603頁；以及J.Tegenbosch、P.Hofman和M.Bosma的“Improving non-linear up-scalingby adapting to the local edge orientation(通過適配于局部邊緣指向來改進非線性放大)”，Proceedings of the SPIE，第5308卷，2004年1月，第1181-1190頁。或者也可以使用其他非線性放大技術(shù)，例如使用神經(jīng)網(wǎng)絡或者基于諸如Kondo的方法(Digital Reality Creation(數(shù)字真實顯像))或Atkin的方法(Resolution Synthesis(分辨率合成))的分類的常數(shù)自適應插值技術(shù)。
所得到的經(jīng)過非線性放大的圖像隨后被饋送到比較實例104中。類似地，所述經(jīng)過縮小的輸入圖像被饋送到線性放大實例103中，其在該處被線性放大。應當注意到，由于在所述縮小操作中遇到的可能的質(zhì)量損失，經(jīng)過線性放大的圖像可能不再與輸入圖像完全相同。線性放大實例103的輸出也被饋送到比較實例104中。在該處，例如對于每個像素或者對于各像素組確定經(jīng)過線性放大的圖像與輸入圖像之間的差異Dlin以及經(jīng)過非線性放大的圖像與輸入圖像之間的差異Dnlin。該比較實例104隨后例如在像素的基礎上比較差異Dlin與Dnlin，并且識別出其中Dlin＜Dnlin成立的圖像部分以及其中Dlin≥Dnlin成立的圖像部分。在第一種情況下，所述圖像部分被看作是模糊圖像部分，這是因為對于模糊圖像部分來說，線性放大通常產(chǎn)生比非線性放大更好的結(jié)果。在第二種情況下，所述圖像部分被看作是非模糊圖像部分，這是因為對于非模糊圖像部分來說，非線性放大產(chǎn)生比線性放大更好的結(jié)果。
關(guān)于模糊圖像部分的信息隨后被饋送到替換實例105中，該替換實例還接收所述輸入圖像以作為輸入。在所述替換實例中，用增強的模糊圖像部分來替換所區(qū)分出的模糊圖像部分，所述增強的模糊圖像部分例如是在實例102中計算的經(jīng)過非線性放大的圖像部分，其被從所述非線性放大實例102饋送到所述替換實例105中。在該替換實例105中不替換所檢測出的非模糊圖像部分，從而由該替換實例105輸出的輸出圖像基本上是具有替換的模糊圖像部分的輸入圖像。
因此，本發(fā)明通過利用在對縮小的輸入圖像進行線性/非線性放大時對于模糊/非模糊圖像部分所得到的不同性能來區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分，并且利用該檢測處理的副產(chǎn)品來替換所區(qū)分出的模糊圖像部分。
盡管效率較低，但是也有可能利用不是在區(qū)分模糊/非模糊圖像部分的處理期間在實例102中產(chǎn)生的增強的圖像部分來替換所區(qū)分出的模糊圖像部分。這樣允許使用不同的增強算法來一方面區(qū)分模糊/非模糊圖像部分，并且另一方面對所區(qū)分出的模糊圖像部分進行實際的增強。
圖2示意性地描繪了根據(jù)本發(fā)明的用于圖像增強的設備20的第二實施例，其中以迭代的方式對原始輸入圖像應用N＝3次區(qū)分模糊/非模糊圖像部分以及替換模糊圖像部分的步驟。相應地，設備20包括三個根據(jù)圖1的第一實施例的設備以作為子設備，其中只有一些很小的修改。圖2中的最右邊的子設備10與圖1的設備10完全相同，而在被饋送到非線性放大實例102中的圖像方面，圖2中的中心子設備10’-2和最左邊的子設備10’-1略為不同。在子設備10中，縮小實例101的輸出被饋送給非線性放大實例102，而在子設備10’-1和10’-2中，由對應的右邊的子設備10和10’-2產(chǎn)生的輸出圖像被饋送給非線性放大實例102。然而，所有子設備10、10’-1和10’-2的操作與參照圖1所描述的完全相同。
在圖2中，將由設備20增強的原始輸入圖像行經(jīng)三個子設備10’-1、10’-2和10的縮小實例101。如果每個縮小實例101都應用縮小因子2，則在子設備10的實例101的輸出端處的圖像已經(jīng)經(jīng)過了3重縮小，從而產(chǎn)生一個總縮小因子8。隨后以因子2對該經(jīng)過縮小的圖像進行非線性(實例102)和線性(實例103)放大，并且隨后在子設備10的實例104中比較所述經(jīng)過非線性放大和線性放大的圖像與子設備10的輸入圖像(其是縮小到原來的四分之一的原始輸入圖像)差異，以便檢測非模糊圖像部分與模糊圖像部分。在實例105中替換模糊圖像部分，并且替換實例105的輸出圖像也充當子設備10的輸出圖像，其被饋送到子設備10’-2的實例102中。
在子設備10’-2中，經(jīng)過1重縮小的原始輸入圖像(縮放因子為2)被用于線性放大，并且子設備10的輸出圖像被用于非線性放大。再一次關(guān)于設備10’-2的輸入圖像比較線性/非線性放大差異，其中設備10’-2的輸入圖像是經(jīng)過1重縮小的原始輸入圖像，并且通過替換所述子設備10’-2的所述輸入圖像中的所檢測出的模糊圖像部分來執(zhí)行增強。子設備10’-2的替換實例105的輸出信號被饋送到子設備10’-1的實例102中以便進行非線性放大。
最后，在子設備10’-1中，原始輸入圖像充當輸入圖像，并且在該原始輸出圖像中直接替換所檢測出的模糊圖像部分，以便獲得設備20的最終輸出圖像。
可以以下面的偽代碼示例的形式獲得對于迭代應用本發(fā)明的步驟的方便的描述，其中，與圖3中的設備20類似，示例性地描述了一種3步驟方法，并且其中同樣利用了模糊圖像部分與非模糊圖像部分對于縮小以及后續(xù)的線性/非線性放大的不同反應(雙斜線后面是注釋)//開始偽代碼示例org＝Input//首先產(chǎn)生縮小的3個縮放級別，即small(小)、smaller(更小)和//smallest(最小)Downscale(org，small)；Downscale(small，smaller)；Downscale(smaller，smallest)；//把smallest非線性放大到smallerUPNLin//把smallest線性放大到smallerUPLin//并且進行智能組合，其隨后被包含在緩沖器smallerhelp中UpscaleNLin(smallest，smallerUpNLin)；UpscaleLin(smallest，smallerUpLin)；Combine(smallerUpLin，smallerUpNLin，smaller，smallerhelp)；//把smallerhelp非線性放大到smallUPNLin//把smaller線性放大到smallUPLin//并且進行智能組合，其隨后被包含在緩沖器smallhelp中UpscaleNLin(smallerhelp，smallUpNLin)；UpscaleLin(smaller，smallUpLin)；Combine(smallUpLin，smallUpNLin，small，smallhelp)；//把smallhelp非線性放大到orgUPNLin//把small線性放大到orgUPLin//并且進行智能組合，其隨后被包含在緩沖器orghelp中UpscaleNLin(smallhelp，orgUpNLin)；UpscaleLin(small，orgUpLin)；Combine(orgUpLin，orgUpNLin，org，orghelp)；
//現(xiàn)在緩沖器orghelp包含輸出(經(jīng)過模糊增強的)圖像Output＝orghelp；//結(jié)束偽代碼示例圖3示意性地描繪了根據(jù)本發(fā)明的用于圖像增強的設備30的第三實施例。在該實施例中，在模糊圖像部分與非模糊圖像部分之間進行區(qū)分是基于觀察到對輸入圖像的有意模糊化的部分執(zhí)行增強和不執(zhí)行增強對于模糊圖像部分和非模糊圖像部分獲得不同的結(jié)果，因此，基于把增強的有意模糊化圖像部分和未增強的有意模糊化圖像部分與所述輸入圖像的所述部分的差異進行比較，有可能區(qū)分所述模糊圖像部分與非模糊圖像部分。隨后，增強的有意模糊化圖像部分可以被用來替換(原始)輸入圖像中的模糊圖像部分。同樣地，所述區(qū)分出的模糊圖像部分可以根據(jù)不同的增強技術(shù)而被增強，并且隨后在所述輸入圖像中被替換，以便獲得所述輸出圖像。
在圖3中，將被增強的輸入圖像例如是包含模糊圖像部分的輸入圖像，其被饋送到所述設備30的模糊化實例301中。在所述模糊化實例301中，該輸入圖像被有意地模糊化。該有意地模糊化的輸入圖像隨后被饋送到去模糊實例302中，在該處通過減少模糊來增強該有意地模糊化的輸入圖像。所得到的去模糊圖像隨后被饋送到比較實例304中。所述有意模糊化的輸入圖像也被直接饋送到該比較實例304中。在該處，例如對于每個像素或者各像素組確定由實例302輸出的去模糊圖像與原始輸入圖像之間的第一差異，以及由實例301輸出的有意模糊化的輸入圖像與原始輸入圖像之間的第二差異。該比較實例304隨后例如在像素的基礎上比較第一和第二差異，并且識別出其中第一差異小于第二差異的圖像部分，以及其中第一差異等于或大于第二差異的圖像部分。在前一種情況下，所述圖像部分被看作是非模糊圖像部分，并且在后一種情況下，所述圖像部分被看作是模糊圖像部分。這是由于以下事實在原始模糊的輸入圖像部分的情況下，其中的相應頻譜不包含顯著的能量，實例301中的有意的模糊化不改變所述輸入圖像部分，從而由實例301輸出的有意模糊化的輸入圖像與原始輸入圖像之間的第二差異很小。與此相對，同樣在原始模糊的輸入圖像部分的情況下，在實例302中對所述有意模糊化的輸入圖像的增強產(chǎn)生了原來不存在的頻譜，從而由實例302輸出的增強的有意模糊化輸入圖像與原始輸入圖像之間的第二差異較大。對于非模糊輸入圖像部分，比起只有有意的模糊化的情況，有意的模糊化和隨后的增強獲得更好的結(jié)果。通過對于不同的頻譜成分重復這一程序，可以以不同的模糊量來進行處理。
返回到圖3，在區(qū)分了模糊/非模糊圖像部分之后，關(guān)于模糊圖像部分的信息隨后被饋送到替換實例305中，該替換實例還接收所述輸入圖像以作為輸入。在所述替換實例305中，用增強的模糊圖像部分來替換所區(qū)分出的模糊圖像部分，所述增強的模糊圖像部分被從所述去模糊實例302饋送到所述替換實例305中。在替換實例305中不替換所檢測出的非模糊圖像部分，從而由替換實例105輸出的輸出圖像基本上是具有替換了的模糊圖像部分的輸入圖像。
應當注意到，本發(fā)明的該第三實施例也可以與縮小和放大相組合，以便獲得高效的實現(xiàn)方式。
圖4描繪了根據(jù)本發(fā)明的方法的示例性流程圖。在第一步驟41中，區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分。在第二步驟42中，在輸入圖像中替換所區(qū)分出的模糊圖像部分，以便獲得輸出圖像。其中，步驟41包括以下子步驟在子步驟411中，根據(jù)第一變換(例如模糊化或縮小)對輸入圖像的至少一部分進行變換，以便獲得經(jīng)變換的輸入圖像部分。隨后，在子步驟412中，所述經(jīng)變換的輸入圖像部分本身或者所述經(jīng)變換的輸入圖像部分的表示被增強(例如通過去模糊或者非線性放大)，以便獲得增強的經(jīng)變換的輸入圖像部分。在子步驟413中確定該增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異。在子步驟414中，可選地根據(jù)第二變換(例如線性放大)對所述經(jīng)變換的輸入圖像部分進行變換。在子步驟415中，確定所述輸入圖像的所述部分與所述經(jīng)變換的輸入圖像部分(例如如果所述第一變換代表模糊化的話)或者與根據(jù)第二變換(在所述第一變換代表縮小的情況下例如是線性放大)而被進一步變換的所述可選地變換的輸入圖像部分之間的第二差異。在子步驟416中，對子步驟413和415中確定的第一和第二差異進行比較，以便判斷所述輸入圖像的哪些圖像部分是模糊的，哪些是非模糊的。
上面借助于優(yōu)選實施例描述了本發(fā)明。應當注意到，對于本領域技術(shù)人員來說顯然存在替換方式和變型，并且可以在不背離所附權(quán)利要求書的范圍和精神的情況下實施這些替換方式和變型。
權(quán)利要求
1.一種用于圖像增強的方法，包括-區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分的第一步驟(41)；以及-增強所述輸入圖像的所述各模糊圖像部分的至少其中之一以便產(chǎn)生輸出圖像的第二步驟(42)。
2.根據(jù)權(quán)利要求1的方法，其中，所述非模糊圖像部分不被增強。
3.根據(jù)權(quán)利要求1-2當中的任意一條的方法，其中，所述第一步驟(41)包括-根據(jù)第一變換對所述輸入圖像的至少一部分進行變換(411)，以便獲得經(jīng)變換的輸入圖像部分；-增強(412)所述經(jīng)變換的輸入圖像部分的表示，以便獲得增強的經(jīng)變換的輸入圖像部分；以及-處理(413，415，416)所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分、以及所述經(jīng)變換的輸入圖像部分和通過根據(jù)第二變換對所述經(jīng)變換的輸入圖像部分進行變換(414)所獲得的圖像部分二者的其中之一，以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分。
4.根據(jù)權(quán)利要求3的方法，其中，用來區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的所述處理(413，415，416)包括-確定(413)所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異；-確定(415)所述經(jīng)變換的輸入圖像部分或者通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換(414)所獲得的所述圖像部分與所述輸入圖像的所述部分之間的第二差異；以及-對所述第一和第二差異進行比較(416)，以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分。
5.根據(jù)權(quán)利要求3-4當中的任意一條的方法，其中，所述第一變換(411)導致減少或者消除所述輸入圖像的所述部分的頻譜成分，并且所述增強(412)旨在恢復或者估計所述經(jīng)變換的輸入圖像部分的所述表示的頻譜成分。
6.根據(jù)權(quán)利要求5的方法，其中，所述第一(41)和第二(42)步驟被至少重復兩次，并且在每一次重復中分別涉及到不同的頻譜成分。
7.根據(jù)權(quán)利要求3-6當中的任意一條的方法，其中，所述第一變換(411)導致所述輸入圖像的所述部分的模糊化，所述增強(412)旨在對所述經(jīng)變換的輸入圖像部分的所述表示進行去模糊，所述第二差異是在所述經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間確定(415)的，并且在其中所述第一差異大于所述第二差異的圖像部分被看作是模糊圖像部分。
8.根據(jù)權(quán)利要求3-6當中的任意一條的方法，其中，所述第一變換(411)導致所述輸入圖像的所述部分的縮小，所述增強(412)導致對所述經(jīng)變換的輸入圖像部分的所述表示的非線性放大，所述第二差異是在通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換(414)所獲得的所述圖像部分與所述輸入圖像的所述部分之間確定(415)的，所述第二變換(414)導致對所述經(jīng)變換的輸入圖像部分的線性放大，并且在其中所述第一差異大于所述第二差異的圖像部分被看作是模糊圖像部分。
9.根據(jù)權(quán)利要求3-8當中的任意一條的方法，其中，在所述第二步驟(42)中增強所述至少一個模糊圖像部分，這是通過利用在所述第一步驟(41)中獲得的增強的經(jīng)變換的輸入圖像部分替換該至少一個模糊圖像部分來實現(xiàn)的。
10.根據(jù)權(quán)利要求3-9當中的任意一條的方法，其中，在N次迭代中重復所述第一(41)和第二(42)步驟，以便從原始輸入圖像產(chǎn)生最終的輸出圖像，其中在每次迭代n＝1，...，N中，通過對所述原始輸入圖像的至少一部分應用N-n重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N-n重變換的版本被用作所述輸入圖像的所述部分，在第一次迭代n＝1中，通過對所述原始輸入圖像的所述部分應用N重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N重變換的版本被用作所述經(jīng)變換的輸入圖像部分的所述表示，在每次其他迭代n＝2，...，N中，由前一次迭代n-1所產(chǎn)生的所述輸出圖像的至少一部分被用作所述經(jīng)變換的輸入圖像部分的所述表示，并且在最后一次迭代n＝N中所產(chǎn)生的輸出圖像就是所述最終輸出圖像。
11.根據(jù)權(quán)利要求10的方法，其中N等于3。
12.根據(jù)權(quán)利要求8的方法，其中，所述非線性放大(314)是根據(jù)PixelPlus、數(shù)字真實顯像或者數(shù)字情緒技術(shù)執(zhí)行的。
13.一種具有指令的計算機程序，所述指令適于使得處理器執(zhí)行權(quán)利要求1-12當中的任意一條的方法步驟。
14.一種包括計算機程序的計算機程序產(chǎn)品，所述計算機程序具有指令，所述指令適于使得處理器執(zhí)行權(quán)利要求1-12當中的任意一條的方法步驟。
15.一種用于圖像增強的設備(10；30)，包括-第一裝置(101，102，103，104；301，302，304)，其被設置成區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分；以及-第二裝置(105；305)，其被設置成增強所述輸入圖像的所述各模糊圖像部分的至少其中之一，以便產(chǎn)生輸出圖像。
16.根據(jù)權(quán)利要求15的設備(10)，其中，所述第一裝置包括-被設置成根據(jù)第一變換對所述輸入圖像的至少一部分進行變換以便獲得經(jīng)變換的輸入圖像部分的裝置(101)；-被設置成增強所述經(jīng)變換的輸入圖像部分的表示以便獲得增強的經(jīng)變換的輸入圖像部分的裝置(102)；-被設置成根據(jù)第二變換對所述經(jīng)變換的輸入圖像部分進行變換的裝置(103)；以及-被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的圖像部分以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的裝置(104)。
17.根據(jù)權(quán)利要求16的設備，其中，被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分的所述裝置(104)包括-被設置成確定所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異的裝置(104)；-被設置成確定通過根據(jù)所述第二變換對所述經(jīng)變換的輸入圖像部分進行變換所獲得的所述圖像部分與所述輸入圖像的所述部分之間的第二差異的裝置(104)；以及-被設置成對所述第一和第二差異進行比較以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分的裝置(104)。
18.根據(jù)權(quán)利要求15的設備(30)，其中，所述第一裝置包括-被設置成根據(jù)第一變換對所述輸入圖像的至少一部分進行變換以便獲得經(jīng)變換的輸入圖像部分的裝置(301)；-被設置成增強所述經(jīng)變換的輸入圖像部分的表示以便獲得增強的經(jīng)變換的輸入圖像部分的裝置(302)；以及-被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和所述經(jīng)變換的輸入圖像部分以便區(qū)分所述輸入圖像的所述模糊圖像部分與非模糊圖像部分的裝置(304)。
19.根據(jù)權(quán)利要求18的設備，其中，被設置成處理所述輸入圖像的至少所述部分、所述增強的經(jīng)變換的輸入圖像部分和所述經(jīng)變換的輸入圖像部分的所述裝置(304)包括-被設置成確定所述增強的經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第一差異的裝置(304)；-被設置成確定所述經(jīng)變換的輸入圖像部分與所述輸入圖像的所述部分之間的第二差異的裝置；以及-被設置成對所述第一和第二差異進行比較以便區(qū)分所述輸入圖像的模糊圖像部分與非模糊圖像部分的裝置(304)。
20.根據(jù)權(quán)利要求16-19當中的任意一條的設備，其中，所述第一(101，102，103，104)和第二(105)裝置形成一個單元(10，10’-1，10’-2)，N個這種單元互連成一個級聯(lián)結(jié)構(gòu)(20)，該級聯(lián)結(jié)構(gòu)從原始輸入圖像產(chǎn)生最終輸出圖像，在每個單元n＝1，...，N中，通過對所述原始輸入圖像的至少一部分應用N-n重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N-n重變換的版本被用作所述輸入圖像，在第一單元n＝1中，通過對所述原始輸入圖像的所述部分應用N重所述第一變換所獲得的所述原始輸入圖像的所述部分的經(jīng)過N重變換的版本被用作所述經(jīng)變換的輸入圖像部分的所述表示，在每個其他單元n＝2，...，N中，由前一單元n-1所產(chǎn)生的所述輸出圖像的至少一部分被用作所述經(jīng)變換的輸入圖像部分的所述表示，并且在最后一個單元n＝N中所產(chǎn)生的輸出圖像就是所述最終輸出圖像。
全文摘要
本發(fā)明涉及一種用于圖像增強的方法，該方法包括區(qū)分輸入圖像的模糊圖像部分與非模糊圖像部分的第一步驟(41)；以及增強所述輸入圖像的所述各模糊圖像部分的至少其中之一以便產(chǎn)生輸出圖像的第二步驟(42)。例如通過把所述縮小的(411)輸入圖像的線性放大(414)的版本與輸入圖像之間的差異(415)和所述縮小的輸入圖像的非線性放大(412)的表示與輸入圖像之間的差異(413)進行比較(416)來區(qū)分所述模糊圖像部分與非模糊圖像部分。本發(fā)明還涉及一種設備、一種計算機程序以及一種計算機程序產(chǎn)品。
文檔編號G06T5/00GK101048795SQ200580036902
公開日2007年10月3日 申請日期2005年10月21日 優(yōu)先權(quán)日2004年10月26日
發(fā)明者G·德哈安 申請人:皇家飛利浦電子股份有限公司