圖像處理裝置、方法、程序以及記錄介質的制作方法
【專利摘要】本發(fā)明提供了一種圖像處理裝置、方法、程序和記錄介質，使用其能夠在不造成圖像質量降低的情況下更有效地修正塊噪聲。運動預測單元根據當前圖像和參考圖像來檢測構成圖像的塊單元中的運動矢量；運動補償處理單元通過使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像；補償計算單元基于當前圖像與運動補償圖像的邊界差值來計算修正值，該修正值修正運動補償圖像中的感興趣塊中的感興趣像素的像素值，該邊界差值是感興趣塊中連結鄰接塊的邊界部分的邊界像素的像素值的差值；以及加法單元將修正值加到運動補償圖像中的感興趣像素的像素值上。本技術可以應用于圖像處理裝置。
【專利說明】圖像處理裝置、方法、程序以及記錄介質
【技術領域】
[0001]本技術涉及圖像處理裝置、圖像處理方法、程序以及記錄介質，更具體地，涉及能夠在不降低圖像質量的情況下實現更準確的塊噪聲修正(block noise correction)的圖像處理裝置、圖像處理方法、程序以及記錄介質。
【背景技術】
[0002]在一些情況下，在逐塊的基礎上使用標準圖像和參考圖像執(zhí)行的塊匹配處理在彼此鄰近的塊之間產生色調差。這樣的色調差常常尤其發(fā)生在色調變化緩慢的區(qū)域中。由這樣的色調差引起的噪聲被稱為塊噪聲。
[0003]同時，通過MPEG-4 (運動圖像專家組第四階段)或H.264/AVC (高級視頻編碼)對圖像進行編碼的設備包括執(zhí)行去塊處理以去除塊噪聲的去塊濾波器(參見非專利文獻I)。圖像質量的降低可以通過經由去塊處理對塊的邊界部分進行平滑來減小。
[0004]引用列表
[0005]非專利文獻
[0006]非專利文獻1:“8.7Deblocking filter process，，、“ITU_T Recommendation
H.264Advanced video coding for generic audiovisual ”，2010 年 3 月，第 197-202 頁。

【發(fā)明內容】

[0007]本發(fā)明要解決的問題
[0008]然而，通過上述技術，存在著由于去塊處理而丟失紋理并且圖像變模糊，從而導致圖像質量較差的可能性。
[0009]此外，通過上述濾波處理可以使一定強度的塊噪聲不明顯。然而，當由低精度的塊匹配引起高強度的塊噪聲時，無法減小圖像質量的降低。
[0010]鑒于這些情況已經開發(fā)了本技術，特別地本技術旨在使得能夠在不降低圖像質量的情況下實現更準確的塊噪聲修正。
[0011]解決問題的方案
[0012]本技術的一個方面的一種圖像處理裝置包括:根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量的運動預測單元；通過使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像的運動補償單元；基于標準圖像與運動補償圖像之間的邊界差值來計算修正值的修正值計算單元，該修正值用于修正運動補償圖像中的當前塊中的當前像素的像素值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及將修正值加到運動補償圖像中的當前像素的像素值上的加法單元。
[0013]修正值計算單元可以基于邊界差值和權重來計算當前像素的修正值，該權重對應于當前像素與邊界像素之間的距離。
[0014]關于下述邊界像素，修正值計算單元可以基于標準圖像與運動補償圖像之間的邊界差值來計算當前像素的修正值，其中從所述邊界像素中減去當前塊中與鄰近塊鄰近的邊界部分中的像素。
[0015]圖像處理裝置還可以包括:使用預定函數對差值進行近似的近似單元，該差值是逐塊地在標準圖像中的像素的像素值與運動補償圖像中的像素的像素值之間的差；對預定函數進行積分的積分單元；根據由積分單元獲得的積分值和對應于圖像亮度值的噪聲強度分布來計算權重系數的權重計算單元；以及通過使用權重系數對當前像素的修正值進行加權的加權單元。在這種情況下，加法單元將由加權單元加權的修正值加到運動補償圖像中的當前像素的像素值上。
[0016]圖像處理裝置還可以包括:使用預定函數對差值進行近似的近似單元，該差值是逐塊地在標準圖像中的像素的像素值與運動補償圖像中的像素的像素值之間的差；對預定函數進行積分的積分單元；以及根據由積分單元獲得的積分值和對應于圖像亮度值的噪聲強度分布來生成組合圖像的組合單元，該組合圖像是通過將標準圖像中的像素的像素值與運動補償圖像中的像素的像素值進行組合而形成的。在這種情況下，修正值計算單元基于組合圖像與運動補償圖像之間的邊界差值來計算當前塊中的當前像素的修正值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值。
[0017]一種在圖像處理裝置中實現的圖像處理方法，該圖像處理裝置包括:根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量的運動預測單元；通過使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像的運動補償單元；基于標準圖像與運動補償圖像之間的邊界差值來計算修正值的修正值計算單元，該修正值用于修正運動補償圖像中的當前塊中的當前像素的像素值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及將修正值加到運動補償圖像中的當前像素的像素值上的加法單元。該圖像處理方法包括下述步驟:通過根據標準圖像和參考圖像檢測圖像中每個塊的運動矢量，并且使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像；基于標準圖像與運動補償圖像之間的邊界差值來計算修正值，該修正值用于修正運動補償圖像中的當前塊中的當前像素的像素值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及將修正值加到運動補償圖像中的當前像素的像素值上，上述步驟由該圖像處理裝置執(zhí)行。
[0018]本技術的一個方面的程序和記錄在本技術的一個方面的記錄介質中的程序使計算機執(zhí)行包括下述步驟的處理:根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量的運動矢量檢測步驟；通過使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像的運動補償步驟；基于標準圖像與運動補償圖像之間的邊界差值來計算修正值的修正值計算步驟，該修正值用于修正運動補償圖像中的當前塊中的當前像素的像素值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及將修正值加到運動補償圖像中的當前像素的像素值上的相加步驟。
[0019]在本技術的一個方面中，根據標準圖像和參考圖像檢測構成圖像的塊的運動矢量，并且通過使用運動矢量對參考圖像執(zhí)行運動補償來生成運動補償圖像?；跇藴蕡D像與運動補償圖像之間的邊界差值來修正運動補償圖像中的當前塊中的當前像素的像素值，該邊界差值是關于當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值。將修正值加到運動補償圖像中的當前像素的像素值上。
[0020]本發(fā)明的效果[0021]根據本技術的一個方面，可以在不降低圖像質量的情況下更準確地修正塊噪聲。【專利附圖】

【附圖說明】
[0022]圖1是示出了應用本技術的圖像處理裝置的一個實施方式的示例功能結構的框圖；
[0023]圖2是示出了塊噪聲修正單元的示例結構的框圖；
[0024]圖3是用于說明塊噪聲修正的MC圖像輸出處理的流程圖；
[0025]圖4是用于說明塊噪聲修正處理的流程圖；
[0026]圖5是用于說明相對于當前塊中的邊界部分中的像素的差值的圖；
[0027]圖6是用于說明當前塊中的當前像素與邊界部分中的像素之間的距離的圖；
[0028]圖7是用于說明塊中的邊界部分中的減少數量的像素的圖；
[0029]圖8是示出了包括塊噪聲檢測單元的圖像處理裝置的示例功能結構的框圖；
[0030]圖9是用于說明塊噪聲修正的MC圖像輸出處理的流程圖；
[0031]圖10是示出了塊噪聲檢測單元和塊噪聲修正單元的示例結構的框圖；
[0032]圖11是用于說明要由圖10中所示的塊噪聲檢測單元執(zhí)行的塊噪聲檢測處理的流程圖；
[0033]圖12是用于說明對差值進行近似的圖；
[0034]圖13是用于說明相對于亮度值的噪聲強度的圖；
[0035]圖14是用于說明Cur圖像和LMC圖像的組合圖像的圖；
[0036]圖15是用于說明積分處理的圖；
[0037]圖16是用于說明分部積分的圖；
[0038]圖17是用于說明分部積分的圖；
[0039]圖18是示出了塊噪聲檢測單元和塊噪聲修正單元的其他示例結構的框圖；
[0040]圖19是用于說明要由圖18中所示的塊噪聲檢測單元執(zhí)行的塊噪聲檢測處理的流程圖；
[0041]圖20是用于說明要由圖18中所示的塊噪聲修正單元執(zhí)行的塊噪聲修正處理的流程圖；以及
[0042]圖21是示出了計算機硬件的示例配置的框圖。
【具體實施方式】
[0043]以下是參照附圖對本技術的實施方式的描述。將按照以下順序進行說明。
[0044]1.圖像處理裝置的示例結構
[0045]2.塊噪聲修正單元的示例結構
[0046]3.塊噪聲修正的MC圖像輸出處理和塊噪聲修正處理
[0047]4.包括塊噪聲檢測單元的圖像處理裝置的示例結構
[0048]5.塊噪聲檢測單元和塊噪聲修正單元的示例結構
[0049]6.塊噪聲檢測單元和塊噪聲修正單元的其他示例結構
[0050]〈1.圖像處理裝置的示例結構>
[0051]圖1示出了應用本技術的圖像處理裝置的一個實施方式的示例結構。[0052]圖1中所示的圖像處理裝置11通過使用由成像設備(未示出)提供(輸入)的標準圖像(下文中稱為Cur圖像)和在時間上早于Cur圖像的參考圖像(下文中稱為Ref圖像)來執(zhí)行塊匹配，并且生成Cur圖像的預測圖像。使用Cur圖像和預測圖像，圖像處理裝置11對預測圖像中所包含的塊噪聲進行修正，并且輸出所得到的修正了塊噪聲的預測圖像。輸入至圖像處理裝置11的圖像是以時間上連續(xù)的幀形成的運動圖像，Ref圖像是由另一圖像處理裝置基于修正了塊噪聲的預測圖像對Cur圖像執(zhí)行降噪處理而形成的降噪圖像。圖像處理裝置11可以安裝在成像設備，諸如數字照相機中。
[0053]圖1中所示的圖像處理裝置11包括運動預測單元31、運動補償單元32以及塊噪聲修正單元33。
[0054]運動預測單元31根據作為當前幀的Cur圖像和作為Cur圖像之前的一幀的Ref圖像來檢測運動矢量MV，并且將運動矢量MV提供給運動補償單元32。運動矢量MV屬于構成那些圖像的塊。具體地，運動預測單元31執(zhí)行Cur圖像中的塊與Ref圖像中的相應塊之間的位置匹配，以檢測塊的運動矢量MV。
[0055]使用由運動預測單元31提供的塊的運動矢量MV，運動補償單元32對Ref圖像執(zhí)行運動補償，以將Ref圖像中的塊調整為Cur圖像中的塊，并且生成運動補償圖像(下文中稱為MC圖像)。將運動補償圖像提供給塊噪聲修正單元33。
[0056]基于Cur圖像和運動補償單元32提供的MC圖像，塊噪聲修正單元33計算用于修正MC圖像中的像素的像素值的修正值，并且修正MC圖像中所包含的塊噪聲。輸出修正結果或修正了塊噪聲的MC圖像(下文中稱為塊噪聲修正的MC圖像或修正的MC圖像)。具體地，塊噪聲修正單元33計算Cur圖像中的像素與MC圖像中的像素之間的像素值的差值，并且基于該差來計算修正值。以這種方式，對以塊形成的MC圖像中所包含的塊噪聲進行修正。
[0057]<2.塊噪聲修正單元的示例結構>
[0058]現在參考圖2，描述塊噪聲修正單元33的示例結構。
[0059]圖2中所示的塊噪聲修正單元33包括差計算單元51、修正值計算單元52以及加法單元53。
[0060]差計算單元51計算Cur圖像中的像素的像素值與MC圖像中的像素的像素值之間的差值，并且將該差值提供給修正值計算單元52。具體地，相對于與當前塊的鄰近塊鄰近的邊界部分中的像素(下文中也稱為邊界像素)，差計算單元51計算Cur圖像的像素值與MC圖像的像素值之間的差值(下文中也稱為邊界差值)。
[0061]基于差計算單元51提供的邊界差值，修正值計算單元52計算用于對MC圖像中當前塊中的當前像素的像素值進行修正的修正值，并且將該修正值提供給加法單元53。
[0062]加法單元53將修正值計算單元52提供的當前像素的修正值加到MC圖像中當前像素的像素值上，以計算修正的MC圖像中對應于當前像素的像素的像素值。將修正值加到MC圖像中的塊中的全部像素上，并且對MC圖像中的全部塊執(zhí)行該相加處理，以輸出修正的MC圖像。
[0063]<3.塊噪聲修正的MC圖像輸出處理和塊噪聲修正處理>
[0064]現在參考圖3和圖4中所示的流程圖，描述要由圖1中所示的圖像處理裝置11執(zhí)行的塊噪聲修正的MC圖像輸出處理，以及要由圖2中所示的塊噪聲修正單元33執(zhí)行的塊噪聲修正處理。[0065][塊噪聲修正的MC圖像輸出處理]
[0066]首先參考圖3中所示的流程圖，描述要由圖1中所示的圖像處理裝置11執(zhí)行的塊噪聲修正的MC圖像輸出處理。
[0067]在步驟Sll中，運動預測單元31根據Cur圖像和Ref圖像檢測每個塊的運動矢量MV,并且將運動矢量MV提供給運動補償單元32。
[0068]在步驟S12中，使用運動預測單元31提供的運動矢量MV，運動補償單元32對Ref圖像執(zhí)行運動補償以生成運動補償圖像(MC圖像)，并且將MC圖像提供給塊噪聲修正單元33。[0069]在步驟S13中，塊噪聲修正單元33執(zhí)行塊噪聲修正處理，以修正MC圖像中所包含的塊噪聲，并且輸出修正的MC圖像作為修正結果。
[0070]按照以上方式，輸出了修正的MC圖像，該修正的MC圖像修正了 MC圖像中所包含的塊噪聲。
[0071][塊噪聲修正處理]
[0072]現在參考圖4中所示的流程圖，描述圖3中所示的流程圖的步驟S13中的塊噪聲檢測處理。
[0073]在步驟S51中，相對于與當前塊的鄰近塊鄰近的邊界位置中的像素(邊界像素)，差計算單元51計算Cur圖像的像素值與MC圖像的像素值之間的差值(邊界差值)。
[0074]現在參考圖5，描述當前塊的邊界部分中的像素之間的差值。
[0075]圖5的左半部分示出了 Cur圖像中的當前塊BL_cur，圖5的右半部分示出了 MC圖像中的當前塊BL_mc。在圖5中，當前塊BL_cur和BL_mc中的每個正方形表示像素。也就是說，以8X8個像素形成當前塊BL_cur和BL_mc中的每一個。
[0076]在當前塊BL_cur和BL_mc中，邊界像素(圖中的陰影像素)的像素位置用i和j表示。當前塊BL_cur中的邊界像素的像素值Cur (i，j)與當前塊BL_mc中的邊界像素的像素值Mc (i，j)之間的差值，或邊界差值S (i，j)，由以下等式(I)表示。
[0077][數學公式I]
[0078]
【權利要求】
1.一種圖像處理裝置，包括: 運動預測單元，其被配置成根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量; 運動補償單元，其被配置成通過使用所述運動矢量對所述參考圖像執(zhí)行運動補償來生成運動補償圖像； 修正值計算單元，其被配置成基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算修正值，所述修正值用于修正所述運動補償圖像中的當前塊中的當前像素的像素值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及 加法單元，其被配置成將所述修正值加到所述運動補償圖像中的當前像素的像素值上。
2.根據權利要求1所述的圖像處理裝置，其中，所述修正值計算單元基于所述邊界差值和權重來計算所述當前像素的修正值，所述權重對應于所述當前像素與所述邊界像素之間的距離。
3.根據權利要求1所述的圖像處理裝置，其中，關于邊界像素，所述修正值計算單元基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算所述當前像素的修正值，其中從所述邊界像素中減去所述當前塊中與鄰近塊鄰近的邊界部分中的像素。
4.根據權利要求1所述的圖像處理裝置，還包括: 近似單元，其被配置成使 用預定函數對差值進行近似，所述差值是逐塊地在所述標準圖像中的像素的像素值與所述運動補償圖像中的像素的像素值之間的差； 積分單元，其被配置成對所述預定函數進行積分； 權重計算單元，其被配置成根據由所述積分單元獲得的積分值和對應于圖像亮度值的噪聲強度分布來計算權重系數；以及 加權單元，其被配置成通過使用所述權重系數對所述當前像素的修正值進行加權， 其中，所述加法單元將由所述加權單元加權的修正值加到所述運動補償圖像中的所述當前像素的像素值上。
5.根據權利要求1所述的圖像處理裝置，還包括: 近似單元，其被配置成使用預定函數對差值進行近似，所述差值是逐塊地在所述標準圖像中的像素的像素值與所述運動補償圖像中的像素的像素值之間的差； 積分單元，其被配置成對所述預定函數進行積分；以及 組合單元，其被配置成根據由所述積分單元獲得的積分值和對應于圖像亮度值的噪聲強度分布來生成組合圖像，所述組合圖像是通過將所述標準圖像中的像素的像素值與所述運動補償圖像中的像素的像素值進行組合而形成的， 其中，所述修正值計算單元基于所述組合圖像與所述運動補償圖像之間的邊界差值來計算所述當前塊中的所述當前像素的修正值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值。
6.一種在圖像處理裝置中實現的圖像處理方法，所述圖像處理裝置包括: 運動預測單元，其根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量； 運動補償單元，其通過使用所述運動矢量對所述參考圖像執(zhí)行運動補償來生成運動補償圖像；修正值計算單元，其基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算修正值，所述修正值用于修正所述運動補償圖像中的當前塊中的當前像素的像素值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及加法單元，其將所述修正值加到所述運動補償圖像中的所述當前像素的像素值上，所述圖像處理方法包括下述步驟: 通過根據標準圖像和參考圖像檢測圖像中每個塊的運動矢量，并且使用所述運動矢量對所述參考圖像執(zhí)行運動補償，來生成運動補償圖像； 基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算修正值，所述修正值用于修正所述運動補償圖像中的當前塊中的當前像素的像素值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及將所述修正值加到所述運動補償圖像中的所述當前像素的像素值上， 上述步驟由所述圖像處理裝置執(zhí)行。
7.一種用于使計算機執(zhí)行處理的程序，所述處理包括: 運動矢量檢測步驟，用于根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量；運動補償步驟，用于通過使用所述運動矢量對所述參考圖像執(zhí)行運動補償來生成運動補償圖像； 修正值計算步驟，用于基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算修正值，所述修正值用于修正所述運動補償圖像中的當前塊中的當前像素的像素值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及 相加步驟，用于將所述修正值加到所`述運動補償圖像中的所述當前像素的像素值上。
8.—種記錄有程序的記錄介質，所述程序用于使計算機執(zhí)行處理，所述處理包括: 運動矢量檢測步驟，用于根據標準圖像和參考圖像來檢測圖像中每個塊的運動矢量； 運動補償步驟，用于通過使用所述運動矢量對所述參考圖像執(zhí)行運動補償來生成運動補償圖像； 修正值計算步驟，用于基于所述標準圖像與所述運動補償圖像之間的邊界差值來計算修正值，所述修正值用于修正所述運動補償圖像中的當前塊中的當前像素的像素值，所述邊界差值是關于所述當前塊中與鄰近塊鄰近的邊界部分中的邊界像素的像素值的差值；以及 相加步驟，用于將所述修正值加到所述運動補償圖像中的所述當前像素的像素值上。
【文檔編號】H04N19/136GK103858432SQ201280049210
【公開日】2014年6月11日 申請日期:2012年10月5日 優(yōu)先權日:2011年10月14日
【發(fā)明者】橫川昌俊, 名云武文, 羅俊 申請人:索尼公司