專利名稱：圖像處理方法、圖像處理程序以及圖像處理器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法，通過該方法，可生成高圖像質(zhì)量的高分辨率數(shù)字彩色圖像。
背景技術(shù)：
對(duì)彩色圖像數(shù)據(jù)進(jìn)行色彩差值處理后會(huì)出現(xiàn)色彩失真，其中，通過利用單片式彩色圖像傳感器等進(jìn)行空間采樣彩色分量可獲得彩色圖像數(shù)據(jù)。國(guó)際申請(qǐng)WO 02/060186公開了一種方法，其用于自適應(yīng)地消除在彩色圖像數(shù)據(jù)中出現(xiàn)的色彩失真，而不損壞圖像結(jié)構(gòu)，并且，更具體地，不損壞由該彩色圖像數(shù)據(jù)表示的色彩結(jié)構(gòu)(由本發(fā)明的發(fā)明者發(fā)明)。在該方法中，基于通過使用基于色差信號(hào)計(jì)算的色彩索引執(zhí)行的色彩判定結(jié)果，在消色差區(qū)域內(nèi)較大程度地執(zhí)行色彩失真消除，并在彩色區(qū)域內(nèi)較小程度地執(zhí)行色彩失真消除。

發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，在國(guó)際申請(qǐng)WO 02/060186中公開的方法具有有待解決的問題，因?yàn)槠洳⑽刺峁┮环N對(duì)于在彩色圖像區(qū)域內(nèi)出現(xiàn)的色彩失真非常有效的解決方案。具體地，當(dāng)色彩失真的幅度在高ISO感光度照片中增加時(shí)，色彩失真在彩色區(qū)域和消色差區(qū)域上以類似的彩色斑點(diǎn)的形式出現(xiàn)。這導(dǎo)致不能在整個(gè)圖像區(qū)域上完全消除色彩失真的問題。
解決該問題的方法根據(jù)本發(fā)明的第一方面，一種圖像處理方法，用于將第一圖像轉(zhuǎn)換為第二圖像，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息；第二圖像由多個(gè)像素構(gòu)成，都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括色差信息生成步驟，其中，通過利用第一圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及圖像轉(zhuǎn)換步驟，其中，基于已經(jīng)確定的彩色梯度將第一圖像轉(zhuǎn)換為第二圖像。。
根據(jù)本發(fā)明的第二方面，在根據(jù)第一方面的圖像處理方法中，優(yōu)選的是圖像轉(zhuǎn)換步驟包括色差信息校正步驟，其中，對(duì)于通過利用第一圖像中的彩色信息已經(jīng)生成的色差信息，基于彩色梯度執(zhí)行校正處理。
根據(jù)本發(fā)明的第三方面，在根據(jù)第二方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，基于表示構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量間顏色差別的色差信息，生成色彩索引，并且通過確定色彩索引平面內(nèi)顏色變化的程度確定彩色梯度。
根據(jù)本發(fā)明的第四方面，在根據(jù)第一方面的圖像處理方法中，優(yōu)選的是以匹配位置結(jié)構(gòu)排列構(gòu)成第一圖像的多個(gè)像素和構(gòu)成第二圖像的多個(gè)像素，以實(shí)現(xiàn)直接對(duì)應(yīng)；并且在圖像轉(zhuǎn)換步驟，在與第二圖像中對(duì)應(yīng)于彩色梯度陡度的處理目標(biāo)像素位置對(duì)應(yīng)的位置，通過調(diào)整第一圖像中彩色信息的作用因子，將第一圖像轉(zhuǎn)換為第二圖像。
根據(jù)本發(fā)明的第五方面，在根據(jù)第四方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，利用表示構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量和對(duì)應(yīng)于反色的彩色分量間顏色差別的色差信息，生成色彩索引，并且通過確定色彩索引平面內(nèi)顏色變化的程度確定彩色梯度。
根據(jù)本發(fā)明的第六方面，一種圖像處理方法包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為其所有像素都具有對(duì)應(yīng)于至少兩個(gè)公共彩色分量的圖像的處理得到所述第二圖像，所述第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色差信息生成步驟，其中，通過利用第二圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正對(duì)應(yīng)于第二圖像的色差信息。
根據(jù)本發(fā)明的第七方面，在根據(jù)第一或第六方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，基于色差信息，生成對(duì)應(yīng)于每個(gè)像素的用于估計(jì)顏色的色彩索引，并且基于已經(jīng)生成的色彩索引，確定彩色梯度。
根據(jù)本發(fā)明的第八方面，在根據(jù)第七方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，通過在已經(jīng)生成的色彩索引平面內(nèi)執(zhí)行確定梯度的微分運(yùn)算，可確定彩色梯度。
根據(jù)本發(fā)明的第九方面，在根據(jù)第七方面的圖像處理步驟中，優(yōu)選的是在色差信息生成步驟，對(duì)應(yīng)于單個(gè)處理目標(biāo)像素生成多種類型的色差信息；并且在彩色梯度分析步驟，通過利用表示對(duì)應(yīng)于多種類型的色差信息特定組合的至少三個(gè)彩色分量中顏色差別的色差信息，生成色彩索引。
根據(jù)本發(fā)明的第十方面，一種圖像處理方法包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為所有像素都具有對(duì)應(yīng)于至少三個(gè)公共彩色分量的彩色信息的圖像的處理獲得所述第二圖像，所述第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色度信息生成步驟，其中，通過在第二圖像上執(zhí)行色彩空間轉(zhuǎn)換，生成色度信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色度信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正包含在第二圖像中的色差信息。
根據(jù)本發(fā)明的第十一方面，在根據(jù)第二、第六和第十中任一個(gè)的圖像處理方法中，優(yōu)選的是在色差信息校正步驟中，如果目標(biāo)像素具有小于預(yù)定值的彩色梯度，則向色差平面應(yīng)用在預(yù)定范圍上有效的校正濾波器，并且如果目標(biāo)像素具有大于預(yù)定值的彩色梯度，則不執(zhí)行校正處理，或應(yīng)用在比預(yù)定范圍窄的范圍上有效的校正濾波器。
根據(jù)本發(fā)明的第十二方面，在根據(jù)第十一方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟中用于確定彩色梯度的微分濾波器具有與在預(yù)定范圍上有效的校正濾波器的大小相匹配的大小。
根據(jù)本發(fā)明的第十三方面，在根據(jù)第一、第六和第十方面中任一個(gè)的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟中，通過沿多個(gè)方向各向同性地執(zhí)行微分運(yùn)算，確定彩色梯度。
根據(jù)本發(fā)明的第十四方面，在根據(jù)第十一方面的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，通過一階微分運(yùn)算計(jì)算彩色梯度。
根據(jù)本發(fā)明的第十五方面，在根據(jù)第四方面的圖像處理方法中，優(yōu)選的是在圖像轉(zhuǎn)換步驟，根據(jù)彩色梯度調(diào)整第一圖像中在對(duì)應(yīng)于第二圖像中處理目標(biāo)像素位置的位置處彩色信息的作用因子，由此允許第一圖像中的彩色信息影響對(duì)應(yīng)于承載第二圖像中的亮度的彩色分量的彩色信息。
根據(jù)本發(fā)明的第十六方面，在根據(jù)第十五方面的圖像處理方法中，優(yōu)選的是在圖像轉(zhuǎn)換步驟，通過采用至少第一方法和第二方法將第一圖像轉(zhuǎn)換為第二圖像，通過第一方法，利用對(duì)應(yīng)于第一圖像中多個(gè)彩色分量的彩色信息，可生成對(duì)應(yīng)于第二圖像中一個(gè)彩色分量的彩色信息，通過第二方法，利用對(duì)應(yīng)于第一圖像中一個(gè)彩色分量的彩色信息，可生成對(duì)應(yīng)于第二圖像中一個(gè)彩色分量的彩色信息；在彩色梯度分析步驟，基于已經(jīng)確定的彩色梯度，進(jìn)行是否存在彩色邊界的判定；以及在彩色轉(zhuǎn)換步驟，采用第一方法處理通過彩色梯度分析步驟確定沒有包含彩色邊界的像素，并且采用第二方法處理通過彩色梯度分析步驟確定包含彩色邊界的像素。
根據(jù)本發(fā)明的第十七方面，在根據(jù)第十六方面的圖像處理方法中，優(yōu)選的是當(dāng)在圖像轉(zhuǎn)換步驟采用第一方法時(shí)，對(duì)于某像素，通過插值處理生成對(duì)應(yīng)于承載第一圖像中的亮度的彩色分量的彩色信息，其中，在所述像素處缺失對(duì)應(yīng)于所述彩色分量的彩色信息，所述插值處理是通過利用對(duì)應(yīng)于與該彩色分量匹配的彩色分量的彩色信息和對(duì)應(yīng)于除該彩色分量之外的彩色分量的彩色信息來執(zhí)行的，并且利用通過所述插值處理已經(jīng)產(chǎn)生的、對(duì)應(yīng)于承載第一圖像中的亮度的彩色分量的彩色信息，將該第一圖像轉(zhuǎn)換為第二圖像。
根據(jù)本發(fā)明的第十八方面，在根據(jù)第十七方面的圖像處理方法中，優(yōu)選的是當(dāng)在圖像轉(zhuǎn)換步驟采用第一方法時(shí)，通過利用對(duì)應(yīng)于構(gòu)成第一圖像的彩色分量的彩色信息，對(duì)所有像素生成彩色信息，該彩色信息對(duì)應(yīng)于在除了用于表示第一圖像的色度系統(tǒng)之外的色度系統(tǒng)中承載亮度的彩色分量，并且通過利用已經(jīng)生成的、對(duì)應(yīng)于在其它色度系統(tǒng)中承載亮度的彩色分量的彩色信息，將第一圖像轉(zhuǎn)換為第二圖像。
根據(jù)本發(fā)明的第十九方面，在根據(jù)第一方面的圖像處理方法中，優(yōu)選的是在色差信息生成步驟，通過采用從至少三個(gè)不同方法中選擇的方法，生成色差信息。
根據(jù)本發(fā)明的第二十方面，在根據(jù)第十九方面的圖像處理方法中，優(yōu)選的是在色差信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少兩個(gè)方向的相似性因子，基于已經(jīng)計(jì)算的相似性因子，在至少三個(gè)不同的類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這三個(gè)不同方法中的一個(gè)。
根據(jù)本發(fā)明的第二十一方面，一種用于將第一圖像轉(zhuǎn)換為第二圖像的方法，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并且由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息，第二圖像由多個(gè)像素構(gòu)成，這些像素都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括色差信息生成步驟，其中，通過利用第一圖像中的彩色信息生成用于第二圖像的色差信息；彩色梯度分析步驟，其中，基于已經(jīng)產(chǎn)生的第二圖像的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正第二圖像的色差信息，并且在色差信息校正步驟，與第二圖像的亮度無關(guān)地進(jìn)行第二圖像色差信息的校正。
根據(jù)本發(fā)明的第二十二方面，一種圖像處理方法包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為全部像素具有至少兩個(gè)公共彩色分量的圖像的處理獲得所述第二圖像，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色差信息生成步驟，其中，通過利用第二圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與第二圖像的亮度信息無關(guān)地校正對(duì)應(yīng)于第二圖像的色差信息。
根據(jù)本發(fā)明的第二十三方面，一種圖像處理方法包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為全部像素都具有對(duì)應(yīng)于至少三個(gè)公共彩色分量的彩色信息的圖像的處理獲得所述第二圖像，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色度信息生成步驟，其中，通過在第二圖像上執(zhí)行彩色空間轉(zhuǎn)換，生成色度信息；彩色梯度分析步驟，其中，根據(jù)已經(jīng)生成的色度信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與第二圖像中的亮度信息無關(guān)地校正第二圖像中包含的色差信息。
根據(jù)本發(fā)明的第二十四方面，一種圖像處理方法包括圖像輸入步驟，在該步驟輸入由多個(gè)像素構(gòu)成的圖像，所有像素都具有對(duì)應(yīng)于至少兩個(gè)公共彩色分量的彩色信息；彩色轉(zhuǎn)換步驟，其中，對(duì)應(yīng)于構(gòu)成該圖像的彩色分量的彩色信息被轉(zhuǎn)換為亮度信息和色差信息；彩色梯度分析步驟，其中，基于該色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與亮度信息無關(guān)地校正該色差信息。
根據(jù)本發(fā)明的第二十五方面，在根據(jù)第二十一至第二十四方面中任一個(gè)的圖像處理方法中，優(yōu)選的是在色差信息校正步驟，根據(jù)在彩色梯度分析步驟中執(zhí)行的用于確定彩色梯度的檢測(cè)范圍，確定將在色差校正中使用的彩色信息范圍。
根據(jù)本發(fā)明的第二十六方面，在根據(jù)第二十一，第二十二和第二十四方面中任一個(gè)的圖像處理方法中，優(yōu)選的是在彩色梯度分析步驟，在確定彩色梯度前，校正在色差信息生成步驟中已經(jīng)生成的色差信息。
根據(jù)本發(fā)明的第二十七方面，一種將第一圖像轉(zhuǎn)換為第二圖像的方法，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息，第二圖像由多個(gè)像素構(gòu)成，所有像素都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括第一彩色信息生成步驟，其中，通過利用對(duì)應(yīng)于構(gòu)成第一圖像的多個(gè)彩色分量的彩色信息，生成對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量不同于構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量；第二彩色信息生成步驟，其中，通過利用對(duì)應(yīng)于第一圖像中一個(gè)彩色分量的彩色信息，生成對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量與用于表示第一圖像的色度系統(tǒng)中的彩色分量相匹配；以及彩色信息合成步驟，其中，根據(jù)像素位置，選擇使用通過第一彩色信息生成步驟已經(jīng)生成的彩色信息或通過第二彩色信息生成步驟已經(jīng)生成的彩色信息，或者都使用通過第一彩色信息生成步驟已經(jīng)生成的彩色信息和通過第二彩色信息生成步驟已經(jīng)生成的彩色信息，用于加權(quán)合成。
根據(jù)本發(fā)明的第二十八方面，在根據(jù)第二十七方面的圖像處理方法中，優(yōu)選的是在第一彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于亮度分量，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量。
根據(jù)本發(fā)明的第二十九方面，在根據(jù)第二十八方面的圖像處理方法中，優(yōu)選的是在第一彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于色差分量，該色差分量不同于用于表示第一圖像的色度系統(tǒng)中的彩色分量，并且如此生成的彩色信息，結(jié)合對(duì)應(yīng)于亮度分量的彩色信息，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量，被轉(zhuǎn)換為一種對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量代表用于表示第一圖像的色度系統(tǒng)中的亮度。
根據(jù)本發(fā)明的第三十方面，在根據(jù)第二十七至第二十九方面中任一個(gè)的圖像處理方法中，優(yōu)選的是在第二彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于一種彩色分量，該彩色分量代表用于表示第一圖像的色度系統(tǒng)中的亮度。
根據(jù)本發(fā)明的第三十一方面，在根據(jù)第二十八至第三十方面中任一個(gè)的圖像處理方法中，優(yōu)選的是在第一彩色信息生成步驟，通過采用從至少九個(gè)不同方法中選擇的方法，生成對(duì)應(yīng)于亮度分量的彩色信息，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量。
根據(jù)本發(fā)明的第三十二方面，在根據(jù)第三十方面的圖像處理方法中，優(yōu)選的是在第二彩色信息生成步驟，通過采用從至少三個(gè)不同方法中選擇的方法，生成對(duì)應(yīng)于表示亮度的彩色分量的彩色信息。
根據(jù)本發(fā)明的第三十三方面，在根據(jù)第三十一方面的圖像處理方法中，優(yōu)選的是在第一彩色信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少四個(gè)方向的相似性因子，根據(jù)已經(jīng)計(jì)算的相似性因子，在至少九個(gè)不同類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這九個(gè)不同方法中的一個(gè)。
根據(jù)本發(fā)明的第三十四方面，在根據(jù)第三十二方面的圖像處理方法中，優(yōu)選的是在第二彩色信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少兩個(gè)方向的相似性因子，根據(jù)已經(jīng)計(jì)算的相似性因子，在至少三個(gè)不同類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這三個(gè)不同方法中的一個(gè)。
根據(jù)本發(fā)明的第三十五方面，在根據(jù)第二十七至第三十四方面中任一個(gè)的圖像處理方法中，優(yōu)選的是進(jìn)一步提供色差信息生成步驟，其中，基于第一圖像中的彩色信息，生成色差信息，以及彩色梯度分析步驟，其中，基于已經(jīng)確定的色差信息，確定表示顏色變化程度的彩色梯度；并且在彩色信息合成步驟，選擇使用通過第一彩色信息生成步驟生成的彩色信息或通過第二彩色信息生成步驟生成的彩色信息，或者都使用通過第一彩色信息生成步驟生成的彩色信息和通過第二彩色信息生成步驟生成的彩色信息，基于已經(jīng)確定的彩色梯度，在每個(gè)像素位置進(jìn)行加權(quán)合成。
根據(jù)本發(fā)明的第三十六方面，一種圖像處理程序使計(jì)算機(jī)能夠執(zhí)行根據(jù)第一至第三十五中任一個(gè)的圖像處理方法中的步驟。
根據(jù)本發(fā)明的第三十七方面，一種計(jì)算機(jī)可讀的記錄介質(zhì)在其中記錄了根據(jù)第三十六方面的圖像處理程序。
根據(jù)本發(fā)明的第三十八方面，一種圖像處理裝置在其中安裝了根據(jù)第三十六方面的圖像處理程序。


圖1為在第一實(shí)施例中實(shí)現(xiàn)的電子照相機(jī)的功能框圖；圖2表示在轉(zhuǎn)換目標(biāo)像素[i，j]處包含R分量彩色信息的圖像數(shù)據(jù)；圖3表示在轉(zhuǎn)換目標(biāo)像素[i，j]處包含B分量彩色信息的圖像數(shù)據(jù)；圖4表示在轉(zhuǎn)換目標(biāo)像素[i，j]處包含G分量彩色信息的圖像數(shù)據(jù)；圖5表示在轉(zhuǎn)換目標(biāo)像素[i，j]處包含G分量彩色信息的圖像數(shù)據(jù)；圖6提供由圖像處理單元執(zhí)行的圖像數(shù)據(jù)轉(zhuǎn)換處理的示意流程圖；圖7是為了便于解釋在第一實(shí)施例中執(zhí)行的各種類型的處理間的關(guān)系而提供的框圖；圖8提供5×5像素分離型濾波器的示例；圖9提供在5×5像素范圍內(nèi)執(zhí)行的中值處理示例；圖10說明在5×5像素范圍內(nèi)如何確定彩色梯度，該范圍與臨時(shí)色差校正濾波器的大小匹配；圖11說明在9×9像素范圍內(nèi)如何確定彩色梯度，該范圍與在第二實(shí)施例中使用的臨時(shí)色差校正濾波器的大小匹配；圖12是為了便于解釋在第三實(shí)施例的示例2中執(zhí)行的各種類型的處理間的關(guān)系而提供的框圖；圖13提供由第四實(shí)施例中圖像處理單元執(zhí)行的圖像數(shù)據(jù)轉(zhuǎn)換處理的示意流程圖；圖14是為了便于解釋在第四實(shí)施例中執(zhí)行的各種類型的處理間的關(guān)系而提供的框圖；圖15表示色差校正低通濾波器；圖16表示彩色梯度與G分量合成比率間的關(guān)系；圖17是為了便于解釋在第五實(shí)施例中執(zhí)行的各種類型的處理間的關(guān)系而提供的框圖；圖18表示對(duì)應(yīng)方向索引進(jìn)行的九個(gè)不同分類；圖19表示當(dāng)將G像素作為轉(zhuǎn)換目標(biāo)像素處理時(shí)，所使用的像素的位置和分配給像素的系數(shù)(G-位置亮度生成系數(shù)模式)；圖20表示當(dāng)將R像素或B像素作為轉(zhuǎn)換目標(biāo)像素處理時(shí)，根據(jù)特定的方向索引，所使用的像素的位置和分配給像素的系數(shù)(R/B-位置亮度生成系數(shù)模式)；
圖21表示邊緣加重濾波器；以及圖22表示如何將程序提供至記錄介質(zhì)中，例如CD-ROM，或通過因特網(wǎng)上的數(shù)據(jù)信號(hào)等。
具體實(shí)施例方式
-第一實(shí)施例-(電子照相機(jī)的結(jié)構(gòu))圖1為在第一實(shí)施例中實(shí)現(xiàn)的電子照相機(jī)的功能框圖。該電子照相機(jī)1包括A/D轉(zhuǎn)換單元10，圖像處理單元11，控制單元12，存儲(chǔ)器13，壓縮/解壓縮單元14和顯示圖像生成單元15。它包括用于實(shí)現(xiàn)與存儲(chǔ)卡(卡片型可移動(dòng)存儲(chǔ)器)連接的存儲(chǔ)卡接口單元17和用于實(shí)現(xiàn)通過特定類型的電纜或無線傳輸路徑與諸如PC(個(gè)人計(jì)算機(jī))的外部裝置相連的外部接口單元19。這些模塊通過總線29彼此相連。圖像處理單元11可由例如專用于圖像處理的單芯片微處理器構(gòu)成。
電子照相機(jī)1還包括照相光學(xué)系統(tǒng)20，圖像傳感器(即圖像捕獲裝置)21，模擬信號(hào)處理單元22以及時(shí)序控制單元23。在圖像傳感器21處形成在照相光學(xué)系統(tǒng)20處獲得的物體圖像，并且圖像傳感器21的輸出連接至模擬信號(hào)處理單元22。模擬信號(hào)處理單元22的輸出連接至A/D轉(zhuǎn)換單元10?？刂茊卧?2的輸出連接至?xí)r序控制單元23，而時(shí)序控制單元23的輸出連接至圖像傳感器21，模擬信號(hào)處理單元22，A/D轉(zhuǎn)換單元和圖像處理單元11。該圖像傳感器21可為，例如單片CCD。
電子照相機(jī)1還包括操作單元24，其等效于快門釋放按鈕，操作用于切換模式等的選擇按鈕，和監(jiān)視器25。操作單元24的輸出連接至控制單元12，并且顯示圖像生成單元12的輸出連接至監(jiān)視器25。
需要注意，在CD-ROM28中記錄的應(yīng)用程序預(yù)安裝在與監(jiān)視器26、打印機(jī)27等相連的PC 18中。此外，PC 18包括用于實(shí)現(xiàn)與存儲(chǔ)卡16相連的存儲(chǔ)卡接口單元(未示出)和用于實(shí)現(xiàn)與除了CPU，存儲(chǔ)器和硬盤(未示出)之外的諸如電子照相機(jī)1的外部裝置相連的外部接口單元(未示出)。
當(dāng)操作者通過采用圖1所示結(jié)構(gòu)的電子照相機(jī)1中的操作單元24選擇拍照模式并按下快門釋放按鈕時(shí)，控制單元12啟動(dòng)時(shí)序控制單元23，為圖像傳感器21，模擬信號(hào)處理單元22和A/D轉(zhuǎn)換單元10執(zhí)行時(shí)序控制。圖像傳感器21生成對(duì)應(yīng)于光學(xué)圖像的圖像信號(hào)。該圖像信號(hào)然后在模擬信號(hào)處理單元21處進(jìn)行預(yù)定類型的信號(hào)處理，在A/D轉(zhuǎn)換單元10處數(shù)字化，隨后作為圖像數(shù)據(jù)提供至圖像處理單元11。
在該實(shí)施例實(shí)現(xiàn)的電子照相機(jī)1中，對(duì)應(yīng)于R(紅色)、G(綠色)、B(藍(lán)色)彩色分量的彩色濾光鏡設(shè)置在圖像傳感器21處的Bayer陣列中，因此，以RGB色度系統(tǒng)表示提供至圖像處理單元11的圖像數(shù)據(jù)。構(gòu)成該圖像數(shù)據(jù)的每個(gè)像素包括對(duì)應(yīng)于R、G和B中一個(gè)彩色分量的彩色信息。
除了將在后面詳述的執(zhí)行圖像數(shù)據(jù)轉(zhuǎn)換處理外，圖像處理單元11還對(duì)圖像數(shù)據(jù)執(zhí)行諸如灰度轉(zhuǎn)換和邊緣增強(qiáng)的圖像處理。然后在壓縮/解壓縮單元按照需要以預(yù)定格式壓縮已經(jīng)歷圖像處理的圖像數(shù)據(jù)，并通過存儲(chǔ)卡接口單元17將這些圖像數(shù)據(jù)記錄至存儲(chǔ)卡16。
應(yīng)當(dāng)注意，一旦完成圖像處理，可直接將圖像數(shù)據(jù)記錄至存儲(chǔ)卡16，而不進(jìn)行壓縮處理，或可將其轉(zhuǎn)換為以與PC 18相連的監(jiān)視器26或打印機(jī)27中采用的色度系統(tǒng)表示的數(shù)據(jù)，或通過外部接口單元19提供至PC 18。此外，當(dāng)用戶通過操作單元24選擇再現(xiàn)模式時(shí)，通過存儲(chǔ)卡接口單元17讀出在存儲(chǔ)卡16中記錄的圖像數(shù)據(jù)，在壓縮/解壓縮單元12處解壓縮這些圖像數(shù)據(jù)，并通過顯示圖像生成單元15在監(jiān)視器25顯示圖像數(shù)據(jù)。
應(yīng)當(dāng)注意，可不在監(jiān)視器25顯示已經(jīng)歷解壓縮處理的圖像數(shù)據(jù)，而將該圖像數(shù)據(jù)轉(zhuǎn)換為以與PC 18相連的監(jiān)視器26或打印機(jī)27采用的色度系統(tǒng)表示的圖像數(shù)據(jù)，并通過外部接口單元19將圖像數(shù)據(jù)提供至PC 18。進(jìn)而，通過采用公知技術(shù)，實(shí)現(xiàn)后面詳述的為了將已經(jīng)歷轉(zhuǎn)換處理的圖像數(shù)據(jù)轉(zhuǎn)換為以監(jiān)視器25或26或打印機(jī)27采用的色度系統(tǒng)表示的圖像數(shù)據(jù)而執(zhí)行的處理。
(圖像數(shù)據(jù)的轉(zhuǎn)換)接下來，解釋為了將以RGB色度系統(tǒng)表示的圖像數(shù)據(jù)，這些數(shù)據(jù)通過圖像傳感器21獲得，轉(zhuǎn)換為高清晰度高質(zhì)量的圖像數(shù)據(jù)而執(zhí)行的處理。圖像數(shù)據(jù)最初在圖像傳感器21處捕獲，并在模擬信號(hào)處理單元22和A/D轉(zhuǎn)換單元10進(jìn)行處理后輸入至圖像處理單元11，這些圖像數(shù)據(jù)以采用Bayer陣列的RGB色度系統(tǒng)表示，并在單個(gè)彩色分量上包含對(duì)應(yīng)于每個(gè)像素的信息，如前所解釋，就好像與物體彩色圖像相關(guān)的信息被子采樣為對(duì)應(yīng)于Bayer陣列的模式。在后面的說明中，這些圖像數(shù)據(jù)稱為預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)。該預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)被轉(zhuǎn)換為高清晰度高質(zhì)量的圖像數(shù)據(jù)，其包含對(duì)應(yīng)于每個(gè)像素的R分量、G分量和B分量的信息，好像從子采樣的圖像數(shù)據(jù)生成和恢復(fù)高質(zhì)量的高清晰度圖像數(shù)據(jù)。
圖2至圖5說明預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)。圖2至圖5每一個(gè)都說明包圍轉(zhuǎn)換目標(biāo)像素的各像素的彩色分量分布，轉(zhuǎn)換目標(biāo)像素具有對(duì)應(yīng)于特定彩色分量的信息。[i，j]表示轉(zhuǎn)換目標(biāo)像素的坐標(biāo)。在圖2中，轉(zhuǎn)換目標(biāo)像素[i，j]具有R分量彩色信息，并且在圖3中，轉(zhuǎn)換目標(biāo)像素[i，j]具有B分量彩色信息。在圖4中，與具有G分量彩色信息的轉(zhuǎn)換目標(biāo)像素[i，j]垂直相鄰的像素具有B分量彩色信息，并且與轉(zhuǎn)換目標(biāo)像素[i，j]水平相鄰的像素具有R分量彩色信息。在圖5中，與具有G分量彩色信息的轉(zhuǎn)換目標(biāo)像素[i，j]垂直相鄰的像素具有R分量彩色信息，并且與轉(zhuǎn)換目標(biāo)像素[i，j]水平相鄰的像素具有B分量彩色信息。
在構(gòu)成預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)的像素中，具有R分量彩色信息的像素被稱為R像素，具有B分量彩色信息的像素被稱為B像素，并且具有G分量彩色信息的像素被稱為G像素。
圖6提供了由圖像處理單元11執(zhí)行的圖像數(shù)據(jù)轉(zhuǎn)換處理的示意流程圖。圖7是為了便于解釋各種類型處理間關(guān)系而提供的框圖。參考圖6和圖7，總結(jié)了第一實(shí)施例中由圖像處理單元11執(zhí)行的圖像數(shù)據(jù)轉(zhuǎn)換處理。
根據(jù)從統(tǒng)計(jì)上證實(shí)的事實(shí)，由彩色莫爾條紋、彩色斑點(diǎn)引起的顏色變化率與物體中實(shí)際呈現(xiàn)的顏色的顏色變化率相比是非常小的，因此在第一實(shí)施例的圖像數(shù)據(jù)轉(zhuǎn)換處理中，通過將彩色梯度用作索引，執(zhí)行自適應(yīng)色彩失真消除處理。專門在Bayer插值中執(zhí)行自適應(yīng)色彩失真消除。應(yīng)當(dāng)注意，在下面將對(duì)每個(gè)步驟中執(zhí)行的特定處理進(jìn)行詳細(xì)的解釋。
在步驟S11，輸入Bayer平面(圖7中的301)，即預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)。在步驟S12，計(jì)算相似性因子并執(zhí)行垂直/水平方向判斷(圖7中的302)。在步驟S13，基于垂直/水平方向判斷的結(jié)果，生成Cr平面和Cb平面，即利用對(duì)應(yīng)于在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中包含的各個(gè)彩色分量的彩色信息，針對(duì)每個(gè)像素生成色差信息Cr和Cb(圖7中的303)。
在步驟S14，執(zhí)行臨時(shí)色差校正，以確保當(dāng)彩色梯度根據(jù)索引分類時(shí)，不會(huì)將色彩失真邊界錯(cuò)誤地識(shí)別為彩色邊界(圖7中的304)。在步驟S15，利用色差信息Cr和Cb，執(zhí)行彩色梯度分析(圖7中的305)。在步驟S16，根據(jù)彩色梯度，進(jìn)行是否執(zhí)行色差校正處理的判定(圖7的306)。在步驟S16執(zhí)行的色差校正被稱為自適應(yīng)色差校正。文中使用的術(shù)語(yǔ)“自適應(yīng)”意味著“按需執(zhí)行”。通過自適應(yīng)色差校正，可根據(jù)用于優(yōu)化結(jié)果的特定條件，執(zhí)行或不執(zhí)行校正。
在步驟S17，基于在步驟S12執(zhí)行的方向判斷結(jié)果生成G平面(圖7中的307)。也就是，通過插值處理，對(duì)所有像素生成對(duì)應(yīng)于該G彩色分量的彩色信息。在步驟S18，基于從步驟S16得到的Cr平面與Cb平面和在已經(jīng)在步驟S17中生成G平面，將該圖像數(shù)據(jù)轉(zhuǎn)換為以RGB色度系統(tǒng)表示的圖像數(shù)據(jù)(圖7中的308)，并輸出從該轉(zhuǎn)換獲得的圖像數(shù)據(jù)。如此輸出的圖像數(shù)據(jù)經(jīng)歷各種類型的圖像處理并存儲(chǔ)在存儲(chǔ)器等中。
應(yīng)當(dāng)注意，構(gòu)成預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)的像素?cái)?shù)與構(gòu)成后轉(zhuǎn)換圖像數(shù)據(jù)的象素?cái)?shù)彼此相等，并且預(yù)轉(zhuǎn)換像素位置與后轉(zhuǎn)換像素位置在二維平面上具有一對(duì)一的對(duì)應(yīng)關(guān)系。通過在不同的目標(biāo)局部區(qū)域內(nèi)反復(fù)執(zhí)行圖像數(shù)據(jù)轉(zhuǎn)換處理，對(duì)所有像素執(zhí)行上述圖像數(shù)據(jù)轉(zhuǎn)換處理。因此，通過引用表示在各個(gè)目標(biāo)區(qū)域內(nèi)局部適用的關(guān)系的關(guān)系表達(dá)式，給出下面的解釋。下面詳細(xì)解釋該處理的各個(gè)方面。
1 方向判斷1-1 計(jì)算相似性因子通過使用對(duì)應(yīng)于包含在已經(jīng)輸入的預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中各個(gè)彩色分量的彩色信息，計(jì)算相似性因子并執(zhí)行垂直/水平方向判斷。首先，對(duì)每個(gè)R像素和B像素計(jì)算相似性因子。術(shù)語(yǔ)“相似性因子”指的是一種數(shù)字值，該值表示在轉(zhuǎn)換目標(biāo)像素和周圍像素間表現(xiàn)出的相似程度，通過使用包含轉(zhuǎn)換目標(biāo)像素的局部區(qū)域中的彩色分量信息計(jì)算該值。在該實(shí)施例中，沿垂直方向和水平方向計(jì)算相似性因子，并且判定垂直方向相似性或水平方向相似性哪一個(gè)更加顯著。一組彩色信息表示通過預(yù)定處理，由數(shù)字化圖像傳感器21提供的彩色信號(hào)獲得的值?？赏ㄟ^使用，例如一個(gè)字節(jié)數(shù)據(jù)256灰度，表示這樣的值。
當(dāng)用[x，y]表示給定像素的坐標(biāo)時(shí)，[i，j]表示轉(zhuǎn)換目標(biāo)像素的坐標(biāo)。G[x，y]表示G像素處的彩色信息，R[x，y]表示R像素處的彩色信息，B[x，y]表示B像素處的彩色信息，并且Z[x，y]總體表示R像素處彩色信息或B像素處彩色信息中的任何一個(gè)。可如(1)中所示計(jì)算沿垂直方向的相似性因子Cv[i，j]，并且可如(2)中所示計(jì)算沿水平方向的相似性因子Ch[i，j]。
Cv[i，j]＝{(|G[i，j-1]-Z[i，j]|+|G[i，j+1]-Z[i，j]|)/2+|G[i，j-1]-G[i，j+1]|}/2......(1)Ch[i，j]＝{(|G[i-1，j]-Z[i，j]|+|G[i+1，j]-Z[i，j]|)/2+|G[i-1，j]-G[i+1，j]|}/2......(2)應(yīng)當(dāng)注意，應(yīng)采用目前已提出的各種方法中的優(yōu)化方法并結(jié)合實(shí)施例，計(jì)算相似性因子。
1-2 相似性判斷接下來執(zhí)行相似性判斷?；谌缟纤鲇?jì)算的Cv[i，j]和Ch[i，j]，判斷關(guān)于轉(zhuǎn)換目標(biāo)像素出現(xiàn)的相似性類型。也就是，進(jìn)行是否沿垂直方向或水平方向出現(xiàn)明顯相似性的判斷，或者是否沿垂直或水平方向不能發(fā)現(xiàn)明顯的相似性。更具體地，如果滿足(3)中表示的條件，確定顯著相似性的方向并不明顯，即垂直方向或水平方向，并將方向索引HV[i，j]設(shè)置為0。換言之，如果垂直相似性因子或水平相似性因子的差別等于或小于門限值Th1，則不能確定沿垂直方向或水平方向出現(xiàn)顯著的相似性。Th1為預(yù)定門限值，對(duì)于256灰度，假設(shè)其為約為10的值。如果在該圖像中存在大量噪聲，則應(yīng)設(shè)置較大的值。
|Cv[i，j]-Ch[i，j]|≤Th1 ......(3)如果不滿足(3)中表示的條件，即如果確定沿垂直方向或水平方向出現(xiàn)顯著的相似性，則進(jìn)行是否滿足(4)中表示的條件的判定。如果滿足條件(4)，則確定沿垂直方向出現(xiàn)更加顯著的相似性，并且將方向索引HV[i，j]設(shè)置為1。如果不滿足條件(4)，則確定沿水平方向出現(xiàn)更加顯著的相似性，并且對(duì)方向索引HV[i，j]設(shè)置為-1。應(yīng)當(dāng)注意，當(dāng)相似性因子Cv[i，j]或相似性因子Ch[i，j]出現(xiàn)更小的值時(shí)，表示更高的相似程度。
Cv[i，j]＜Ch[i，j] ......(4)2 色差生成2-1 Cr平面生成接下來解釋R像素的色差信息即Cr平面的生成。在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中，對(duì)R像素計(jì)算色差信息Cr。根據(jù)如上確定的相似性方向索引HV[i，j]的值，從不同的表達(dá)式中選擇用于此目的的表達(dá)式。如果HV[i，j]＝1，則利用表達(dá)式(5)，如果HV[i，j]＝-1，則利用表達(dá)式(6)，并且如果HV[i，j]＝0，則利用表達(dá)式(7)，計(jì)算Cr[i，j]。
Cr[i，j]＝R[i，j]-(G[i，j-1]+G[i，j+1])/2 ......(5)Cr[i，j]＝R[i，j]-(G[i-1，j]+G[i+1，j])/2 ......(6)Cr[i，j]＝R[i，j]-(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4 ......(7)2-2 Cr平面插值接下來插值Cr平面。利用已經(jīng)對(duì)R像素生成的色差信息Cr，通過對(duì)每個(gè)B像素和G像素的插值處理，計(jì)算色差信息Cr。如(8)中所示為對(duì)應(yīng)于B像素的像素，如(9)中所示為對(duì)應(yīng)于沿水平方向與R像素相鄰的G像素的像素，并且如(10)中所示為對(duì)應(yīng)于沿垂直方向與R像素相鄰的G像素的像素，計(jì)算色差信息。
Cr[i，j]＝(Cr[i-1，j-1]+Cr[i-1，j+1]+Cr[i+1，j-1]+Cr[i+1，j+1])/4 ...(8)Cr[i，j]＝(Cr[i-1，j]+Cr[i+1，j])/2 ...(9)Cr[i，j]＝(Cr[i，j-1]+Cr[i，j+1])/2 ...(10)
2-3 Cb平面生成與插值如上關(guān)于色差信息Cr的解釋，還可獲得色差信息Cb。對(duì)于構(gòu)成預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)的所有像素，可獲得色差信息Cr和色差信息Cb。
3 臨時(shí)色差校正在如“2.色差生成”中所述獲得的色差平面上存在大量的色差失真，并且這些色差失真可能引起彩色莫爾條紋或彩色斑點(diǎn)，這往往在高ISO感光度水平出現(xiàn)。盡管應(yīng)該自適應(yīng)地消除色彩失真而不影響色彩結(jié)構(gòu)，但預(yù)先執(zhí)行臨時(shí)消除以確保當(dāng)彩色梯度根據(jù)索引進(jìn)行分類時(shí)，不將失真邊界錯(cuò)誤地識(shí)別為彩色邊界，如下一部分詳述。盡管下面說明了兩種不同的方法，但也可采用除過這些之外的方法。
方法1(低通處理)表達(dá)式(101)和(102)和圖8涉及5×5像素分離型濾波器。
水平低通濾波tmp_Cr[i，j]＝{6*Cr[i，j]+4*(Cr[i-1，j]+Cr[i+1，j])+Cr[i-2，j]+Cr[i+2，j}/16 ...(101)垂直低通濾波TCr[i，j]＝{6*tmp_Cr[i，j]+4*(tmp_Cr[i，j-1]+tmp_Cr[i，j+1])+tmp_Cr[i，j-2]+tmp_Cr[i，j+2]}/16 ...(102)還以類似方式計(jì)算TCb[i，j]。
方法2(中值處理)表達(dá)式(103)和圖9涉及中值處理。在中值處理中，對(duì)圖9中5×5范圍內(nèi)的所有像素排序，并且選擇該范圍的中間值(中值)。
TCr[i，j]＝Median{Cr[i+m，j+n]}m＝0，±1，±2，n＝0，±1，±2 ...(103)
4 彩色梯度分析4-1 計(jì)算色彩索引接下來，通過檢查彩色梯度區(qū)分色彩失真和在圖像中實(shí)際存在的色彩，以確保保持色彩結(jié)構(gòu)不被破壞。由于即使經(jīng)過上述3中說明的臨時(shí)色差校正處理，實(shí)際的色彩往往較好地保持了顏色對(duì)比度，因而可基于該從統(tǒng)計(jì)上證實(shí)的特性，以非常高的置信度區(qū)分實(shí)際的色彩。為了盡可能準(zhǔn)確地保持色彩結(jié)構(gòu)，生成將提高實(shí)際色彩間顏色對(duì)比度和降低色差失真間顏色對(duì)比度的色彩索引平面。通常來講，色彩失真易于在相反的顏色間出現(xiàn)，由于此原因，希望利用基色生成色彩索引。也就是，利用如上已經(jīng)獲得的色差信號(hào)Cr[i，j]和Cb[i，j]，通過下面(104)所示，獲得評(píng)價(jià)各個(gè)像素單元中顏色的色彩索引Cdiff[i，j]。
Cdiff[i，j]＝(|Cr[i，j]|+|Cb[i，j]|+|Cr[i，j]-Cb[i，j]|)/3 ...(104)利用表示三元色，R、G和B，所有可能組合的全部色差信息計(jì)算的色彩索引提高了保護(hù)程度，通過其可保持色彩結(jié)構(gòu)。通過替代色差的定義，可以改寫彩色索引如下Cdiff＝(|R-G|+|G-B|+|B-R|)/3 ...(105)4-2 估計(jì)彩色梯度接下來，如(106)中所示，在包含顏色對(duì)比度信息的單個(gè)色彩索引平面內(nèi)確定彩色梯度Cgrad。此時(shí)用于彩色梯度檢測(cè)的微分濾波器的大小等于臨時(shí)色差校正濾波器的大小，并且由此可檢查存在色差結(jié)構(gòu)毀壞機(jī)會(huì)的所有范圍。結(jié)果，確保防止彩結(jié)構(gòu)毀壞的高度保護(hù)。圖10表示在與臨時(shí)色差校正濾波器相匹配的5×5像素范圍內(nèi)如何確定彩色梯度。

Cgrad[i,j]=(Σm=±1,±2n=±1,±2|Cdiff[i+m,j+n]-Cdiff[i,j]`|)/{(2*mmax+1)(2*nmax+1)-1}=grad(Cdiff[i,j])---(106)]]>在上面的(106)中，m max＝2且n max＝2。對(duì)于所有的周圍像素計(jì)算微分不是十分必要，可僅對(duì)于這些像素中的一些執(zhí)行微分。在這種情況下，加速了算術(shù)運(yùn)算的過程。
5 自適應(yīng)色差校正接下來，如下面的條件表達(dá)式(107)所示，基于彩色梯度，進(jìn)行是否執(zhí)行色差校正處理的判定。直接在梯度大的彩色邊界上使用初始Cr[i，j]。該彩色梯度由與亮度梯度無關(guān)的值表示。
if Cgrad[i，j]≤ThG Cr[i，j]＝TCr[i，j]…(107)如上所述，作為與亮度(即明亮度)信息無關(guān)的處理執(zhí)行色差校正，即執(zhí)行色差校正，而不使用亮度信息。換言之，僅僅基于色差信息和彩色梯度執(zhí)行色差校正，而與亮度信息完全無關(guān)。需要將門限值ThG設(shè)置為非常小的值，以確保將出現(xiàn)彩色斑點(diǎn)和彩色莫爾條紋的區(qū)域指定為色差校正目標(biāo)區(qū)域，而不管它們是彩色區(qū)域或是消色差區(qū)域，同時(shí)將色彩結(jié)構(gòu)部分作為不破壞的區(qū)域保存。應(yīng)當(dāng)結(jié)合256灰度，假設(shè)等于或小于5的值。盡管在上面的解釋中，當(dāng)彩色梯度大于門限值ThG時(shí)直接使用初始Cr[i，j]，但可替代應(yīng)用具有窄于臨時(shí)色差校正濾波器的范圍的濾波器。
G 平面插值接下來，基于在步驟S12執(zhí)行的方向判斷結(jié)果，如(108)、(109)或(110)中所示，計(jì)算Bayer平面上每個(gè)R/B位置的G值。
If HV[i，j]＝1 Gout[i，j]＝(G[i，j-1]+G[i，j+1])/2
+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/4…(108)else if HV[i，j]＝-1 Gout[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/4…(109)else Gout[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(4*Z[i，j]-Z[i，j-2]-Z[i，j+2]-Z[i-2，j]-Z[i+2，j])/8 …(110)在R位置Z＝R，在B位置Z＝B。在Bayer平面上的G位置，直接使用Gout[i，j]＝Bayer信號(hào)替換。
7 色度系統(tǒng)轉(zhuǎn)換(彩色空間轉(zhuǎn)換)如表達(dá)式(111)和(112)中所示，利用三種類型的彩色信息，即已經(jīng)按照需要進(jìn)行色彩失真消除的Cr和Cb和G平面，將圖像數(shù)據(jù)轉(zhuǎn)換為以RGB色度系統(tǒng)表示的圖像數(shù)據(jù)。
Rout[i，j]＝Cr[i，j]+Gout[i，j]…(111)Bout[i，j]＝Cb[i，j]+Gout[i，j]…(112)如上所述，在第一實(shí)施例中提供利用最小化色差失真獲得高質(zhì)量插值圖像，其由色彩插值處理產(chǎn)生。具體地，通過以類似方式在彩色圖像區(qū)域和消色差區(qū)域自適應(yīng)地減少色彩失真噪聲，可實(shí)現(xiàn)高質(zhì)量的插值圖像。換言之，通過將彩色梯度用作索引，在色差分量上執(zhí)行自適應(yīng)校正處理，可產(chǎn)生不包含大量色彩失真的高質(zhì)量插值圖像。
在正常情況下，由于高ISO感光度造成的彩色莫爾條紋和彩色斑點(diǎn)往往如前所述在圖像區(qū)域中出現(xiàn)，在此區(qū)域中，亮度分量的劇烈變化以Nyquist頻率水平在圖像中出現(xiàn)，該圖像是通過對(duì)空間采樣的彩色分量數(shù)據(jù)，例如從在Bayer陣列中排列的像素獲得的數(shù)據(jù)，進(jìn)行插值而恢復(fù)。也就是，在亮度以Nyquist頻率水平變化的區(qū)域上，由R、G和B中輕微的插值預(yù)測(cè)誤差引起的敲打現(xiàn)象表現(xiàn)為彩色莫爾條紋。此外，高ISO感光度水平的彩色斑點(diǎn)的主要原因是由接近Nyquist頻率模式的插值預(yù)測(cè)誤差導(dǎo)致的色彩失真，這是由隨機(jī)噪聲不穩(wěn)定的幅度造成的，該噪聲甚至在亮度以Nyquist頻率水平均勻變化的平坦圖像區(qū)域中出現(xiàn)。
因此，完全基于色差分量信息，根本不采用亮度分量，通過確定彩色梯度消除色差失真，如第一實(shí)施例中那樣，能夠以希望的方式消除彩色莫爾條紋和高ISO彩色斑點(diǎn)，而無須考慮亮度信號(hào)結(jié)構(gòu)。此外，可有效地消除在高ISO感光度水平出現(xiàn)的彩色斑點(diǎn)，以清理單色字符和平坦圖像區(qū)域等的邊緣部分，彩色梯度在此處的變化不大。
-第二實(shí)施例-在第二實(shí)施例中，采用比在第一實(shí)施例中更加高效的色差校正濾波器。第二實(shí)施例與第一實(shí)施例的不同之處僅在于“3.臨時(shí)色差校正”中使用的濾波器和“4.彩色梯度分析”中使用的微分濾波器。為了配合在臨時(shí)色差校正中使用增大尺寸的濾波器，對(duì)彩色梯度判定中采用了更大的微分濾波器，以防止破壞色彩結(jié)構(gòu)。
參考在第一實(shí)施例中的解釋，由于在第二實(shí)施例中實(shí)現(xiàn)的電子照相機(jī)1的結(jié)構(gòu)，由圖像處理單元11執(zhí)行的全部圖像數(shù)據(jù)轉(zhuǎn)換處理的流程圖和表示各種處理間關(guān)系的框圖將類似于圖1、6和7的流程圖或框圖，因此將忽略它們的解釋。
3 臨時(shí)色差校正在第二實(shí)施例的臨時(shí)色差校正中可能采用的校正濾波器包括以下各項(xiàng)。
方法1(低通處理)下面的表達(dá)式(113)與表達(dá)式(114)代表9×9像素分離型濾波器的示例。
水平低通濾波tmp_Cr[i，j]＝{70*Cr[i，j]+56*(Cr[i-1，j]+Cr[i+1，j])+28*(Cr[i-2，j]+Cr[i+2，j])+8*(Cr[i-3，j]+Cr[i+3，j])+(Cr[i-4，j]+Cr[i+4，j])}/256…(113)垂直低通濾波TCr[i，j]＝{70*tmp_Cr[i，j]+56*(tmp_Cr[i，j-1]+tmp_Cr[i，j+1])+28*(tmp_Cr[i，j-2]+tmp_Cr[i，j+2])+8*(tmp_Cr[i，j-3]+tmp_Cr[i，j+3])+tmp_Cr[i，j-4]+tmp_Cr[i，j+4]}/256…(114)類似的處理概念適用于TCb[i，j]。
方法2(中值處理)下面的表達(dá)式(115)表示中值處理的示例。
TCr[i，j]＝Median{Cr[i+m，j+n]}m＝0，±1，±2，±3，±4 n＝m＝0，±1，±2，±3，±4 …(115)4 彩色梯度分析4-1 計(jì)算色彩索引如第一實(shí)施例中計(jì)算色彩索引。
4-2 估計(jì)彩色梯度如下面的(116)中所示確定彩色梯度Cgrad。此時(shí)用于彩色梯度檢測(cè)的微分濾波器的大小與臨時(shí)色差校正濾波器的大小相匹配，以涵蓋可能在其上損壞色彩結(jié)構(gòu)的范圍。結(jié)果，可有效地防止損壞色彩結(jié)構(gòu)。圖11表示如何在9×9像素范圍上確定彩色梯度，該范圍與臨時(shí)色差校正濾波器的大小相匹配。
Cgrad[i,j]=(Σm=±1,±2,±3,±4n=±1,±2,±3,±4|Cdiff[i+m,j+n]-Cdiff[i,j]`|)/{(2*mmax+1)(2*nmax+1)-1}=grad(Cdiff[i,j])---(116)]]>在上述表達(dá)式中，m max＝4且m max＝4。在這種情況下，通過對(duì)于第一實(shí)施例解釋的濾波，還可以剔除數(shù)據(jù)。
如上所述，第二實(shí)施例實(shí)現(xiàn)與第一實(shí)施例類似的優(yōu)點(diǎn)，但使用比在第一實(shí)施例中更加高效的色差校正濾波器。更具體地，由于色差校正濾波器的大小從第一實(shí)施例中使用的5×5像素大小增加到9×9像素大小，可實(shí)現(xiàn)能夠消除在較長(zhǎng)周期上出現(xiàn)的色彩失真(彩色莫爾條紋或彩色斑點(diǎn))的優(yōu)點(diǎn)。
-第三實(shí)施例-在第一和第二實(shí)施例中，處理經(jīng)歷色彩插值的信號(hào)。在第三實(shí)施例中，本發(fā)明適用于處理插值的數(shù)據(jù)。例如，在第三實(shí)施例中可處理已經(jīng)在電子照相機(jī)中插值然后由該電子照相機(jī)輸出的JPEG數(shù)據(jù)。下面提供了這些應(yīng)用的三個(gè)示例。由于在第三實(shí)施例的電子照相機(jī)1中采用的結(jié)構(gòu)類似于圖1所示的結(jié)構(gòu)，第一實(shí)施例已經(jīng)解釋過此結(jié)構(gòu)，因此忽略其解釋。
(示例1)(1)彩色空間轉(zhuǎn)換通過轉(zhuǎn)換插值的RGB數(shù)據(jù)可獲得下面定義的G、Cb、Cr數(shù)據(jù)。
Cr＝R-G…(117)Cb＝B-G…(118)不轉(zhuǎn)換G分量。
(2)通過彩色梯度判定的自適應(yīng)色彩失真消除執(zhí)行與在第一實(shí)施例或第二實(shí)施例中執(zhí)行的處理完全相同的處理，如在“3臨時(shí)色差校正”至“7色度系統(tǒng)轉(zhuǎn)換”中所述。
(示例2)在正常情況下，將對(duì)插值的數(shù)據(jù)進(jìn)行用于圖像增強(qiáng)目的的色彩校正處理。為了在數(shù)據(jù)中減輕彩色梯度處理的影響，以進(jìn)行彩色梯度判定，在示例1中執(zhí)行Lab空間轉(zhuǎn)換，而不是彩色空間轉(zhuǎn)換。作為L(zhǎng)ab空間轉(zhuǎn)換的替代，可執(zhí)行Luv空間轉(zhuǎn)換等。圖12為表示在示例2中執(zhí)行的各種處理間關(guān)系的框圖。
1)彩色空間轉(zhuǎn)換將插值的RGB數(shù)據(jù)(圖12中的401)轉(zhuǎn)換為L(zhǎng)ab數(shù)據(jù)(圖12中的402)。
2)通過彩色梯度的自適應(yīng)色彩失真消除表示第一實(shí)施例中執(zhí)行的處理的圖7中的臨時(shí)色差校正304、彩色梯度分析305、自適應(yīng)色差校正306和色度系統(tǒng)轉(zhuǎn)換308分別對(duì)應(yīng)于表示本實(shí)施例中執(zhí)行的處理的圖12中的臨時(shí)ab平面校正403、彩色梯度分析404、自適應(yīng)色差校正405和彩色空間轉(zhuǎn)換406。如在“3臨時(shí)色差校正”至“7色度系統(tǒng)轉(zhuǎn)換”中所述，在第一實(shí)施例或第二實(shí)施例中執(zhí)行的對(duì)于Cb和Cr的處理轉(zhuǎn)而對(duì)于a和b執(zhí)行。下面定義對(duì)于a和b需要修改的處理的方面。
4 彩色梯度分析(圖12中的404)如下面的(119)或(120)所示計(jì)算色彩索引Cdiff。
Cdiff[i,j]=(a[i,j])2+(b[i,j])2+(a[i,j]-b[i,j])2---(119)]]>Cdiff[i，j]＝(|a[i，j]｀|+|b[i，j]｀|+|a[i，j]-b[i，j]｀|)/3 ...(120)
(示例3)盡管在示例2中，用于確定彩色梯度的彩色空間和經(jīng)歷色差校正處理的彩色空間相匹配，但它們也可以不匹配。經(jīng)歷色差校正處理的彩色空間可為，例如Lab空間中的ab平面或Y IQ空間中的IQ平面。通過首先在ab平面或IQ平面上執(zhí)行色差校正，然后將該彩色空間轉(zhuǎn)換為例如HSV空間或LCH空間，可以確定彩色梯度。通過檢查轉(zhuǎn)換的數(shù)據(jù)中色度分量，即非亮度分量的變化，能夠確定彩色梯度，如下面的表達(dá)式(121)或表達(dá)式(122)所示。HSV空間中的H與S和LCH空間中的C和H構(gòu)成色度分量(信息)。簡(jiǎn)言之，術(shù)語(yǔ)“色度”指顏色的定量特性，其不包括亮度。顏色差別(色差)的概念為色度概念范圍的一部分。
當(dāng)轉(zhuǎn)換為HSV空間數(shù)據(jù)時(shí)；Cgrad[i，j]＝|grad(S[i，j])|+|grad(H[i，j])| ...(121)當(dāng)轉(zhuǎn)換為L(zhǎng)CH空間數(shù)據(jù)時(shí)；Cgrad[i，j]＝|grad(C[i，j])|+|grad(H[i，j])| ...(122)應(yīng)當(dāng)注意，“grad”是已經(jīng)在第一實(shí)施例和第二實(shí)施例的說明中定義的運(yùn)算符。
如上所述，數(shù)據(jù)被轉(zhuǎn)換為包含色度分量的彩色空間中的數(shù)據(jù)，并基于第三實(shí)施例中的色度分量確定彩色梯度。然后，基于這樣確定的彩色梯度，如在第一實(shí)施例中那樣執(zhí)行自適應(yīng)色差校正，以實(shí)現(xiàn)類似于第一實(shí)施例的優(yōu)點(diǎn)。
-第四實(shí)施例-在第四實(shí)施例中，根據(jù)彩色梯度判定的結(jié)果選擇特定的亮度分量生成方法。由于在第四實(shí)施例中實(shí)現(xiàn)的電子照相機(jī)1采用類似于圖1所示的結(jié)構(gòu)，而第一實(shí)施例已解釋過關(guān)于其的結(jié)構(gòu)，因而忽略該結(jié)構(gòu)的解釋。
在相關(guān)領(lǐng)域中，對(duì)在圖像傳感器處捕獲的圖像進(jìn)行插值的公知方法包括在美國(guó)專利No.5,382,976。其中，圖像傳感器具有設(shè)置在Bayer陣列中的彩色濾光鏡。在上述公開中公開的方法中，通過檢查Bayer平面的方向性對(duì)G平面插值，并對(duì)R平面和B平面插值，以便類似于G平面，同時(shí)在R平面和B平面上疊加G平面中存在的高頻分量。為了對(duì)R和B平面進(jìn)行插值而執(zhí)行的處理等效于首先將數(shù)據(jù)轉(zhuǎn)換為色差平面R-G和B-G中的數(shù)據(jù)，然后合并色差平面上的數(shù)據(jù)，然后將G平面加入到插值的數(shù)據(jù)，并且將數(shù)據(jù)轉(zhuǎn)換回R和B數(shù)據(jù)。然而，由于僅利用插值目標(biāo)像素附近的G分量數(shù)據(jù)的平均值執(zhí)行G平面插值，因而不能準(zhǔn)確地預(yù)測(cè)圖像中的不均勻結(jié)構(gòu)，這導(dǎo)致沿對(duì)角線出現(xiàn)對(duì)角線鋸齒的問題。
該問題在美國(guó)專利No.5,629,734中得到解決，其公開了一種方法，其中，通過把R和B平面結(jié)合到G平面以便使它們類似，還對(duì)G分量數(shù)據(jù)進(jìn)行插值。結(jié)合此方法使用的算法在色差R-G與B-G總是保持恒定和R、G與B全部表現(xiàn)出類似行為特性的前提下，得到邏輯上的支持。
該問題也在本發(fā)明發(fā)明者發(fā)明的方法中得到解決，該方法在國(guó)際公開No.02/071761中公開。在該方法中，當(dāng)將亮度分量轉(zhuǎn)換為由R、G和B加權(quán)合成形成的另一彩色空間時(shí)，不是對(duì)G平面中的亮度分量進(jìn)行插值，而是利用與中央像素相關(guān)的信息，采取抗對(duì)角線鋸齒的措施。
然而，如在美國(guó)專利No.5,629,734中公開，所采取的措施將導(dǎo)致在圖像邊界區(qū)域上恢復(fù)的圖像中產(chǎn)生破壞的問題，在此區(qū)域中，色差恒定的前提不成立。也就是，對(duì)應(yīng)于R分量和B分量的校正項(xiàng)，其在插值G分量數(shù)據(jù)時(shí)用于在多個(gè)鄰近像素中校正G平均值，實(shí)際上成為破壞因子，并且，形成的過校正導(dǎo)致在整個(gè)彩色邊界區(qū)域上出現(xiàn)黑色和白色斑點(diǎn)(過度)。
通過在國(guó)際公開No.02/071761中公開的方法，與在美國(guó)專利No.5,629,734中公開相比，可更為成功地解決對(duì)角線鋸齒的問題，而不在彩色邊界區(qū)域引入任何過度。然而，在存在特定顏色組合的邊界區(qū)域會(huì)非常偶然地出現(xiàn)水平或垂直的條紋(彩色邊界鋸齒)。
在第四實(shí)施例中，說明一種方法，其通過采取抗對(duì)角線鋸齒的優(yōu)化措施，用于生成高清晰度高質(zhì)量的彩色圖像，同時(shí)解決如上所述在彩色邊界區(qū)域可能出現(xiàn)的問題。
圖13提供了由圖像處理單元11執(zhí)行的整體圖像數(shù)據(jù)轉(zhuǎn)換處理的流程圖。圖14是為了便于解釋各種處理間關(guān)系而提供的框圖。參考圖13和14，總結(jié)了由圖像處理單元11執(zhí)行的圖像數(shù)據(jù)轉(zhuǎn)換處理。
在步驟S1中，輸入Bayer平面(圖14中的101)，即預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)。在步驟S2，生成Cr平面和Cb平面，即通過利用對(duì)應(yīng)于在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中包含的各個(gè)彩色分量的彩色信息，對(duì)于每個(gè)像素生成色差信息Cr和Cb(圖14中的103)。此時(shí)，通過計(jì)算相似性因子執(zhí)行垂直/水平方向判定(圖14中的102)，并基于垂直/水平方向判定的結(jié)果，生成色差信息Cr和Cb。
在步驟S3，通過利用色差信息Cr和Cb執(zhí)行彩色梯度分析(圖14中的104)。在彩色梯度分析中，首先計(jì)算色彩索引，其用于評(píng)價(jià)目標(biāo)像素，以確定該目標(biāo)像素是否為消色差像素或色度像素，并且如果確定該像素為色度像素，則確定該像素的色度。對(duì)于所有像素確定這樣的色彩索引，并且生成色彩索引平面。然后，基于該目標(biāo)像素的色彩索引和周圍像素的色彩索引，對(duì)每個(gè)像素進(jìn)行分析，以確定該像素的彩色梯度，和是否存在彩色邊界。術(shù)語(yǔ)“彩色梯度”指顏色變化的程度。
在步驟S4，執(zhí)行G平面生成1(圖14中的105)。也就是，通過對(duì)所有像素的插值處理，生成對(duì)應(yīng)于G彩色分量的彩色信息。用于G平面生成1的該插值方法實(shí)現(xiàn)了對(duì)角線分辨率。換言之，該插值方法并未引入對(duì)角線鋸齒。接下來，在步驟S5，執(zhí)行G平面生成2(圖14中的106)。如同在G平面生成1中，通過對(duì)所有像素執(zhí)行插值處理，生成該G彩色分量的彩色信息。盡管G平面生成2的插值方法可以允許出現(xiàn)對(duì)角線鋸齒，但其不允許在彩色邊界區(qū)域出現(xiàn)任何問題。
在步驟S6，基于在步驟3執(zhí)行的彩色梯度分析結(jié)果，組合在步驟S4的G平面生成1中執(zhí)行的插值結(jié)果和在步驟S5的G平面生成2中執(zhí)行的插值結(jié)果。例如，如果彩色梯度小，即如果顏色變化平坦，則采用來自G平面生成1的插值結(jié)果，而如果彩色梯度大，即在彩色邊界區(qū)域，則采用來自G平面生成2的插值結(jié)果。另外，可將利用對(duì)應(yīng)于彩色梯度的系數(shù)加權(quán)的來自G平面生成1的插值結(jié)果和來自G平面生成2的插值結(jié)果加在一起。
在步驟S7，基于來自步驟S2的Cr平面與Cb平面和已經(jīng)在步驟S6生成的G平面，將圖像數(shù)據(jù)轉(zhuǎn)換為以RGB色度系統(tǒng)表示的圖像數(shù)據(jù)(圖14中的108)，并輸出通過該轉(zhuǎn)換形成的數(shù)據(jù)。如此輸出的圖像數(shù)據(jù)經(jīng)歷各種圖像處理并存儲(chǔ)在存儲(chǔ)器等中。
應(yīng)當(dāng)注意，構(gòu)成預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)的像素?cái)?shù)與構(gòu)成后轉(zhuǎn)換圖像數(shù)據(jù)的象素?cái)?shù)彼此相等，并且預(yù)轉(zhuǎn)換像素位置與后轉(zhuǎn)換像素位置在二維平面上具有一對(duì)一的對(duì)應(yīng)關(guān)系。通過在目標(biāo)局部區(qū)域內(nèi)反復(fù)執(zhí)行圖像數(shù)據(jù)轉(zhuǎn)換處理，可實(shí)現(xiàn)對(duì)所有像素執(zhí)行上述圖像數(shù)據(jù)轉(zhuǎn)換處理。因此，通過引用表示在各個(gè)目標(biāo)區(qū)域內(nèi)局部適用的關(guān)系的關(guān)系表達(dá)式，給出下面的解釋。下面詳細(xì)解釋該處理的各個(gè)方面。
由于下面執(zhí)行的直到對(duì)應(yīng)于“1-2-3Cb平面生成與插值”步驟的處理與在第一實(shí)施例中執(zhí)行的處理完全相同，因此忽略其解釋。
1 Cr與Cb色差平面生成1-1 方向判定1-1-1 計(jì)算相似性因子1-1-2 相似性判定1-2 色差生成1-2-1 Cr平面生成1-2-2 Cr平面插值1-2-3 Cb平面生成與插值1-2-4 色差校正在色彩估計(jì)前，校正色差信息Cr和Cb。如前所解釋，通過消除在已經(jīng)獲得的Cr色差平面和Cb色差平面中出現(xiàn)的色彩失真，校正色差信息，以準(zhǔn)確估計(jì)色彩。盡管可通過采用色差中值濾波器執(zhí)行色差校正，但在第四實(shí)施例中采用如下式(11)和圖15所示工作的低通濾波器。通過這樣的處理，可快速消除色彩失真。應(yīng)當(dāng)注意，可通過采用其它方法消除色彩失真。
Cr[i，j]＝{4*Cr[i，j]+2*(Cr[i-2，j]+Cr[i+2，j]+Cr[i，j-2]+Cr[i，j+2])+1*(Cr[i-2，j-2]+Cr[i+2，j-2]+Cr[i-2，j+2]+Cr[i+2，j+2])}/16 ...(11)以類似方法計(jì)算Cb[i，j]。
2 彩色梯度分析2-1 計(jì)算色彩索引采用已經(jīng)如上所述獲得的色差信息Cr[i，j]與Cb[i，j]，如下面(12)中所示獲得色彩索引Cdiff[i，j]，其將用于估計(jì)各個(gè)像素單元中的顏色。
Cdiff[i，j]＝(|Cr[i，j]|+|Cb[i，j]|+|Cr[i，j]-Cb[i，j]|)/3...(12)
作為色彩索引計(jì)算的值表示目標(biāo)像素是否為消色差像素或色度像素，并且如確定該目標(biāo)像素為色度像素，還表示色度水平。為了確保色彩索引表示高精度的值，通過使用表示三元色R、G和B的所有可能組合的色差信息計(jì)算色彩索引。下面通過替代色差的定義，將表達(dá)式(12)改寫為表達(dá)式(13)。在該實(shí)施例中采用這樣的色彩索引使得同樣有效地檢測(cè)所有類型的彩色邊界成為可能。
Cdiff＝(|R-G|+|G-B|+|B-R|)/3 ...(13)2-2 估計(jì)彩色梯度一旦準(zhǔn)確確定期望在恢復(fù)的Bayer圖像中出現(xiàn)的顏色，則在該色彩索引平面內(nèi)確定彩色梯度，以識(shí)別在現(xiàn)有技術(shù)中易于出現(xiàn)問題的彩色邊界區(qū)域。如下面的表達(dá)式(14)中所示，可以計(jì)算轉(zhuǎn)換目標(biāo)像素[i，j]處的彩色梯度grad_Cdiff[i，j]。
grad_Cdiff[i，j]＝(|Cdiff[i-1，j]-Cdiff[i，j]|+|Cdiff[i+1，j]-Cdiff[i，j]|+|Cdiff[i，j-1]-Cdiff[i，j]|+|Cdiff[i，j+1]-Cdiff[i，j]|+|Cdiff[i-1，j-1]-Cdiff[i，j]|+|Cdiff[i+1，j+1]-Cdiff[i，j]|+|Cdiff[i-1，j+1]-Cdiff[i，j]|+|Cdiff[i+1，j-1]-Cdiff[i，j]|)/8 ...(14)在(14)中所示的彩色梯度計(jì)算中采用相對(duì)于所有相鄰像素確定差別的各向同性一階微分濾波器，以檢測(cè)可能同時(shí)沿所有方向出現(xiàn)的彩色邊界區(qū)域。沿多個(gè)方向各向同性地執(zhí)行微分運(yùn)算，以檢測(cè)沿所有方向出現(xiàn)的邊緣。應(yīng)當(dāng)注意，也可替代使用二次(二階)微分濾波器，該濾波器計(jì)算微分之間的微分。通過一階微分檢測(cè)前邊緣與后邊緣，而通過二次微分檢測(cè)峰或谷。
3 G平面生成1
基于通過前述方向判定確定的方向索引HV[i，j]，對(duì)于預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中的每個(gè)R像素[i，j]和B像素[i，j]，可以獲得對(duì)應(yīng)于G彩色分量的彩色信息G[i，j]。也就是，通過插值處理獲得在R像素或B像素處缺失的G分量彩色信息。在G平面生成1中采用的插值方法允許對(duì)角線分辨率，即防止對(duì)角線鋸齒的出現(xiàn)。然而，這可能在彩色邊界區(qū)域引起問題。g1表示通過該插值方法計(jì)算的G插值值。
當(dāng)方向索引HV[i，j]＝1時(shí)，即當(dāng)判定沿垂直方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(15)所示計(jì)算g1[i，j]。當(dāng)方向索引HV[i，j]＝-1時(shí)，即當(dāng)判定沿水平方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(16)所示計(jì)算g1[i，j]。當(dāng)方向索引HV[i，j]＝0時(shí)，即當(dāng)判定垂直/水平相似性不明顯時(shí)，如表達(dá)式(17)所示計(jì)算g1[i，j]。
g1[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/4…(15)g1[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/4…(16)g1[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(4*Z[i，j]-Z[i，j-2]-Z[i，j+2]-Z[i-2，j]-Z[i+2，j])/8…(17)應(yīng)當(dāng)注意，當(dāng)目標(biāo)像素為R像素時(shí)，Z＝R，當(dāng)目標(biāo)像素為B像素時(shí)，Z＝B。
在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中的G像素[i，j]處表示的值直接當(dāng)作g1[i，j]使用。
4 G平面生成2如同在G平面生成1中，基于通過前述方向判定確定的方向索引HV[i，j]，對(duì)于預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中的每個(gè)R像素[i，j]和B像素[i，j]，可以獲得對(duì)應(yīng)于G彩色分量的彩色信息G[i，j]。也就是，通過插值處理獲得在R像素或B像素處缺失的G分量彩色信息。盡管結(jié)合G平面生成2所采用的插值方法可能引入對(duì)角線鋸齒，但不存在可能在彩色邊界區(qū)域出現(xiàn)的其它任何問題。g2表示通過該插值方法計(jì)算的G插值值。
當(dāng)方向索引HV[i，j]＝1時(shí)，即當(dāng)判定沿垂直方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(18)所示計(jì)算g2[i，j]。當(dāng)方向索引HV[i，j]＝-1時(shí)，即當(dāng)判定沿水平方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(19)所示計(jì)算g2[i，j]。當(dāng)方向索引HV[i，j]＝0時(shí)，即當(dāng)判定垂直/水平相似性不明顯時(shí)，如表達(dá)式(20)所示計(jì)算g2[i，j]。
g2[i，j]＝(G[i，j-1]+G[i，j+1])/2…(18)g2[i，j]＝(G[i-1，j]+G[i+1，j])/2…(19)g2[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4…(20)在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中的G像素[i，j]處表示的值直接當(dāng)作g2[i，j]使用。
作為根據(jù)表達(dá)式(18)至(20)執(zhí)行的算術(shù)運(yùn)算的替代，可執(zhí)行如表達(dá)式(21)至(23)所示執(zhí)行的算術(shù)運(yùn)算，通過該運(yùn)算，可稍微抑制對(duì)角線鋸齒的出現(xiàn)。由于通過在G彩色分量插值期間利用G彩色分量本身進(jìn)行預(yù)測(cè)而獲得與不均勻性相關(guān)的信息，因此在彩色圖像邊界不會(huì)出現(xiàn)問題，如同參考表達(dá)式(18)至(20)所做的解釋。當(dāng)方向索引HV[i，j]＝1時(shí)，即當(dāng)判定沿垂直方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(21)所示計(jì)算g2[i，j]。當(dāng)方向索引HV[i，j]＝-1時(shí)，即當(dāng)判定沿水平方向出現(xiàn)明顯的相似性時(shí)，如表達(dá)式(22)所示計(jì)算g2[i，j]。當(dāng)方向索引HV[i，j]＝0時(shí)，即當(dāng)判定垂直/水平相似性不明顯時(shí)，如表達(dá)式(23)所示計(jì)算g2[i，j]。
g2[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2*G[i-1，j]-G[i-1，j-2]-G[i-1，j+2])/8+(2*G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/8…(21)
g2[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*G[i，j-1]-G[i-2，j-1]-G[i+2，j-1])/8+(2*G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/8 …(22)g2[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(2*G[i-1，j]-G[i-1，j-2]-G[i-1，j+2])/16+(2*G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/16+(2*G[i，j-1]-G[i-2，j-1]-G[i+2，j-1])/16+(2*G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/16…(23)5 G平面合成5-1 確定加權(quán)比在通過上述用于G平面生成的兩個(gè)不同方法獲得的G插值值中，通常采用通過G平面生成1獲得的G插值值g1，其能有效地防止對(duì)角線鋸齒，并且在出現(xiàn)問題的彩色邊界區(qū)域采用通過G平面生成2獲得的G插值值g2。前述彩色梯度用作加權(quán)比，基于該加權(quán)比切換G插值值。利用在給定像素[i，j]處表示g1加權(quán)比的λ和表示g1加權(quán)比的1-λ，可如下面的表達(dá)式(24)至(26)中所示確定λ的值。
if grad_Cdiff[i，j]≤th1λ[i，j]＝0…(24)else if grad_Cdiff[i，j]≤th2λ[i，j]＝grad_Cdiff[i，j]/th2…(25)elseλ[i，j]＝1…(26)該運(yùn)算在圖16中示意性地說明。當(dāng)作為256-灰度數(shù)據(jù)提供數(shù)據(jù)時(shí)，可假設(shè)門限值th1和th2的值例如為th1＝0～4和th2＝6～10。也就是，在彩色梯度小的范圍內(nèi)采用g1，在彩色梯度大的范圍內(nèi)采用g2，并且通過將彩色梯度本身的陡度用作中間范圍上的索引，利用加權(quán)合成獲得G插值值。在一些情況下，對(duì)th1和th2設(shè)置為同一值，并且可簡(jiǎn)單地選擇g1或g2中的任何一個(gè)作為G插值值，而不指定任何中間范圍。
5-2 加權(quán)合成處理利用上述加權(quán)比λ，通過加權(quán)合成組合兩種類型的插值值，如表達(dá)式(27)中所示。
G[i，j]＝(1-λ[i，j])*g1[i，j]+λ[i，j]*g2[i，j]…(27)6 色度系統(tǒng)轉(zhuǎn)換然后利用三種類型的彩色信息，即如表達(dá)式(8)至(10)所示獲得的Cr與Cb平面或者如表達(dá)式(11)所示已經(jīng)歷所需的色差校正的Cr與Cb平面，和如表達(dá)式(27)所示獲得的G平面，如表達(dá)式(28)和(29)所示，將圖像數(shù)據(jù)轉(zhuǎn)換為RGB色度系統(tǒng)數(shù)據(jù)。
R[i，j]＝Cr[i，j]+G[i，j]…(28)B[i，j]＝Cb[i，j]+G[i，j]…(29)通過根據(jù)彩色梯度的強(qiáng)度調(diào)整插值方法，實(shí)現(xiàn)了圖像生成與恢復(fù)，其最小化了對(duì)角線鋸齒和彩色邊界區(qū)域上的損壞范圍。具體地，通過采用第四實(shí)施例，可最小化在現(xiàn)有技術(shù)中可能出現(xiàn)的黑色或白色斑點(diǎn)(過度)。結(jié)果，可形成不含有任何明顯人工結(jié)構(gòu)的高質(zhì)量插值圖像。
-第五實(shí)施例-在第四實(shí)施例中，通過采用插值處理的標(biāo)準(zhǔn)概念，執(zhí)行G平面生成1。參考第五實(shí)施例，解釋了采用另一方法，其不同于在第四實(shí)施例中使用的方法，執(zhí)行G平面生成1的示例。國(guó)際公開No.02/071761中公開了第五實(shí)施例中執(zhí)行的G平面生成1采用的基本方法。
由于在第五實(shí)施例中實(shí)現(xiàn)的電子照相機(jī)1的結(jié)構(gòu)類似于圖1中示出的結(jié)構(gòu)，其也適用于第四實(shí)施例，因而忽略其解釋。此外，由圖像處理單元11執(zhí)行的整體圖像數(shù)據(jù)轉(zhuǎn)換處理的流程圖僅在步驟S3中執(zhí)行的彩色梯度分析和在步驟S4中執(zhí)行的G平面生成1方面與圖13中提供的對(duì)應(yīng)于第四實(shí)施例的流程圖不同。由于此原因，對(duì)于第五實(shí)施例沒有提供流程圖，并參考圖13進(jìn)行解釋。
圖17是為了便于解釋在第五實(shí)施例中執(zhí)行的各種類型的處理間的關(guān)系而提供的框圖。它與對(duì)應(yīng)于第四實(shí)施例的圖14中的框圖的不同之處在于，其額外包括了對(duì)角線方向判定201，還在于基于垂直/水平方向判定102與對(duì)角線方向判定的結(jié)果201執(zhí)行G平面生成1(202)。此外，彩色梯度分析的內(nèi)容203不同于在第四實(shí)施例中執(zhí)行的彩色梯度分析104。以下為第五實(shí)施例的解釋，其集中于彩色梯度分析203(步驟S3)和G平面生成1(202)(步驟S4)。
1 Cr與Cb色差平面生成與在第四實(shí)施例中一樣生成Cr和Cb色差平面。如同在第四實(shí)施例中，執(zhí)行垂直/水平方向判定以對(duì)于Cr和Cb色差平面生成判定相似性的類型。
2 彩色梯度分析2-1 計(jì)算色彩索引通過利用色差信息Cr[i，j]和Cb[i，j]，其通過Cr和Cb色差平面生成獲得，確定用于估計(jì)對(duì)應(yīng)于每個(gè)像素的顏色的色彩索引Cdiff[i，j]。盡管在第四實(shí)施例中有必要檢測(cè)所有可能發(fā)生過度的彩色邊界，但第五實(shí)施例的目的是在后面詳細(xì)解釋的Y平面生成期間提取引入了垂直或水平條紋的區(qū)域，和通過采用不同方法處理這樣的區(qū)域。
由于在第五實(shí)施例中基本上通過在國(guó)際公開No.02/071761的方法執(zhí)行G平面生成1，因此，可采取當(dāng)對(duì)角線鋸齒的措施，與在美國(guó)專利No.5,629,734中公開的方法相比，在彩色邊界區(qū)域出現(xiàn)問題的可能性要小很多。然而，即使當(dāng)通過在第五實(shí)施例中采用的G平面生成1的特定方法生成G平面時(shí)，在存在特定顏色組合的邊界區(qū)域也可能出現(xiàn)垂直或水平條紋(彩色邊界鋸齒)。這些垂直或水平條紋(彩色邊界鋸齒)往往出現(xiàn)于同時(shí)存在紅色和藍(lán)色的彩色邊界、同時(shí)存在綠色和橙色的彩色邊界、同時(shí)存在粉色和淡藍(lán)色的彩色邊界、同時(shí)存在白色和黃色的彩色邊界等。已經(jīng)知道，在彩色邊界上存在相反的顏色時(shí)，這種垂直和水平條紋的可能性增大。假設(shè)這可歸因于在后合成亮度分量中局部出現(xiàn)的莫爾現(xiàn)象，這是由于在存在特定顏色組合的區(qū)域中，對(duì)應(yīng)于R、G和B彩色分量的不同類型彩色信息的干擾造成的，但是通過考慮方向性，以特定RGB比合成而獲得的亮度平面通常在規(guī)則彩色邊界和對(duì)角線結(jié)構(gòu)上具有平滑連續(xù)性。
相應(yīng)地，由于彩色邊界鋸齒往往出現(xiàn)于存在相反顏色的彩色邊界區(qū)域，而在通常的彩色邊界處不出現(xiàn)，因而將相反顏色間的色差用作色彩索引可增大識(shí)別目標(biāo)區(qū)域的對(duì)比度，以增強(qiáng)檢測(cè)包含相反顏色的彩色邊界區(qū)域的能力。也就是，如表達(dá)式(20)中所示計(jì)算色彩索引Cdiff[i，j]。
Cdiff[i，j]＝(|Cr[i，j]-Cb[i，j]/2|+|Cb[i，j]-Cr[i，j]/2|+|Cr[i，j]/2+Cb[i，j]/2|)/2 …(30)展開表達(dá)式(30)中定義色彩索引的色差項(xiàng)得到表達(dá)式(31)。R(紅色)與Cy(青色)、G(綠色)與Mg(品紅色)、B(藍(lán)色)與Ye(黃色)為相反的顏色(補(bǔ)色)。
Cdiff＝(|R-(G+B)/2|+|G-(B+R)/2|+|B-(R+G)/2|)/3
＝(|R-Cy|+|G-Mg|+|B-Ye|)/3…(31)2-2 估計(jì)彩色梯度如同在第四實(shí)施例中那樣估計(jì)彩色梯度。
3.G平面生成1通過采用不同于第四實(shí)施例中使用的，并且實(shí)現(xiàn)對(duì)角線分辨率，即防止對(duì)角線鋸齒的方法，生成G分量信息。在此實(shí)施例中，不是執(zhí)行G插值，而是首先在色度系統(tǒng)中生成亮度分量和色差分量，然后基于在國(guó)際公開No.02/071761中公開的方法將數(shù)據(jù)轉(zhuǎn)換為RGB分量。
3-1 對(duì)角線方向判定3-1-1 計(jì)算相似性檢測(cè)因子通過使用在包含轉(zhuǎn)換目標(biāo)像素的局部區(qū)域中可用的像素信息，在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中，在每個(gè)R像素和B像素處進(jìn)行關(guān)于沿對(duì)角線方向出現(xiàn)的相似性判定。對(duì)角線方向?yàn)?5°對(duì)角線方向或135°對(duì)角線方向。在圖18中，45°對(duì)角線方向表示為[HV，DN]＝
，135°對(duì)角線方向表示為[HV，DN]＝
。參考圖18將給出進(jìn)一步的解釋。如表達(dá)式(32)所示計(jì)算表示沿45°對(duì)角線方向出現(xiàn)的相似性的相似性因子C45[i，j]，而如表達(dá)式(33)所示計(jì)算表示沿135°對(duì)角線方向出現(xiàn)的相似性的相似性因子C135[i，j]。
C45[i，j]＝{(|G[i，j-1]-G[i-1，j]|+|G[i+1，j]-G[i，j+1]|)/2+(|Z[i+1，j-1]-Z[i，j]|+|Z[i-1，j+1]-Z[i，j]|)/2}/2…(32)C135[i，j]＝{(|G[i，j-1]-G[i+1，j]|+|G[i-1，j]-G[i，j+1]|)/2+(|Z[i-1，j-1]-Z[i，j]|+|Z[i+1，j+1]-Z[i，j]|)/2}/2…(33)3-1-2 相似性判定接下來執(zhí)行相似性判定。基于已經(jīng)如上所述計(jì)算的C45[i，j]和C135[i，j]，判定關(guān)于轉(zhuǎn)換目標(biāo)像素出現(xiàn)的相似性方向。在此實(shí)施例中，進(jìn)行關(guān)于是否沿45°對(duì)角線方向或135°對(duì)角線方向出現(xiàn)明顯相似性的判定，或者是否沿45°對(duì)角線方向或135°對(duì)角線方向不能感覺到明顯的相似性。更具體地，如果滿足(34)所示的條件，則確定明顯相似性方向，即45°對(duì)角線方向或135°對(duì)角線方向并不明確，并將方向索引DN[i，j]設(shè)置為0。Th2為特定的門限值，假設(shè)其類似于在垂直/水平方向判定中為Th1而假設(shè)的值。對(duì)于256灰度，該值應(yīng)是約為10的值。如果為45°對(duì)角線方向和135°對(duì)角線方向計(jì)算的相似性因子間的差別等于或小于門限值Th2，則不能確定沿45°對(duì)角線方向或135°對(duì)角線方向出現(xiàn)明顯的相似性。
|C45[i，j]-C135[i，j]|≤Th2 …(34)如果不滿足在(34)中表示的條件，即如果確定沿45°對(duì)角線方向或135°對(duì)角線方向出現(xiàn)更明顯的相似性，則進(jìn)行關(guān)于是否滿足(35)中表示的條件的判定。如果滿足條件(35)，則確定沿45°對(duì)角線方向出現(xiàn)更為明顯的相似性，并將方向索引DN[i，j]設(shè)置為1。如果不滿足條件(35)，則確定沿135°對(duì)角線方向出現(xiàn)更為明顯的相似性，并將方向索引DN[i，j]設(shè)置為-1。應(yīng)當(dāng)注意，當(dāng)相似性因子C45[i，j]或相似性因子C135[i，j]表現(xiàn)出較小的值時(shí)，則表示更高程度的相似性。
C45[i，j]＜C135[i，j]…(35)3-2 亮度Y平面生成3-2-1 不像在第四實(shí)施例中那樣生成G平面，在第五實(shí)施例中計(jì)算亮度信息Y，以通過Bayer平面信息的直接加權(quán)和生成亮度Y平面。也就是，通過利用彩色信息直接生成亮度信息Y，該彩色信息對(duì)應(yīng)于還要進(jìn)行插值處理的預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中的各個(gè)彩色分量。A[x，y]代表對(duì)于預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)(Bayer平面數(shù)據(jù))中給定的彩色分量的彩色信息。
基于如在第一實(shí)施例中確定的垂直/水平方向索引HV[i，j]和如上所述確定的對(duì)角線方向索引DV[i，j]，在預(yù)轉(zhuǎn)換RGB圖像數(shù)據(jù)中，對(duì)于對(duì)應(yīng)于R像素或B像素的每個(gè)像素[i，j]計(jì)算亮度信息Y，即Y[i，j]。對(duì)應(yīng)垂直/水平方向索引HV[i，j]與對(duì)角線方向索引DN[i，j]的不同組合，如圖18所示，定義了可能出現(xiàn)相似性的9個(gè)特定方向。
通過利用從對(duì)應(yīng)方向索引[HV，DN]，即對(duì)應(yīng)可能出現(xiàn)相似性的特定方向的表達(dá)式(37)至(45)中選擇的表達(dá)式計(jì)算Y[i，j]。當(dāng)轉(zhuǎn)換目標(biāo)像素[i，j]為G像素時(shí)采用表達(dá)式(36)，而當(dāng)轉(zhuǎn)換目標(biāo)像素[i，j]不是G象素時(shí)，對(duì)應(yīng)該方向索引選擇表達(dá)式(37)至(45)中的一個(gè)，如下所示。應(yīng)當(dāng)注意，圖19表示當(dāng)轉(zhuǎn)換目標(biāo)像素為G像素時(shí)，用于計(jì)算亮度信息Y的像素位置和分配給這些像素的系數(shù)(G位置亮度生成系數(shù)模式)。圖20表示當(dāng)轉(zhuǎn)換目標(biāo)像素為R像素或B像素時(shí)，用于計(jì)算亮度信息的像素位置和分配給這些像素的系數(shù)(R和B位置亮度生成系數(shù)模式)。
當(dāng)方向索引為
時(shí)采用表達(dá)式(37)。
當(dāng)方向索引為
時(shí)采用表達(dá)式(38)。
當(dāng)方向索引為
時(shí)采用表達(dá)式(39)。
當(dāng)方向索引為[1，0]時(shí)采用表達(dá)式(40)。
當(dāng)方向索引為[1，1]時(shí)采用表達(dá)式(41)。
當(dāng)方向索引為[1，-1]時(shí)采用表達(dá)式(42)。
當(dāng)方向索引為[-1，0]時(shí)采用表達(dá)式(43)。
當(dāng)方向索引為[-1，1]時(shí)采用表達(dá)式(44)。
當(dāng)方向索引為[-1，-1]時(shí)采用表達(dá)式(45)。
Y[i，j]＝Y(jié)G…(36)Y[i，j]＝Y(jié)RBhv …(37)Y[i，j]＝Y(jié)RB45 …(38)Y[i，j]＝Y(jié)RB135 …(39)Y[i，j]＝Y(jié)RBv …(40)Y[i，j]＝Y(jié)RBv45 …(41)Y[i，j]＝Y(jié)RBv135 …(42)Y[i，j]＝Y(jié)RBh …(43)Y[i，j]＝Y(jié)RBh45 …(44)Y[i，j]＝Y(jié)RBh135 …(45)在下面的(46)至(55)中分別表示YG，YRBhv，YRB45，YRB135，YRBvYRBv45，YRBv135，YRBh，YRBh45，YRBh135。
YG＝α*A[i，j]
+(β/4)*{A[i-1，j]+A[i+1，j]+A[i，j-1]+A[i，j+1]} …(46)YRBhv＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]} …(47)YRB45＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{t 1*A[i+1，j-1]+t2*A[i-1，j+1]} …(48)YRB135＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]} …(49)YRBv＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t 1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]}…(50)YRBv45＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{t 1*A[i+1，j-1]+t2*A[i-1，j+1]}…(51)YRBv135＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]}…(52)
YRBh＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]} …(53)YRBh45＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{t1*A[i+1，j-1]+t2*A[i-1，j+1]} …(54)YRBh135＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]} …(55)應(yīng)當(dāng)注意，下列約束(56)適用于上面各表達(dá)式中的常量(系數(shù))。此外，這些常量均為正值或0。
α+β＝1，p+q＝1，u1+u2＝1，v1+v2＝1，s1+s2＝1，t1+t2＝1 …(56)下面通常為常量設(shè)置的優(yōu)選示例。
u1u2，v1v2，s1s2，t1t2(α，β)＝(1/3，2/3)，(4/9，5/9)，(5/11，6/11)，(1/2，1/2)，(5/9，4/9)，(3/5，2/5)，(2/3，1/3)常量α和β，其為用于確定亮度中R、G、B比例的參數(shù)，具有的關(guān)系為Y＝α*G+β*(R+B)/23-2-2 邊緣增強(qiáng)由于這樣獲得的Y平面僅包含正系數(shù)，因而執(zhí)行邊緣增強(qiáng)處理以恢復(fù)實(shí)現(xiàn)此校正水平的對(duì)比度。通過利用簡(jiǎn)單的固定濾波器，而不考慮任何方向性，可執(zhí)行邊緣增強(qiáng)處理。用于邊緣提取的帶通濾波器可為，例如表達(dá)式(57)和圖21中的Laplacian濾波器。然后如下面的(58)所示執(zhí)行算術(shù)運(yùn)算，以獲得最終的亮度信息Y。應(yīng)將表達(dá)式(58)中的常量K設(shè)置為正值，通常等于或大于1。
YH[i，j]＝{8*Y[i，j]-(Y[i-1，j]+Y[i+1，j]+Y[i，j-1]+Y[i，j+1]+Y[i-1，j-1]+Y[i+1，j-1]+Y[i-1，j+1]+Y[i+1，j+1])}/16…(57)Y[i，j]＝Y(jié)[i，j]+K*YH[i，j]…(58)3-2-3 色度系統(tǒng)轉(zhuǎn)換然后利用三種類型的彩色信息，即如表達(dá)式(8)至(10)所示獲得的Cr與Cb平面或者已經(jīng)歷如第四實(shí)施例中如(11)所示的所需色差校正的Cr與Cb平面，和如表達(dá)式(58)所示獲得的Y平面，將圖像數(shù)據(jù)轉(zhuǎn)換為G分量信息，如表達(dá)式(59)所示。
g1[i，j]＝Y(jié)[i，j]-(β/2)*Cr[i，j]-(β/2)*Cb[i，j] …(59)4 G平面生成2如在第四實(shí)施例中那樣執(zhí)行G平面生成2。
5 G平面合成如在第四實(shí)施例中那樣執(zhí)行G平面合成。
6 色度系統(tǒng)轉(zhuǎn)換如在第四實(shí)施例中那樣執(zhí)行色度系統(tǒng)轉(zhuǎn)換。
通過根據(jù)彩色梯度的強(qiáng)度調(diào)整插值方法，實(shí)現(xiàn)了圖像生成與恢復(fù)，其最小化了對(duì)角線鋸齒和彩色邊界區(qū)域上的損壞范圍。在第五實(shí)施例中，可有效地消除彩色邊界鋸齒的出現(xiàn)，該鋸齒表現(xiàn)為垂直或水平的條紋，這些條紋可能在存在相反顏色的彩色邊界區(qū)域中出現(xiàn)。結(jié)果，可形成不含有任何明顯人工結(jié)構(gòu)的高質(zhì)量插值圖像。
在上述第一至第五實(shí)施例中，通過將彩色梯度作為索引，對(duì)色差分量和亮度分量執(zhí)行自適應(yīng)處理，結(jié)果，可形成不含有任何明顯程度的色彩失真和人工結(jié)構(gòu)的高質(zhì)量插值圖像。同時(shí)，具體地，所采取的抗色彩失真的自適應(yīng)措施對(duì)于消除彩色莫爾條紋和在高ISO感光度水平出現(xiàn)的彩色斑點(diǎn)極為有效。
應(yīng)當(dāng)注意，盡管基于采用本發(fā)明處理數(shù)據(jù)的示例，這些數(shù)據(jù)以采用Bayer陣列的RGB色度系統(tǒng)表示，給出了各實(shí)施例的解釋，但本發(fā)明并不限制于該示例，并可結(jié)合采用其它陣列的彩色濾波器采用本發(fā)明。
此外，可利用除了在解釋各個(gè)實(shí)施例中引用的各種計(jì)算表達(dá)式之外的適當(dāng)計(jì)算表達(dá)式執(zhí)行相似性判定。盡管引用了用于G平面生成和Y平面生成的算術(shù)運(yùn)算的各種計(jì)算表達(dá)式，但本發(fā)明并不限制于各個(gè)實(shí)施例中提供的示例?？墒褂貌煌谶@些表達(dá)式的適當(dāng)計(jì)算表達(dá)式生成亮度信息。
盡管在上述第四和第五實(shí)施例中將低通濾波器(參見圖16)用于色差校正并將帶通濾波器(參見圖21)用于邊緣增強(qiáng)，但本發(fā)明并不限于這些示例，并可轉(zhuǎn)而使用采用不同特性的低通或帶通濾波器。
此外，盡管上面給出了關(guān)于第四和第五實(shí)施例的解釋，其中，選擇通過插值獲得彩色分量信息的方法，該彩色分量信息用于確定彩色邊界區(qū)域中的亮度，或者通過加權(quán)和對(duì)該彩色分量進(jìn)行插值，但本發(fā)明并不限于這些示例。例如，在6色度系統(tǒng)轉(zhuǎn)換的處理之前，可執(zhí)行色差校正低通濾波器處理，以校正色差，并可基于彩色梯度分析的結(jié)果開/關(guān)色差校正低通濾波器。在這種情況下，可消除在彩色邊界區(qū)域之外的區(qū)域中出現(xiàn)的色彩失真，并可防止在彩色邊界區(qū)域中出現(xiàn)彩色污點(diǎn)。另外，可根據(jù)彩色梯度分析的結(jié)果選擇色差校正低通濾波器的類型和大小。
盡管在示例的基礎(chǔ)上給出了對(duì)于各個(gè)實(shí)施例的解釋，在該示例中，在電子照相機(jī)中采用本發(fā)明，但本發(fā)明并不限于該示例，并可應(yīng)用于捕獲動(dòng)態(tài)圖像的視頻攝像機(jī)，或者配備了圖像傳感器的個(gè)人計(jì)算機(jī)或便攜電話。也就是，本發(fā)明可應(yīng)用于采用圖像傳感器生成彩色圖像數(shù)據(jù)的所有類型的裝置。
另外，盡管在示例的基礎(chǔ)上給出了對(duì)于各個(gè)實(shí)施例的解釋，在該示例中使用單片圖像傳感器，但本發(fā)明并不限于此示例。其也可用于處理在雙片型圖像傳感器上捕獲的圖像數(shù)據(jù)。雖然在采用RGB Bayer陣列的單片圖像傳感器捕獲的圖像數(shù)據(jù)中，給定像素保存對(duì)應(yīng)于單個(gè)彩色分量的信息，但在采用RGB Bayer陣列的雙片圖像傳感器捕獲的圖像數(shù)據(jù)中，每個(gè)像素保存對(duì)應(yīng)于兩個(gè)彩色分量的信息。
本發(fā)明在個(gè)人計(jì)算機(jī)的應(yīng)用中，可在例如CD-ROM的存儲(chǔ)介質(zhì)中記錄，或通過因特網(wǎng)等的數(shù)據(jù)信號(hào)提供與上述處理相關(guān)的程序。圖22表示如何以這些模式提供該程序。個(gè)人計(jì)算機(jī)400通過CD-ROM 404接收程序。個(gè)人計(jì)算機(jī)400還能夠與通信線路401相連。計(jì)算機(jī)402為服務(wù)器計(jì)算機(jī)，其提供存儲(chǔ)在諸如硬盤403的記錄介質(zhì)中的程序。通信線路401可為用于因特網(wǎng)通信、個(gè)人計(jì)算機(jī)通信等的通信線路，或者其可為專用通信線路。計(jì)算機(jī)402從硬盤403讀取程序，并通過通信線路401向個(gè)人計(jì)算機(jī)400傳輸程序。也就是，通過通信線路401，在載波上傳送作為數(shù)據(jù)信號(hào)實(shí)現(xiàn)的程序。從而，可采用包括記錄介質(zhì)和載波的各種模式中的任一種，作為計(jì)算機(jī)可讀的計(jì)算機(jī)程序產(chǎn)品發(fā)布該程序。
在文中參考下列公開的在先申請(qǐng)于2003年6月12日提交的編號(hào)為No.2003-167923的日本專利申請(qǐng)。
權(quán)利要求
1.一種圖像處理方法，用于將第一圖像轉(zhuǎn)換為第二圖像，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息；第二圖像由多個(gè)像素構(gòu)成，所有像素都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括色差信息生成步驟，其中，通過利用第一圖像中的彩色信息，生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；圖像轉(zhuǎn)換步驟，其中，基于已經(jīng)確定的彩色梯度將第一圖像轉(zhuǎn)換為第二圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中圖像轉(zhuǎn)換步驟包括色差信息校正步驟，其中，對(duì)于通過利用第一圖像中的彩色信息已經(jīng)生成的色差信息，基于彩色梯度執(zhí)行校正處理。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其中在彩色梯度分析步驟，基于表示構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量間顏色差別的色差信息，生成色彩索引，并且通過確定色彩索引平面內(nèi)顏色變化的程度確定彩色梯度。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其中以匹配位置結(jié)構(gòu)排列構(gòu)成第一圖像的多個(gè)像素和構(gòu)成第二圖像的多個(gè)像素，以實(shí)現(xiàn)直接對(duì)應(yīng)；以及在圖像轉(zhuǎn)換步驟，在與第二圖像中對(duì)應(yīng)于彩色梯度陡度的處理目標(biāo)像素的位置對(duì)應(yīng)的位置，通過調(diào)整第一圖像中彩色信息的作用因子，將第一圖像轉(zhuǎn)換為第二圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理方法，其中在彩色梯度分析步驟，利用表示構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量和對(duì)應(yīng)于反色的彩色分量間顏色差別的色差信息，生成色彩索引，并且通過確定色彩索引平面內(nèi)顏色變化的程度確定彩色梯度。
6.一種圖像處理方法，包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為其所有像素都具有對(duì)應(yīng)于至少兩個(gè)公共彩色分量的圖像的處理得到所述第二圖像，所述第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色差信息生成步驟，其中，通過利用第二圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正對(duì)應(yīng)于第二圖像的色差信息。
7.根據(jù)權(quán)利要求1或權(quán)利要求6所述的圖像處理方法，其中在彩色梯度分析步驟，基于色差信息，生成對(duì)應(yīng)于每個(gè)像素的用于估計(jì)顏色的色彩索引，并且基于已經(jīng)生成的色彩索引，確定彩色梯度。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，其中在彩色梯度分析步驟，通過在已經(jīng)生成的色彩索引平面內(nèi)執(zhí)行確定梯度的微分運(yùn)算，可確定彩色梯度。
9.根據(jù)權(quán)利要求7所述的圖像處理方法，其中在色差信息生成步驟，對(duì)應(yīng)于單個(gè)處理目標(biāo)像素生成多種類型的色差信息；以及在彩色梯度分析步驟，通過利用表示對(duì)應(yīng)于多種類型的色差信息特定組合的至少三個(gè)彩色分量中顏色差別的色差信息，生成色彩索引。
10.一種圖像處理方法，包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為其所有像素都具有對(duì)應(yīng)于至少三個(gè)公共彩色分量的彩色信息的圖像的處理獲得所述第二圖像，所述第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色度信息生成步驟，其中，通過在第二圖像上執(zhí)行色彩空間轉(zhuǎn)換，生成色度信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色度信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正包含在第二圖像中的色差信息。
11.根據(jù)權(quán)利要求2、6和10中任一個(gè)所述的圖像處理方法，其中在色差信息校正步驟中，如果目標(biāo)像素具有小于預(yù)定值的彩色梯度，則向色差平面應(yīng)用在預(yù)定范圍上有效的校正濾波器，并且如果目標(biāo)像素具有大于預(yù)定值的彩色梯度，則不執(zhí)行校正處理，或應(yīng)用在比預(yù)定范圍窄的范圍上有效的校正濾波器。
12.根據(jù)權(quán)利要求11所述的圖像處理方法，其中在彩色梯度分析步驟中用于確定彩色梯度的微分濾波器具有與在預(yù)定范圍上有效的校正濾波器的大小相匹配的大小。
13.根據(jù)權(quán)利要求1、6和10中任一個(gè)所述的圖像處理方法，其中在彩色梯度分析步驟中，通過沿多個(gè)方向各向同性地執(zhí)行微分運(yùn)算，確定彩色梯度。
14.根據(jù)權(quán)利要求11所述的圖像處理方法，其中在彩色梯度分析步驟，通過一階微分運(yùn)算計(jì)算彩色梯度。
15.根據(jù)權(quán)利要求4所述的圖像處理方法，其中在圖像轉(zhuǎn)換步驟，根據(jù)彩色梯度調(diào)整第一圖像中在對(duì)應(yīng)于第二圖像中處理目標(biāo)像素位置的位置處彩色信息的作用因子，由此允許第一圖像中的彩色信息影響對(duì)應(yīng)于承載第二圖像中的亮度的彩色分量的彩色信息。
16.根據(jù)權(quán)利要求15所述的圖像處理方法，其中在圖像轉(zhuǎn)換步驟，通過采用至少第一方法和第二方法將第一圖像轉(zhuǎn)換為第二圖像，通過第一方法，利用對(duì)應(yīng)于第一圖像中多個(gè)彩色分量的彩色信息，可生成對(duì)應(yīng)于第二圖像中一個(gè)彩色分量的彩色信息，通過第二方法，利用對(duì)應(yīng)于第一圖像中一個(gè)彩色分量的彩色信息，可生成對(duì)應(yīng)于第二圖像中一個(gè)彩色分量的彩色信息；在彩色梯度分析步驟，基于已經(jīng)確定的彩色梯度，進(jìn)行是否存在彩色邊界的判定；以及在彩色轉(zhuǎn)換步驟，采用第一方法處理通過彩色梯度分析步驟確定沒有包含彩色邊界的像素，并且采用第二方法處理通過彩色梯度分析步驟確定包含彩色邊界的像素。
17.根據(jù)權(quán)利要求16所述的圖像處理方法，其中當(dāng)在圖像轉(zhuǎn)換步驟采用第一方法時(shí)，對(duì)于某像素，通過插值處理生成對(duì)應(yīng)于承載第一圖像中的亮度的彩色分量的彩色信息，其中，在所述像素處缺失對(duì)應(yīng)于所述彩色分量的彩色信息，所述差值處理是通過利用對(duì)應(yīng)于與所述彩色分量匹配的彩色分量的彩色信息和對(duì)應(yīng)于除所述彩色分量之外的彩色分量的彩色信息來執(zhí)行的，并且利用通過所述插值處理已產(chǎn)生的、對(duì)應(yīng)于承載第一圖像中的亮度的彩色分量的彩色信息，將該第一圖像轉(zhuǎn)換為第二圖像。
18.根據(jù)權(quán)利要求17所述的圖像處理方法，其中當(dāng)在圖像轉(zhuǎn)換步驟采用第一方法時(shí)，通過利用對(duì)應(yīng)于構(gòu)成第一圖像的彩色分量的彩色信息，對(duì)所有像素生成彩色信息，該彩色信息對(duì)應(yīng)于在除了用于表示第一圖像的色度系統(tǒng)之外的色度系統(tǒng)中承載亮度的彩色分量，并且通過利用已經(jīng)生成的、對(duì)應(yīng)于在其他色度系統(tǒng)中承載亮度的彩色分量的彩色信息，將第一圖像轉(zhuǎn)換為第二圖像。
19.根據(jù)權(quán)利要求1所述的圖像處理方法，其中在色差信息生成步驟，通過采用從至少三個(gè)不同方法中選擇的方法，生成色差信息。
20.根據(jù)權(quán)利要求19所述的圖像處理方法，其中在色差信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少兩個(gè)方向的相似性因子，基于已經(jīng)計(jì)算的相似性因子，在至少三個(gè)不同的類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這三個(gè)不同方法中的一個(gè)。
21.一種用于將第一圖像轉(zhuǎn)換為第二圖像的方法，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并且由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息，第二圖像由多個(gè)像素構(gòu)成，這些像素都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括色差信息生成步驟，其中，通過利用第一圖像中的彩色信息生成用于第二圖像的色差信息；彩色梯度分析步驟，其中，基于已經(jīng)產(chǎn)生的第二圖像的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，校正第二圖像的色差信息，其中在色差信息校正步驟，與第二圖像的亮度信息無關(guān)地進(jìn)行第二圖像色差信息的校正。
22.一種圖像處理方法，包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為其全部像素具有對(duì)應(yīng)于至少兩個(gè)公共彩色分量的彩色信息的圖像的處理獲得所述第二圖像，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色差信息生成步驟，其中，通過利用第二圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與第二圖像的亮度信息無關(guān)地校正對(duì)應(yīng)于第二圖像的色差信息。
23.一種圖像處理方法，包括輸入第二圖像的圖像輸入步驟，其中，通過將第一圖像轉(zhuǎn)換為其全部像素都具有對(duì)應(yīng)于至少三個(gè)公共彩色分量的彩色信息的圖像的處理獲得所述第二圖像，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，所述多個(gè)彩色分量具有對(duì)應(yīng)于在每個(gè)像素處缺失的至少一個(gè)彩色分量的彩色信息；色度信息生成步驟，其中，通過在第二圖像上執(zhí)行彩色空間轉(zhuǎn)換，生成色度信息；彩色梯度分析步驟，其中，根據(jù)已經(jīng)生成的色度信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與第二圖像中的亮度信息無關(guān)地校正第二圖像中包含的色差信息。
24.一種圖像處理方法，包括圖像輸入步驟，在該步驟輸入由多個(gè)像素構(gòu)成的圖像，所有像素都具有對(duì)應(yīng)于至少兩個(gè)公共彩色分量的彩色信息；彩色轉(zhuǎn)換步驟，其中，對(duì)應(yīng)于構(gòu)成該圖像的彩色分量的彩色信息被轉(zhuǎn)換為亮度信息和色差信息；彩色梯度分析步驟，其中，基于該色差信息，確定表示顏色變化程度的彩色梯度；以及色差信息校正步驟，其中，基于已經(jīng)確定的彩色梯度，與亮度信息無關(guān)地校正該色差信息。
25.根據(jù)權(quán)利要求21至24中任一個(gè)所述的圖像處理方法，其中在色差信息校正步驟，根據(jù)在彩色梯度分析步驟中執(zhí)行的用于確定彩色梯度的檢測(cè)范圍，確定將在色差校正中使用的彩色信息范圍。
26.根據(jù)權(quán)利要求21、22和24中任一個(gè)所述的圖像處理方法，其中在彩色梯度分析步驟，在確定彩色梯度前，校正在色差信息生成步驟中已經(jīng)生成的色差信息。
27.一種將第一圖像轉(zhuǎn)換為第二圖像的方法，其中，第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息，第二圖像由多個(gè)像素構(gòu)成，所有像素都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息，該方法包括第一彩色信息生成步驟，其中，通過利用對(duì)應(yīng)于構(gòu)成第一圖像的多個(gè)彩色分量的彩色信息，生成對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量不同于構(gòu)成用于表示第一圖像的色度系統(tǒng)的彩色分量；第二彩色信息生成步驟，其中，通過利用對(duì)應(yīng)于第一圖像中一個(gè)彩色分量的彩色信息，生成對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量與用于表示第一圖像的色度系統(tǒng)中的彩色分量相匹配；以及彩色信息合成步驟，其中，根據(jù)像素位置，選擇使用通過第一彩色信息生成步驟已經(jīng)生成的彩色信息或通過第二彩色信息生成步驟已經(jīng)生成的彩色信息，或者都使用通過第一彩色信息生成步驟已經(jīng)生成的彩色信息和通過第二彩色信息生成步驟已經(jīng)生成的彩色信息，用于加權(quán)合成。
28.根據(jù)權(quán)利要求27所述的圖像處理方法，其中在第一彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于亮度分量，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量。
29.根據(jù)權(quán)利要求28所述的圖像處理方法，其中在第一彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于色差分量，該色差分量不同于用于表示第一圖像的色度系統(tǒng)中的彩色分量，如此生成的彩色信息，結(jié)合對(duì)應(yīng)于亮度分量的彩色信息，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量，被轉(zhuǎn)換為一種對(duì)應(yīng)于彩色分量的彩色信息，該彩色分量代表用于表示第一圖像的色度系統(tǒng)中的亮度。
30.根據(jù)權(quán)利要求27至29中任一個(gè)所述的圖像處理方法，其中在第二彩色信息生成步驟，生成彩色信息，該彩色信息對(duì)應(yīng)于一種彩色分量，該彩色分量代表用于表示第一圖像的色度系統(tǒng)中的亮度。
31.根據(jù)權(quán)利要求28至30中任一個(gè)所述的圖像處理方法，其中在第一彩色信息生成步驟，通過采用從至少九個(gè)不同方法中選擇的方法，生成對(duì)應(yīng)于亮度分量的彩色信息，該亮度分量不同于用于表示第一圖像的色度系統(tǒng)中的亮度分量。
32.根據(jù)權(quán)利要求30所述的圖像處理方法，其中在第二彩色信息生成步驟，通過采用從至少三個(gè)不同方法中選擇的方法，生成對(duì)應(yīng)于表示亮度的彩色分量的彩色信息。
33.根據(jù)權(quán)利要求31所述的圖像處理方法，其中在第一彩色信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少四個(gè)方向的相似性因子，根據(jù)已經(jīng)計(jì)算的相似性因子，在至少九個(gè)不同類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這九個(gè)不同方法中的一個(gè)。
34.根據(jù)權(quán)利要求32所述的圖像處理方法，其中在第二彩色信息生成步驟，通過利用第一圖像中的彩色信息，計(jì)算對(duì)應(yīng)于至少兩個(gè)方向的相似性因子，根據(jù)已經(jīng)計(jì)算的相似性因子，在至少三個(gè)不同類別中判斷沿每個(gè)方向表現(xiàn)出的相似性，并且根據(jù)判斷的類別，選擇這三個(gè)不同方法中的一個(gè)。
35.根據(jù)權(quán)利要求27至34中任一個(gè)所述的圖像處理方法，還包括色差信息生成步驟，其中，基于第一圖像中的彩色信息，生成色差信息；以及彩色梯度分析步驟，其中，基于已經(jīng)確定的色差信息，確定表示顏色變化程度的彩色梯度，其中，在彩色信息合成步驟，選擇使用通過第一彩色信息生成步驟生成的彩色信息或通過第二彩色信息生成步驟生成的彩色信息，或者都使用通過第一彩色信息生成步驟生成的彩色信息和通過第二彩色信息生成步驟生成的彩色信息，基于已經(jīng)確定的彩色梯度，用于在每個(gè)像素位置進(jìn)行加權(quán)合成。
36.一種圖像處理程序，使計(jì)算機(jī)能夠執(zhí)行根據(jù)權(quán)利要求1至35中任一個(gè)所述的圖像處理方法中的步驟。
37.一種計(jì)算機(jī)可讀的記錄介質(zhì)，在其中記錄了根據(jù)權(quán)利要求36所述的圖像處理程序。
38.一種圖像處理裝置，在其中安裝了根據(jù)權(quán)利要求36所述的圖像處理程序。
全文摘要
一種用于將第一圖像轉(zhuǎn)換為第二圖像的方法，包括色差信息生成步驟，其中，通過利用第一圖像中的彩色信息生成色差信息；彩色梯度分析步驟，其中，基于已經(jīng)生成的色差信息，確定表示顏色變化程度的彩色梯度；以及圖像轉(zhuǎn)換步驟，其中，基于已經(jīng)確定的彩色梯度將第一圖像轉(zhuǎn)換為第二圖像。該方法中的第一圖像由多個(gè)彩色分量構(gòu)成的色度系統(tǒng)表示，并由多個(gè)像素構(gòu)成，每個(gè)像素具有對(duì)應(yīng)于單個(gè)彩色分量的彩色信息；第二圖像由多個(gè)像素構(gòu)成，都具有對(duì)應(yīng)于至少一個(gè)公共彩色分量的彩色信息。
文檔編號(hào)H04N9/07GK1806448SQ20048001628
公開日2006年7月19日 申請(qǐng)日期2004年6月10日 優(yōu)先權(quán)日2003年6月12日
發(fā)明者石賀健一 申請(qǐng)人:株式會(huì)社尼康