專利名稱：圖像處理裝置和方法、以及程序的制作方法
技術(shù)領域：
本發(fā)明涉及一種圖像處理裝置和方法、以及程序，尤其涉及一種用于圖像中包含的色像差的校正處理的適合的圖像處理裝置和方法、以及程序。
背景技術(shù)：
近年來的電子照相機實現(xiàn)了小型化、高倍率、多像素化，并且要求高畫質(zhì)。然而，很難制造具有與小型化、高倍率、且多像素對應的高MTF(Modulation Transfer Function調(diào)制傳遞函數(shù))特性的鏡頭。例如通過使鏡頭小型化，由此產(chǎn)生聚焦位置由于畫面位置、波長而偏移的“像差”、入射光量隨著靠近畫面的端而衰減的“圖像斑點(shading)”、由于畫面位置而產(chǎn)生失真的“失真(distortion)”等各種問題。
其中，關于作為鏡頭特有的問題之一被例舉的像差、特別是色像差，提出了通過信號處理進行校正的技術(shù)(例如參照專利文獻1)。
在該文獻中提出了進行如下分辨率變換按紅(R)、綠(G)、藍(B)的各像素來決定上述攝影鏡頭的光軸中心的位置，以該位置為中心按照上述變換比率的數(shù)據(jù)進行圖像的放大/縮小。
專利文獻1日本特開2003-255424號公報發(fā)明內(nèi)容發(fā)明要解決的問題然而，在色像差中，不僅包含像的倍率由于顏色而不同的“倍率色像差”，還包含由顏色的焦點位置的差引起的“軸上色像差”。在上述文獻的方法中，恐怕不能夠進行對該“軸上色像差”的校正。
本發(fā)明是鑒于這種狀況所作出的，不用分離“軸上色像差”和“倍率色像差”這兩個色像差，而能夠適當?shù)剡M行校正。
用于解決問題的方法本發(fā)明的一個側(cè)面是一種圖像處理裝置，對圖像數(shù)據(jù)的色像差進行校正，該圖像處理裝置具備發(fā)白像素檢測單元，使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測發(fā)生了發(fā)白的發(fā)白像素；空間信號處理單元，對所述RGB信號，進行跨越多行的空間信號處理；顏色信號生成單元，從由所述空間信號處理單元進行了信號處理的所述RGB信號，生成顏色信號；發(fā)白分布信息制作單元，制作表示由所述發(fā)白像素檢測單元檢測出的所述發(fā)白像素的分布的發(fā)白分布信息；以及色像差校正單元，使用由所述發(fā)白分布信息制作單元制作的所述發(fā)白分布信息，對由所述顏色信號生成單元生成的所述顏色信號進行色像差的校正。
可以是，所述發(fā)白像素檢測單元具備發(fā)白像素閾值判斷單元，對關注像素，使用規(guī)定的閾值進行所述發(fā)白像素的判斷；以及發(fā)白多像素判斷單元，判斷在由所述發(fā)白像素閾值判斷單元判斷為是發(fā)白像素的所述關注像素的附近是否存在其他發(fā)白像素，只有在由所述發(fā)白多像素判斷單元判斷為在作為發(fā)白像素的所述關注像素的附近存在其他發(fā)白像素的情況下，將所述關注像素檢測為發(fā)白像素。
可以是，所述發(fā)白分布信息是表示關注像素周圍的規(guī)定范圍內(nèi)的所述發(fā)白像素的分布的信息，所述發(fā)白分布信息制作單元對所述圖像數(shù)據(jù)的各像素分別制作所述發(fā)白分布信息。
可以是，所述色像差校正單元具備色像差量算出單元，使用由所述發(fā)白分布信息制作單元制作的對各像素的所述發(fā)白分布信息和色像差量分布信息，算出各像素的色像差量，其中，所述色像差量分布信息表示與由關注像素的發(fā)白造成的周邊像素的色像差相關的校正量即色像差量的分布；以及已校正信號生成單元，生成使用由所述色像差量算出單元算出的所述色像差量、對所述圖像數(shù)據(jù)的各像素的色像差進行校正后的已校正信號。
可以是，所述色像差量算出單元具備比較單元，該比較單元關于所述圖像數(shù)據(jù)的各像素，比較所述色像差量分布信息和所述發(fā)白分布信息，所述色像差量算出單元根據(jù)所述比較單元的比較結(jié)果，算出各像素的色像差量。
可以是，所述比較單元關于所述圖像數(shù)據(jù)的各像素，使用所述色像差量分布信息，分別求出由所述發(fā)白分布信息中包含的各發(fā)白像素造成的關注像素的色像差量進行積分，由此分別算出各像素的色像差量。
可以是，所述色像差量算出單元具備倍率色像差校正單元，該倍率色像差校正單元根據(jù)進行所述色像差的校正的關注像素的畫面內(nèi)位置，對所述色像差量分布信息的分布進行校正以校正倍率色像差。
可以是，所述色像差校正單元還具備色度算出單元，該色度算出單元根據(jù)所述圖像數(shù)據(jù)的顏色信號，關于各像素算出表示所述顏色的程度的色度，所述已校正信號生成單元將由所述色度算出單元算出的所述色度乘以由所述色像差量算出單元算出的所述色像差量，使用該相乘結(jié)果進行所述圖像數(shù)據(jù)的色像差校正，生成所述已校正信號。
可以是，所述色像差校正單元還具備混合單元，該混合單元以基于由所述已校正信號生成單元算出的所述相乘結(jié)果的比例，混合由所述已校正信號生成單元生成的所述已校正信號、和校正前的所述圖像數(shù)據(jù)的顏色信號。
本發(fā)明的其他側(cè)面是一種圖像處理方法，是對圖像數(shù)據(jù)的色像差進行校正的圖像處理裝置的圖像處理方法，該圖像處理方法包括以下步驟使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素；對所述RGB信號進行跨越多行的空間信號處理；由進行了信號處理的所述RGB信號，生成顏色信號；制作表示所述發(fā)白像素的分布的發(fā)白分布信息；使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正。
本發(fā)明的其他側(cè)面是一種程序，是使計算機執(zhí)行對圖像數(shù)據(jù)的色像差進行校正的處理的程序，該程序包括以下步驟使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素；對所述RGB信號進行跨越多行的空間信號處理；由進行了信號處理的所述RGB信號，生成顏色信號；制作表示所述發(fā)白像素的分布的發(fā)白分布信息；使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正。
在本發(fā)明的側(cè)面中，使用由RGB信號構(gòu)成的圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素，對RGB信號進行跨越多行的空間信號處理，根據(jù)進行了信號處理的所述RGB信號，生成顏色信號，制作表示所述發(fā)白像素的分布的發(fā)白分布信息，使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正。
發(fā)明的效果根據(jù)本發(fā)明的側(cè)面，可以處理圖像。尤其是可以更容易地進行更正確的色像差校正。


圖1是表示本發(fā)明實施方式的攝像裝置的結(jié)構(gòu)例的框圖。
圖2是表示圖1的色像差校正部的詳細結(jié)構(gòu)例的框圖。
圖3是表示圖2的發(fā)白判斷部的詳細結(jié)構(gòu)例的框圖。
圖4是表示圖2的色像差量算出部的詳細結(jié)構(gòu)例的框圖。
圖5是表示圖2的紫色區(qū)域算出部的詳細結(jié)構(gòu)例的框圖。
圖6是表示圖2的已校正信號生成部的詳細結(jié)構(gòu)例的框圖。
圖7是表示圖2的混合處理部的詳細結(jié)構(gòu)例的框圖。
圖8是說明圖像處理流程的例子的流程圖。
圖9是說明色像差校正處理的詳細流程的例子的流程圖。
圖10是說明發(fā)白對應圖的結(jié)構(gòu)例的示意圖。
圖11是說明發(fā)白判斷處理的詳細流程的例子的流程圖。
圖12是說明色像差量算出處理的詳細流程的例子的流程圖。
圖13是說明色像差對應圖的結(jié)構(gòu)例的示意圖。
圖14是說明倍率色像差的例子的示意圖。
圖15是說明在沒有倍率色像差的情況下的匹配方法的例子的圖。
圖16是說明在有倍率色像差的情況下的匹配方法的例子的圖。
圖17是說明紫色區(qū)域算出處理的詳細流程的例子的流程圖。
圖18是表示紫色區(qū)域的抽出的情況的例子的圖。
圖19是說明已校正信號生成處理的詳細流程的例子的流程圖。
圖20是說明已校正混合處理的詳細流程的例子的流程圖。
圖21是表示低通濾波器的結(jié)構(gòu)例的框圖。
圖22是說明圖1所示的圖像處理部所需的存儲器容量的例子的圖。
圖23是表示本發(fā)明其他實施方式的攝像裝置的結(jié)構(gòu)例的框圖。
圖24是表示圖23的色像差校正部的詳細結(jié)構(gòu)例的框圖。
圖25是說明圖像處理流程的例子的流程圖。
圖26是說明色像差校正處理的詳細流程的例子的流程圖。
圖27是說明時間序列中的發(fā)白檢測處理和色像差校正處理之間的關系的圖。
圖28是說明畫面內(nèi)的發(fā)白檢測處理和色像差校正處理之間的關系的圖。
圖29是說明圖23所示的圖像處理部所需的存儲器容量的例子的圖。
圖30是說明應用了本發(fā)明的個人計算機的結(jié)構(gòu)例的圖。
附圖標記說明1攝像裝置；14圖像處理部；21光學元件/攝像元件校正處理部；22降低噪聲處理部；23反馬賽克(demosaic)處理部；24白平衡處理部；25γ校正部；26Y信號處理部；27行存儲器；28C信號處理部；29色像差校正部；41發(fā)白判斷部；42發(fā)白信息保持部；43色像差量算出部；44行存儲器；45紫色區(qū)域算出部；46已校正信號生成部；47校正限幅器；48模糊部；49混合處理部；61發(fā)白像素閾值判斷部；62發(fā)白多像素判斷部；63判斷結(jié)果保持部；71色像差模型保持部；72色像差對應圖生成部；73色像差對應圖保持部；74倍率色像差信息保持部；75倍率色像差校正部；76對應圖比較部；81第一校正值算出部；82第二校正值算出部；83校正值選擇部；91乘法器；92減法器；93乘法器；101乘法器；102減法器；103乘法器；104加法器；251攝像裝置；264圖像處理部；271發(fā)白判斷部；272發(fā)白信息保持部；273色像差校正部。
具體實施例方式
以下，說明本發(fā)明的實施方式，下面舉例說明本發(fā)明的構(gòu)成要件與發(fā)明的詳細說明中記載的實施方式的對應關系。本記載是為了確認支持本發(fā)明的實施方式被記載在發(fā)明的詳細說明中。因此，即使有雖然記載在發(fā)明的詳細說明中，但是沒有作為與本發(fā)明的構(gòu)成要件對應的實施方式記載在這里的實施方式，也不意味著該實施方式不與該構(gòu)成要件對應。相反，即使實施方式作為與構(gòu)成要件對應的部分而記載于此，也不意味該實施方式不與該構(gòu)成要件以外的構(gòu)成要件對應。
并且，該記載不意味記載在本說明書中的全部發(fā)明。換句話說，該記載是本說明書中記載的發(fā)明，并不否定沒有在該申請中請求的發(fā)明的存在，即不否定將來分案申請、通過補正追加的發(fā)明的存在。
本發(fā)明的一個側(cè)面是一種圖像處理裝置(例如，圖23的圖像處理部)，對圖像數(shù)據(jù)的色像差進行校正，該圖像處理裝置具備發(fā)白像素檢測單元(例如，圖23的發(fā)白判斷部)，使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測發(fā)生了發(fā)白的發(fā)白像素；空間信號處理單元(例如，圖23的降低噪聲處理部及反馬賽克處理部)，對所述RGB信號，進行跨越多行的空間信號處理；顏色信號生成單元(例如，圖23的C信號處理部)，從由所述空間信號處理單元進行了信號處理的所述RGB信號，生成顏色信號；發(fā)白分布信息制作單元(例如，圖23的發(fā)白信息保持部)，制作表示由所述發(fā)白像素檢測單元檢測出的所述發(fā)白像素的分布的發(fā)白分布信息；以及色像差校正單元(例如，圖23的色像差校正部)，使用由所述發(fā)白分布信息制作單元制作的所述發(fā)白分布信息，對由所述顏色信號生成單元生成的所述顏色信號進行色像差的校正。
可以是，所述發(fā)白像素檢測單元具備發(fā)白像素閾值判斷單元(例如，圖3的發(fā)白像素閾值判斷部)，對關注像素，使用規(guī)定的閾值進行所述發(fā)白像素的判斷；以及發(fā)白多像素判斷單元(例如，圖3的發(fā)白多像素判斷部)，判斷在由所述發(fā)白像素閾值判斷單元判斷為是發(fā)白像素的所述關注像素的附近是否存在其他發(fā)白像素，只有在由所述發(fā)白多像素判斷單元判斷為在作為發(fā)白像素的所述關注像素的附近存在其他發(fā)白像素的情況下，將所述關注像素檢測為發(fā)白像素(例如，圖11的步驟S46)。
可以是，所述發(fā)白分布信息是表示關注像素周圍的規(guī)定范圍內(nèi)的所述發(fā)白像素的分布的信息(例如，圖10的發(fā)白對應圖)，所述發(fā)白分布信息制作單元對所述圖像數(shù)據(jù)的各像素分別制作所述發(fā)白分布信息(例如，圖9的步驟S23)。
可以是，所述色像差校正單元具備色像差量算出單元(例如，圖24的色像差量算出部)，使用由所述發(fā)白分布信息制作單元制作的對各像素的所述發(fā)白分布信息和色像差量分布信息(例如，圖13的色像差對應圖)，算出各像素的色像差量，其中，所述色像差量分布信息表示與由關注像素的發(fā)白造成的周邊像素的色像差相關的校正量即色像差量的分布；以及已校正信號生成單元(例如，圖24的已校正信號生成部)，生成使用由所述色像差量算出單元算出的所述色像差量、對所述圖像數(shù)據(jù)的各像素的色像差進行校正后的已校正信號。
可以是，所述色像差量算出單元具備比較單元(例如，圖4的對應圖比較部)，該比較單元關于所述圖像數(shù)據(jù)的各像素，比較所述色像差量分布信息和所述發(fā)白分布信息，所述色像差量算出單元根據(jù)所述比較單元的比較結(jié)果，算出各像素的色像差量(例如，圖12的步驟S69)。
可以是，所述比較單元關于所述圖像數(shù)據(jù)的各像素，使用所述色像差量分布信息，分別求出由所述發(fā)白分布信息中包含的各發(fā)白像素造成的關注像素的色像差量進行積分，由此分別算出各像素的色像差量(例如，圖12的步驟S69)。
可以是，所述色像差量算出單元具備倍率色像差校正單元(例如，圖4的倍率色像差校正部)，該倍率色像差校正單元根據(jù)進行所述色像差的校正的關注像素的畫面內(nèi)位置，對所述色像差量分布信息的分布進行校正以校正倍率色像差。
可以是，所述色像差校正單元還具備色度算出單元(例如，圖24的紫色區(qū)域算出部)，該色度算出單元根據(jù)所述圖像數(shù)據(jù)的顏色信號，關于各像素算出表示所述顏色的程度的色度，所述已校正信號生成單元將由所述色度算出單元算出的所述色度乘以由所述色像差量算出單元算出的所述色像差量，使用該相乘結(jié)果進行所述圖像數(shù)據(jù)的色像差校正，生成所述已校正信號。
可以是，所述色像差校正單元還具備混合單元(例如，圖24的混合處理部)，該混合單元以基于由所述已校正信號生成單元算出的所述相乘結(jié)果的比例，混合由所述已校正信號生成單元生成的所述已校正信號、和校正前的所述圖像數(shù)據(jù)的顏色信號。
本發(fā)明的其他側(cè)面是一種對圖像數(shù)據(jù)的色像差進行校正的圖像處理裝置(例如，圖23的圖像處理部)的圖像處理方法或程序，包含包括以下步驟使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素(例如，圖25的步驟S201)；對所述RGB信號進行跨越多行的空間信號處理(例如，圖25的步驟S204及步驟S205)；從進行了信號處理的所述RGB信號，生成顏色信號(例如，圖25的步驟S209)；制作表示所述發(fā)白像素的分布的發(fā)白分布信息(例如，圖25的步驟S210)；使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正(例如，圖25的步驟S211)。
下面，參照

應用了本發(fā)明的實施方式。
圖1是表示應用了本發(fā)明的攝像裝置的結(jié)構(gòu)例的框圖。
在圖1中，攝像裝置1是將拍攝被攝體所得到的圖像作為數(shù)字數(shù)據(jù)荻取的裝置，具有鏡頭部11、CCD(Charge Coupled Device電荷耦合器件)12、AD(Analog/Digital模擬/數(shù)字)變換部13、以及圖像處理部14。
鏡頭部11例如由透鏡組、光圈等構(gòu)成，透射來自被攝體的入射光，聚光到CCD12。CCD12是具有作為接收該入射光的受光部的光電二極管等光電變換元件的攝像元件，在受光部中接收通過鏡頭部11入射的入射光并進行光電變換，作為電信號輸出到AD變換部13。
在該受光部的各光電二極管中分別設置有使入射光透射的紅(R)、綠(G)、或者藍(B)的未圖示的濾色器。入射光通過該濾色器，由此只有濾色器的各顏色成分到達受光部。也就是說，在受光部中紅(R)、綠(G)、以及藍(B)各成分入射到相互不同的位置并進行光電變換。即CCD12將紅(R)、綠(G)、以及藍(B)的各成分電信號輸出到AD變換部13。
AD變換部13將從CCD12提供的各成分的電信號(模擬信號)進行數(shù)字化，將該數(shù)字信號(圖像數(shù)據(jù))提供給圖像處理部14。圖像處理部14對提供的圖像數(shù)據(jù)(R信號、G信號、以及B信號)執(zhí)行信號處理(圖像處理)以加工與該圖像數(shù)據(jù)對應的圖像，將該圖像數(shù)據(jù)作為亮度信號以及顏色信號輸出。
此外，攝像裝置1當然也可以還具有例如記錄獲取的圖像數(shù)據(jù)的記錄介質(zhì)等其他結(jié)構(gòu)。
如圖1所示，圖像處理部14具有光學元件/攝像元件校正處理部21、降低噪聲處理部22、反馬賽克處理部23、白平衡處理部24、γ校正部25、Y信號處理部26、行存儲器27、C信號處理部28、以及色像差校正部29。
光學元件/攝像元件校正處理部21，是進行調(diào)整黑色水平的數(shù)字鉗位、校正鏡頭周邊光量降低的圖像斑點校正等的對攝像元件、光學元件等的影響進行校正的處理部。光學元件/攝像元件校正處理部21，當獲取從AD變換部13提供的圖像數(shù)據(jù)(R信號、G信號、以及B信號)時，對它們進行上述校正，將校正后的圖像數(shù)據(jù)(R信號、G信號、以及B信號)提供給降低噪聲處理部22。
降低噪聲處理部22是對CCD12的光學變換時、AD變換部13的在像素數(shù)據(jù)模擬傳送時產(chǎn)生的噪聲進行降低的降低噪聲(NR(Noise Reduction降低噪聲))處理的處理部，當獲取從光學元件/攝像元件校正處理部21提供的圖像數(shù)據(jù)(R信號、G信號、以及B信號)時，對它們進行降低噪聲的處理，將處理后的圖像數(shù)據(jù)(R信號、G信號、以及B信號)提供給反馬賽克處理部23。
反馬賽克處理部23，例如對通過在CCD12中使用拜耳陣列(Bayer array)的濾色器等而對空間相位相互偏離的R信號、G信號、B信號，生成顏色結(jié)構(gòu)，制作三個RGB平面信號(空間位置相互相等的R信號、G信號以及B信號的組)。也就是說，反馬賽克處理部23對從降低噪聲處理部22提供的RGB信號(空間相位相互偏離的R信號、G信號、B信號的組)進行反馬賽克處理，生成顏色結(jié)構(gòu)，生成RGB平面信號，將它們提供給白平衡處理部24。
白平衡處理部24分別對該RGB平面信號的相同的空間位置的RGB信號進行白平衡，乘以增益使白色被攝體的RGB水平相等，將該RGB信號提供給γ(伽馬)校正部25。
γ校正部25對提供的RGB信號(R信號、G信號、以及B信號的組)，校正電壓換算值的變化相對于圖像明亮度的變化的比即γ(伽馬)值，由此，吸收元件的特性等，以得到更接近自然的顯示。γ校正部25將γ校正后的RGB信號提供給Y信號處理部26以及C信號處理部28。
Y信號處理部26使用從γ校正部25提供的RGB信號，運算以下的式(1)，由此生成亮度信號(Y信號)。
Y＝0.3R+0.6G+0.1B...(1)
在式(1)中，Y表示亮度值(Y信號的值)，R表示R信號的信號水平(紅色成分的量)，G表示G信號的信號水平(綠色成分的量)，B表示B信號的信號水平(藍色成分的量)。
Y信號處理部26將得到的亮度信號(Y信號)提供給行存儲器27以及色像差校正部29。
行存儲器27由SRAM(Static Random Access Memory靜態(tài)隨機存取存儲器)、DRAM(Dynamic Random Access Memory動態(tài)隨機存取存儲器)等易失性的半導體存儲器等構(gòu)成，是以畫面的水平方向的像素列(行)單位，臨時保持圖像數(shù)據(jù)的存儲部。行存儲器27將從Y信號處理部26提供的圖像數(shù)據(jù)(Y信號)保持規(guī)定的行數(shù)部分、規(guī)定的期間，以與從色像差校正部29輸出的顏色信號(Cr信號、Cb信號)的輸出定時對應的定時，輸出保持的Y信號。
C信號處理部28使用從γ校正部25提供的RGB信號，運算以下的式(2)以及式(3)，由此生成顏色信號(Cr信號以及Cb信號)。
Cr(R-Y)＝0.7R-0.6G-0.1B ...(2)Cb(B-Y)＝-0.3R-0.6G+0.9B...(3)在式(2)以及式(3)中，左邊的Cr(R-Y)以及Cb(B-Y)表示各顏色信號的值，右邊的R表示R信號的信號水平(紅色成分的量)，G表示G信號的信號水平(綠色成分的量)，B表示B信號的信號水平(藍色成分的量)。
C信號處理部28將得到的顏色信號(Cr信號以及Cb信號)提供給色像差校正部29。
色像差校正部29根據(jù)提供的Y信號、Cr信號、以及Cb信號，進行包含在該圖像數(shù)據(jù)中的軸上色像差、倍率色像差等色像差的校正，輸出校正后的Cr信號、Cb信號。
色像差校正部29，當Y信號(或者RGB信號的任一個)的信號水平飽和的“發(fā)白”的周邊像素的顏色是“紫色”時，作為色像差校正進行對象像素的消色。
色像差的影響如從樹的樹葉空隙照進來的陽光等，在對比度大的圖像中特別顯著，在這種圖像中色像差校正的效果大。換句話說，在沒有發(fā)白的地方即使發(fā)生了色像差也不顯著，其校正的效果也小。另外，通常綠色(G)值小的紫色，亮度值(Y)也小，因此在紫色圖像附近產(chǎn)生發(fā)白的可能性非常低。換句話說，在發(fā)白的周邊存在原本紫色的圖像(不是由色像差導致的紫色)的可能性非常低。因而，色像差校正部29將在“發(fā)白”的周邊(附近)產(chǎn)生的紫色視作由色像差導致的紫色而進行校正(進行消色)。
這樣，考慮產(chǎn)生了發(fā)白的像素而進行校正，由此，色像差校正部29可降低不必要的校正、更正確地進行合適的校正。
另外，由于色像差的影響，往往看到紫色、綠色等顏色，但是通常在亮度值(Y)大的情況下綠色(G)值也變大，因此在發(fā)白周邊存在原本綠色(不是由色像差導致的綠色)的可能性高。也就是說，當不小心消除綠色時，例如當拍攝從樹的樹葉空隙照進來的陽光時有可能消除樹葉的顏色。因而，色像差校正部29不對綠色進行校正。
這樣，限定校正對象的顏色來進行校正，由此色像差校正部29可降低不必要的校正，更正確地進行合適的校正。
圖2是表示圖1的色像差校正部29的詳細結(jié)構(gòu)例的框圖。
在圖2中，色像差校正部29具有發(fā)白判斷部41、發(fā)白信息保持部42、色像差量算出部43、行存儲器44、紫色區(qū)域算出部45、已校正信號生成部46、校正限幅器47、模糊部48、以及混合處理部49。
發(fā)白判斷部41按每個像素判斷從Y信號處理部26(圖1)提供的亮度信號(Y信號)的信號水平是否在規(guī)定的閾值以上(亮度值飽和)，將該判斷結(jié)果(例如1位的信息)提供給發(fā)白信息保持部42。在后面詳細敘述判斷方法。例如，發(fā)白判斷部41對產(chǎn)生了發(fā)白的像素(發(fā)白像素)，將值“1”作為判斷結(jié)果提供給發(fā)白信息保持部42，對沒有產(chǎn)生發(fā)白的像素，將值“0”作為判斷結(jié)果提供給發(fā)白信息保持部42。此外，表示該判斷結(jié)果的信息的位數(shù)、值是任意的，但是信息量越少越減輕負荷。
發(fā)白信息保持部42內(nèi)置有RAM(Random Access Memory隨機存取存儲器)等記錄介質(zhì)，具有存儲區(qū)域。發(fā)白信息保持部42使用該存儲區(qū)域，臨時保持從發(fā)白判斷部41提供的各像素的判斷結(jié)果(表示各像素是否是發(fā)白像素的信息)。發(fā)白信息保持部42根據(jù)該保持的信息，制作表示接著的色像差量算出部43中的周圍的發(fā)白像素相對關注像素的分布的發(fā)白對應圖，將其提供給色像差量算出部43。在后面詳細敘述發(fā)白對應圖。
色像差量算出部43內(nèi)置有RAM、ROM(Read Only Memory只讀存儲器)等記錄介質(zhì)，在其記錄區(qū)域中存儲了與關注像素周邊的色像差的校正量(色像差量)有關的信息即色像差模型。色像差量算出部43根據(jù)該色像差模型生成表示色像差量的分布的色像差對應圖。在后面詳細敘述色像差模型以及色像差對應圖。
色像差量算出部43使用該色像差對應圖和從發(fā)白信息保持部43提供的發(fā)白對應圖，算出由周圍的發(fā)白像素導致的關注像素的色像差量的積分值，將該算出的色像差量提供給已校正信號生成部46。
行存儲器44內(nèi)置有RAM等記錄介質(zhì)，使用該記錄區(qū)域?qū)腃信號處理部28提供的顏色信號(Cr信號以及Cb信號)，例如按畫面的每個行保持規(guī)定的期間(保持多行部分的顏色信號)。并且，行存儲器44將其保持的顏色信號的一部分或者全部，分別以規(guī)定的定時提供給紫色區(qū)域算出部45、已校正信號生成部46、以及混合處理部49。
紫色區(qū)域算出部45根據(jù)從行存儲器44提供的顏色信號(Cr信號以及Cb信號)，算出各像素的紫度(表示接近紫色到什么程度的程度)，將該算出結(jié)果提供給已校正信號生成部46。也就是說，紫色區(qū)域算出部45確定畫面內(nèi)的紫色的部分(紫色區(qū)域)。在后面詳細敘述該算出方法。
已校正信號生成部46根據(jù)從色像差量算出部43提供的色像差量、以及從紫色區(qū)域算出部45提供的紫度，算出與如上所述的發(fā)白相應的色像差量(對發(fā)白像素附近的紫色像素的色像差量的校正量)，使用該值對從行存儲器44提供的作為沒有被校正的顏色信號的無校正信號進行色像差校正，生成已校正信號。在后面詳細敘述該色像差校正。已校正信號生成部46將生成的已校正信號提供給校正限幅器47。另外，已校正信號生成部46將與發(fā)白相應的色像差量提供給混合處理部49。
校正限幅器47關于從已校正信號生成部46提供的已校正信號，執(zhí)行彩度的降低量的校正。即，校正限幅器47檢測出通過已校正信號生成部46中的校正處理使彩度過分降低的部分等，進行將周邊像素的彩度作為參考的彩度校正處理。
校正限幅器47將在已校正信號生成部46中執(zhí)行了彩度降低處理的像素、即主要選擇進行了色像差校正的像素作為校正對象進行校正處理。在這種彩度校正中，其對象范圍成為彩度降低的部分，因此需要選擇彩度消減率不是0的像素。因而，雖然省略了圖示，但是校正限幅器47與已校正信號一起還獲取與彩度消減率相關的信息，關于彩度消減率不是“0”的像素進行彩度校正。校正限幅器47將進行了彩度校正的已校正信號提供給模糊部48。
模糊部48對從校正限幅器47提供的信號，使用低通濾波器(LPF)執(zhí)行模糊處理，進行校正不均勻的修正。模糊部48將修正后的已校正信號提供給混合處理部49。
如上，通過由校正限幅器47以及模糊部48進一步處理已校正信號，能夠降低圖像中的不自然的顯著的校正，因此色像差校正部29能夠得到更自然的色像差校正結(jié)果。
混合處理部49根據(jù)與從已校正信號生成部46提供的發(fā)白相應的色像差量，混合從行存儲器44提供的無校正信號和從模糊部48提供的已校正信號，生成校正后信號(混合信號)并將其輸出。也就是說，混合處理部49根據(jù)色像差量決定兩信號的混合比，由此混合兩信號(已校正信號以及無校正信號)，使得對進行了色像差校正的像素強調(diào)已校正信號，對沒有進行色像差校正的像素強調(diào)無校正信號。通過這樣進行兩信號的混合，混合處理部49能夠使校正前的信號反映到色像差校正后的信號中，能夠得到更自然的校正后信號。此外，在后面敘述混合處理的具體方法。
圖3是表示圖2的發(fā)白判斷部41的詳細結(jié)構(gòu)例的框圖。
在圖3中，發(fā)白判斷部41具有發(fā)白像素閾值判斷部61、發(fā)白多像素判斷部62、以及判斷結(jié)果保持部63。
發(fā)白像素閾值判斷部61從輸入的亮度信號(Y信號)參照各像素的亮度值，判斷是否大于預先決定的規(guī)定的閾值(信號水平是否飽和)，將該判斷結(jié)果(閾值判斷結(jié)果)提供給發(fā)白多像素判斷部62。該閾值的值可以是任意值，但由于是用于檢測發(fā)白像素的閾值，因此通常設定為亮度值范圍寬度的最大值附近的足夠大的值。
發(fā)白多像素判斷部62將從發(fā)白像素閾值判斷部61提供的判斷結(jié)果提供給判斷結(jié)果保持部63并保持。另外，發(fā)白多像素判斷部62根據(jù)該提供的判斷結(jié)果來確認關注像素是否是發(fā)白像素，在是發(fā)白像素的情況下，從判斷結(jié)果保持部63獲取其周邊像素的判斷結(jié)果，判斷在關注像素附近是否存在發(fā)白像素。也就是說，發(fā)白多像素判斷部62檢測相互連續(xù)或者接近的多個發(fā)白像素。發(fā)白多像素判斷部62將這樣得到的判斷結(jié)果(相互連續(xù)或者接近的多個發(fā)白像素的信息)作為發(fā)白判斷結(jié)果提供給發(fā)白信息保持部42。
例如在拍攝光源的情況下等產(chǎn)生發(fā)白，因此通常大多跨越多個像素而產(chǎn)生，由一個像素單獨產(chǎn)生的可能性極低。換句話說，由一個像素單獨產(chǎn)生的發(fā)白，由像素的缺陷引起的可能性高。因此發(fā)白多像素判斷部62如上所述，忽略僅一個像素的發(fā)白，只檢測跨越多個像素產(chǎn)生的發(fā)白，由此抑制缺陷像素等的錯誤檢測。
這樣，發(fā)白判斷部41不僅在發(fā)白像素閾值判斷部61中進行閾值判斷，而且還通過發(fā)白多像素判斷部62確認周圍發(fā)白像素的存在，因此能夠更正確地檢測出發(fā)白像素。
此外，判斷結(jié)果保持部63實質(zhì)上只要能夠保持關注像素附近(規(guī)定的范圍)的各像素的判斷結(jié)果(例如1位信息)，保持哪種信息都可以，例如，也可以將可能成為關注像素的附近像素的各像素的判斷結(jié)果全部保持，根據(jù)不可能成為附近像素的像素的判斷結(jié)果依次廢棄，還可以保持判斷為發(fā)白像素的像素地址信息。使用哪種方法保持哪種信息是任意的，例如根據(jù)保持的信息量、處理負荷的大小等應用最佳的方法即可。
圖4是表示圖2的色像差量算出部43的詳細結(jié)構(gòu)例的框圖。
在圖4中，色像差量算出部43具有色像差模型保持部71、色像差對應圖生成部72、色像差對應圖保持部73、倍率色像差信息保持部74、倍率色像差校正部75、以及對應圖比較部76。
色像差模型保持部71內(nèi)置有ROM、RAM等，在其存儲區(qū)域中預先保持有色像差模型。色像差模型是在有1個像素的發(fā)白的情況下用于生成表示對其周圍有何種程度的像差影響的色像差對應圖的模型信息。
也就是說，色像差對應圖是指在一個發(fā)白像素周邊產(chǎn)生的、表示由該發(fā)白導致的色像差量(色像差程度)的分布情況的信息，只要是用于生成該色像差對應圖的信息，色像差模型可以是任何信息。
在后面詳細敘述色像差對應圖，色像差模型是例如表示到發(fā)白像素的距離和色像差量之間關系的表信息，色像差對應圖也可以是根據(jù)該表信息算出的、以發(fā)白像素為中心的該周圍各像素的色像差量的對應圖信息。另外，色像差模型也可以是色像差對應圖的一部分或者全部(對應圖信息)。
色像差模型保持部71根據(jù)色像差對應圖生成部72的請求，將該色像差模型提供給色像差對應圖生成部72。
色像差對應圖生成部72使用從色像差模型保持部72提供的色像差模型，生成上述的色像差對應圖，將其提供給色像差對應圖保持部73。
色像差對應圖保持部73內(nèi)置有RAM等，在其存儲區(qū)域中臨時保持從色像差對應圖生成部72提供的色像差對應圖，根據(jù)對應圖比較部76的請求，將該色像差對應圖提供給對應圖比較部76。
倍率色像差信息保持部74內(nèi)置有ROM、RAM等，在其存儲區(qū)域中預先保持有表示在畫面內(nèi)的各像素中產(chǎn)生了哪種程度的倍率色像差的倍率色像差信息。在后面詳細敘述，但是特別是在畫面周邊部產(chǎn)生較大的波長的差表現(xiàn)為像倍率的不同的倍率色像差。倍率色像差信息是表示該畫面內(nèi)的位置和倍率色像差量之間的關系的信息，可以是表信息、運算式等任意信息。倍率色像差信息保持部74根據(jù)倍率色像差校正部75的請求，將該倍率色像差信息提供給倍率色像差校正部75。
倍率色像差校正部75從倍率色像差信息保持部74獲取倍率色像差信息來參照，確認在對應圖比較部76中的關注像素中是否產(chǎn)生倍率色像差，在產(chǎn)生的情況下，根據(jù)該倍率色像差信息來校正保持在色像差對應圖保持部73中的色像差對應圖。色像差對應圖保持部73為了該關注像素的處理，將校正的色像差對應圖提供給對應圖比較部76。
這樣，色像差對應圖保持部73按每個像素將色像差對應圖提供給對應圖比較部76。
對應圖比較部76通過匹配該色像差對應圖和從發(fā)白信息保持部42(圖2)提供的發(fā)白對應圖這兩個對應圖，算出與各像素的發(fā)白對應的色像差量，將其提供給已校正信號生成部46。在后面詳細敘述對應圖比較部76。
此時，還可考慮對從校正對象像素(關注像素)到最接近的發(fā)白像素為止的距離決定校正量的方法，但是實際上根據(jù)校正對象像素在周圍有何種程度的高對比度的被攝體來決定色像差量，因此對應圖比較部76與以到最接近發(fā)白的距離來算出校正量相比，將全部的發(fā)白信息進行積分來決定校正量的方法，其處理不僅變得更容易，而且能夠更正確地算出色像差量。
另外，考慮倍率色像差來算出色像差量，因此色像差量算出部43能夠更正確地算出色像差量。
圖5是表示圖2的紫色區(qū)域算出部45的詳細結(jié)構(gòu)例的框圖。
在圖5中，紫色區(qū)域算出部45具有第一校正值算出部81、第二校正值算出部82、以及校正值選擇部83。
紫色區(qū)域算出部45是檢測作為校正對象像素的顏色的紫色、輸出對該紫色區(qū)域賦予大權(quán)重的值(紫度)的處理部，但是此時如后所述使用兩個校正式從顏色信號值算出兩個校正值，選擇其中之一。
第一校正值算出部81從Cr信號以及Cb信號，使用其中一個校正式算出一個校正值(第一校正值)，將其提供給校正值選降部83。同樣地，第二校正值算出部82從Cr信號以及Cb信號，使用另一個校正式算出另一個校正值(第二校正值)，將其提供給校正值選擇部83。
校正值選擇部83在從第一校正值算出部81提供的第一校正值、以及從第二校正值算出部82提供的第二校正值中選擇值小的一個，將其作為紫度輸出。
也就是說，第一校正值算出部81和第二校正值算出部82用于運算的兩個校正式(在后面詳細敘述)，是對紫色進行加權(quán)的式。
此外，以上說明了紫色區(qū)域算出部45根據(jù)運算式來算出紫度，但是紫度的算出方法不限于此，例如紫色區(qū)域算出部45也可以根據(jù)表信息來算出紫度。
圖6是表示圖2的已校正信號生成部46的詳細結(jié)構(gòu)例的框圖。
在圖6中，已校正信號生成部46具有乘法器91、減法器92、以及乘法器93。
乘法器91將紫度P和色像差量A相乘，將作為其相乘結(jié)果的與發(fā)白相應的色像差量(消色增益)P×A(0≤P×A≤1)提供給減法器92以及混合處理部49(圖2)。
減法器92通過從值“1”減去與發(fā)白相應的色像差量P×A，使與發(fā)白相應的色像差量P×A翻轉(zhuǎn)而算出校正增益1-P×A(0≤1-P×A≤1)，將該校正增益1-P×A提供給乘法器93。
乘法器93通過將顏色信號的信號值(Cr以及Cb)和校正增益1-P×A相乘，算出Cr×(1-P×A)以及Cb×(1-P×A)，將它們作為已校正信號提供給校正限幅器47。
即，乘法器91通過將紫度P和色像差量A相乘，關注像素能夠?qū)Υ嬖谟诎l(fā)白附近的紫色區(qū)域(是由于色像差而產(chǎn)生的紫色的可能性高、且其像差量大的區(qū)域)的像素將色像差量(與發(fā)白相應的色像差量)設定得大。
另外，使用減法器92和乘法器93，使與其發(fā)白相應的色像差量P×A翻轉(zhuǎn)而乘以顏色信號的信號值(Cr以及Cb)，由此，已校正信號生成部46能夠?qū)︻伾盘栠M行與由乘法器91設定的色像差量相應的量的校正。
也就是說，已校正信號生成部46通過采用這種結(jié)構(gòu)，能夠以更簡易的結(jié)構(gòu)更容易、且更正確地進行對色像差的校正。
圖7是表示圖2的混合處理部49的詳細結(jié)構(gòu)例的框圖。
在圖7中，混合處理部49具有乘法器101、減法器102、乘法器103、以及加法器104。
乘法器101將無校正信號和消色增益(與發(fā)白相應的色像差量)P×A相乘，將其相乘結(jié)果提供給加法器104。
減法器102通過從值“1”減去消色增益P×A，使消色增益P×A翻轉(zhuǎn)而算出校正增益1-P×A，將該校正增益1-P×A提供給乘法器103。
乘法器103在從乘法器101提供的已校正信號上乘以作為消色增益P×A的翻轉(zhuǎn)值的校正增益1-P×A，將其相乘結(jié)果提供給加法器104。
加法器104將乘法器101的相乘結(jié)果和乘法器103的相乘結(jié)果進行相加，將其相加結(jié)果作為校正后信號(混合信號)輸出。
也就是說，混合處理部49在乘法器101以及乘法器103中，分別根據(jù)消色增益的值對無校正信號和已校正信號進行加權(quán)，在加法器104中相加(混合)這些值而制作校正后信號(混合信號)。由此，色像差校正部29能夠在校正后的圖像中進一步反映校正前的圖像，能夠得到更自然合適的色像差校正結(jié)果。
下面，說明由以上所說明的各部執(zhí)行的各處理的流程。
首先，參照圖8的流程圖，說明圖1的圖像處理部14的圖像處理整體流程的例子。
當從AD變換部13提供圖像信號(數(shù)字數(shù)據(jù))時，圖像處理部14開始圖像處理。當圖像處理開始時，在步驟S1中光學元件/攝像元件校正處理部21對圖像信號進行光學元件/攝像元件校正處理，在步驟S2中降低噪聲處理部22對圖像信號進行降低噪聲處理，在步驟S3中反馬賽克處理部23對圖像信號進行反馬賽克處理，在步驟S4中白平衡處理部24對圖像信號進行白平衡處理，在步驟S5中γ校正部25對圖像信號進行γ校正處理。
當γ校正處理結(jié)束時，在步驟S6中Y信號處理部26從γ校正后的圖像信號(RGB信號)生成亮度信號(Y信號)，在步驟S7中行存儲器27保持該亮度信號(Y信號)。另外，在步驟S8中，C信號處理部28從γ校正后的圖像信號(RGB信號)生成顏色信號(Cr信號以及Cb信號)。
在步驟S9中，色像差校正部29使用在Y信號處理部26中生成的亮度信號，執(zhí)行對由C信號處理部28生成的顏色信號的色像差進行校正的色像差校正處理。參照圖9的流程圖詳細說明色像差校正處理。當色像差校正處理結(jié)束時，行存儲器27以及色像差校正部29分別將亮度信號以及顏色信號相關聯(lián)地輸出到圖像處理部14的外部，結(jié)束圖像處理。
圖像處理部14重復以上的圖像處理，處理從AD變換部13提供的圖像信號。這樣，圖像處理部14能夠更容易地對圖像信號進行更正確的色像差校正。
下面，參照圖9的流程圖，說明在圖8的步驟S9中執(zhí)行的色像差校正處理詳細流程的例子。另外，根據(jù)需要，參照圖10進行說明。
當色像差校正處理開始時，在步驟S21中，發(fā)白判斷部41對從Y信號處理部26提供的亮度信號(Y信號)進行發(fā)白判斷處理。參照圖11的流程圖詳細說明發(fā)白判斷處理。當結(jié)束發(fā)白判斷處理時，在步驟S22中，發(fā)白信息保持部42保持判斷結(jié)果，在步驟S23中制作如圖10所示的關于色像差量算出部43進行的色像差算出處理的關注像素的發(fā)白對應圖。
圖10是說明發(fā)白對應圖的結(jié)構(gòu)例的示意圖。
在圖10中，發(fā)白對應圖111是表示關注像素112附近的發(fā)白像素113的分布的對應圖信息。在圖10的例子的情況下，發(fā)白對應圖111是以關注像素為中心的9像素×9像素的對應圖信息，將關注像素的坐標設為(0，0)，在圖中左右方向上，從左向右如“-4”、“-3”、“-2”... ...、“4”那樣設定x坐標，在圖中上下方向上，從下向上如“-4”、“-3”、“-2”... ...、“4”那樣設定y坐標。也就是說，發(fā)白對應圖111具有規(guī)定范圍內(nèi)的發(fā)白像素的相對關注像素的相對坐標信息。在該情況下，發(fā)白像素113的坐標是(2，2)。
此外，在由該圖像處理部14處理的圖像信號中，各像素的像素值，按每行從左端的像素排列到右端的像素的一行像素值群，從最上行按順序排列到最下行。也就是說，進行處理，使得圖像信號從圖像的左上端的像素起向右方向逐個像素前進，向下方向逐行前進。
發(fā)白信息保持部42按照該處理順序保持判斷結(jié)果，因此，圖10的發(fā)白對應圖111的像素陣列與處理對象的圖像信號的圖像對應(左右方向相反)。也就是說，圖10的發(fā)白對應圖111是判斷結(jié)果的矩陣，但是在該發(fā)白對應圖111中，坐標值越小(關于水平方向越左側(cè)，關于垂直方向越下側(cè))越是最近保持的新判斷結(jié)果。
此外，發(fā)白對應圖如果具有與圖10所示信息同等的信息，則哪種信息都可以。
返回到圖9，制作如上的發(fā)白對應圖的發(fā)白信息保持部42，將該制作的發(fā)白對應圖提供給色像差量算出部43。當獲取發(fā)白對應圖時，在步驟S24中，色像差量算出部43進行色像差量算出處理。參照圖12的流程圖，在后面詳細敘述色像差量算出處理。
另外，在步驟S25中，紫色區(qū)域算出部45從行存儲器44獲取顏色信號，進行紫色區(qū)域算出處理。參照圖17的流程圖，在后面詳細敘述紫色區(qū)域算出處理。
在步驟S26中，已校正信號生成部46進行已校正信號生成處理。參照圖19的流程圖，在后面詳細敘述已校正信號生成處理。當已校正信號生成處理結(jié)束時，對于該已校正信號，在步驟S27中校正限幅器47對已校正信號進行校正限幅處理，在步驟S28中模糊部48進行模糊處理。
在步驟S29中，混合處理部49根據(jù)與發(fā)白相應的色像差量(消色增益)，進行無校正信號和已校正信號的混合處理。參照圖20的流程圖，在后面詳細敘述混合處理。當混合處理結(jié)束、輸出校正后信號時，色像差校正部29結(jié)束色像差校正處理，處理返回到圖8的步驟S9，執(zhí)行步驟S10之后的處理。
下面，詳細說明圖9的各處理。首先，參照圖11的流程圖，說明在圖9的步驟S21中執(zhí)行的發(fā)白判斷處理的詳細流程的例子。
當提供亮度信號時，發(fā)白判斷部41開始發(fā)白判斷處理。當發(fā)白判斷處理開始時，在步驟S41中發(fā)白像素閾值判斷部61使用閾值，進行作為處理對象的關注像素的發(fā)白像素判斷。即，發(fā)白像素閾值判斷部61將輸入的亮度信號的關注像素的亮度值與預先保持的規(guī)定的閾值進行比較，判斷關注像素是否能成為發(fā)白像素(亮度值是否飽和)。
在步驟S42中，當通過發(fā)白多像素判斷部62獲取與該關注像素相關的閾值判斷結(jié)果時，判斷結(jié)果保持部63將其保持。在步驟S43中，發(fā)白多像素判斷部62根據(jù)閾值判斷結(jié)果，判斷在發(fā)白像素閾值判斷部61中關注像素是否被判斷發(fā)白。在判斷為被判斷發(fā)白的情況下，發(fā)白多像素判斷部62使處理進入步驟S44，從判斷結(jié)果保持部63獲取關注像素附近(在圖10的例子的情況下，以關注像素為中心的9像素×9像素)的像素(附近像素)的判斷結(jié)果。
當獲取附近像素的判斷結(jié)果時，在步驟S45中，發(fā)白多像素判斷部62根據(jù)該附近像素的判斷結(jié)果，判斷在關注像素附近是否存在被判斷發(fā)白的像素，在判斷為存在的情況下使處理進入步驟S46，將關注像素判斷為發(fā)白像素，并將該判斷結(jié)果提供給發(fā)白信息保持部42。當提供判斷結(jié)果時，發(fā)白多像素判斷部62結(jié)束發(fā)白判斷處理，處理返回到圖9的步驟S21，執(zhí)行步驟S22以后的處理。
另外，在步驟S45中，判斷為在關注像素附近不存在被判斷發(fā)白的像素的情況下，發(fā)白多像素判斷部62使處理進入步驟S47，將該關注像素作為缺陷像素而忽略，并將該判斷結(jié)果提供給發(fā)白信息保持部42。當提供判斷結(jié)果時，發(fā)白多像素判斷部62結(jié)束發(fā)白判斷處理，處理返回到圖9的步驟S21，執(zhí)行步驟S22以后的處理。
并且，在步驟S43中，在發(fā)白像素閾值判斷部61中判斷為關注像素沒有被判斷發(fā)白的情況下，發(fā)白多像素判斷部62使處理進入步驟S48，將關注像素判斷為沒有發(fā)白的像素而忽略，將該判斷結(jié)果提供給發(fā)白信息保持部42。當提供判斷結(jié)果時，發(fā)白多像素判斷部62結(jié)束發(fā)白判斷處理，處理返回到圖9的步驟S21，執(zhí)行步驟S22以后的處理。
如上所述，不僅包括關注像素的閾值判斷，還包含附近像素的判斷結(jié)果，通過判斷關注像素是否為發(fā)白像素，發(fā)白判斷部41能夠忽略缺陷像素的發(fā)白，能夠進行更正確的發(fā)白像素的檢測。即，色像差校正部29通過使用該發(fā)白像素的檢測結(jié)果，能夠進行更正確的色像差校正。
下面，參照圖12的流程圖，說明在圖9的步驟S24中執(zhí)行的色像差量算出處理的詳細流程的例子。另外，根據(jù)需要參照圖13至圖16進行說明。
當色像差量算出處理開始時，在步驟S61中，色像差對應圖生成部72從色像差模型保持部71獲取色像差模型，在步驟S62中，根據(jù)該色像差模型生成如圖13所示的色像差對應圖。
圖13是說明色像差對應圖的結(jié)構(gòu)例的示意圖。
在圖13中，色像差對應圖121是表示關注像素周圍的色像差量的分布情況的對應圖信息，與圖10的發(fā)白對應圖111同樣，是以處理對象的關注像素為中心的9像素×9像素的對應圖信息。但是在該色像差對應圖121中，對9像素×9像素的所有像素分別分配有色像差量。也就是說，在圖13的例子的情況下，色像差對應圖121將81個色像差量的信息配置成9×9的矩陣狀。
此外，色像差對應圖也可以如圖13所示的框123內(nèi)那樣，只設為色像差對應圖121的一部分。由此能夠削減色像差對應圖的信息量，能夠減輕使用了色像差對應圖的各處理的負荷，能夠使電路規(guī)?？s小、降低制造、運用等的成本。此外，如后所述，該色像差對應圖與圖10的發(fā)白對應圖111進行匹配(位置調(diào)整)而使用，但是在只將框123內(nèi)的信息作為色像差對應圖利用的情況下，可通過進行坐標變換使匹配成立。
返回到圖12，當生成色像差對應圖時，在步驟S63中，色像差對應圖保持部73將其獲取并保持。在步驟S64中，對應圖比較部76從發(fā)白信息保持部42獲取關注像素的發(fā)白對應圖。發(fā)白信息保持部42從由保持的發(fā)白判斷部41提供的判斷結(jié)果群抽出對應圖比較部76中的關注像素的附近像素的判斷結(jié)果，制作該關注像素的發(fā)白對應圖，以規(guī)定的定時將其提供給對應圖比較部76。對應圖比較部76獲取該發(fā)白對應圖。此外，對應圖比較部76也可以對發(fā)白信息保持部42請求發(fā)白對應圖的提供，根據(jù)該請求，發(fā)白對應圖從發(fā)白信息保持部42提供給對應圖比較部76。
在步驟S65中，倍率色像差校正部75從倍率色像差信息保持部74獲取倍率色像差信息。倍率色像差是各顏色波長的差變成像倍率的不同而顯現(xiàn)的現(xiàn)象，但是如圖14所示，由于該倍率色像差而在圖像的端附近色像差的分布產(chǎn)生失真。
圖14是說明倍率色像差的例子的示意圖。在圖14中，在畫面131的中央附近的像素132A的周圍不產(chǎn)生顯著的倍率色像差，而主要是由光軸上的焦點位置隨著波長的不同而不同所產(chǎn)生的軸上色像差導致倍率色像差，該色像差的分布133A以像素132A為中心大致均等地擴展。與此相對，在畫面131的端的像素周圍產(chǎn)生顯著的倍率色像差，因此在色像差的分布中產(chǎn)生偏置。例如，在圖14的情況下，畫面131的左上端的像素132B的分布133B，其中心從像素132B向左上偏離，畫面131的右下端的像素132C的分布133C，其中心從像素132C向右下偏離。
因而，色像差對應圖需要根據(jù)關注像素的畫面內(nèi)位置進行校正。在圖12的步驟S65中，倍率色像差校正部75獲取的倍率色像差信息包含有這種表示畫面內(nèi)位置和色像差分布偏離的關系的信息。在圖12的步驟S66中，倍率色像差校正部75參照獲取的倍率色像差信息，根據(jù)關注像素的畫面內(nèi)位置來判斷是否需要倍率色像差校正。
當判斷為關注像素是畫面的端附近的像素、需要倍率色像差校正的情況下，倍率色像差校正部75使處理進入步驟S67，根據(jù)倍率色像差信息算出色像差對應圖的對應圖移動量，在步驟S68中，移動保持在色像差對應圖保持部73中的色像差對應圖，生成將由倍率色像差引起的偏離進行了校正的色像差對應圖。該校正后的色像差對應圖也保持在色像差對應圖保持部73。
當結(jié)束步驟S68的處理時，倍率色像差校正部75使處理進入步驟S69。另外，在步驟S66中，在判斷為關注像素是畫面中央附近的像素、不需要倍率色像差校正的情況下，倍率色像差校正部75省略步驟S67以及步驟S68的處理，進入步驟S69。
在步驟S69中，對應圖比較部76獲取色像差對應圖保持部73所保持的色像差對應圖(在進行了對倍率色像差的校正的情況下，該校正后的色像差對應圖)，根據(jù)發(fā)白對應圖和色像差對應圖算出色像差量。
圖15是說明沒有倍率色像差的情況下的匹配方法的例子的圖。
如圖15的最左所示，在發(fā)白對應圖140中，關注像素141的坐標是(0，0)，設為在其附近的坐標(2，2)中存在發(fā)白像素142。對應圖比較部76為了在該發(fā)白像素中使色像差對應圖的關注像素(坐標(0，0))匹配，移動發(fā)白對應圖140的各像素(在x坐標以及y坐標上加“-2”)。如在圖15的中央所示，色像差對應圖143是分布144的一部分信息，但是通過該移動，發(fā)白像素142與分布144的中心(色像差對應圖143中的關注像素)匹配。
通過該匹配，發(fā)白對應圖140中的關注像素141的坐標移動到(-2，-2)，雖然沒有位于色像差對應圖143上，但是該情況下對應圖比較部76如圖15的最右所示進行坐標變換，通過對x坐標以及y坐標分別進行絕對值化，使關注像素141移動到坐標(2，2)的關注像素145的位置上，位于色像差對應圖143上。
也就是說，關注像素145的位置(2，2)的色像差量成為由發(fā)白像素142引起的關注像素141的色像差量。在發(fā)白對應圖140的關注像素的周圍存在多個發(fā)白像素的情況下，對應圖比較部76對各發(fā)白像素進行上述匹配處理，將各發(fā)白像素的色像差量的積分(合計)值設為關注像素的色像差量。
這樣，對應圖比較部76使發(fā)白對應圖的發(fā)白像素與色像差對應圖的關注像素匹配，根據(jù)需要進一步進行坐標變換，使關注像素移動到色像差對應圖上，關于發(fā)白對應圖的所有發(fā)白像素分別進行從該色像差對應圖求出關注像素位置的色像差量的處理，將與所有發(fā)白像素對應的色像差量的積分值設為關注像素的色像差量。
換句話說，對應圖比較部76使發(fā)白對應圖的關注像素與色像差對應圖的關注像素匹配，根據(jù)需要進一步進行坐標變換，使發(fā)白像素移動到色像差對應圖上，從該色像差對應圖求出全部的發(fā)白像素的位置的色像差量，將它們的積分值設為關注像素的色像差量。
在實際的色像差的情況下，作為關注像素的校正對象像素，根據(jù)周圍有何種程度的高對比度的被攝體來決定色像差量。因而，色像差量算出部43如上所述，對校正范圍內(nèi)(發(fā)白對應圖內(nèi))的全部發(fā)白像素應用色像差對應圖，通過對來自所有發(fā)白像素的信息進行積分而算出校正量，由此，與根據(jù)從作為關注像素的校正對象像素到最接近的發(fā)白像素為止的距離來決定校正量的方法相比，能夠更正確地算出色像差量。另外，僅使對應圖信息匹配，因此不需要像根據(jù)從作為關注像素的校正對象像素到最接近的發(fā)白像素為止的距離來決定校正量的方法那樣進行復雜的運算，色像差量算出部43能夠更容易地算出色像差量。也就是說，色像差校正部29能夠更容易地進行更正確的色像差校正。
圖16是說明有倍率色像差的情況下的匹配方法的例子的圖。
該情況下如圖16所示，通過倍率色像差校正，根據(jù)倍率色像差的影響移動坐標后進行匹配。例如，如圖16的最左所示，色像差對應圖143的分布144的中心像素根據(jù)倍率色像差，偏離到坐標(1，-1)。對應圖比較部76使色像差對應圖140的發(fā)白像素142與色像差對應圖143的關注像素匹配之后，移動發(fā)白對應圖的所有像素以使該發(fā)白像素142與色像差對應圖143的分布144的中心像素匹配(發(fā)白像素146)。
通過該移動，關注像素141的坐標從(-2，-2)移動到(-3，-1)(關注像素147)。而且，對應圖比較部76進行坐標變換，將該關注像素147的坐標絕對值化，如圖16的最右所示，移動到坐標(3，1)的關注像素148的位置上，位于色像差對應圖143上。
也就是說，關注像素148的位置(3，1)的色像差量變成由發(fā)白像素146引起的關注像素148的色像差量。對應圖比較部76關于發(fā)白對應圖140的各發(fā)白像素進行這種處理，將該積分值設為關注像素的色像差量。
這樣，通過考慮軸上色像差以及倍率色像差兩者算出色像差量，色像差量算出部43與只根據(jù)軸上色像差算出色像差量的情況、只根據(jù)倍率色像差算出色像差量的情況相比，能夠更正確地算出色像差量。另外，通過使用發(fā)白對應圖和色像差對應圖兩者，色像差量算出部43不分離軸上色像差和倍率色像差，而能夠作為一個色像差求出色像差量，能夠更容易地算出更正確的色像差量。也就是說，色像差校正部29能夠更容易地進行更正確的色像差校正。
返回到圖12，當算出色像差量時，對應圖比較部76將該色像差量提供給已校正信號生成部46，結(jié)束色像差量算出處理，處理返回到圖9的步驟S24，執(zhí)行步驟S25之后的處理。
下面，參照圖17的流程圖說明在圖9的步驟S25中執(zhí)行的紫色區(qū)域算出處理的詳細流程的例子。另外，根據(jù)需要，參照圖18進行說明。
當紫色區(qū)域算出處理開始時，在步驟S81中，紫色區(qū)域算出部45的第一校正值算出部81使用以下的式(4)所示的第一校正式算出第一校正值。
第一校正值＝(Cr，+offset1)×gain_ry1+(Cb+offset2)×gain_by1...(4)在式(4)中，offset1、offset2、gain_ry1、以及gain_by1分別是規(guī)定的常數(shù)，Cr是Cr信號值，Cb是Cb信號值。
在步驟S82中，紫色區(qū)域算出部45的第二校正值算出部82使用以下的式(5)所示的第二校正式算出第二校正值。
第二校正值＝(Cr+offset1)×gain_ry2+(Cb+offset2)×gain_by2...(5)在式(5)中，offset1、offset2、gain_ry2、以及gain_by2分別是規(guī)定的常數(shù)，Cr是Cr信號值，Cb是Cb信號值。
當算出第一校正值以及第二校正值時，在步驟S83中，校正值選擇部83在第一校正值和第二校正值之中選擇小的一個，在步驟S84中將該選擇結(jié)果作為紫度輸出。
也就是說，紫色區(qū)域算出部45如圖18所示，在將Cb(B-Y)設為x軸、將CR(R-Y)設為y軸、將輸出水平設為z軸的空間(x、y、以及z都是正范圍的空間)中，算出由第一校正式表示的平面A和由第二校正式表示的平面B這兩個平面之中由輸出水平小的一方表示的、對想進行色像差校正的顏色(紫色)得到大的輸出的校正值。
offset1、offset2、gain_ry1、gain_by1、gain_ry2、以及gain_by2各個參數(shù)是決定該平面A以及平面B的位置、斜率的參數(shù)，根據(jù)對哪種顏色區(qū)域的輸出水平進行強調(diào)來決定該值。例如，在圖18的例子的情況下，如下地決定各參數(shù)的值。
offset1＝offset2＝0gain_ry1＝gain_by1＝gain_ry2＝2.0gain_by2＝-2.0當輸出紫度時，校正值選擇部83結(jié)束紫色區(qū)域算出處理，處理返回圖9的步驟S25，執(zhí)行步驟S26以后的處理。
下面，參照圖19的流程圖說明在圖9的步驟S26中執(zhí)行的已校正信號生成處理的詳細流程的例子。
當已校正信號生成處理開始時，在步驟S101中，乘法器91將紫度(P)和色像差量(A)相乘，生成與發(fā)白相應的色像差量(P×A(0≤P×A≤1))。也就是說，乘法器91通過在由發(fā)白引起的色像差量上乘以紫度，進行校正使得紫色部分的色像差量變大(或者使不是紫色部分的色像差量變小)。
在步驟S102中，減法器92通過從值“1”減去在步驟S101中算出的與發(fā)白相應的色像差量(P×A)，翻轉(zhuǎn)與發(fā)白相應的色像差量(P×A)的值，生成校正增益(1-P×A(0≤1-P×A≤1))。
然后，在步驟S103中，乘法器93將該校正增益(1-P×A)與顏色信號(Cr，Cb)相乘，生成已校正信號(Cr(1-P×A)、Cb(1-P×A))。也就是說，已校正信號生成部46對于更接近發(fā)白像素、且更接近應校正顏色(例如紫色)的顏色的像素，生成進行了更強消色的已校正信號并輸出。
通過這樣考慮紫度進行校正，已校正信號生成部46與簡單地對發(fā)白像素附近的像素進行色像差校正的方法、簡單地只根據(jù)紫度進行色像差校正的方法相比，能夠生成進行了更正確的色像差校正的已校正信號。也就是說，色像差校正部29能夠更正確地進行色像差校正。
當生成已校正信號時，乘法器93結(jié)束已校正信號生成處理，處理返回圖9的步驟S26，執(zhí)行步驟S27以后的處理。
參照圖20的流程圖說明在圖9的步驟S29中執(zhí)行的已校正混合處理的詳細流程的例子。
當混合處理開始時，在步驟S121中，乘法器101在無校正信號上乘以消色增益(與發(fā)白相應的色像差量)。在步驟S122中，減法器102從值“1”減去該消色增益，翻轉(zhuǎn)消色增益。
在步驟S123中，乘法器103在已校正信號上乘以翻轉(zhuǎn)的消色增益。在步驟S124中，加法器104將在步驟S121中算出的相乘結(jié)果和在步驟S123中算出的相乘結(jié)果相加，作為校正后信號(混合信號)輸出。
即，混合處理部49使用無校正信號、已校正信號以及消色增益運算以下的式(6)，以與消色增益(P(0≤P≤1))的值相應的比率混合無校正信號和已校正信號。
混合信號＝(無校正信號×P)+(已校正信號×(1-P))...(6)這樣，混合處理部49使用消色增益混合無校正信號和已校正信號，使得被色像差校正的像素輸出校正數(shù)據(jù)、沒有被色像差校正的像素輸出原數(shù)據(jù)。通過這樣混合校正前的圖像數(shù)據(jù)，混合處理部49能夠抑制沒有被校正的部分的畫質(zhì)劣化、且得到更自然的色像差校正結(jié)果。也就是說，色像差校正部29能夠抑制不必要的畫質(zhì)劣化、不自然的校正，進行更合適的色像差校正。
當結(jié)束步驟S124的處理時，加法器104結(jié)束混合處理，處理返回圖9的步驟S29，結(jié)束色像差校正處理。
如上所述，色像差校正部29能夠更容易地進行更正確的色像差校正，因此，圖像處理部14能夠?qū)斎氲膱D像信號更容易地進行更正確的色像差校正。另外，由此攝像裝置1能夠更容易地得到更正確地進行了色像差校正的攝像圖像數(shù)據(jù)。
此外，以上說明了色像差校正部29的發(fā)白判斷部41使用亮度信號進行發(fā)白判斷，但是也如式(1)中所示，由于亮度信號(Y信號)和RGB信號的綠色信號(G信號)相關性強，因此發(fā)白判斷部41也可以使用G信號進行發(fā)白判斷。
如上所述使用亮度信號進行發(fā)白判斷的情況下，由于發(fā)白對應圖的生成而產(chǎn)生延遲，因此需要在行存儲器27中保持亮度信號。例如，設為在圖像垂直方向上以20行的范圍制作發(fā)白對應圖時，如圖21的A所示，行存儲器27必須保持20行的亮度信號。將一行設為2000像素、亮度值設為8位數(shù)據(jù)時，需要8(位)×20(行)×2000(像素)＝320000位的存儲區(qū)域。
另外，在該延遲的期間，也必須由行存儲器44保持顏色信號。也就是說，在上述例子的情況下，如圖21的B所示，行存儲器44必須保持10行的數(shù)據(jù)，因此將一行設為2000像素、顏色值設為8位數(shù)據(jù)的情況下，需要8(位)×10(行)×2000(像素)＝160000位的存儲區(qū)域。
也就是說，在圖1的圖像處理部14的情況下，為了色像差校正，需要320000+160000＝480000位的存儲區(qū)域。
在圖1的攝像裝置1的情況下，由于使用亮度信號進行發(fā)白判斷，因此在圖像處理部14中，由光學元件/攝像元件校正處理部21至γ校正部25進行各種處理之后，直到Y(jié)信號處理部26生成亮度信號為止，色像差校正部29的發(fā)白判斷部41不能夠?qū)D像信號進行發(fā)白判斷。
另外，在光學元件/攝像元件校正處理部21至γ校正部25的各種處理之中，例如在降低噪聲處理部22的降低噪聲處理、反馬賽克處理部23的反馬賽克處理等中，對圖像的垂直方向也進行跨越多行的空間處理。為此降低噪聲處理部22、反馬賽克處理部23具有行存儲器，在規(guī)定的期間保持多行圖像信號。為此，它們的輸出被相應地延遲。
例如作為進行這種空間處理的例子，有如圖22所示的低通濾波器。圖22是表示圖像垂直方向的5階低通濾波器的結(jié)構(gòu)例的框圖。
圖22所示的低通濾波器具有加法器201、SRAM202、乘法器203、SRAM204、乘法器205、SRAM206、乘法器207、SRAM208、以及除法器209。
SRAM202、SRAM204、SRAM206、以及SRAM208是分別保持1行的圖像信號的行存儲器。它們被串聯(lián)連接，當新的1行的圖像信號被提供給SRAM202時，各SRAM所保持的圖像信號被依次傳送。另外，SRAM202的輸出通過乘法器203成為4倍，并提供給加法器201。同樣地，SRAM204的輸出通過乘法器205成為6倍，SRAM206的輸出通過乘法器207成為4倍，分別提供給加法器201。另外SRAM202的輸入和SRAM208的輸出直接提供給加法器201。
加法器201將這些輸入全部相加，將相加結(jié)果提供給除法器209。除法器209輸出相加結(jié)果的16分之1。
也就是說，該低通濾波器是(1，4，6，4，1)的縱方向的低通濾波器，使用保持1行的圖像信號的行存儲器(SRAM)，構(gòu)成為在縱方向上四級連接。在圖21中，下側(cè)的SRAM一方保持更過去(畫面上側(cè))的數(shù)據(jù)，上側(cè)的SRAM的一方保持更新(畫面下側(cè))的數(shù)據(jù)。此時，圖像數(shù)據(jù)的輸出相位保持在該低通濾波器的中央、即SRAM204中，對通過乘法器205成為6倍而輸出的當前信號延遲2行。
這樣，在圖像處理中使用縱方向的多像素進行處理的情況下，需要使用如上所述的SRAM的結(jié)構(gòu)，由此產(chǎn)生數(shù)行的延遲。
因此，如上所述通過使用綠色信號(G信號)進行發(fā)白判斷，由此也可以利用該行存儲器(SRAM)的延遲，削減色像差校正所需的存儲量。
圖23是表示應用了本發(fā)明的攝像裝置的其他結(jié)構(gòu)例的框圖。
在圖23中，代替圖1的攝像裝置1的結(jié)構(gòu)的圖像處理部14，攝像裝置251具有圖像處理部264。
圖像處理部264具有與圖像處理部14相同的光學元件/攝像元件校正處理部21、降低噪聲處理部22、反馬賽克處理部23、白平衡處理部24、γ校正部25、Y信號處理部26以及C信號處理部28，還具有發(fā)白判斷部271、發(fā)白信息保持部272、以及色像差校正部273。
發(fā)白判斷部271具有與圖3所示的發(fā)白判斷部41基本相同的結(jié)構(gòu)，進行相同的處理，但是相對于發(fā)白判斷部41使用亮度信號進行發(fā)白判斷，發(fā)白判斷部271使用從AD變換部13輸出的綠色信號(G信號)進行發(fā)白判斷。但是，判斷處理的方法都相同，發(fā)白判斷部271將從綠色信號得到的發(fā)白判斷結(jié)果(例如1位信息)提供給發(fā)白信息保持部272。
發(fā)白信息保持部272與圖2的發(fā)白信息保持部42同樣，將從發(fā)白判斷部271提供的判斷結(jié)果作為發(fā)白信息臨時保持。并且，發(fā)白信息保持部272根據(jù)在進行降低噪聲處理、反馬賽克處理的期間積蓄的發(fā)白信息，生成色像差校正部273中的關注像素的發(fā)白對應圖，將其以規(guī)定的定時提供給色像差校正部273。
色像差校正部273使用該發(fā)白對應圖進行顏色信號的色像差校正。
圖24是表示圖23的色像差校正部273的詳細結(jié)構(gòu)例的框圖。在圖24中，色像差校正部273具有色像差量算出部43、紫色區(qū)域算出部45、已校正信號生成部46、校正限幅器47、模糊部48、以及混合處理部49。
也就是說，色像差校正部273的結(jié)構(gòu)與從圖2的色像差校正部29的結(jié)構(gòu)中去除發(fā)白判斷部41、發(fā)白信息保持部42、以及行存儲器44的結(jié)構(gòu)相等，因此省略關于各部的說明。
下面參照圖25的流程圖說明由圖23的圖像處理部264執(zhí)行的圖像處理流程的例子。該圖25的圖像處理流程對應于圖1的圖像處理部14的圖8的圖像處理流程。
當圖像處理開始時，首先圖像處理部264的發(fā)白判斷部271使用從AD變換部13提供的綠色信號(G信號)進行發(fā)白判斷處理。該發(fā)白判斷處理與參照圖11的流程圖進行說明的情況相同地進行，因此省略其詳細說明。但是在圖25的情況下，代替亮度信號使用綠色信號(G信號)。
當步驟S201的發(fā)白判斷處理結(jié)束時，在步驟S202中，發(fā)白信息保持部272保持該判斷結(jié)果。
步驟S203至步驟S209的各處理與圖8的步驟S1至步驟S8相同地執(zhí)行。
在步驟S210中，發(fā)白信息保持部272根據(jù)保持的判斷結(jié)果制作色像差校正部273中的關注像素的發(fā)白對應圖，將其提供給色像差校正部273。色像差校正部273，在步驟S211中執(zhí)行色像差校正處理，在步驟S212中輸出亮度信號以及顏色信號，結(jié)束圖像處理。
下面參照圖26的流程圖說明在圖25的步驟S211中執(zhí)行的色像差校正處理的詳細流程的例子。該圖25的色像差校正處理的流程對應于圖2的色像差校正部29的圖9的色像差校正處理的流程。
當色像差校正處理開始時，色像差校正部273的各部與圖9的步驟S24至步驟S29的情況同樣地執(zhí)行步驟S231至步驟S236的處理，輸出混合信號。也就是說，色像差校正部273除了預先生成發(fā)白對應圖以外，與圖2的色像差校正部29同樣進行色像差校正處理。當輸出混合信號時，混合處理部49結(jié)束色像差校正處理，處理返回圖25的步驟S211，執(zhí)行步驟S212以后的處理。
如上，先使用AD變換部13的輸出進行發(fā)白判斷處理，將該發(fā)白信息例如作為1位信息保持在發(fā)白信息保持部273中。通過這種結(jié)構(gòu)，利用圖像數(shù)據(jù)從AD變換部13到達色像差校正部273為止的時間差(延遲)，能夠積蓄發(fā)白信息。也就是說，利用圖像處理部的各部所具有的行存儲器，能夠省略為了制作發(fā)白對應圖而積蓄發(fā)白信息的時間，因此能夠大幅度削減色像差校正所需的存儲器的容量。由進行降低噪聲處理、反馬賽克處理等縱方向空間處理的電路的量、即行存儲器的數(shù)量來決定該時間差。
圖27是說明圖23的圖像處理部264中的時間序列中的發(fā)白檢測處理和色像差校正處理之間的關系的圖，圖28是說明圖23的圖像處理部264中的畫面內(nèi)的發(fā)白檢測處理和色像差校正處理之間的關系的圖。
例如，設為從AD變換部13提供的圖像信號具有圖27的A所示的垂直同步信號(V)和圖27的B所示的水平同步信號(H)，如圖27的C所示的圖像讀出行那樣是從CCD12逐行讀出的信號。當這種圖像信號的第9行輸入到圖像處理部264時，如圖27的D所示，對該第9行進行發(fā)白判斷部271的發(fā)白像素的檢測，例如對第5行進行色像差校正部273的色像差校正。此時，校正范圍(發(fā)白對應圖的范圍)如圖27的E所示，是第2行至第8行。
也就是說，如圖28所示，在畫面291中對第9行的發(fā)白檢測關注像素292進行發(fā)白判斷時，作為對第5行的色像差校正關注像素293的發(fā)白對應圖，以粗線表示的第2行至第8行的校正范圍294內(nèi)的判斷結(jié)果被輸出到色像差校正部273。色像差校正部273使用該發(fā)白對應圖對第5行的色像差校正關注像素293進行色像差校正處理。
也就是說，在該情況下由發(fā)白對應圖的生成而產(chǎn)生4行的延遲，但是如上所述由于使用其他處理的延遲，因此實際上不產(chǎn)生由發(fā)白對應圖的生成引起的延遲。
也就是說，在圖23所示的圖像處理部264的情況下，在色像差校正部273中不產(chǎn)生延遲，因此能夠省略圖1的圖像處理部14的行存儲器27以及行存儲器44(圖2)。此外，發(fā)白信息保持部272的存儲區(qū)域例如如圖29所示，只要1(位)×20(行)×2000(像素)＝40000位即可。即，圖像處理部264針對于此能夠省略圖21所示的存儲區(qū)域，因此能夠大幅度消減色像差校正處理所需的存儲容量，能夠縮小電路規(guī)模，能夠降低制造成本。另外，也可以降低耗電、降低運用成本。另外，也可以通過削減部件件數(shù)，提高耐久性、可靠性。也就是說，圖像處理部264能夠更容易地進行更正確的色像差校正。
此外，以上說明了攝像裝置，但是只要是進行圖像處理的裝置都可以。
另外，以上說明了制作發(fā)白對應圖和色像差對應圖進行比較，但是這些對應圖范圍的大小、形狀也可以是上述例子以外的任何一種。另外，發(fā)白對應圖和色像差對應圖中范圍的大小、形狀也可以相互不同。而且，實質(zhì)上只要與上述發(fā)白對應圖、色像差對應圖具有相等的信息、能夠?qū)⑺鼈內(nèi)缟纤龅乇容^來進行色像差校正，可以是關于各像素羅列了數(shù)據(jù)的對應圖信息以外的信息，例如也可以是只將必要的信息進行表化的表信息，還可以是將坐標和值進行函數(shù)化的信息。也就是說，例如，圖像處理部14以及圖像處理部264也可以使用將依賴于發(fā)白的函數(shù)(表示發(fā)白像素分布的發(fā)白分布信息)和顏色函數(shù)的輸出(表示與由關注像素發(fā)白造成的周邊像素的色像差有關的校正量的即色像差量的分布的色像差量分布信息)相乘的結(jié)果，進行消色。
上述的一系列處理既可以由硬件執(zhí)行，也可以由軟件執(zhí)行。在該情況下，例如上述的各裝置也可以分別作為如圖30所示的個人計算機構(gòu)成。
在圖30中，個人計算機300的CPU(Central ProcessingUnit中央處理單元)301，按照存儲在ROM(Read Only Memory只讀存儲器)302中的程序、或者從存儲部313加載到RAM(Random Access Memory隨機存取存儲器)303中的程序，執(zhí)行各種處理。在RAM303中還適當存儲有在CPU301執(zhí)行各種處理中所需的數(shù)據(jù)等。
CPU301、ROM302、以及RAM303通過總線304相互連接。該總線304上還連接有輸入輸出接口310。
輸入輸出接口310上連接有由鍵盤、鼠標等構(gòu)成的輸入部311、由顯示器和揚聲器等構(gòu)成的輸出部312、由硬盤等構(gòu)成的存儲部313、由調(diào)制解調(diào)器等構(gòu)成的通信部314，其中，所述顯示器由CRT(Cathode Ray Tube陰極射線管)、LCD(Liquid CrystalDisplay液晶顯示器)等構(gòu)成。通信部314通過包含因特網(wǎng)的網(wǎng)絡進行通信處理。
輸入輸出接口310根據(jù)需要連接驅(qū)動器315，適當安裝磁盤、光盤、磁光盤、或者半導體存儲器等可移動介質(zhì)321，從它們讀出的計算機程序根據(jù)需要安裝到存儲部313中。
當由軟件執(zhí)行上述一系列處理的情況下，構(gòu)成該軟件的程序從網(wǎng)絡、記錄介質(zhì)安裝。
該記錄介質(zhì)例如如圖30所示，不僅由與裝置主體分開、為了向用戶提供程序而發(fā)布的可移動介質(zhì)321構(gòu)成，而且由以預先安裝在裝置主體中的狀態(tài)提供給用戶的、記錄有程序的ROM302、存儲部313中所包含的硬盤等構(gòu)成，其中，上述可移動介質(zhì)321由記錄有程序的磁盤(包含軟盤)、光盤(包含CD-ROM(CompactDisk-Read Only Memory光盤只讀存儲器)、DVD(DigitalVersatile Disk數(shù)字多功能光盤))、磁光盤(包含MD(Mini-Disk迷你光盤)(注冊商標))、或者半導體存儲器等構(gòu)成。
此外，在本說明書中，對存儲在存儲介質(zhì)中的程序進行記述的步驟不僅包含按照記載的順序按時間序列進行的處理，而且包含未必按時間序列進行處理、而并行或者單獨執(zhí)行的處理。
另外，在本說明書中，系統(tǒng)表示由多個裝置構(gòu)成的整個裝置。
此外，以上也可以將作為一個裝置說明的結(jié)構(gòu)進行分割，而作為多個裝置構(gòu)成。相反，也可以是將以上作為多個裝置進行說明的結(jié)構(gòu)進行匯總而構(gòu)成為一個裝置。另外，當然也可以在各裝置的結(jié)構(gòu)中添加上述之外的結(jié)構(gòu)。而且，只要作為整個系統(tǒng)的結(jié)構(gòu)、動作實質(zhì)上相同，也可以將某個裝置的結(jié)構(gòu)的一部分包含到其他裝置的結(jié)構(gòu)中。也就是說，本發(fā)明的實施方式不限于上述的實施方式，在不超出本發(fā)明要旨的范圍中可以進行各種變更。
產(chǎn)業(yè)上的可利用性本發(fā)明能夠應用于圖像處理裝置。
權(quán)利要求
1.一種圖像處理裝置，對圖像數(shù)據(jù)的色像差進行校正，該圖像處理裝置具備發(fā)白像素檢測單元，使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測發(fā)生了發(fā)白的發(fā)白像素；空間信號處理單元，對所述RGB信號，進行跨越多行的空間信號處理；顏色信號生成單元，從由所述空間信號處理單元進行了信號處理的所述RGB信號，生成顏色信號；發(fā)白分布信息制作單元，制作表示由所述發(fā)白像素檢測單元檢測出的所述發(fā)白像素的分布的發(fā)白分布信息；以及色像差校正單元，使用由所述發(fā)白分布信息制作單元制作的所述發(fā)白分布信息，對由所述顏色信號生成單元生成的所述顏色信號進行色像差的校正。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述發(fā)白像素檢測單元具備發(fā)白像素閾值判斷單元，對關注像素，使用規(guī)定的閾值進行所述發(fā)白像素的判斷；以及發(fā)白多像素判斷單元，判斷在由所述發(fā)白像素閾值判斷單元判斷為是發(fā)白像素的所述關注像素的附近是否存在其他發(fā)白像素，只有在由所述發(fā)白多像素判斷單元判斷為在作為發(fā)白像素的所述關注像素的附近存在其他發(fā)白像素的情況下，將所述關注像素檢測為發(fā)白像素。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述發(fā)白分布信息是表示關注像素周圍的規(guī)定范圍內(nèi)的所述發(fā)白像素的分布的信息，所述發(fā)白分布信息制作單元對所述圖像數(shù)據(jù)的各像素分別制作所述發(fā)白分布信息。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述色像差校正單元具備色像差量算出單元，使用由所述發(fā)白分布信息制作單元制作的對各像素的所述發(fā)白分布信息和色像差量分布信息，算出各像素的色像差量，其中，所述色像差量分布信息表示與由關注像素的發(fā)白造成的周邊像素的色像差相關的校正量即色像差量的分布；以及已校正信號生成單元，生成使用由所述色像差量算出單元算出的所述色像差量、對所述圖像數(shù)據(jù)的各像素的色像差進行校正后的已校正信號。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述色像差量算出單元具備比較單元，該比較單元關于所述圖像數(shù)據(jù)的各像素，比較所述色像差量分布信息和所述發(fā)白分布信息，根據(jù)所述比較單元的比較結(jié)果，算出各像素的色像差量。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，關于所述圖像數(shù)據(jù)的各像素，所述比較單元使用所述色像差量分布信息，分別求出由所述發(fā)白分布信息中包含的各發(fā)白像素造成的關注像素的色像差量并進行積分，由此分別算出各像素的色像差量。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述色像差量算出單元具備倍率色像差校正單元，該倍率色像差校正單元根據(jù)進行所述色像差的校正的關注像素的畫面內(nèi)位置，對所述色像差量分布信息的分布進行校正以校正倍率色像差。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述色像差校正單元還具備色度算出單元，該色度算出單元根據(jù)所述圖像數(shù)據(jù)的顏色信號，關于各像素算出表示所述顏色的程度的色度，所述已校正信號生成單元將由所述色度算出單元算出的所述色度乘以由所述色像差量算出單元算出的所述色像差量，使用該相乘結(jié)果進行所述圖像數(shù)據(jù)的色像差校正，生成所述已校正信號。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述色像差校正單元還具備混合單元，該混合單元以基于由所述已校正信號生成單元算出的所述相乘結(jié)果的比例，混合由所述已校正信號生成單元生成的所述已校正信號、和校正前的所述圖像數(shù)據(jù)的顏色信號。
10.一種圖像處理方法，是對圖像數(shù)據(jù)的色像差進行校正的圖像處理裝置的圖像處理方法，包括以下步驟使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素；對所述RGB信號進行跨越多行的空間信號處理；由進行了信號處理的所述RGB信號，生成顏色信號；制作表示所述發(fā)白像素的分布的發(fā)白分布信息；使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正。
11.一種程序，是使計算機執(zhí)行對圖像數(shù)據(jù)的色像差進行校正的處理的程序，包括以下步驟使用由RGB信號構(gòu)成的所述圖像數(shù)據(jù)的G信號，檢測出發(fā)生了發(fā)白的發(fā)白像素；對所述RGB信號進行跨越多行的空間信號處理；由進行了信號處理的所述RGB信號，生成顏色信號；制作表示所述發(fā)白像素的分布的發(fā)白分布信息；使用所述發(fā)白分布信息，對所述顏色信號進行色像差的校正。
全文摘要
提供一種圖像處理裝置和方法、以及程序?？筛菀椎剡M行更正確的色像差校正。發(fā)白判斷部(271)使用從AD變換部(13)輸出的綠色信號進行發(fā)白判斷，將該判斷結(jié)果提供給發(fā)白信息保持部(272)。發(fā)白信息保持部(272)將從發(fā)白判斷部(271)提供的判斷結(jié)果作為發(fā)白信息臨時保持。并且，發(fā)白信息保持部(272)由在進行降低噪聲處理、反馬賽克處理的期間積蓄的發(fā)白信息，生成色像差校正部(273)中的關注像素的發(fā)白對應圖，以規(guī)定的定時將其提供給色像差校正部(273)。色像差校正部(273)使用該發(fā)白對應圖，對顏色信號進行色像差處理。本發(fā)明可適用于圖像處理裝置。
文檔編號H04N1/56GK1964426SQ20061013857
公開日2007年5月16日 申請日期2006年11月9日 優(yōu)先權(quán)日2005年11月9日
發(fā)明者千葉卓也 申請人:索尼株式會社