專利名稱：像素插值電路、像素插值方法以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及采用單板式彩色攝像方式的攝像裝置等中使用的像素插 值電路、像素插值方法以及記錄介質(zhì)。
背景技術(shù)：
在數(shù)字照相機中，使用了貝葉爾(bayer)排列的像素排列的攝像元 件的單板式攝像方式成為主流。當(dāng)從使用貝葉爾排列的攝像元件拍攝到的 被攝體圖像數(shù)據(jù)即貝葉爾數(shù)據(jù)來獲取圖像信號時，有必要對在貝葉爾數(shù)據(jù) 中的各像素中所配置的濾色器以外的顏色信息(像素值)進行插值。尤其， 由于G像素的信息對亮度信息產(chǎn)生影響，所以G像素的信息對圖像信號 的分辨率及輪廓的鮮明度(sharpness)產(chǎn)生影響。
在此，以往作為在貝葉爾數(shù)據(jù)中針對插值對象像素(不存在G像素 的信息的R像素及B像素)插值G像素的技術(shù)，在日本專利公開公報特 開2000-278703號公報及特開2006-135564號公報中有所記載。在這些現(xiàn) 有技術(shù)中，考慮在貝葉爾數(shù)據(jù)中的插值對象像素的周圍的像素的相關(guān)性， 在插值對象像素中插值G像素。
然而，這些現(xiàn)有技術(shù)在對貝葉爾數(shù)據(jù)中的插值對象像素插值G像素 時，都只參照插值對象像素的周圍的G像素。因此，當(dāng)在插值對象像素 中插值G像素時，參照的像素的信息變得很少。其結(jié)果，就存在所謂無 法恰當(dāng)?shù)貙Σ逯祵ο笙袼氐闹車南袼氐南嚓P(guān)性進行判斷，而不能在插值 對象像素中插值恰當(dāng)?shù)腉像素的問題。

發(fā)明內(nèi)容
本發(fā)明的目的是對貝葉爾數(shù)據(jù)恰當(dāng)?shù)夭逯礕像素的信息。
本發(fā)明的一種形態(tài)，具備相關(guān)性計算部，其在貝葉爾數(shù)據(jù)中利用R
像素、G像素和B像素的各自的像素值，對不存在G像素的像素即插值
對象像素的周圍區(qū)域的水平方向的相關(guān)性和垂直方向的相關(guān)性進行計算; 和像素值確定部，其在由所述相關(guān)性計算部計算出的各相關(guān)性中的相關(guān)性 強的方向上，基于與所述插值對象像素相鄰的像素的像素值，確定插值到 所述插值對象像素中的G像素的像素值；對基于所述貝葉爾數(shù)據(jù)的圖像 信號插值由所述像素值確定部確定的像素值的G像素。
本發(fā)明的另一種形態(tài)，包括第一步驟，在貝葉爾數(shù)據(jù)中利用R像 素、G像素和B像素的各自的像素值，對不存在G像素的像素即插值對 象像素的周圍區(qū)域的水平方向的相關(guān)性和垂直方向的相關(guān)性進行計算;第 二步驟，在所述第一步驟中計算出的各相關(guān)性中的相關(guān)性強的方向上，基 于與所述插值對象像素相鄰的像素的像素值，確定插值到所述插值對象像 素中的G像素的像素值；和第三步驟，對基于所述貝葉爾數(shù)據(jù)的圖像信 號插值在所述第二步驟中確定的像素值的G像素。
本發(fā)明的另一種其他形態(tài)，使計算機執(zhí)行第一處理，在貝葉爾數(shù)據(jù)
中利用R像素、G像素和B像素的各自的像素值，對不存在G像素的像
素即插值對象像素的周圍區(qū)域的水平方向的相關(guān)性和垂直方向的相關(guān)性
進行計算；第二處理，在通過所述第一處理計算出的各相關(guān)性中的相關(guān)性 強的方向上，基于與所述插值對象像素相鄰的像素的像素值，確定插值到 所述插值對象像素中的G像素的像素值；和第三處理，對基于所述貝葉 爾數(shù)據(jù)的圖像信號插值通過所述第二處理確定的像素值的G像素。
(發(fā)明效果)
根據(jù)本發(fā)明，能夠?qū)ω惾~爾數(shù)據(jù)可以恰當(dāng)?shù)夭逯礕像素的信息。


圖1是表示數(shù)字照相機100的整體結(jié)構(gòu)的圖。 圖2是表示圖像處理部20的結(jié)構(gòu)的圖。 圖3是表示像素插值單元30的結(jié)構(gòu)的圖。 圖4是G像素提取電路40的結(jié)構(gòu)的圖。 圖5是表示貝葉爾排列的示例的圖。 圖6是表示水平基準圖像的示例的圖。 圖7是表示垂直基準圖像的示例的圖。
圖8是變形例中的G像素提取電路40的結(jié)構(gòu)的圖。 圖中30 —像素插值單元，31 —寬帶LPF， 32 — G插值電路，33—R 插值電路，34—B插值電路，36 —加法器，37—LPF， 38 —減法器，40 — 像素插值電路，41一水平方向基準圖像生成部，42 —垂直方向基準圖像生 成部，43 —水平方向相關(guān)度計算部，44一垂直方向相關(guān)度計算部，45 —像 素值確定部，46 —像素值提取部，47—混合比確定部，IOO —數(shù)字照相機。
具體實施例方式
對本發(fā)明的實施方式進行說明。首先，參照圖l對涉及本實施方式的 數(shù)字照相機100的整體結(jié)構(gòu)進行說明。
攝像透鏡62包含聚集透鏡和變焦透鏡，并連接有透鏡驅(qū)動塊63。此 透鏡驅(qū)動塊63包括分別沿與攝像面相平行的光軸方向驅(qū)動未圖示的聚 集透鏡和變焦透鏡的聚焦電動機以及變焦電動機；和按照來自CPU70的 控制信號分別驅(qū)動聚焦電動機以及變焦電動機的聚焦驅(qū)動器以及變焦驅(qū) 動器。
兼用光圈的快門64包含未圖示的驅(qū)動電路，此驅(qū)動電路按照從 CPU70傳送來的控制信號使兼用光圈的快門動作。并且，該兼用光圈的 快門64作為光圈和快門來發(fā)揮功能。
在作為攝像元件的CCD50中，在受光面上設(shè)置有貝葉爾排列的濾色 器。CCD50將經(jīng)由攝像透鏡62以及兼用光圈的快門64進行投影后的被
攝體的光轉(zhuǎn)換成電信號，并將轉(zhuǎn)換后的電信號作為攝像信號向圖像處理部 20輸出。此外，CCD50按照TG66根據(jù)來自CPU70的控制信號所生成的
規(guī)定頻率的定時信號進行驅(qū)動。
在卡I/F76上連接有可以拆裝的存儲卡80。
存儲器69存儲有由CPU70對數(shù)字照相機100的各部進行控制所必需 的程序及數(shù)據(jù)。
DRAM68在由CCD50進行攝像后，既被用作暫時存儲傳送到CPU70 的圖像數(shù)據(jù)的緩存器，也被用作CPU70的工作存儲器。
圖像顯示部71由液晶顯示屏和其驅(qū)動電路構(gòu)成。數(shù)字照相機100在 處于拍攝等待狀態(tài)時，將由CCD50拍攝到的被攝體作為直通(through)
圖像顯示在液晶顯示屏上。圖像顯示部71在數(shù)字照相機100對圖像進行 再生時，將從存儲卡80讀出的圖像顯示在液晶顯示屏上。
鍵輸入部72包含快門按鈕及模式鍵、SET鍵、數(shù)字鍵和拍攝模式選 擇鍵等多個操作鍵，并向CPU70輸出對應(yīng)于用戶的鍵操作的操作信號。
CPU70控制數(shù)字照相機100的整體。CPU70通過與從存儲器69讀出 的程序的協(xié)同來執(zhí)行各種動作。
其次，參照圖2對圖像處理部20的結(jié)構(gòu)迸行說明。圖像處理部20包 括模擬處理部(CDS、 AGC、 A/D) 21、黑水平調(diào)節(jié)部22、白平衡調(diào)節(jié) 部23、伽碼修正(gamma correction)部24、像素插值單元30、 YUV轉(zhuǎn) 換處理部27、禾口JPEG轉(zhuǎn)換部28。
在圖像處理部20中，相關(guān)雙重采樣電路(CDS)使包含在從CCD50 輸出的模擬信號即攝像信號中的噪聲減少。自動增益控制電路(AGC) 對降噪后的攝像信號的增益進行調(diào)節(jié)。A/D轉(zhuǎn)換器(A/D)將增益調(diào)節(jié)后 的攝像信號轉(zhuǎn)換為數(shù)字信號，即作為與濾色器的貝葉爾排列相對應(yīng)的R (表示紅色信息的像素數(shù)據(jù))、G (表示綠色信息的像素數(shù)據(jù))和B (表 示藍色信息的像素數(shù)據(jù))的像素數(shù)據(jù)的貝葉爾數(shù)據(jù)。
黑水平調(diào)節(jié)部22將貝葉爾數(shù)據(jù)鎖定(clamp)為規(guī)定的黑水平上。白 平衡調(diào)節(jié)部23對鎖定后的貝葉爾數(shù)據(jù)按每個R、 G和B進行增益調(diào)節(jié)， 并執(zhí)行白平衡的調(diào)節(jié)。伽碼修正部24在白平衡調(diào)節(jié)后進行針對貝葉爾數(shù) 據(jù)的伽碼特性(灰度特性)的校正。像素插值單元30對伽碼特性校正之 后的貝葉爾數(shù)據(jù)插值像素值的信息，并生成圖像信號。關(guān)于像素插值單元 30的詳細將在以后記述。
YUV轉(zhuǎn)換處理部27根據(jù)插值了圖像信息后的圖像信號生成由亮度信 號(Y)和色差信號(U、 V)構(gòu)成的圖像信號。JPEG轉(zhuǎn)換部28以JPEG 形式對圖像信號進行壓縮編碼。在存儲卡80中記錄被壓縮編碼后的圖像 信號。
其次，參照圖3對像素插值單元30進行詳細說明。像素插值單元30 包括第一電路部30a和第二電路部30b兩個電路部；LPF(低通濾波器) 26;和加法器36。第一電路部30a包括寬帶LPF31; G插值電路32; R插值電路33;和B插值電路34。第二電路部30b包括G像素提取電 路40;和HPF (高通濾波器)37。
在第一電路部30a中，對從伽碼修正部24傳送來的貝葉爾數(shù)據(jù)實施 對所欠缺的像素的信息進行插值的信號處理，而生成彩色圖像信號。該彩 色圖像信號將成為在像素插值單元30中所生成的圖像信號的基準。
在此，在第一電路部30a中的信號處理與日本公開專利公報特開 2006-135564號公報中所公開的信號處理相同。即在第一電路部30a中進 行信號處理時，針對貝葉爾數(shù)據(jù)中不存在G像素的信息的R像素及B像 素(以下稱為"插值對象像素")插值G像素的像素值時，只參照插值對 象像素的周圍的G像素的像素值。因此，在插值對象像素中插值G像素 時，參照的像素值的信息變得很少。其結(jié)果，就存在無法恰當(dāng)?shù)貙Σ逯祵?象像素的周圍的像素的相關(guān)性進行判斷，不能在插值對象像素中插值G 像素的恰當(dāng)?shù)腉像素值的情形。
然后，此不恰當(dāng)?shù)腉像素成為孤立點，有時會在圖像信號中產(chǎn)生噪 聲。因此，為了除去此噪聲成分，使此圖像信號通過作為低通濾波器的 LPF26來除去圖像信號的高頻成分(噪聲成分等)。但是，使圖像信號通 過LPF26時，雖然可以除去噪聲，但同時圖像信號中的鮮明度也降低， 使基于圖像信號的再生圖像變得模糊。
在此，通過第二電路部30b，從由伽碼修正部24傳送來的貝葉爾數(shù) 據(jù)中另外提取G像素的恰當(dāng)?shù)男畔?。然后，在加法?8中將提取出的G 像素的信息與通過LPF26后的圖像信號相加。由于G像素的信息對再生 圖像中輪廓的鮮明度有影響，所以若如此進行，基于貝葉爾數(shù)據(jù)的再生圖 像的輪廓被強調(diào)，再生圖像不會變得模糊。
其次，對在第二電路30b中的信號處理進行詳細說明。第二電路部 30b中的G像素提取電路40，是用于針對貝葉爾數(shù)據(jù)中的插值對象像素 (不存在G像素的信息的R像素和B像素)提取應(yīng)插值的G像素的信息 (像素值)的電路。G像素提取電路40如圖4所示，由水平方向基準圖 像生成部41、垂直方向基準圖像生成部42、水平方向相關(guān)度計算部43、 垂直方向相關(guān)度計算部44、像素值確定部45和像素提取部46構(gòu)成。
水平方向基準圖像生成部41針對貝葉爾數(shù)據(jù)，進行使用了在水平方 向上相相鄰的像素的像素值的運算，并生成水平方向基準圖像。水平方向
基準圖像是用于在貝葉爾數(shù)據(jù)的各插值對象像素的周圍求出圖像的相關(guān) 性強的方向的信息。
具體而言，水平方向基準圖像生成部41對于在貝葉爾數(shù)據(jù)的各插值
對象像素的周圍的各像素，通過逐次執(zhí)行接下來的(Al) (A4)中的 任意一個處理，生成水平方向基準圖像。
(Al)對于在水平方向上相鄰于G像素的R像素，進行從該R像素 的像素值中減去在水平方向上相鄰于該R像素的G像素的像素值的平均 值的處理。
(A2)對于在水平方向上相鄰于R像素的G像素，進行從在水平方 向上相鄰于該G像素的R像素的像素值的平均值中減去該G像素的像素 值的處理。
(A3)對于在水平方向上相鄰于B像素的G像素，進行從在水平方 向上相鄰于該G像素的B像素的像素值的平均值中減去該G像素的像素 值的處理。
(A4)對于在水平方向上相鄰于G像素的B像素，進行從該B像素 的像素值中減去在水平方向上相鄰于該B像素的G像素的像素值的平均 值的處理。
在圖5中，表示在貝葉爾數(shù)據(jù)中的各像素的像素值的示例。在圖5中 B0、 B2、…B48等以B進行標示的位置是在貝葉爾數(shù)據(jù)中配置有B像素 的位置。Gl、 G3、…G47等以G進行標示的位置是在貝葉爾數(shù)據(jù)中配置 有G圖像素的位置。R8、 RIO、…R40等以R進行標示的位置是在貝葉 爾數(shù)據(jù)中配置有R圖像素的位置。
另夕卜，在圖5中，B0、B2、…B48表示各B像素的像素值。Gl、 G3、… G47表示各G像素的像素值。R8、 RIO、…R40表示各R像素的像素值。
在水平方向基準圖像的生成時，著眼于貝葉爾數(shù)據(jù)中的各插值對象像 素的周圍區(qū)域。在圖6中表示作為水平方向基準圖像的示例的水平方向基 準圖像40H。水平方向基準圖像40H是涉及在圖5所示"R24"的位置上 的像素(插值對象像素)的水平方向基準圖像。
例如，在水平方向基準圖像40H的生成時，著眼于圖5所示"R24" 的位置上的像素的周圍區(qū)域上7X7個像素即B0、 Gl、 B2、…B48的位置上的各像素所構(gòu)成的區(qū)域。并且，著眼區(qū)域也可不是由7X7個像素構(gòu) 成的區(qū)域。
其次，作為在水平方向基準圖像中的各分量的示例，對水平方向基準 圖像40H中的各分量進行說明。
水平方向基準圖像40H中的分量"h8"，通過使用了圖5所示的G7、 R8和G9的像素值的(Al)處理，成為以下值。
h8 = R8 - ( G7 + G9 ) / 2
水平方向基準圖像40H中的分量"h9"，通過使用了圖5所示的R8、 G9和R10的像素值的(A2)處理，成為以下值。 h 9 = (R 8 + R 1 0) /2 - G 9
水平方向基準圖像40H中的分量"hl5"，通過使用了圖5所示的B14、
G15和B16的像素值的(A3)處理，成為以下值。 hl5二(Bl4+B16)/2-G15
水平方向基準圖像40H中的分量"hl6"，通過使用了圖5所示的G15、
B16和G17的像素值的(A4)處理，成為以下值。 hl6=B16 — (G15+G17)
同樣地，關(guān)于水平方向基準圖像40H中的其他分量，也可以通過執(zhí) 行(Al) (A4)處理來求出。
代替(Al) (A4)的處理，對于在貝葉爾數(shù)據(jù)的插值對象像素的 周圍的各像素，也可通過逐次執(zhí)行以下(A5) (A8)中的任意一個處 理，生成水平方向基準圖像。
(A5)對于在水平方向上相鄰于G像素的R像素，進行從在水平方 向上相鄰于該R像素的G像素的像素值的平均值中減去該R像素的像素 值的處理。
(A6)對于在水平方向上相鄰于R像素的G像素，進行從該G像素 的像素值中減去在水平方向上相鄰于該G像素的R像素的像素值的平均 值的處理。
(A7)對于在水平方向上相鄰于B像素的G像素，進行從該G像素 的像素值中減去在水平方向上相鄰于該G像素的B像素的像素值的平均 值的處理。(A8)對于在水平方向上相鄰于G像素的B像素，進行從在水平方 向上相鄰于該B像素的G像素的像素值的平均值中減去該B像素的像素 值的處理。
另一方面，垂直方向基準圖像生成部42針對貝葉爾數(shù)據(jù)，進行使用 了在垂直方向上相相鄰的像素的像素值的運算，并生成垂直方向基準圖 像。垂直方向基準圖像是用于在貝葉爾數(shù)據(jù)的各插值對象像素的周圍求出 像素的相關(guān)性強的方向。具體而言，垂直方向基準圖像生成部42對于在 貝葉爾數(shù)據(jù)的各插值對象像素的周圍的各像素，通過逐次執(zhí)行接下來的 (Bl) (B4)中的任意一個處理，生成垂直方向基準圖像。
(Bl)對于在垂直方向上相鄰于G像素的R像素，進行從該R像素 的像素值中減去在垂直方向上相鄰于該R像素的G像素的像素值的平均 值的處理。
(B2)對于在垂直方向上相鄰于R像素的G像素，進行從在垂直方 向上相鄰于該G像素的R像素的像素值的平均值中減去該G像素的像素 值的處理。
(B3)對于在垂直方向上相鄰于B像素的G像素，進行從在垂直方 向上相鄰于該G像素的B像素的像素值的平均值中減去該G像素的像素 值的處理。
(B4)對于在垂直方向上相鄰于G像素的B像素，進行從該B像素 的像素值中減去在垂直方向上相鄰于該B像素的G像素的像素值的平均 值的處理。
在圖7中，作為垂直方向基準圖像的示例，表示垂直方向基準圖像 40V。在此，對垂直方向基準圖像40V中的各分量進行說明。
垂直方向基準圖像40V中的分量"v8"，通過使用了圖5所示的G1、 R8和G15的像素值的(BO處理，成為以下值。
v8二R8- (Gl+G15〉 /2
垂直方向基準圖像40V中的分量"vl5"，通過使用了圖5所示的R8、
G15和R22的像素值的(B2)處理，成為以下值。 vl5-(R8+R22)/2-G15
垂直方向基準圖像40V中的分量"v9"，通過使用了圖5所示的B2、
13 G9和B16的像素值的(B3)處理，成為以下值。
<formula>formula see original document page 14</formula>
垂直方向基準圖像40V中的分量"vl6"，通過使用了圖5所示的G9、
B16和G23的像素值的(B4)處理，成為以下值。 vl6 = B16— (G9+G23〉/2
同樣，關(guān)于垂直方向基準圖像40V中的其他分量，也可以通過執(zhí)行 (Bl) (B4)的處理來求出。
代替(Bl) (B4)的處理，對于在貝葉爾數(shù)據(jù)的插值對象像素的 周圍的各像素，也可通過逐次執(zhí)行以下(B5) (B8)中的任意一個處 理，生成垂直方向基準圖像。
(B5)對于在垂直方向上相鄰于G像素的R像素，進行從在垂直方 向上相鄰于該R像素的G像素的像素值的平均值中減去該R像素的像素 值的處理。
(B6)對于在垂直方向上相鄰于R像素的G像素，進行從該G像素 的像素值中減去在垂直方向上相鄰于該G像素值的R像素的像素值的平 均值的處理。
(B7)對于在垂直方向上相鄰于B像素的G像素，進行從該G像素 的像素值中減去在垂直方向上相鄰于該G像素的B像素的像素值的平均 值的處理。
(B8)對于在垂直方向上相鄰于G像素的B像素，進行從在垂直方 向上相鄰于該B像素的G像素的像素值的平均值中減去該B像素的像素 值的處理。
水平方向相關(guān)度計算部43針對貝葉爾數(shù)據(jù)中的各插值對象像素，根 據(jù)水平方向基準圖像計算出作為水平方向的相關(guān)度的水平相關(guān)度Hr。水 平相關(guān)度計算部43通過執(zhí)行以下(Cl) (C3)的處理，對水平相關(guān)度
Hr進行計算。
(Cl)求出水平方向基準圖像中的各分量間的差分值。 (C2)求出在(Cl)中所求出的各差分值的絕對值。 (C3)將在(C2)中所求出的各絕對值乘以規(guī)定的系數(shù)而得到的值 的總和作為水平相關(guān)度Hr來進行計算。
若舉一個(CI) (C3)的處理的示例，則與圖5所示的"R24"的 位置相關(guān)的像素的水平相關(guān)度Hr將如下所示。
Hr=abs (h8 — h9) + 2Xabs (h9-hi0) + 2Xabs (hlO-ti 11)十a(chǎn)bs (hll—h12) + 2X {abs (hl5-hl6)十2X"s (hi 6-hl7) + 2Xabs (hl7 —h18) + abs (hl8-hl9" + 2X {"s U22-h23)十2Xabs (h23 — h24) + 2Xabs (h24 — h25) + a bs (h25-h26)) + 2X {abs (h29 — h30) + 2Xabs (h30-h31 )+2乂abs (h31— h32)十a(chǎn)bs (h32 — h33)}+abs (hS6—h37 )-卜2Xabs (h37-ii38)+2X"s (h38—h39)+abs (h39 — h. 4 0)
在此，abs ()是表示求取絕對值的運算。 水平相關(guān)度Hr的值越小，水平方向的相關(guān)度越強。 垂直方向相關(guān)度計算部44針對貝葉爾數(shù)據(jù)中的各插值對象像素，根 據(jù)垂直方向基準圖像計算出作為垂直方向的相關(guān)度的垂直相關(guān)度Vd。垂 直相關(guān)度計算部44通過執(zhí)行以下(Dl) (D3)的處理，對垂直相關(guān)度 Vd進行計算。
(Dl)求出垂直方向基準圖像中的各分量間的差分值。 (D2)求出在(Dl)中所求出的各差分值的絕對值。 (D3)將在(D2)中所求出的各絕對值乘以規(guī)定的系數(shù)而得到的值 的總和作為垂直相關(guān)度Vd來進行計算。
若舉一個(Dl) (D3)的處理的示例，則涉及圖5所示的"R24" 的位置上的像素的垂直相關(guān)度Vd將如下所示。
Vd = abs (v8-vl5)十2Xabs (vl5 — v22)十2Xabs (v22-v29) + abs (v29 — v36) + 2X Ubs (v9 — vl6)十2Xabs (vl 6-V23) +2Xabs (v23 — v30)十a(chǎn)bs (v30-v37〉)十2X {abs (vlO-vl7)十2Xabs (vl7 — v24) + 2Xabs (v24-v31) + a "(v31—v38)) + 2X (abs (vll — v18)十2Xabs (vl8 — v25 )+ 2Xabs (v 25-i32) + a" (v32-v39"十a(chǎn)bs (vl2-vl9 )+ 2Xabs (vl9 — v25)十2Xabs (v26 — v33)十a(chǎn)bs. (v33-v 4 0)
在此，abs ()是表示求取絕對值的運算。 垂直相關(guān)度Vd的值越小，垂直方向的相關(guān)度越強。 像素值確定部45根據(jù)水平相關(guān)度Hr和垂直相關(guān)度Vd，確定插值到 插值對象像素中的G像素的像素值。
當(dāng)水平相關(guān)度Hr比垂直相關(guān)度Vd小，換言之，水平方向的相關(guān)性
比垂直方向的相關(guān)性強時，像素值確定部45將在插值對象像素的水平方 向上所相鄰的G像素的像素值的平均值確定為插值到插值對象像素中的 G像素的像素值。
此時，例如，像素值確定部45，作為對圖5所示的"R24"的位置上 的像素(插值對象像素)進行插值的G像素的像素值"G24"，利用在水 平方向上相鄰于"R24"的位置上的像素的G像素的像素值"G23"、 "G25"，確定以下的像素值。
G24 = (G23 + G25)/2
另一方面，當(dāng)垂直相關(guān)度Vd比水平相關(guān)度Hr小，換言之，垂直方 向的相關(guān)性比水平方向的相關(guān)性強時，像素值確定部45將在插值對象像 素的垂直方向上所相鄰的G像素的像素值的平均值確定為插值到插值對 象像素中的G像素的像素值。
此時，例如像素值確定部45，作為對圖5所示的"R24"的位置上的 像素(插值對象像素)進行插值的G像素的像素值"G24"，利用在垂直 方向上相鄰于"R24"的位置上的像素的G像素的像素值"G17"、 "G31"， 確定以下的像素值。
G24 = (G17 + G31 )/2
像素值提取部46將像素值確定部所確定的像素值作為對貝葉爾數(shù)據(jù) 中的插值對象像素應(yīng)進行插值的G像素的像素值來提取。
G像素提取電路40除了 "R24"的位置上的像素以外，要對貝葉爾數(shù) 據(jù)中全部的插值對象像素(不存在G像素的信息的R像素和B像素)實 施以上說明的處理，并提取對各插值對象應(yīng)進行插值的G像素的像素值。 即，G像素提取電路40對貝葉爾數(shù)據(jù)中全部的插值對象像素的每一個， 分別生成水平方向基準圖像和垂直方向基準圖像，并利用這些水平方向基 準圖像和垂直方向基準圖像中的分量，計算出水平方向上的像素值的相關(guān) 性和垂直方向上的像素值的相關(guān)性，提取對各插值對象應(yīng)進行插值的G 像素的像素值。通過此處理，可以得到只由從貝葉爾數(shù)據(jù)提取到的恰當(dāng)?shù)?G像素的信息所構(gòu)成的圖像信號(以下稱為"G圖像信號")。
返回圖3，在第二電路部30b中，使G像素提取電路40所得到的G 圖像信號通過作為高通濾波器的HPF37，除去G圖像信號的低頻成分。
然后，在加法器36中，對在第一電路部30a中實施了信號處理并通 過了 LPF (低通濾波器)26后的彩色圖像信號，加上除去了低頻成分后 的G圖像信號，即進行插值。
如以上說明，根據(jù)本實施方式，不僅參照在插值對象像素周圍的G 像素，還參照在插值對象像素周圍的R像素及B像素，來確定對貝葉爾 數(shù)據(jù)進行插值的G像素的像素值。若如此進行，則在對貝葉爾數(shù)據(jù)插值 G像素時，參照的像素的信息將變多。其結(jié)果，能夠?qū)D像信號插值G 像素的恰當(dāng)?shù)南袼刂怠?br> 另外，根據(jù)本實施方式，利用在插值對象像素的周圍的G像素、R 像素和B像素的各自的像素值，生成水平方向基準圖像和垂直方向基準 圖像，并利用這些水平方向基準圖像和垂直方向基準圖像中的分量，計算 出水平方向上的像素值的相關(guān)性和垂直方向上的像素值的相關(guān)性。若如此 進行，則在計算與像素值相關(guān)的相關(guān)性時，參照的像素的信息將變多。其 結(jié)果，能夠減少對與像素值相關(guān)的相關(guān)性強的方向進行誤判斷的可能性。
另外，根據(jù)本實施方式，對在第一電路部30a中實施了信號處理并通 過了 LPF (低通濾波器)26后的彩色圖像信號，插值了在第二電路部30b 中提取出的G像素的恰當(dāng)?shù)男畔?。由于G圖像的信息對再生圖像中輪廓 的鮮明度有影響，所以若如此進行，則基于貝葉爾數(shù)據(jù)的再生圖像的輪廓 被強調(diào)，能夠提高再生圖像的畫質(zhì)。
接著，對本發(fā)明的變形例進行說明。對于在插值對象像素的周圍的像 素，有水平方向的相關(guān)性與垂直方向的相關(guān)性之差很小的情形。即，在插 值對象像素的周圍有梯度(gradation)平緩的情形。此時，若利用第一實 施方式的處理，對貝葉爾數(shù)據(jù)的插值對象像素插值G像素，則插值對象 像素的像素值將成為特殊值(孤立點)，出現(xiàn)基于圖像信號的再生圖像的 畫質(zhì)劣化的問題。
在此變形例中，如圖8所示，僅在G像素提取電路40中設(shè)置了混合 比確定部47這一點上與上述的實施方式有所不同。其他的結(jié)構(gòu)及處理與 上述的實施方式相同。
混合比確定部47根據(jù)由水平方向相關(guān)度計算部43計算出的水平相關(guān)
度Hr和由垂直方向相關(guān)度計算部44計算出的垂直相關(guān)度Vd來確定混合 比。
當(dāng)水平相關(guān)度Hr比垂直相關(guān)度Vd小，換言之，水平方向的相關(guān)性 比垂直方向的相關(guān)性強時，混合比確定部47將由Hr/Vd構(gòu)成的值確定為 混合比。另一方面，當(dāng)垂直相關(guān)度Vd比水平相關(guān)度Hr小，換言之，垂 直方向的相關(guān)性比水平方向的相關(guān)性強時，混合比確定部47將由Vd/Hr 構(gòu)成的值確定為混合比。
當(dāng)水平方向的相關(guān)性比垂直方向的相關(guān)性強時，像素值確定部45將 在水平方向上相鄰于插值對象像素的G像素的像素值的平均值、與在水 平方向及垂直方向上相鄰于插值對象像素的四個G像素的平均值，以基 于混合比的比率進行相加后的像素值的G像素，確定為插值到插值對象 像素中的G像素的像素值。
此時，例如，對圖5所示的"R24"的位置上的像素進行插值的G像
素的像素值"G24"將成為以下的像素值。
G24= (1. 0- (Hr/Vd)) X (G23+G25) /2+ (Hr/Vd) X ( G17+G3〗，+G23+G25) /4
當(dāng)垂直水平方向的相關(guān)性比水平方向的相關(guān)性強時，像素值確定部 45將在垂直方向上相鄰于插值對象像素的G像素的像素值的平均值、與 在水平方向及垂直方向上相鄰于插值對象像素的四個G像素的平均值， 以基于混合比的比率進行相加后的像素值的G像素，確定為插值到插值 對象像素中的G像素的像素值D
此時，例如，對圖5所示的"R24"的位置上的像素進行插值的G像
素的像素值"G24"將成為以下的像素值。
G2 4 = (1. 0- (Vd/Hr)) X (Gl 7+G3 1) /2+ (Vd/H r) X ( Gl7+G31十G23+G25)/4
像素值提取部46，將像素值確定部所確定的像素值作為對貝葉爾數(shù) 據(jù)中的插值對象像素應(yīng)進行插值的G像素的像素值來提取。這樣，就可 獲得僅由從貝葉爾數(shù)據(jù)提取出的恰當(dāng)?shù)腉像素的信息所構(gòu)成的圖像信號 (G圖像信號)。
然后，返回圖3，在加法器36中，對在第一電路部30a中實施了信 號處理并通過了LPF (低通濾波器)26后的彩色圖像信號，加上G圖像 信號，即進行插值。
根據(jù)以上說明的變形例，在確定對貝葉爾數(shù)據(jù)進行插值的G像素的 像素值時，不僅使用了在相關(guān)性強的方向上相鄰于插值對象像素的兩個像 素的平均值，還使用了在水平方向及垂直方向上相鄰于插值對象像素的四 個像素的平均值。若如此進行，則即便是水平方向的相關(guān)性與垂直方向的 相關(guān)性之差很小的情形，插值對象像素的像素值也不會成為特殊值(孤立 點)，能夠防止基于圖像信號的再生圖像的畫質(zhì)的劣化。
本發(fā)明不限于上述的實施方式及變形例，還包括不脫離此發(fā)明的宗旨 的范圍的設(shè)計變更。
權(quán)利要求
1、一種像素插值電路，具備相關(guān)性計算部，其在貝葉爾數(shù)據(jù)中利用R像素、G像素和B像素的各自的像素值，對不存在G像素的像素即插值對象像素的周圍區(qū)域的水平方向的相關(guān)性和垂直方向的相關(guān)性進行計算；和像素值確定部，其在由所述相關(guān)性計算部計算出的各相關(guān)性中的相關(guān)性強的方向上，基于與所述插值對象像素相鄰的像素的像素值，確定插值到所述插值對象像素中的G像素的像素值；對基于所述貝葉爾數(shù)據(jù)的圖像信號插值由所述像素值確定部確定的像素值的G像素。
2、 根據(jù)權(quán)利要求1所述的像素插值電路，其特征在于， 具備第一基準圖像生成部，其在所述插值對象像素的周圍區(qū)域中，進行使 用了沿水平方向相鄰的像素的像素值的運算，生成第一基準圖像；和第二基準圖像生成部，其在所述插值對象像素的周圍區(qū)域中，進行使用了沿垂直方向相鄰的像素的像素值的運算，生成第二基準圖像；所述相關(guān)性計算部，根據(jù)由所述第一基準圖像生成部生成的第一基準 圖像計算出水平方向的相關(guān)性，并根據(jù)由所述第二基準圖像生成部生成的 第二基準圖像計算出垂直方向的相關(guān)性。
3、 根據(jù)權(quán)利要求2所述的像素插值電路，其特征在于， 所述第一基準圖像生成部具備水平差分運算部，其在所述插值對象像素的周圍區(qū)域，取得第一像素的像素值、與在水平方向上相相鄰于該第一 像素的第二像素以及第三像素各自的像素值的平均值的差分值，所述第一基準圖像生成部根據(jù)由所述水平差分運算部得到的各差分 值生成所述第一基準圖像，所述第二基準圖像生成部具備垂直差分運算部，其在所述插值對象像 素的周圍區(qū)域，取得第一像素的像素值、與在垂直方向上相相鄰于該第一 像素的第四像素以及第五像素各自的像素值的平均值的差分值，所述第二基準圖像生成部根據(jù)由所述垂直差分運算部得到的各差分 值生成所述第二基準圖像。
4、 根據(jù)權(quán)利要求2所述的像素插值電路，其特征在于， 所述第一基準圖像生成部，具備第一水平差分運算部，其取得R像素的像素值、與在水平方向上相鄰 于該R像素的G像素的像素值的平均值的差分值；第二水平差分運算部，其取得B像素的像素值、與在水平方向上相鄰 于該B像素的G像素的像素值的平均值的差分值；第三水平差分運算部，其取得在水平方向上相鄰于G像素的R像素的像素值的平均值、與該G像素的像素值的差分值；和第四水平差分運算部，其取得在水平方向上相鄰于G像素的B像素的像素值的平均值、與該G像素的像素值的差分值；并根據(jù)由所述第一 第四水平差分運算部得到的各差分值生成所述 第一基準圖像，所述第二基準圖像生成部，具備第一垂直差分運算部，其取得R像素的像素值、與在垂直方向上相鄰 于該R像素的G像素的像素值的平均值的差分值；第二垂直差分運算部，其取得B像素的像素值、與在垂直方向上相鄰 于該B像素的G像素的像素值的平均值的差分值；第三垂直差分運算部，其取得在垂直方向上相鄰于G像素的R像素 的像素值的平均值、與該G像素的像素值的差分值；和第四垂直差分運算部，其取得在垂直方向上相鄰于G像素的B像素 的像素值的平均值、與該G像素的像素值的差分值；并根據(jù)由所述第一 第四垂直差分運算部得到的各差分值生成所述 第二基準圖像。
5、 根據(jù)權(quán)利要求4所述的像素插值電路，其特征在于， 相關(guān)性計算部，具備第一計算部，其計算第一相關(guān)值，該第一相關(guān)值是對由所述第一 第 四水平差分運算部得到的各差分值的絕對值的每一個乘以規(guī)定的系數(shù)后 得到的值的總和；和第二計算部，其計算第二相關(guān)值，該第二相關(guān)值是對由所述第一 第 四垂直差分運算部得到的各差分值的絕對值的每一個乘以規(guī)定的系數(shù)后 得到的值的總和；并根據(jù)由所述第一計算部計算出的第一相關(guān)值和由所述第二計算部 計算出的第二相關(guān)值，計算出水平方向的相關(guān)性和垂直方向的相關(guān)性。
6、 根據(jù)權(quán)利要求1所述的像素插值電路，其特征在于， 所述像素值確定部，在由所述相關(guān)性計算部計算出的各相關(guān)性中的相關(guān)性強的方向上，將相鄰于所述各插值對象像素的像素的像素值的平均值 確定為插值到所述插值對象像素中的G像素的像素值。
7、 根據(jù)權(quán)利要求1所述的像素插值電路，其特征在于， 所述像素值確定部，將在由所述相關(guān)性計算部計算出的各相關(guān)性中的相關(guān)性強的方向上相鄰于所述各插值對象像素的像素的像素值的平均值、 和在水平方向及垂直方向上相鄰于所述各插值對象像素的像素的平均值， 按規(guī)定的比率進行相加后得到的像素值，確定為插值到所述各插值對象像 素中的G像素的像素值。
8、 根據(jù)權(quán)利要求7所述的像素插值電路，其特征在于， 所述規(guī)定的比率是基于由所述第一計算部計算出的第一相關(guān)值和由所述第二計算部計算出的第二相關(guān)值的比率。
9、 一種像素插值方法，包括.-第一步驟，在貝葉爾數(shù)據(jù)中利用R像素、G像素和B像素的各自的像 素值，對不存在G像素的像素即插值對象像素的周圍區(qū)域的水平方向的相 關(guān)性和垂直方向的相關(guān)性進行計算；第二步驟，在所述第一步驟中計算出的各相關(guān)性中的相關(guān)性強的方向 上，基于與所述插值對象像素相鄰的像素的像素值，確定插值到所述插值 對象像素中的G像素的像素值；和第三步驟，對基于所述貝葉爾數(shù)據(jù)的圖像信號插值在所述第二步驟 中確定的像素值的G像素。
10、 一種計算機可讀取的記錄介質(zhì)，存儲有使計算機執(zhí)行下述處理的 程序，所述處理包括第一處理，在貝葉爾數(shù)據(jù)中利用R像素、G像素和B像素的各自的像 素值，對不存在G像素的像素即插值對象像素的周圍區(qū)域的水平方向的相 關(guān)性和垂直方向的相關(guān)性進行計算；第二處理，在通過所述第一處理計算出的各相關(guān)性中的相關(guān)性強的方 向上，基于與所述插值對象像素相鄰的像素的像素值，確定插值到所述插 值對象像素中的G像素的像素值；和第三處理，對基于所述貝葉爾數(shù)據(jù)的圖像信號插值通過所述第二處 理確定的像素值的G像素。
全文摘要
本發(fā)明提供一種像素插值方法，利用在貝葉爾數(shù)據(jù)中的R像素、G像素和B像素的各自的像素值，對插值對象像素的周圍區(qū)域的水平方向的相關(guān)性和垂直方向的相關(guān)性進行計算。在計算出的各相關(guān)性中的相關(guān)性強的方向上，根據(jù)與插值對象像素相鄰的像素值，確定插值到插值對象像素中的G像素的像素值。將成為確定后的像素值的G像素插值到所述貝葉爾數(shù)據(jù)中的插值對象像素中。
文檔編號H04N9/04GK101360248SQ20081013014
公開日2009年2月4日 申請日期2008年7月30日 優(yōu)先權(quán)日2007年7月30日
發(fā)明者坂本升平 申請人:卡西歐計算機株式會社