專利名稱：圖像信號處理裝置、圖像信號處理方法及圖像顯示裝置的制作方法
技術領域：
本發(fā)明涉及用于使圖像信號高分辨率化的技術，特別涉及通過合 成多個圖像幀，進行增加構成圖像幀的像素數(shù)并且除去不需要的折返成分(aliasing component)的高分辨率化的技術。
技術背景近年來的電視接收機的大畫面化不斷進展，不是直接顯示從播放、 通信、累積介質等輸入的圖像信號， 一般是通過數(shù)字信號處理使水平、 垂直方向的像素數(shù)增加而進行顯示。此時，通過一般已知的使用sine 函數(shù)的插補(interpolation)低通濾波器、樣條函數(shù)等僅是增加像素數(shù) 不能夠提高分辨率。于是，如專利文獻l、專利文獻2、非專利文獻l所述，公開了對 輸入的多個圖像幀(以下簡稱為幀)進行合成而成為一幀，由此進行 高分辨率化并使像素數(shù)增加的技術(以下稱為現(xiàn)有技術)。專利文獻1日本特開平8-336046號公報專利文獻2日本特開平9-69755號公報非專利文獻1青木伸"基于多個數(shù)字圖像數(shù)據的超解像處理"， Ricoh Technical Report pp. 19-25， No, 24， NOVEMBER, 1998發(fā)明內容在這些現(xiàn)有技術中，通過(1)位置推定(motion estimation)、 (2) 寬帶域插補、(3)加權和、這三個處理進行高分辨率化。此處，(1) 位置推定是指，使用輸入的多個圖像幀的各圖像數(shù)據，推定各圖像數(shù) 據的采樣相位(取樣位置)的差。(2)寬帶域插補是指，相對各圖像 數(shù)據，使用包括折返成分，使原信號的高頻成分全部透過的帶域寬的 低通濾波器對像素數(shù)(采樣點)進行插補而使其增加，從而使圖像數(shù) 據高密度化。(3)加權和是指，利用與各高密度化數(shù)據的采樣相位相 對應的加權系數(shù)求取加權和，從而消除在像素采樣時產生的折返成分，同時恢復原信號的高頻成分。圖2表示這些高分辨率化技術的概要。如該圖(a)所示，設想輸 入不同的時間軸上的幀#1 (201)、幀#2 (202)、幀#3 (203)，對它 們進行合成得到輸出幀(206)。為了簡單，首先考慮被拍攝體在水平 方向上移動(204)的情況，考慮通過水平線(205)上的一維信號處 理進行高分辨率化的情況。此時，如該圖(b)和圖(d)所示，在幀 #2 (202)和幀#1 (201)中，與被拍攝體的移動(204)的量相對應 地產生信號波形的位置偏差。利用上述(1)位置推定求取該位置偏差 量，如該圖(c)所示，以使位置偏差消失的方式對幀#2 (202)進行 運動補償(motion compensation) (207)，并且求取各幀的像素(208) 的采樣相位(209) (210)間的相位差e (211)?；谠撓辔徊頴 (211) 進行上述(2)寬帶域插補和(3)加權和，從而，如圖(e)所示，在 原像素(208)的正中間(相位差0=兀)的位置生成新像素(212)，由 此實現(xiàn)高分辨率化。關于(3)加權和在后面敘述。實際上，被拍攝體的動作不僅是平行移動，雖然要考慮伴隨旋轉、 放大、縮小等動作的運動，但在幀間的時間間隔微小的情況下、被拍 攝體的動作遲緩的情況下，它們的動作也能夠被認為是局部近似于平 行移動。在利用專利文獻l、專利文獻2、非專利文獻1所述的現(xiàn)有技術進 行一維方向的兩倍的高分辨率化的情況下，在進行上述(3)的加權和 時，如圖3所示，必須至少使用三個幀圖像的信號。此處，圖3是表 示在一維的頻率區(qū)域中，各成分的頻譜的圖。在該圖中，與頻率軸的 距離表示信號強度，以頻率軸為中心的旋轉角表示相位。以下詳細說 明上述(3)的加權和。在上述(2)的寬帶域插補中，如果利用透過尼奎斯特(Nyquist) 頻率二倍的帶域(頻率0 采樣頻率fs的帶域)的寬帶域低通濾器進 行像素插補，得到與原信號相同的成分(以下稱為原成分)，以及與采 樣相位對應的折返成分的和?？芍?，此時，如果對三個幀圖像的信號 進行上述(2)寬帶域插補的處理，則如圖3 (a)所示，各幀的原成分 (301) (302) (303)的相位全部一致，折返成分(304) (305) (306) 的相位與各幀的采樣相位的差相對應地進行旋轉。為了使各自的相位關系容易理解，各幀的原成分的相位關系如該圖(b)所示，各幀的折 返成分的相位關系如該圖(C)所示。此處，相對三個幀圖像的信號，適當?shù)剡x擇相乘的系數(shù)并進行上述(3)加權和，由此能夠使各幀的折返成分(304) (305) (306)相 互抵消并除去，能夠僅抽出原成分。此時，為了使各幀的折返成分(304) (305) (306)的矢量和為0，即，使Re軸(實軸)的成分和Im軸(虛 軸)的成分兩者均為O，需要至少三個折返成分。因此，為了實現(xiàn)兩倍 的高分辨率化，即為了除去一個折返成分，必須至少使用三個幀圖像 的信號。同樣的，如專利文獻l、專利文獻2、非專利文獻l所述，在相對 水平、垂直的二維的輸入信號進行高分辨率化的情況下，因為折返來 自縱橫兩個方向，所以原信號的帶域在縱橫方向均變寬至兩倍，則三 個折返成分重合，為了消除該折返成分需要2M+1=7個數(shù)字數(shù)據(= 7枚幀圖像的信號)。在現(xiàn)有技術中，幀存儲器、信號處理電路的規(guī)模變大，并不經濟。 此外，因為必須正確地進行在時間上分離的多個幀圖像的位置推定， 因此結構復雜。即，現(xiàn)有技術難以對例如電視播放信號等的運動圖像 的幀進行高分辨率化。此外，在現(xiàn)在的電視播放信號中使用隔行掃描是主流的，但是在 專利文獻l、專利文獻2、非專利文獻l中，并沒有公開或提示隔行掃 描信號的高分辨率化、隔行-逐行掃描變換(I-P變換)。此外，在使用地面波、衛(wèi)星(BS、 CS)的現(xiàn)有的數(shù)字電視播放中， 在現(xiàn)有的SD (StandardDefinition:標準清晰度)的圖像信號之外，還 利用HD (High Definition:高清晰度)的圖像信號播放節(jié)目。但是， 已知的是，并不是將整個節(jié)目置換為由HD攝像機攝取的圖像信號， 而是將由SD攝像機攝取的圖像信號，通過SD—HD變換器，變換為 具有與HD相同的像素數(shù)的信號(升頻變換)，以每個節(jié)目或每個場景 進行切換播放。在現(xiàn)有的接收機中，在接收的信號是由HD攝像機攝取的圖像信 號的情況下，再現(xiàn)分辨率高的圖像，在接收的信號是SD—HD變換(升 頻變換)后的圖像信號的情況下，再現(xiàn)分辨率低的圖像，因此存在以每個節(jié)目或每個場景頻繁切換分辨率，難以觀看的問題。另外，在上述現(xiàn)有技術中，為了使用采樣相位(標本化位置)的差進行高分辨率處理，在采樣相位不產生差的信號，S卩，被拍攝體靜止的區(qū)域，或被拍攝體恰好為像素間隔的整數(shù)倍的區(qū)域時，存在不能得到高分辨率的效果的問題。本發(fā)明更加適當?shù)貙D像信號進行高分辨率化。 根據本發(fā)明能夠更適當?shù)貙D像信號進行高分辨率化。


從下面結合附圖進行的說明中，可以更了解本發(fā)明的這些和其他 特點、目的和優(yōu)點。其中圖1是本發(fā)明的實施例1的說明圖。圖2是說明一般的高分辨率化圖像信號處理的動作的一個例子的圖。圖3是說明現(xiàn)有技術的動作的圖。圖4是說明本發(fā)明的實施例1的動作的圖。圖5是本發(fā)明的實施例1的說明圖。圖6是本發(fā)明的實施例1的說明圖。圖7是本發(fā)明的實施例1的說明圖。圖8是本發(fā)明的實施例1的說明圖。圖9是本發(fā)明的實施例1的說明圖。圖10是本發(fā)明的實施例3的說明圖。圖11是本發(fā)明的實施例5的說明圖。圖12是本發(fā)明的實施例5的說明圖。圖13是本發(fā)明的實施例5的說明圖。圖14是本發(fā)明的實施例2的說明圖。圖15是本發(fā)明的實施例4的說明圖。圖16是本發(fā)明的實施例6的說明圖。圖17是說明本發(fā)明的一實施方式與現(xiàn)有技術的動作的不同的圖。 圖18是本發(fā)明的實施例2的說明圖。 圖19是本發(fā)明的實施例12的說明圖。圖20是本發(fā)明的實施例7的說明圖。 圖21是本發(fā)明的實施例8的說明圖。 圖22是本發(fā)明的實施例7的說明圖。 圖23是本發(fā)明的實施例7的說明圖。 圖24是本發(fā)明的實施例7的說明圖。 圖25是本發(fā)明的實施例7的說明圖。 圖26是本發(fā)明的實施例7的說明圖。 圖27是本發(fā)明的實施例9的說明圖。 圖28是本發(fā)明的實施例9的說明圖。 圖29是本發(fā)明的實施例9的說明圖。 圖30是本發(fā)明的實施例9的說明圖。 圖31是本發(fā)明的實施例9的說明圖。 圖32是本發(fā)明的實施例9的說明圖。 圖33是本發(fā)明的實施例10的說明圖。圖34是說明本發(fā)明的一實施方式與現(xiàn)有技術的動作的不同的圖。圖35是本發(fā)明的實施例13的說明圖。圖36是本發(fā)明的實施例17的說明圖。圖37是說明現(xiàn)有技術的動作的圖。圖38是本發(fā)明第11實施例的說明圖。圖39是本發(fā)明第11實施例的說明圖。圖40是本發(fā)明第11實施例的說明圖。圖41是本發(fā)明第11實施例的說明圖。圖42是本發(fā)明第11實施例的說明圖。圖43是本發(fā)明第12實施例的說明圖。圖44是對本發(fā)明一個實施例的狀態(tài)與現(xiàn)有技術的動作的不同進行 說明的圖。圖45是本發(fā)明第21實施例的說明圖。 圖46是本發(fā)明第21實施例的說明圖。 圖47是本發(fā)明第21實施例的說明圖。 圖48是本發(fā)明第21實施例的說明圖。 圖49是本發(fā)明第21實施例的說明圖。圖50是本發(fā)明第21實施例的說明圖。圖51是本發(fā)明第22實施例的說明圖。 圖52是本發(fā)明第25實施例的說明圖。 圖53是本發(fā)明第25實施例的說明圖。 圖54是本發(fā)明第27實施例的說明圖。 圖55是本發(fā)明第26實施例的說明圖。 圖56是本發(fā)明第30實施例的說明圖。 圖57是本發(fā)明第30實施例的說明圖。 圖58是本發(fā)明第30實施例的說明圖。
具體實施方式
下面說明本發(fā)明的實施例，應該理解的是下述實施例能夠在不脫 離本發(fā)明的范圍內進行各種變形和變更。因此，本發(fā)明不僅包括下述 內容，還包括在權利要求的范圍中的各種變形和變更。以下參照

本發(fā)明的實施例。此外，在各附圖中，附加有相同符號的構成要素具有相同的功能。此外，本說明書的各個記載和各附圖中的"相位"這一表述，包括 在二維圖像空間中使用的情況下的二維圖像上的"位置"的意思。該位 置表示小數(shù)像素精度的位置。此外，在本說明書的各個記載和各附圖中的"提升(升率，upmte)" 這一表述，包括"提升處理"的意思。此外，在本說明書的各個記述和 各附圖中的"升頻"這一表述，表示"升頻處理"。兩者均表示使圖像的像 素數(shù)變多的變換處理(像素數(shù)增加處理)或使圖像放大的變換處理(圖 像放大變換處理)。此外，在本說明書的各個記載和各圖像中的"降低(降率， downrate)"這一表述，包括"降低處理"的意思。此外，在本說明書的 各個記述和各附圖中的"降頻"這一表述，表示"降頻處理"。兩者均表示 使圖像的像素數(shù)變少的變換處理(像素數(shù)減少處理)或使圖像縮小的 變換處理(圖像縮小變換處理)。此外，在本說明書的各個記載和各圖像中的"運動補償"這一表述， 包括計算出相位差或采樣相位差，即空間上的位置的差，并進行對位(位置合b世)的意思。而且，在以下的各實施例的記述中，上述(1)位置推定使用參考 文獻l、參考文獻2中記載的方法即可。此外，關于上述(2)寬帶域 插補，使用非專利文獻1中記載的具有為尼奎斯特頻率的兩倍的通過 帶域的 一般的低通濾波器即可。[參考文獻1]安藤繁，"畫像0時空間微分算法全用l/、t速度^夕卜 》分布計測^7亍厶"(圖像的使用時空微分算法的速度矢量分布計測系統(tǒng))，計測自動控制學會論文集，pp. 1330-1336, Vol.22, No.12, 1986[參考文獻2]小林弘幸等，"DCT変換^基d〈畫像O位相限定相 関法"(基于DCT變換的圖像的相位限定相關法)，信學技法IEICE Technical Report ITS2005-92, IE2005-299 (2006-02)， pp. 73-78此外，在以下的實施例中，"SR信號"這一表述是"SuperResolution 信號(超分辨率信號)"的簡稱。以下參照

本發(fā)明的實施例。[實施例1]圖1表示本發(fā)明的實施例1的圖像信號處理裝置，敘述其特征。 本實施例的圖像信號處理裝置適用于例如電視接收機等圖像顯示裝 置。在以下的本實施例的說明中，作為圖像信號處理裝置，以圖像顯 示裝置為例進行說明。在圖1中，本實施例的圖像信號處理裝置包括例如被輸入電視 播放信號等運動圖像的幀列的輸入部(1);用于使從該輸入部(1)輸 入的幀高分辨率化的分辨率變換部(2);和基于通過該分辨率變換部 (2)已高分辨率化的幀而顯示圖像的顯示部(3)。作為該顯示部(3)， 例如使用等離子體顯示面板、液晶顯示面板、或電子/電解放出型等離 子體顯示面板。以下說明分辨率變換部(2)的詳細內容。在圖1中，首先通過位置推定部(101)，以從輸入部(1)輸入的 幀#1上的處理對象的像素的采樣相位(取樣位置)為基準，推定幀# 2上的相應的像素的位置，求取每個像素的采樣相位差0 (10 2)。接著，通過運動補償/提升部(115)的提升器(103) (104)，使用 相位差e(102)的信息對幀#2進行運動補償，使其與幀#1位置匹配， 使幀# 1和幀#2的像素數(shù)分別增加至2倍進行高密度化。在相位移動部(116)中，使該已高密度化的數(shù)據的相位移動一定量。此處，作為 使數(shù)據的相位移動一定量的單元，能夠使用71/2相位移動器(106)(108)。此外，為了補償由兀/2相位移動器(106) (108)產生的延遲， 通過延遲器(105) (107)使已高密度化的幀#1和幀#2的信號延遲。 在折返成分除去部(117)中，相對延遲器(105) (107)和希爾 伯特變換器(106) (108)的各輸出信號，將由系數(shù)決定器(109)基 于相位差e (102)生成的系數(shù)C0、 C2、 Cl、 C3，通過相乘器(110)(112) (111) (113)分別進行相乘，并由加法器(114)對這些信號進 行相加而獲得輸出。該輸出供給至顯示部3。其中，位置推定部(101) 能夠直接使用上述現(xiàn)有技術而實現(xiàn)。提升器(103) (104)、 Ti/2相位移 動器(106) (108)、折返成分除去部(117)的各詳細內容，在后面敘 述。圖4表示本發(fā)明的實施例1的動作。該圖在一維的頻率區(qū)域中表 示圖l所示的延遲器(105) (107)和7c/2相位移動器(106) (108)的 各輸出。在該圖(a)中，從延遲器(105) (107)輸出的提升后的幀 #1和幀#2的信號分別成為將原成分(401) (402)、和從原來的采樣 頻率(fs)折返的折返成分(405) (406)相加后的信號。此時，折返 成分(406)僅旋轉上述相位差e (102)的相位。另一方面，從7i/2相位移動器(106) (108)輸出的提升后的幀#1 和幀#2的信號分別成為將71/2相位移動后的原成分(403) (404)、和 Ti/2相位移動后的折返成分(407) (408)相加的信號。為了使該圖(a) 中表示的各成分的相位關系容易理解，該圖(b)和該圖(c)分別將 原成分與折返成分抽出進行表示。此處，在求取該圖(b)所示的四個成分的矢量和時，以Re軸的 成分為l， Im軸的成分為0;在求取該圖(c)所示的四個成分的矢量 和時，Re軸和Im軸兩者的成分為O，這樣，決定對各成分進行乘法運 算的系數(shù)，取得加權和，從而能夠消除折返成分，僅抽出原成分。艮P， 能夠實現(xiàn)僅使用兩個幀圖像，進行一維方向的兩倍的高分辨率化的圖 像信號處理裝置。該系數(shù)決定方法的詳細內容在后面敘述。圖5表示本發(fā)明的實施例1中使用的提升器(103) (104)的動作。 在該圖中，橫軸表示頻率，縱軸表示增益(輸出信號振幅相對輸入信號振幅的比值)，表示提升器(103) (104)的"頻率—增益"特性。此處，在提升器(103) (104)中，以相對原信號的采樣頻率(fs)為兩 倍的頻率(2fs)作為新的采樣頻率，通過在原像素間隔的恰好中間的 位置插入新像素的采樣點(=零點)，使像素數(shù)成為兩倍，進行高密度 化，并且施加將一fs + fs之間的頻率全部作為增益2.0的通過帶域的 濾波器。此時，如該圖所示，由于數(shù)字信號的對稱性，成為每2fs的整 數(shù)倍的頻率就進行重復的特性。圖6表示本發(fā)明的實施例1使用的提升器(103) (104)的具體例。 該圖表示對圖5所示的頻率特性進行逆傅立葉變換而得到的濾波器的 抽頭(tap)系數(shù)。此時，各抽頭系數(shù)Ck (其中，k為整數(shù))成為一般 已知的sinc函數(shù)，為了補償每個像素的采樣的相位差e (102)，只移動 (一e)，成為Ck=2sin(7rk+e)/(7ik+e)即可。此外，在提升器(103) 中，設相位差e (102)為O時，只要使C1^2sin (兀k) / (兀k)即可。 將相位差0 (102)由整數(shù)像素單位(2;r)的相位差+小數(shù)像素單位的 相位差進行表示，由此對于整數(shù)像素單位的相位差的補償能夠由簡單 的像素移動實現(xiàn)，對于小數(shù)像素單位的相位差的補償也使用上述提升 器(103) (104)的濾波器。圖7表示本發(fā)明的實施例1中使用的;r/2相位移動器(106) (108) 的動作例。作為兀/2相位移動器(106) (108)，能夠使用一般已知的希 爾伯特變換器。在該圖(a)中，橫軸表示頻率，縱軸表示增益(輸出信號振幅相 對輸入信號振幅的比值)，表示希爾伯特變換器的"頻率-增益"特性。 此處，在希爾伯特變換器中，以相對于原來信號的采樣頻率(fs)為兩 倍的頻率(2fs)作為新的采樣頻率，使一fs + fs之間除了 0以外的 頻率成分全部為增益1.0的通過帶域。此外，在該圖(b)中，橫軸表示頻率，縱軸表示相位差(輸出信 號相位相對輸入信號相位的差)，表示希爾伯特變換器的"頻率一相位 差"特性。此處，對于0 fs之間的頻率成分，只延遲tc/2的相位，對0 一fs間的頻率成分，只提前兀/2的相位。此時，如該圖所示，由于數(shù)字 信號的對稱性，成為每2fs的整數(shù)倍的頻率就進行重復的特性。圖8表示由希爾伯特變換器構成本發(fā)明的實施例1中使用的兀/2相位移動器(106) (108)的例子。該圖表示對圖7所示的頻率特性進 行逆傅立葉變換而得到的濾波器的抽頭系數(shù)。此時，各抽頭系數(shù)Ck是， 在]^2m (其中m為整數(shù))時C1^0， k=2m+l時為Ck=-2/ (兀k)即可。其中，本發(fā)明的實施例1中使用的7c/2相位移動器(106) (108) 能夠使用微分器。在該情況下，如果以t對表示正弦波的一般式cos(①t +a)進行微分并乘以l/co，則成為d (cos (cot+a)) /dtx (1/①)=— sin (cot+a) =cos (rot+a+兀/2)，能夠實現(xiàn)兀/2相位移動的功能。艮卩， 可以在取得作為對象的像素的值和鄰接像素的值的差分之后，施加具 有1/co的"頻率一振幅"特性的過濾器，由此實現(xiàn)71/2相位移動的功能。圖9表示本發(fā)明的實施例1中使用的系數(shù)決定器(109)的動作的 具體例。如該圖(a)所示，在取得圖4 (b)所示的四個成分的矢量和 時，以Re軸的成分為1，以Im軸的成分為0;在取得圖4 (c)所示 的四個成分的矢量和時，Re和Im軸兩者的成分為0，按照這樣的方式， 決定對各成分進行乘法運算的系數(shù)，則能夠實現(xiàn)使用兩幀圖像，進行 一維方向的兩倍的高分辨率化的圖像信號處理裝置。此處，如圖1所示，相對延遲器(105)的輸出(提升后的幀#1 的原成分與折返成分的和)的系數(shù)為C0;相對兀/2相位移動器(106) 的輸出(提升后的幀#1的原成分與折返成分的各自的;r/2相位移動結 果的和)的系數(shù)為C1;相對延遲器(107)的輸出(提升后的幀#2的 原成分與折返成分的和)的系數(shù)為C2;相對希爾伯特變換器(106) 的輸出(提升后的幀#2的原成分與折返成分的各自的;r/2相位移動結 果的和)的系數(shù)為C3。此時，如果滿足圖9 (a)的條件，則由圖4 (b)和圖4 (c)所示 的各成分的相位關系，能夠得到圖9 (b)所示的連立方程式，對其進 行求解，能夠導出圖9 (c)所示的結果。本實施例的系數(shù)決定器(109)輸出滿足圖9 (a)、圖9 (b)、圖9 (c)中的任一個的系數(shù)C0、 Cl、 C2、 C3。作為一個例子，圖9 (d)中表示使相位差e (102)在0 2;r中每 Ti/8進行變化時的系數(shù)C0、 Cl、 C2、 C3的值。這相當于將原來的幀弁 2的信號以1/16像素的精度進行位置推定，相對幀# 1進行運動補償?shù)?情況。在相位差e (102)的值不足0或為2兀以上的情況下，利用sin函數(shù)、cos函數(shù)的周期性，在相位差e (102)的值上加上或減去2兀的 整數(shù)倍的值，由此使得相位差e (102)在0 2兀的范圍內即可。其中，提升器(103) (104)和兀/2相位移動器(106) (107)為了 得到理想的特性，必需有無限大的抽頭數(shù)，但使抽頭數(shù)為有限個，進 行簡化在實用上也沒有問題。此時，可以使用一般的窗函數(shù)(例如漢 寧(Harming)窗函數(shù)或漢明(Hamming)窗函數(shù)等)。如果簡化的希 爾伯特變換器的各抽頭的系數(shù)為以CO為中心的左右點對稱的值，即C (一k) =—Ck (k為整數(shù))，則能夠使相位只移動一定量。接著，使用圖17，說明實施例1的圖像信號處理裝置和上述現(xiàn)有 技術的動作的不同。在該圖(a)中，準備在從幀#1 (1701)到幀#5 (1705)之間被拍攝體向右方向移動的輸入圖像。此時，如該圖(b) 所示，觀察各幀的采樣相位，以幀#1 (1701)和幀#2 (1702)之間 的對應像素的位置偏移1/4像素(=兀/2)，幀# 1 (1701)和幀#3 (1703) 之間的對應像素的位置偏移1像素(=2兀)，幀# l( 1701 )和幀#4( 1704) 之間的對應像素的位置偏移5/4像素(=5ti/2)，幀#1 (1701)和幀# 5 (1705)之間的對應像素的位置偏移2像素(=4兀)的方式，有意地 使被拍攝體移動。此時，包括在各幀上的信號中的各自的折返成分的 相位，以幀#1 (1701)上的信號所包括的折返成分的相位為基準，能 夠表示為該圖(c)所示。相對該輸入圖像(a)進行兩倍的高分辨率 化的情況下，在上述現(xiàn)有技術中，使用從幀弁1 (1701)到幀#5 (1705) 中的任何三幀均不能夠使折返成分的矢量和為0，因此不能夠實現(xiàn)高分 辨率化。另一方面，如果使用本實施例，則例如使用鄰接的兩幀(例 如幀弁l (1701)和幀#2 (1702))能夠使折返成分的矢量和為0， 因此能夠實現(xiàn)高分辨率化。S口，通過使用該圖(a)的輸入圖像作為測 試圖案，能夠確認本實施例的動作狀況。在以上的實施例1的說明中，舉出水平方向的高分辨率化的例子 進行了說明，但本發(fā)明的各實施方式并不限定于此，也能夠應用于垂 直方向、傾斜方向的高分辨率化。根據以上說明的實施例1的圖像信號處理裝置，相對于比現(xiàn)有例 少的兩個輸入圖像幀的各圖像信號進行相位移動，從各圖像信號中分 別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各 個信號，針對每個像素計算出用于消除該四個信號的折返成分而進行 合成的系數(shù)。對于生成的圖像的各個像素，計算在上述四個信號的各 個信號所具有的對應像素的像素值上乘以各系數(shù)并相加所得的和，生 成新的高分辨率圖像的像素值。通過對生成圖像的各像素進行上述處 理，能夠生成新的高分辨率圖像。由此，實施例1的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入 圖像幀，能夠折返成分較少地由輸入圖像生成高分辨率的圖像。此外，實施例1的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入 圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。由此，能 夠以比現(xiàn)有例低的成本實現(xiàn)折返成分較少地由輸入圖像生成高分辨率 的圖像的圖像信號處理裝置。[實施例2]接著，使用圖18和圖14說明本發(fā)明的實施例2。 實施例2表示通過與軟件協(xié)同作用的控制部實現(xiàn)與實施例1的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。首先，使用圖18說明用于實現(xiàn)本實施例的圖像信號處理方法的圖像處理裝置。圖18所示的圖像信號處理裝置包括例如被輸入電視播 放信號等的圖像信號的輸入部(1);存儲用于處理從輸入部(1)輸入 的信號的軟件的存儲部(11);與存儲在存儲部(11)中的軟件協(xié)同作 用，對從輸入部(1)輸入的信號進行圖像信號處理的控制部(10); 控制部(10)在該圖像信號處理中在數(shù)據的緩存中使用的幀緩存器#1 (21)、幀緩存器#2 (22);和用于對從控制部(10)輸出至輸出部(3) 的圖像信號處理后的信號進行幀緩存的緩存器# 3 (23 )。此處，圖18所示的圖像信號處理裝置所具有的輸入部(1)的個 數(shù)與圖像處理中使用的幀數(shù)相同為兩個，也可以僅具有一個輸入部(1), 連續(xù)輸入兩幀。此處，在數(shù)據的緩存中使用的幀緩存器#1(21)、幀緩存器#2(22) 和存儲軟件的存儲部(11)，可以分別使用不同的存儲器芯片構成，也 可以使用一個或多個存儲器芯片，分割各數(shù)據地址而進行使用。在本實施例中，控制部(10)與存儲在存儲部(11)中的軟件協(xié)同作用，對從輸入部(1)輸入的圖像信號進行圖像信號處理，輸出至 顯示部(3)。使用圖14說明該圖像信號處理的詳細內容。圖14表示本實施例的圖像信號處理方法的流程圖的一個例子。圖14的流程圖是，從步驟(1401)開始，在步驟(1418)將各幀的圖像 數(shù)據提升為兩倍。即，在步驟(1402)對幀#1的圖像數(shù)據進行提升， 并寫入幀緩存器#1，在步驟(1403)對幀#2的圖像數(shù)據進行提升， 并寫入幀緩存器弁2。此處，提升能夠通過使各幀緩存器的值一度清O， 之后針對每一個像素寫入數(shù)據而實現(xiàn)。接著，在步驟(1404)中，設定幀緩存器#1的最初的像素(例如 左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器弁1 的所有的像素數(shù)據的處理結束。在歩驟(1405)中，以幀緩存器#1的對象像素為基準，推定幀緩 存器#2中對應的像素的位置，輸出相位差e。此時，作為推定對應的 像素的位置的方法，能夠直接使用上述現(xiàn)有技術。在步驟(1406)中，基于歩驟(1405)中求取的相位差e，對幀緩 存器#2中的對應的像素的附近的像素進行運動補償。此時，作為附近 的像素，僅對步驟(1408)的兀/2相位移動的處理中使用的像素數(shù)據， 即有限的抽頭數(shù)的作用范圍的像素數(shù)據進行運動補償即可。該運動補 償?shù)膭幼髋c使用圖5和圖6所說明的動作一致。接著，在步驟(1419)中，相對幀緩存器#1和已運動補償?shù)膸?存器#2，使相位只移動一定量。S卩，通過步驟(1407) (1408)，使各 幀緩存器中的像素數(shù)據移動兀/2相位。接著，在歩驟(1420)中，使用基于相位差e以滿足圖9 (a) (b) (c)的條件的方式設定的系數(shù)CO、 Cl、 C2、 C3，在步驟(1419)的 輸出數(shù)據上分別進行乘法運算，通過使它們相加，從幀緩存器#1、 # 2的像素數(shù)據中除去折返成分，輸出至幀緩存器#3。即，在步驟(1409) 中，基于相位差0決定系數(shù)CO、 Cl、 C2、 C3，在歩驟(1410) (1411) (1412) (1413)中使各系數(shù)與幀緩存器井1、弁2的像素數(shù)據和兀/2相 位移動后的數(shù)據分別相乘，之后在步驟(1414)中全部相加，并輸出 至幀緩存器# 3 。該除去折返成分的動作與使用圖9所說明的動作一致。接著，在歩驟(1415)中，判定幀緩存器#1的全部像素的處理是否結束，如果未結束，則在步驟(1416)將下一像素(例如右邊鄰接 的像素)設定為處理的對象，回到步驟(1405)以后，如果已結束則 在步驟(1417)結束處理。圖14所示的流程圖的圖像信號處理之后，如圖18所示緩存于幀 緩存器#3中的信號，能夠以幀單位或像素單位輸出至顯示部(3)。通過進行以上所述的處理，能夠使用幀緩存器#1和幀緩存器#2 的像素數(shù)據，向幀緩存器#3輸出已進行高分辨率化的信號。在應用于 動畫的情況下，針對每幀重復從步驟(1401)到步驟(1417)的處理 即可。而且，關于實施例2的圖像信號處理方法，與圖17的說明同樣， 能夠確認其與上述現(xiàn)有技術的動作的不同點，其結果與實施例1同樣， 因此省略說明。根據以上說明的實施例2的圖像信號處理方法，相對于比現(xiàn)有例 少的兩個輸入圖像幀的各圖像信號進行相位移動，從各圖像信號中分 別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四 個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各 個信號，針對每個像素計算出用于消除該四個信號的折返成分而進行 合成的系數(shù)。對于生成的圖像的各個像素，計算在上述四個信號的各 個信號所具有的對應像素的像素值上乘以各系數(shù)并相加所得的和，生 成新的高分辨率圖像的像素值。通過對生成圖像的各像素進行上述處 理，能夠生成新的高分辨率圖像。由此，實施例2的圖像信號處理方法使用比現(xiàn)有例少的兩個輸入 圖像幀，能夠折返成分較少地由輸入圖像生成高分辨率的圖像。此外，實施例2的圖像信號處理方法使用比現(xiàn)有例少的兩個輸入 圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。[實施例3]圖10表示本發(fā)明的實施例3。該圖所示的結構是利用圖9 (c)所 示的系數(shù)CO、 Cl、 C2、 C3的關系，對圖1所示的結構進行簡化的結 構。即，因為C0:C2,， Cl=—C3=— (l+cose) / (2sine)，所以根 據提升后的幀#1和運動補償/提升后的幀#2的各信號，通過加法器 (1001)和減法器(1004)生成和與差的信號。關于和信號，在通過fs隔斷濾波器(1002)之后，通過乘法器(1003)乘以C0 (=0.5)并 輸入至加法器(1008)。此處，fs隔斷濾波器(1002)是以提升前的采 樣頻率(fs)的成分為零點進行隔斷的濾波器，例如能夠通過使用該圖 (1011)所示的抽頭系數(shù)而實現(xiàn)。因為圖7 (a)所示的希爾伯特變換 器(1005)的"頻率一增益"特性中頻率fs的增益為零點所以不能夠除 去折返成分，該fs隔斷濾波器(1002)的目的在于防止頻率fs的不需 要的成分的殘留。從而，如果代替希爾伯特變換器(1005)，使用能夠 包括頻率fs的成分地進行兀/2相位移動的機構，則不再需要該fs隔斷 濾波器(1002)。另一方面，關于差信號，在通過希爾伯特變換器(1005)使相位 只移動一定量(=兀/2)之后，將由系數(shù)決定器(1007)基于相位差(102) 決定的系數(shù)C1在乘法器(1006)中進行乘法運算，通過加法器(1008) 進行加法運算并獲得輸出。此處，由延遲器(1002)和希爾伯特變換 器(1005)構成的相位移動部(1009)能夠由圖1所示的相位移動部 (116)的一半的電路規(guī)模實現(xiàn)。此外，系數(shù)決定器(1007)只要輸出 圖9 (c)所示的系數(shù)C1即可，由加法器(1001)、減法器(1004)、乘 法器(1003) (1006)、加法器(1008)、系數(shù)決定器(1007)構成的折 返成分除去部(1010)能夠減少乘法器的個數(shù)，因此能夠以比圖1所 示的折返成分除去部(117)小的電路規(guī)模實現(xiàn)。而且，關于實施例3的圖像信號處理方法，與圖17的說明同樣， 能夠確認與上述現(xiàn)有技術的動作的不同點，其結果與實施例1同樣， 因此省略說明。此外，實施例3的圖像信號處理裝置和圖像信號處理方法能夠應 用于垂直方向、傾斜方向的高分辨率化。以上說明的實施例3的圖像信號處理裝置，除了能夠獲得實施例1 的圖像信號處理裝置的效果，還能夠由比實施例1的圖像信號處理裝 置小的電路規(guī)模得到實現(xiàn)，能夠實現(xiàn)更低的成本。[實施例4]使用圖15說明本發(fā)明的實施例4的圖像信號處理方法。 實施例4表示通過與軟件協(xié)同作用的控制部實現(xiàn)與實施例3的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。進行本實施例的圖像信號處理方法的圖像處理裝置是與實施例2同樣的 圖18所示的圖像處理裝置，因此省略其說明。圖15表示本實施例的動作的流程圖的一個例子。圖15的流程圖是，從步驟(1501)開始，在步驟(1518)對各幀的圖像數(shù)據進行提 升。即，在步驟(1502)對幀#1的圖像數(shù)據進行提升，并寫入幀緩存 器#1，在步驟(1503)對幀弁2的圖像數(shù)據進行提升，并寫入幀緩存 器#2。此處，提升能夠通過使各幀緩存器的值一度清0，之后針對每 一個像素寫入數(shù)據而實現(xiàn)。接著，在步驟(1504)中，設定幀緩存器#1的最初的像素(例如 左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器#1 的所有的像素數(shù)據的處理結束。在步驟(1505)中，以幀緩存器#1的對象像素為基準，推定幀緩 存器#2中對應的像素的位置，輸出相位差e。此時，作為推定對應的 像素的位置的方法，能夠直接使用上述現(xiàn)有技術。在步驟(1506)中，基于步驟(1505)中求取的相位差e，對幀緩 存器#2中的對應的像素的附近的像素進行運動補償。此時，作為"附 近的像素"，僅對步驟(1510)的希爾伯特變換的處理中使用的像素數(shù) 據，即有限的抽頭數(shù)的作用范圍的像素數(shù)據進行運動補償即可。該運 動補償?shù)膭幼髋c使用圖5和圖6所說明的動作一致。接著，在步驟(1520)中，基于相位差e從幀緩存器弁i、 #2的 像素數(shù)據中除去折返成分，輸出至幀緩存器#3。首先，在步驟(1507)， 使幀緩存器# 1的像素數(shù)據的值與已運動補償?shù)膸彺嫫?2的像素數(shù) 據的值相加，在歩驟(1509)中隔斷頻率fs的成分。該fs隔斷濾波器 (1509)的動作與圖10所示的(1002)的動作相同。此外，在步驟(1508)，從幀緩存器#1的像素數(shù)據的值中減去己 運動補償?shù)膸彺嫫?2的像素數(shù)據的值。此處，相對于已進行過減法 運算的結果，在歩驟(1519)使相位只移動一定量。g卩，同樣地使用 已進行減法運算的附近的數(shù)據，在步驟(1510)進行希爾伯特變換。 該相位移動的動作與使用圖7和圖8所說明的動作一致。接著，在步驟(1511)中在上述加法運算后的數(shù)據上乘以系數(shù)CO (=0.5)，并且在歩驟(1512)基于相位差0決定系數(shù)Cl，在步驟(1513)使系數(shù)C1與希爾伯特變換后的數(shù)據相乘之后，在步驟(1514)中使兩者的數(shù)據相加，輸出至幀緩存器#3。該除去折返成分的動作與使用圖io所說明的動作一致。i:主罷 A:4fe聰M《1《、出 坐il^ih占々萆方紫卄1 !^A卻/免妄的/7InT田且 j乂'曰》 'i丄y 、iju7i'， 乂薩」Ac^Tx^x/i丁flfTi u:j工isg、爾w j;/J_">=t/t否結束，如果未結束，則在步驟(1516)將下一像素(例如右邊鄰接 的像素)設定為處理的對象，回到步驟(1505)以后，如果己結束則 在步驟(1517)結束處理。圖15所示的流程圖的圖像信號處理之后，如圖18所示緩存于幀 緩存器#3中的信號，能夠以幀單位或像素單位輸出至顯示部(3)。通過進行以上所述的處理，能夠使用幀緩存器弁l和幀緩存器#2 的像素數(shù)據，向幀緩存器#3輸出已進行過高分辨率化的信號。在應用 于動畫的情況下，針對每幀重復從步驟(1501)到步驟(1517)的處 理即可。而且，關于實施例4的圖像信號處理方法，使用圖17，能夠確認 其與上述現(xiàn)有技術的動作的不同點，其結果與實施例1同樣，因此省 略說明。而且，關于實施例4的圖像信號處理方法，也能夠適用于垂直方 向或傾斜方向的高分辨率化。以上說明的實施例4的圖像信號處理方法，具有與實施例2的圖 像信號處理方法同樣的圖像信號高分辨率化的效果。而且，實施例4 的圖像信號處理方法與實施例2的圖像信號處理方法相比， 一部分的 處理步驟的內容是共同的，由此，具有能夠以比實施例2的圖像信號 處理方法少的處理量(運算數(shù))實現(xiàn)同樣的信號處理的效果。[實施例5]圖11表示本發(fā)明的實施例5。該圖所示的結構，為了防止圖9 (d)所示的相位差e為o時的系數(shù)ci、 C3的不確定、相位差e接近o時的系數(shù)C1、 C3變大而相對噪聲等變得脆弱的問題，以圖10所的結構為基礎，以相位差e為o附近時切換為來自輔助的像素插補部(1105)的輸出的方式構成。即，準備一般的插補低通濾波器(1101)作為旁 通路，通過系數(shù)決定器(1103)，在上述系數(shù)C0、 Cl之外，生成新的 C4，通過乘法器(1102)使插補低通濾波器(1101)的輸出與系數(shù)C4相乘，由加法器(1104)在已高分辨率化的信號上相加并輸出。插補低通濾波器(1101)、乘法器(1102)、系數(shù)決定器(1103)、 加法器(1104)、輔助的像素插補部(1105)以外的結構與圖10所示 的實施例3的結構相同，因此省略說明。在圖12中表示本發(fā)明的實施例5使用的插補低通濾波器(1101) 的具體例。該圖表示對以原來的采樣頻率fs的1/2作為截止頻率的頻 率特性進行逆傅立葉變換而得到的濾波器的抽頭系數(shù)。此時，各抽頭 系數(shù)Ck (其中k為整數(shù))為一般的sine函數(shù)，Ck=sin (兀k/2) / (兀k/2) 即可。圖13表示本發(fā)明的實施例5使用的系數(shù)決定器(1103)的具體例。 該圖表示了以圖9 (d)所示的系數(shù)CO、 Cl為基礎，通常新的系數(shù)C4 為0，但在相位差e為0附近時，強制性地使系數(shù)Cl的值為0，并且 使系數(shù)C4的值為1.0的動作。通過該動作，圖11所示的結構中，相 位差e (102)為O或在O附近時，能夠將加法器(1104)的輸出自動地切換為插補低通濾波器(iioi)的輸出。而且，也可以在位相差e接近0的同時，從圖12所示的系數(shù)連續(xù)地逐漸接近圖13所示的系數(shù)。 此外，也可以在通過圖1中的位置推定部(101)，判定與幀#1上的處 理對象的像素對應的像素不在幀#2上的情況下，在相位差e (102) 為0附近時同樣地控制各系數(shù)，將加法器(1104)的輸出自動地切換 為插補低通濾波器(1101)的輸出。而且，關于實施例5的圖像信號處理裝置，使用圖17，能夠確認 其與上述現(xiàn)有技術的動作的不同點，其結果與實施例1同樣，因此省 略其說明。此外，實施例5的圖像信號處理裝置能夠應用于垂直方向、傾斜 方向的高分辨率化。以上說明的實施例5的圖像信號處理裝置，在實施例3的圖像信 號處理裝置的效果之外，相比于實施例3的圖像信號處理裝置，還具 有下述效果在相位差e (102)為O或O附近時(即靜止，或大致靜 止)、判定與幀#1上的處理對象的像素相對應的像素不在幀#2上的 情況下，處理結果不會變得不確定，而能夠得到穩(wěn)定的輸出圖像。[實施例6]使用圖16說明本發(fā)明的實施例6的圖像信號處理方法。 實施例6表示通過與軟件協(xié)同作用的控制部實現(xiàn)與實施例5的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。進行本實施例的圖像信號處理方法的圖像處理裝置與實施例2同樣為圖 18所示的圖像處理裝置，因此省略其說明。在圖16中表示本實施例的動作的流程圖的一個例子。該圖所示的 步驟的動作，為了防止圖9 (d)所示的相位差e為O時的系數(shù)Cl、 C3 的不確定、相位差e接近0時的系數(shù)Cl、 C3變大而相對噪聲等變得脆 弱的問題，以實施例4中說明的圖15的各步驟為基礎，以相位差e為 0或0附近時將步驟(1606)的處理結果輸出至幀緩存器#3的方式構 成。g卩，在步驟(1601)基于相位差e決定系數(shù)CO、 Cl、 C4，在步驟 (1602)使用幀緩存器#1中的對象的像素數(shù)據和其附近的像素數(shù)據進 行一般的插補低通濾波器處理，之后在步驟(1603)與系數(shù)C4相乘， 在步驟(1604)與步驟(1511) (1513)的輸出相加，并輸出至幀緩存 器#3。此外的步驟與實施例4中說明的圖15的處理步驟相同，因此省略 說明。而且，在步驟(1601)的系數(shù)決定的動作與圖13所示的動作相 同，因此省略說明。此外，在步驟(1602)的插補低通濾波器的動作 與圖12所示的動作相同，因此省略說明。而且，關于實施例6的圖像信號處理方法，使用圖17，能夠確認 其與上述現(xiàn)有技術的動作的不同點，但其結果與實施例1同樣，因此 省略其說明。而且，實施例6的圖像信號處理方法能夠應用于垂直方向、傾斜 方向的高分辨率化。以上說明的實施例6的圖像信號處理方法，在實施例4的圖像信 號處理方法的效果之外，相比于實施例4的圖像信號處理方法，還具 有下述效果在相位差e (102)為0或0附近時(即靜止，或大致靜 止)、判定與幀#1上的處理對象的像素相對應的像素不在幀#2上的 情況下，處理結果不會變得不穩(wěn)定，而能夠得到穩(wěn)定的輸出圖像。[實施例7]圖20表示本發(fā)明的實施例7的圖像信號處理裝置。本實施例的圖像處理裝置包括例如被輸入電視播放信號等運動圖像的幀列的輸入 部(1);用于對從該輸入部(1)輸入的幀進行水平、垂直方向的組合， 進行二維的高分辨率化的分辨率變換部(4);和基于通過該分辨率變 換部(4)被高分辨率化的幀而顯示圖像的顯示部(3)。在該分辨率變換部(4)中，進行水平方向和垂直方向的各自的分 辨率變換處理，將各個結果中分辨率提高效果較大的成分有選擇地或混合地輸出，由此實現(xiàn)二維的高分辨率化。以下說明分辨率變換部(4)的詳細內容。在圖20中，基于輸入至輸入部(1)的幀#1(2010)和幀#2(2013)， 使用水平分辨率變換部(2001)和垂直分辨率變換部(2005)，分別生 成使水平方向的像素數(shù)增加的幀(2011)和使垂直方向的像素數(shù)增加 的幀(2014)。此處，各分辨率變換部(2001) (2005)直接使用圖l所示的本發(fā) 明的實施例l的圖像信號處理裝置的分辨率變換部(2)的結構，分別 進行水平方向和垂直方向的信號處理。此時，水平分辨率變換部(2001) 中，圖l所示的提升器(103) (104)、延遲器(105) (107)、兀/2相位 移動器(106) (108)分別進行水平方向的提升、延遲、兀/2相位移動。同樣的，在垂直分辨率變換部(2005)中，圖l所示的提升器(103) (104)、延遲器(105) (107)、 Ti/2相位移動器(106) (108)分別進 行垂直方向的提升、延遲、Ti/2相位移動。它們能夠使用圖5 圖8所 示的動作和現(xiàn)有技術等而實施。而且，作為各分辨率變換部(2001) (2005)，代替本發(fā)明的實施 例1的圖像信號處理裝置的分辨率變換部的結構，也可以使用本發(fā)明 的實施例3的圖像信號處理裝置的分辨率變換部、本發(fā)明的實施例5 的圖像信號處理裝置的分辨率變換部實現(xiàn)。在以下的說明中，使用本 發(fā)明的實施例1的圖像信號處理裝置的分辨率變換部的結構進行說明。在本實施例中，假設被拍攝體在水平、垂直方向進行二維移動， 使圖1和圖2所示的動作擴展為二維。g卩，在水平分辨率變換部(2001) 中的位置推定部(圖1中的(101))和運動補償/提升部(圖1中的(115)) 中，以幀#1上的被拍攝體為基準，對幀#2上的被拍攝體進行二維的 運動補償，并且在各幀的像素的采樣相位差中，在折返成分除去部(圖i中的(in))的系數(shù)決定中使用水平相位差eH。同樣的，在垂直分辨率變換部(2005)中的位置推定部(圖1中 的(101))和運動補償/提升部(圖1中的(115))中，以幀#1上的 被拍攝體(2016)為基準，對幀#2上的被拍攝體(2017)進行二維的 運動補償，并且在各幀的像素的采樣相位差中，在折返成分除去部(圖i中的(in))的系數(shù)決定中使用垂直相位差ev。折返成分除去部(圖l中的(117))的系數(shù)決定也可以直接使用圖9所示的動作。假設被拍攝體在傾斜方向上移動的情況，則通過水平分辨率變換 部(2001)使水平方向的像素數(shù)增加的幀(2011)中包含傾斜方向的 變形，但在原來的輸入信號的垂直頻率較低的成分(豎線等)中，該 變形較小，是能夠忽略的程度。同樣，通過垂直分辨率變換部(2005) 使垂直方向的像素數(shù)增加的幀(2014)中包含傾斜方向的變形，但在 原來的輸入信號的水平頻率較低的成分(橫線等)中，該變形較小， 是能夠忽略的程度。利用該特性，通過上述信號處理使得水平方向的像素數(shù)增加的幀 (2011)，通過由垂直提升器(2002)和像素插補器(2003)構成的垂 直插補部(2004)生成幀(2012)，成為SR (水平)信號。此處的像 素插補器(2003)使用一般的垂直低通濾波器即可，以輸出希望插補 的像素的上下的像素數(shù)據的平均值。同樣，垂直方向的像素數(shù)增加的 幀(2014)，通過由水平提升器(2006)和像素插補器(2007)構成的 水平插補部(2008)生成幀(2015)，成為SR (垂直)信號。此處的 像素插補器(2007)使用一般的水平低通濾波器即可，以輸出希望插 補的像素的左右的像素數(shù)據的平均值。這樣，使用像素插補器(2003) (2007)除去與處理對像的方向正 交的方向的高頻成分，僅抽出低頻成分，則能夠使上述傾斜方向上移 動時產生的變形的影響變小，成為能夠忽略的程度。通過上述處理生 成的SR (水平)信號和SR (垂直)信號通過混合器(2009)進行混 合，成為輸出信號，在顯示部(3)中進行顯示。此處，對混合器(2009)的詳細結構和動作進行說明?；旌掀?2009) 使用下述三個結構例中的任一個即可。圖22表示混合器(2009)的第一結構例。在該圖中，使用加法器(2201)和乘法器(2202)，生成輸入混合器(2009)的SR (水平) 和SR (垂直)的各信號的平均值并輸出。該圖所示的結構中，水平、 垂直的各分辨率提高效果分別成為1/2，但因為能夠以最簡單的結構實 現(xiàn)混合器(2009)，所以能夠實現(xiàn)低成本。圖23表示混合器(2009)的第二結構例。在該圖中，相對輸入混 合器(2009)的SR (水平)和SR (垂直)的各信號，使用乘法器(2303) 和乘法器(2304)分別乘以系數(shù)K (水平)和系數(shù)K (垂直)，由加法 器(2305)使兩者相加并輸出。系數(shù)K (水平)和系數(shù)K (垂直)分 別由系數(shù)決定器(2301) (2302)生成。以下說明該系數(shù)決定器(2301)(2302)的動作。圖21所示的折返成分除去部(2108) (2109)基于該圖所示的相 位差eH(2102)和相位差ev(2103)，通過圖1所示的系數(shù)決定器(109) 產生圖9所示的系數(shù)C0 C3，并進行除去折返成分的運算。此時，為 了防止相位差eH (2102)、 eV (2103)為0時的系數(shù)C1、 C3的不確 定以及相位差0H (2102)、 ev (2103)接近0時的系數(shù)Cl、 C3變大 而相對噪聲等變得脆弱的問題，導入圖13所示的系數(shù)C4 (0SC4S1)， 優(yōu)選以圖11所示的結構進行輔助的像素插補。反言之，系數(shù)C4的值 為0.0時存在分辨率提高的效果，但隨著系數(shù)C4的值接近1.0，分辨 率提高的效果變小。利用該性質，以水平相位差0H (2102)為0附近(即系數(shù)C4 (水 平)在1.0附近)時垂直分辨率變換結果的SR (垂直)被強烈反映； 垂直相位差ev (2103)為O附近(即，系數(shù)C4 (垂直)在1.0附近) 時水平分辨率變換結果的SR (水平)被強烈反映的方式，使用水平、 垂直方向各自的系數(shù)C4的值決定系數(shù)K (水平)和系數(shù)K (垂直)。 為了實現(xiàn)該動作，例如在圖23所示的系數(shù)決定器(2301)中進行K(水 平)=C4 (水平)+ (1—C4 (垂直))/2的運算，決定K (水平)，在 系數(shù)決定器(2303)中進行K(垂直)=C4 (垂直)+ (1—C4 (水平)) /2的運算，決定K (垂直)。圖24中集中表示使系數(shù)C4 (水平)和系數(shù)C4 (垂直)分別變化 時的系數(shù)決定器(2301) (2302)的輸出(系數(shù)K (水平)和系數(shù)K (垂 直))的一個例子。如該圖所示，以下述方式動作，當系數(shù)C4 (水平)變大時，系數(shù)K (水平)變小并且系數(shù)K (垂直)變大；當系數(shù)C4 (垂直)變大時，系數(shù)K (水平)變大并且系數(shù)K (垂直)變小。系數(shù)C4 (水平)和系數(shù)C4 (垂直)的值相等時，系數(shù)K (水平) 和系數(shù)K (垂直)分別為0.5。這樣相對水平、垂直上獨立變化的系數(shù) C4，以使系數(shù)K (水平)和系數(shù)K (垂直)相加剛好為1.0的方式決定 系數(shù)K，并混合SR (水平)和SR (垂直)。使用圖25和圖26，分別說明混合器(2009)的第三動作和結構例。 圖25是水平頻率為p、垂直頻率為v而表示的二維頻率區(qū)域。如果原 輸入圖像的水平采樣頻率為ps、垂直采樣頻率為vs，則圖20和圖21 所示的分辨率變換部(4)的輸出是水平頻率^i在一^is ^的范圍內、 垂直頻率v在一vs vs的范圍內的信號。通過水平、垂直的各分辨率變換使高頻成分再現(xiàn)，但因為高頻成 分本來的信號電平就很小，因此水平分辨率變換的效果較大的是(p， v) 二 (±一2， 0)的附近的頻率區(qū)域(2501)的成分(特別是包括(p， v) 二 (+|is/2， 0)， fxX)的頻率的區(qū)域，和包括(p， v) = (_ps/2， 0)， ^KO的頻率的區(qū)域的成分)，垂直分辨率變換的效果較大的是(p， v) 二 (0， ±vs/2)的附近的頻率區(qū)域(2502)的成分(特別是包括(p， v) 二 (0， +vs/2)， vX)的頻率的區(qū)域，和包括(p， v) = (0， 一vs /2)， vO的頻率的區(qū)域的成分)。由此，當由二維濾波器抽出這些頻率成分(2501) (2502)并混合， 則能夠有選擇地輸出分辨率提高效果較大的成分。圖26表示將水平、垂直的各分辨率變換的效果較大的成分抽出的 混合器(2009)的結構例。在該圖中，使用二維濾波器(2601)，抽出 輸入混合器(2009)的SR (水平)的分辨率提高效果較大的頻率區(qū)域 (2501)的成分。同樣，使用二維濾波器(2602)，抽出輸入混合器(2009) 的SR (垂直)的分辨率提高效果較大的頻率區(qū)域(2502)的成分。作為頻率區(qū)域(2501) (2502)以外的成分，使用加法器(2603) 和乘法器(2604)生成SR (水平)和SR (垂直)的平均的信號，使 用二維濾波器(2605)，抽出二維濾波器(2601) (2602)的各通過帶 域以外的成分(即殘余成分)。二維濾波器(2601) (2602) (2605)的 各輸出信號在加算器(2606)中相加，成為混合器(2009)的輸出。其中，該圖中所示的二維濾波器(2601) (2602) (2605)中的被 圓圈包圍的數(shù)字分別表示濾波器的抽頭系數(shù)的一個例子。(為了說明的 簡化，各濾波器的系數(shù)記述為整數(shù)。本來的系數(shù)值是由圓圈包圍的數(shù) 字與其右部表示的"xl/16"等表示的運算的積。例如，二維濾波器(2601) 中由圓圈包圍的各個數(shù)字分別乘以1/16得到本來的系數(shù)值。以下的實 施例表示的二維濾波器的系數(shù)與此相同。)二維濾波器(2601)是以ips/2作為通過帶域的中心頻率的水平帶 通濾波器和垂直低通濾波器的積，二維濾波器(2602)是以士vs/2作為 通過帶域的中心頻率的垂直帶通濾波器和水平低通濾波器的積，二維 濾波器(2605)為從整個帶域中減去二維濾波器(2601)和二維濾波 器(2602)的通過帶域的特性即可。接著，使用圖34說明實施例7的圖像信號處理裝置的處理和上述 現(xiàn)有技術的動作的不同。該圖(a)表示輸入分辨率變換部(4)的幀 #1 (3401)、幀#2 (3402)、幀#3 (3403)、幀#4(3404)、幀#5(3405)， 該圖(b)表示從分辨率變換部(4)輸出的各幀。在各幀中，被拍攝 體以1/4像素一次一次地右旋移動，有意地以四幀為一周的方式移動被 拍攝體。該動作在幀#6以下也同樣連續(xù)進行。在專利文獻l、專利文獻2、非專利文獻l中記載的現(xiàn)有技術中， 如上所述，在相對水平/垂直的二維的輸入信號進行高分辨率化的情況 下，因為折返來自縱橫兩個方向，所以原信號的帶域在縱橫方向均變 寬至兩倍，三個折返成分重合，為了消除該折返成分需要2M+1=7 個數(shù)字數(shù)據(=7個幀圖像的信號)。因此，在如圖34 (a)所示，四 幀一周地輸入信號的情況下，無論選擇哪7個幀均不能夠得到獨立的 數(shù)據，所以高分辨率化處理的解不確定，無法求解。另一方面，使用本實施例，例如使用鄰接的兩幀(例如幀# 1 (3401) 和幀#2 (3402)，(或幀#2 (3402)和幀#3 (3403)))，如該圖(b) 所示除去水平方向(或垂直方向)的折返成分，能夠實現(xiàn)高分辨率化。 即，通過使用該圖(a)的輸入圖像作為測試圖案，能夠確認本實施例 的動作狀況。作為該測試圖案的樣式，使用一般已知的圓形波帶板 (CZP: Circular Zone Plate),則能夠在顯示部(3)直接看到分辨率變 換的效果。即，如果使圓形波帶板在每幀中左右移動，則顯示水平方向的分辨率提高的圖像，如果上下(或傾斜)移動，則顯示垂直方向 (或傾斜方向)的分辨率提高的圖像等，能夠確認與測試圖案的移動 方向相對應的分辨率提高的效果。根據以上說明的實施例7的圖像信號處理裝置，相對兩個輸入圖 像幀的各圖像信號進行相位移動，從各圖像信號中分別生成兩個信號。 由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基 于兩個輸入圖像幀的相位差，對于該四個信號的各個信號，針對每個 像素計算出用于消除該四個信號的折返成分而進行合成的系數(shù)。對于 生成的圖像的各個像素，計算在上述四個信號的各個信號所具有的對 應像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖 像的像素值。通過對生成圖像的各像素進行上述處理，能夠生成相比 于輸入圖像幀，在一維方向上已進行高分辨率化的圖像。在水平方向和垂直方向上分別進行該處理，生成在水平方向上高 分辨率化后的圖像和在垂直方向上高分辨率化后的圖像。對于該在水 平方向上高分辨率化后的圖像和在垂直方向上高分辨率化后的圖像， 在分別進行垂直方向、水平方向的提升處理之后，使兩者混合。由此，能夠從比現(xiàn)有例少的兩個輸入圖像幀的各圖像信號中生成 在垂直方向和水平方向這兩個方向上高分辨率化后的高分辨率圖像。 即，能夠生成二維高分辨率圖像。此外，實施例7的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入 圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。由此，能 夠以比現(xiàn)有例低的成本實現(xiàn)折返成分較少地生成在垂直方向和水平方 向這兩個方向上分辨率高于輸入圖像的高分辨率圖像的圖像信號處理 裝置。也可以通過專利文獻l、專利文獻2、非專利文獻l記載的現(xiàn)有技 術，使用三個幀，相對多個方向進行水平方向、垂直方向等的一維高分辨率化，并在圖20所示的混合器(2009)中輸入這些結果進行混合， 作為二維的分辨率變換結果輸出。在該情況下，相比于圖20所示的僅 使用兩幀進行二維的分辨率變換的結構，幀存儲器、運動推定部等信 號處理電路的規(guī)模變大，但如專利文獻l、專利文獻2、非專利文獻l 所述，至少使用7幀的信號，也能夠使幀存儲器、運動推定部等信號處理電路的規(guī)模變小。此外，不限于專利文獻l、專利文獻2、非專利文獻l所述的現(xiàn)有 技術，也可以應用其他現(xiàn)有的高分辨率化技術，相對多個方向進行水平方向、垂直方向等一維的高分辨率化，并在圖20所示的混合器(2009)中輸入這些結果進行混合，作為二維的分辨率變換結果輸出。此外，在圖20中，舉出使用幀#1和幀#2的輸入信號的組變換 幀#1的分辨率的情況為例進行了說明，但此外，例如也可以使用幀# 1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們 的結果混合，作為幀#1的最終的分辨率變換結果。作為此時的混合方法，可以是各結果的平均值，也可以如圖23和 圖24所示根據每幀的系數(shù)C4 (幀)的值進行混合。在該情況下，作 為系數(shù)C4 (幀)，也可以使用每幀的系數(shù)C4 (水平)和系數(shù)C4 (垂直) 的MAX值(不是較小的值)。此外，也可以針對每個像素比較所有的 組的系數(shù)C4 (水平)和系數(shù)C4 (垂直)，針對每個像素選擇從系數(shù)C4 最小的組(即分辨率提高效果最大的組)得到的分辨率變換結果，并 作為幀#1的最終的分辨率變換結果。由此，例如以幀#1為基準，在幀#2是幀#1之前(過去)的幀， 幀#3是幀#1未來的幀時，在幀#1的時刻被拍攝體從"運動"變化為 "靜止"的情況下(結束運動)，通過幀#1和幀#2進行分辨率變換處 理，在幀#1的時刻被拍攝體從"靜止"變化為"運動"的情況下(開始運 動)，通過幀#1和幀#3進行分辨率變換處理，以上述方式針對每個 像素混合各處理結果，因此能夠有效地利用被拍攝體的運動，能夠使 分辨率提高效果最大。[實施例8]圖21表示本發(fā)明的實施例8的圖像信號處理裝置。本實施例的圖 像處理裝置是上述實施例7的結構的變形例，圖20所示的分辨率變換 部(2001) (2005)和插補部(2004) (2008)的處理順序相反，以在 進行插補處理之后進行分辨率變換的方式構成。由此，能夠使分辨率 變換部(2001) (2005)中的提升器(圖1中的(103) (104))和插補 部(2004) (2008)中的提升器(圖20中的(2002) (2006))共用， 并且能夠使水平分辨率變換部(2001)和垂直分辨率變換部中的各自的位置推定部(圖1中的(101))共用，因此能夠以更小的 電路規(guī)模和運算量實現(xiàn)同樣的信號處理。在圖21中，首先通過位置推定部(2101)，以輸入輸入部(1)的幀#1上的處理對象的像素的采樣相位(取樣位置)為基準，推定幀#2上的對應的像素的位置，求取水平方向和垂直方向的各自的采樣相位 差0H (2102)、 0V (2103)。接著，通過運動補償/提升部(2110)的提升器(2104) (2105)， 使用相位差0H (2102)、 ev (2103)的信息對幀#2進行運動補償， 使其與幀# 1對位，使幀# 1和幀弁2的像素數(shù)分別在水平/垂直方向上 增加至2倍(共計4倍)，進行高密度化。提升器(2104) (2105)使 圖5和圖6所示的動作、結構在水平/垂直方向二維擴展。在相位移動 部(2111)中，使該已高密度化的數(shù)據的相位只移動一定量。此時，水平相位移動器(2106)進行水平方向的相位移動，垂直 相位移動器(2107)進行垂直方向的相位移動，能夠同樣使用圖1所 示的延遲器(105) (107)和7i/2相位移動器(108)，并同樣地實施圖 7和圖8所示的動作、結構，因此省略說明。相對己進行過相位移動的各信號，通過折返成分除去部(2112) 的水平方向的折返成分除去部(2108)和垂直方向的折返成分除去部 (2109)分別除去水平/垂直方向的折返成分。接著使用像素插補部 (2003)對水平方向的折返成分除去部(2108)的輸出進行像素插補， 成為SR (水平)信號，使用像素插補部(2007)對垂直方向的折返成 分除去部(2109)的輸出進行像素插補，成為SR (垂直)信號，由混 合器(2009)使兩者混合并輸出。折返成分除去部(2108) (2109)能夠直接使用圖1所示的折返成 分除去部(117)的結構。作為相位差e(102)，在折返成分除去部(2108) 中使用水平相位差0H (2102)，在折返成分除去部(2109)中使用水 平相位差0H (2103)，進行圖9所示的動作，由此能夠除去各個方向 的折返成分。而且，在以上的說明中，相位移動部(2111)同樣地使用圖1所 示的延遲器(105) (107)和兀/2相位移動器(108)，并同樣地實施圖 7和圖8所示的動作、結構，折返成分除去部(2108) (2109)直接使用圖l所示的折返成分除去部(117)的結構，但除此之外，作為相位 移動部(2111)，也可以分別在垂直方向、水平方向使用圖10的相位移動部(1009)，折返成分除去部(2108) (2109)也可以分別使用圖 IO的折返成分除去單元(1010)。而且，此時，也可以使折返成分除去 部(2108) (2109)與圖11同樣分別設置有圖11的輔助的像素插補部 (1105)。其中，混合器(2009)與實施例7同樣，因此省略說明。 此外，圖34所示的相對輸入幀的動作也與實施例7同樣，因此省 略說明。以上說明的實施例8的圖像信號處理裝置具有實施例7的圖像信 號處理裝置的效果，而且由于相比于實施例7的圖像信號處理裝置， 能夠共用一部分的處理部，從而具有能夠以比實施例7的圖像信號處 理裝置小的電路規(guī)模和運算量實現(xiàn)同樣的信號處理的效果。而且，也可以通過專利文獻l、專利文獻2、非專利文獻l記載的 現(xiàn)有技術，使用三個幀，相對多個方向進行水平方向、垂直方向等的 一維高分辨率化，并在圖21所示的混合器(2009)中輸入這些結果進 行混合，作為二維的分辨率變換結果輸出。在該情況下，相比于圖21 所示的僅使用兩幀進行二維的分辨率變換的結構，幀存儲器、運動推 定部等信號處理電路的規(guī)模變大，但如專利文獻l、專利文獻2、非專 利文獻1所述，至少使用7幀的信號，也能夠使幀存儲器、運動推定 部等信號處理電路的規(guī)模變小。此外，不限于專利文獻l、專利文獻2、非專利文獻l所述的現(xiàn)有 技術，也可以應用其他現(xiàn)有的高分辨率化技術，相對多個方向進行水 平方向、垂直方向等一維的高分辨率化，并在圖21所示的混合器(2009) 中輸入這些結果進行混合，作為二維的分辨率變換結果輸出。此外，在圖21中，舉出使用幀#1和幀#2的輸入信號的組變換 幀#1的分辨率的情況為例進行了說明，但此外，例如也可以使用幀弁 1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們 的結果混合，作為幀弁l的最終的分辨率變換結果。作為此時的混合方法，可以是各結果的平均值，也可以如圖23和 圖24所示根據每幀的系數(shù)C4 (幀)的值進行混合。在該情況下，作為系數(shù)C4 (幀)，也可以使用每幀的系數(shù)C4 (水平)和系數(shù)C4 (垂直) 的MAX值(不是較小的值)。此外，也可以針對每個像素比較所有的 組的系數(shù)C4 (水平)和系數(shù)C4 (垂直)，針對每個像素選擇從系數(shù)C4 最小的組(即分辨率提高效果最大的組)得到的分辨率變換結果，并 作為幀#1的最終的分辨率變換結果。由此，例如以幀#1為基準，在幀#2是幀#1之前的幀，幀#3 是幀#1未來的幀時，在幀#1的時刻被拍攝體從"運動"變化為"靜止" 的情況下(結束運動)，通過幀弁l和幀#2進行分辨率變換處理，在 幀#1的時刻被拍攝體從"靜止"變化為"運動"的情況下(開始運動)， 通過幀# 1和幀#3進行分辨率變換處理，以上述方式針對每個像素混 合各處理結果，因此能夠有效地利用被拍攝體的運動，能夠使分辨率 提高效果最大。[實施例9]圖27表示本發(fā)明的實施例9的圖像信號處理裝置。本實施例的圖 像處理裝置是在圖21所示的結構例上進一步添加右下和右上方向的傾 斜成分的高分辨率變換部的結構。即，在相位移動部(2708)上追加 傾斜(右下)相位移動部(2701)和傾斜(右上)相位移動部(2702)， 并且在折返成分除去部(2709)上追加折返成分除去部(2705) (2706)， 在分別通過像素插補器(2710) (2711)之后，通過混合部(2707)混 合SR (水平)、SR (垂直)、SR (右上)、SR (右下)的各信號，并輸 出。此處，像素插補器(2710) (2711)使用一般的二維低通濾波器即 可，能夠輸出希望插補的像素的上下左右的像素數(shù)據的平均值。作為相位差e，傾斜方向的相位差信息是必需的，將由加法器(2703)使水平相位差0H (2102)和垂直相位差0V (2103)相加而 得到的相位差(0H+eV)輸入至折返成分除去部(2705);將由減法 器(2704)生成的相位差(一0H+eV)輸入折返成分除去部(2706)， 按照上述的方式構成即可。而且，折返成分除去部(2106)(2109)(2705)(2706)的結構和動作全部是共通的。圖28 (a) (d)中表示在二維頻率區(qū)域中的水平相位移動部(2106)、垂直相位移動部(2107)、傾斜(右下)相位移動部(2701)、 傾斜(右上)相位移動部(2702)的各自的動作。圖28 (a) (d)與圖25同樣是水平頻率為p、垂直頻率為V而表示的二維頻率區(qū)域。
這些相位移動部(2106) (2107) (2701) (2702)與圖1所示的相位移 動部(116)為同樣的結構，使其中的兀/2相位移動器(106) (108)的 "頻率-相位差"特性與各自的方向相配合地進行變更。
艮P，在該圖(a)中，在水平相位移動部(2106)中，在輸入信號 的水平頻率采樣頻率為)is的情況下，與圖7所示的動作同樣，使一ps 0的范圍的頻率成分的相位只移動71/2，使0 p的范圍的頻率成分的 相位只移動一兀/2。同樣的，在垂直相位移動部(2107)中，在輸入信 號的垂直頻率采樣頻率為vs的情況下，使一vs 0的范圍的頻率成分
的相位只移動7T/2，使0 vs的范圍的頻率成分的相位只移動一Tl/2。
同樣的，在傾斜(右下)相位移動部(2701)和傾斜(右上)相 位移動部(2702)中，如該圖(c)和該圖(d)分別表示的，信號的 相位只移動一兀/2或7i/2。這些"頻率一相位差"特性能夠通過使圖8所 示的抽頭系數(shù)(夕、乂7°係數(shù))與二維采樣點相配合地配置在水平、垂 直、傾斜(右下)、傾斜(右上)的各個方向而容易地實現(xiàn)。
圖29表示混合器(2707)的第一結構例。在該圖中，使用加法器 (2901)和乘法器(2902)，生成輸入混合器(2707)的SR (水平)、 SR (垂直)、SR (右下)、SR (右上)的各信號的平均值并輸出。該圖 所示的結構是最簡單地構成混合器(2707)的例子，水平、垂直、右 下、右上的各分辨率提高效果均分別成為1/4。
圖30表示混合器(2707)的第二結構例。在該圖中，相對輸入混 合器(2707)的SR (水平)、SR (垂直)、SR (右上)、SR (右下)的 各信號，使用乘法器(3005)、乘法器(3006)、乘法器(3007)、乘法 器(3008)，分別乘以系數(shù)K (水平)、系數(shù)K (垂直)、系數(shù)K (右下)、 系數(shù)K (右上)，由加法器(3009)使這些信號相加并輸出。系數(shù)K (水 平)、系數(shù)K (垂直)、系數(shù)K (右下)、系數(shù)K (右上)分別由系數(shù)決 定器(3001)(3002)(3003)(3004)生成。以下說明該系數(shù)決定器(3001) (3002) (3003) (3004)的動作。
圖27所示的折返成分除去部(2108) (2109) (2705) (2706)基
于該圖所示的相位差eH(2io2)、相位差ev(2io3)、相位差(eH+ev)、
相位差(一0H+eV)，通過圖l所示的系數(shù)決定器(109)產生圖9所示的系數(shù)C0 C3，并進行除去折返成分的運算。此時，為了防止相位
差eH (2102)、 ev (2103)、 (0H+ev)、 (一eH+ev)為o時的系數(shù)
Cl和C3的不確定以及相位差0H (2102)、 0V (2103)、 (0H+0V)、
(一eH+ev)接近o時的系數(shù)ci、 C3變大而相對噪聲等變得脆弱的
問題，導入圖13所示的系數(shù)C4 (0￡C42)，優(yōu)選以圖ll所示的結構 進行輔助的像素插補。反言之，系數(shù)C4的值為0.0時存在分辨率提高 的效果，但隨著系數(shù)C4的值接近1.0，分辨率提高的效果變小。禾U用 該性質，以水平相位差0H (2102)為0附近(即系數(shù)C4 (水平)在 1.0附近)時水平分辨率變換結果的SR (水平)變弱；水平相位差0H (2102)不為0附近(即，系數(shù)C4 (水平)在0.0附近)時水平分辨 率變換結果的SR (水平)變強的方式，通過系數(shù)決定器(3001)決定 系數(shù)K (水平)。
作為其一個例子，系數(shù)k (水平)二 (l+C4 (水平)x3—C4 (垂 直)一C4(右下)一C4(右上))/4即可。同樣的，通過系數(shù)決定器(3002) (3003) (3004)分別決定系數(shù)K (垂直)、K (右下)、K (右上)。此 時，對于獨立變化的系數(shù)C4 (水平)、系數(shù)C4 (垂直)、系數(shù)C4 (右 下)、系數(shù)C4 (右上)，以系數(shù)K (水平)十系數(shù)K (垂直)屮系數(shù)K (右下)屮系數(shù)K(右上)二1.0的方式決定系數(shù)K，混合SR(水平)、 SR (垂直)、SR (右上)、SR (右下)
在圖31和圖32中分別表示混合器(2707)的第三動作和結構例。 圖31與圖25同樣是水平頻率為ji、垂直頻率為v而表示的二維頻率區(qū) 域。在圖31中，如果原輸入圖像的水平采樣頻率為^、垂直采樣頻率 為vs，則圖27所示的分辨率變換部(4)的輸出是水平頻率p在一ps ^s的范圍內、垂直頻率v在一vs vs的范圍內的信號。
傾斜(右上)的分辨率變換的效果較大的是，圖31所示的()i， v) =(+ps/2， +vs/2)的附近和(fi， v) = (—)is/2， 一vs/2)的附近 的頻率區(qū)域(3101)的成分(特別是包括(p， v) = (+ps/2， +vs/2)， (i>0、 vX)的頻率的區(qū)域，和包括(p， v) = (—ps/2， 一vs/2)， p<0、 xko的頻率的區(qū)域的成分)。
傾斜(右下)的分辨率變換的效果較大的是，圖31所示的(p， v) =(+ps/2， 一vs/2)的附近和(}i， v) = (—iis/2， +vs/2)的附近的頻率區(qū)域(3102)的成分(特別是包括(|i， v) = (+pS/2， _vs/2)， p>0、 v〈0的頻率的區(qū)域，和包括(p， v) = (—|is/2， +vs/2)， |i<0、 v>0的頻率的區(qū)域的成分)。
由此，由二維濾波器抽出這些頻率成分(3101) (3102)，并與圖 25所示的頻率成分(2501) (2502) —同混合，則能夠有選擇地輸出分 辨率提高效果較大的成分。
圖32表示抽出水平、垂直、傾斜(右下)、傾斜(右上)的各分 辨率變換的效果較大的成分的混合器(2707)的結構例。在該圖中， 使用二維濾波器(3201)，抽出輸入混合器(2707)的SR (右下)的 分辨率提高效果較大的頻率區(qū)域(3102)的成分。同樣，使用二維濾 波器(3202)，抽出輸入混合器(2707)的SR (右上)的分辨率提高 效果較大的頻率區(qū)域(3101)的成分。此外，通過圖26所示的二維濾 波器(2601) (2602)，分別抽出SR (水平)和SR (垂直)的分辨率 提高效果較大的頻率區(qū)域(2501) (2502)的成分。作為頻率區(qū)域(2501) (2502) (3101) (3102)以外的成分，使用加法器(3203)和乘法器
(3204) 生成SR (水平)、SR (垂直)、SR (右下)、SR (右上)的平 均的信號，使用二維濾波器(3205)，抽出二維濾波器(2601) (2602)
(3201) (3202)的各通過帶域以外的成分。二維濾波器(2601) (2602) (3201) (3202) (3205)的各輸出信號在加算器(3206)中相加，成 為混合器(2707)的輸出。
其中，該圖中所示的二維濾波器(2601) (2602) (3201) (3202)
(3205) 中的被圓圈包圍的數(shù)字分別表示濾波器的抽頭系數(shù)的一個例 子。
根據以上說明的實施例9的圖像信號處理裝置，能夠生成在水平 方向和垂直方向之外，傾斜方向也被高分辨率化的高分辨率圖像。
而且，也可以通過專利文獻l、專利文獻2、非專利文獻l記載的 現(xiàn)有技術，使用三個幀，相對多個方向進行一維(水平、垂直、傾斜 (右下)、傾斜(右上))的高分辨率化，并在圖27所示的混合器(2707) 中輸入這些結果進行混合，作為二維的分辨率變換結果輸出。在該情 況下，相比于圖27所示的僅使用兩幀進行二維的分辨率變換的結構， 幀存儲器、運動推定部等信號處理電路的規(guī)模變大，但如專利文獻l、專利文獻2、非專利文獻l所述，至少使用7幀的信號，也能夠使幀存 儲器、運動推定部等信號處理電路的規(guī)模變小。
此外，不限于專利文獻l、專利文獻2、非專利文獻l所述的現(xiàn)有 技術，也可以應用其他現(xiàn)有的高分辨率化技術，相對多個方向進行一 維(水平、垂直、傾斜(右下)、傾斜(右上))的高分辨率化，并在
圖27所示的混合器(2707)中輸入這些結果進行混合，作為二維的分 辨率變換結果輸出。
此外，在圖27中，舉出使用幀#1和幀#2的輸入信號的組變換 幀#1的分辨率的情況為例進行了說明，但此外，例如也可以使用幀# 1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們 的結果混合，作為幀#1的最終的分辨率變換結果。作為此時的混合方 法，可以是各結果的平均值，也可以如圖23和圖24所示根據每幀的 系數(shù)C4 (幀)的值進行混合。在該情況下，作為系數(shù)C4 (幀)，也可 以使用每幀的系數(shù)C4 (水平)和系數(shù)C4 (垂直)的MAX值(不是較 小的值)。此外，也可以針對每個像素比較所有的組的系數(shù)C4 (水平) 和系數(shù)C4 (垂直)，針對每個像素選擇從系數(shù)C4最小的組(即分辨率 提高效果最大的組)得到的分辨率變換結果，并作為幀#1的最終的分 辨率變換結果。
由此，例如以幀#1為基準，在幀#2是幀#1之前的幀，幀#3 是幀#1未來的幀時，在幀#1的時刻被拍攝體從"運動"變化為"靜止" 的情況下(結束運動)，通過幀#1和幀#2進行分辨率變換處理，在 幀#1的時刻被拍攝體從"靜止"變化為"運動"的情況下(開始運動)， 通過幀# 1和幀#3進行分辨率變換處理，以上述方式針對每個像素混 合各處理結果，因此能夠有效地利用被拍攝體的運動，能夠使分辨率 提高效果最大。
使用圖33說明本發(fā)明的實施例10的圖像信號處理方法。 實施例IO表示通過與軟件協(xié)同作用的控制部實現(xiàn)與實施例9的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。進 行本實施例的圖像信號處理方法的圖像處理裝置與實施例2同樣為圖 18所示的圖像處理裝置，因此省略其說明。圖33表示本實施例的動作的流程圖。圖33的流程是，從步驟 (3301)開始，在步驟(5 — 1) (5—2) (5—3) (5—4)分別進行水平、 垂直、傾斜(右下)、傾斜(右上)的高分辨率化。此處，在各步驟(5 —1) (5—2) (5 — 3) (5—4)中，圖14 圖16所示的處理步驟(5) 或后述的圖42 圖44所示的處理步驟(5)中的任一個在水平、垂直、 傾斜(右下)、傾斜(右上)的各方向實施即可。即，使兀/2相位移動 (1407) (1408)、希爾伯特變換(1510)等的"頻率一相位"特性如圖
28所示根據各個方向變更，并且將相位差e分別置換為eH、 ev、 (0H 十ev)、 (一eH+ev)迸行處理即可。如使用圖14 圖16所說明的，
各步驟(5_1) (5—2) (5_3) (5—4)的處理結果寫入各自的幀緩存 器#3。接著，在步驟G302 — l) (3302—2) (3302—3) (3302 — 4) 中，分別進行垂直、水平、傾斜方向的像素插補，以輸出的幀的水平、 垂直的像素數(shù)相同的方式生成二維幀緩存器#3的全像素。接著，在步 驟(3303)中，依據使用圖29、圖30、圖32所說明的方法針對每個 像素混合各幀緩存器#3的數(shù)據，輸出至輸出用的幀緩存器#4。而且， 在通過軟件程序實現(xiàn)上述第8 實施例9的動作的情況下，不需要進行 傾斜方向的處理的步驟(5_3) (5—4)，相對它們的結果進行像素插 補的步驟(3302 — 3) G302 — 4)。此外，作為歩驟(3303)的混合方 法，依據使用圖22、圖23、圖26說明的方法，混合數(shù)據。
根據以上說明的實施例IO的圖像信號處理方法，能夠生成在水平 方向和垂直方向之外，傾斜方向也被高分辨率化的高分辨率圖像。
圖38表示本發(fā)明的實施例11的圖像處理裝置。本實施例的圖像 處理裝置包括例如被輸入電視播放信號等運動圖像的幀列的輸入部 (1);使用從該輸入部(1)輸入的4個幀，用于分別進行水平方向兩 倍、垂直方向兩倍的高分辨率化的分辨率變換部(8);和基于通過該 分辨率變換部(8)被高分辨率化的幀而顯示圖像的顯示部(3)。在該 分辨率變換部(8)中，相對輸入的四個幀的各圖像信號，進行水平方 向、垂直方向和水平/垂直方向的各自的相位移動，由此除去二維頻率 區(qū)域的折返成分，實現(xiàn)二維的高分辨率化。以下說明分辨率變換部(8) 的詳細內容。在圖38中，首先通過位置推定部(3806_2) (3806—3) G806 — 4)，以輸入輸入部(1)的幀#1上的處理對象的像素的二維的采樣位 置(取樣位置)為基準，推定幀#2、幀弁3、幀#4上的各自的對應的 像素的二維位置，求取水平相位差em (3807—2)、 0H3 G807—3)、 0H4 G807—4)和垂直相位差eV2 (3808—2)、 0V3 G808—3)、 0V4 (3808—4)。接著，通過運動補償/提升部(3810)的水平/垂直提升器 (3801 — 1) (3801—2) G801—3) (3801—4)，使用上述相位差0H2 (3807—2)、 0H3 (3807—3)、 6H4 (3807—4)、 0V2 (3808—2)、 0V3 (3808_3)、 0V4 (3808_4)的各信息，對幀#2、幀#3、幀#4進 行運動補償，使其與幀#1進行位置調整，并且使各幀的像素數(shù)分別在 水平、垂直方向上增加至2倍，進行合計4倍的高密度化。在相位移 動部(3811)中，使用水平相位移動器G803 — l) G803—2) (3803 一3) (3803—4)、垂直相位移動器(3804 — 1) (3804—2) (3804—3) G804—4)、水平/垂直相位移動器(3805_1) (3805—2) G805 — 3) (3805—4)，使該已高密度化的數(shù)據的相位在水平方向、垂直方向、 水平/垂直方向分別移動一定量。此處，作為使數(shù)據的相位移動一定量 的單元，能夠使用上述希爾伯特變換器等兀/2相位移動器。在折返成分 除去部(3809)中，使用來自上述相位移動部(3811)的合計16個信 號和來自相位推定部(3812)的合計6個相位差信號，除去水平/垂直 的各個方向的折返成分，得到輸出。該輸出供給顯示部3。其中，位置 推定部G806—2) (3806—3) (3806_4)能夠直接使用上述現(xiàn)有技術。 水平/垂直提升器(3801 — 1) (3801_2) G801—3) (3801—4)將圖5 和圖6所示的動作、結構在水平/垂直方向二維擴展。相位移動器 (3811)、折返成分除去部(3809)的各詳細內容在后面敘述。
圖39表示水平/垂直相位移動器(3805_1) G805—2) (3805—3) (3805_4)的結構例。因為圖像信號的水平方向的相位和垂直方向的 相位相互獨立，因此水平/垂直相位移動器(3805)能夠如圖所示串聯(lián) 組合垂直相位移動器(3804)和水平相位移動器(3803)而實現(xiàn)。此 外可知，使連接順序相反，將水平相位移動器(3803)配置在垂直相 位移動器(3804)之前也能夠進行相同的動作。
圖40中表示上述相位移動部(3811)、折返成分除去部(3809)的各詳細的動作。該圖(a)是水平頻率為^、垂直頻率為v而表示的 二維頻率區(qū)域。如果原輸入圖像的水平采樣頻率為ps、垂直采樣頻率 為vs，以該圖(a)的原點(即(p， v) = (0， O))的附近的信號作 為原成分，可知在(p， v) = (jis， 0)、 ()i， v) = (0， vs)、 (p， v) =(ps， vs)的位置生成折返成分。而且，在它們的原點對稱的位置(即
(ji， v) = (—ps， 0)、 ((i， v) = (0， 一vs)、 (ji， v) 二 (一[is，一 vs))處也生成折返成分，但因為頻率的對稱性，分別等價于(p， v) =(ns， 0)、 (p， v) = (0， vs)、 (n， v) = (ps， vs)的位置的折返 成分。關于通過圖38所示的分辨率變換部(8)分別進行的水平方向 兩倍、垂直方向兩倍的高分辨率化來說，在通過運動補償/提升部(3810) 分別在水平方向、垂直方向進行兩倍的提升(O插入)而使像素數(shù)為4 倍之后，除去在圖40 (a)中表示的(p， v) = ()is， 0)、 (p， v)=
(0， vs)、 (p v) = (ps， vs)的位置生成的折返成分即可。以下說 明該動作。
在圖40 (b)中表示在(p， v) = (0， 0)、 (p， v) = (ps， 0)、 (p， v) = (0， vs)、 (p， v) = (ps， vs)的位置上的各成分的水平 相位旋轉和垂直相位旋轉的狀態(tài)。如圖4所示，在采樣相位不同的多 個幀之間，不產生原成分的相位旋轉，僅是折返成分與采樣相位差相 應地進行相位旋轉。于是，如果考慮以原成分的相位作為基準(Re軸)， 如圖38所示由相位移動部(3811)在水平、垂直、水平/垂直方向上產 生相位正交軸(Im軸)成分，則如圖40 (b)所示，僅使作為原成分 的()i， v) = (0， 0)(即#1)的水平Re軸(=沒有水平方向的相位 旋轉)和垂直Re軸(沒有垂直方向的相位旋轉)的成分的值(各相位 移動后的信號的合計值)為"1"，其他成分(即#2 #16)的值為"O"， 則能夠消除折返成分，僅抽出原成分。
在圖40 (c)中表示用于實現(xiàn)上述圖40 (b)所示的相位關系的矩 陣運算式。在該圖中，M是具有16x16的要素的矩陣，是表示水平、 垂直、水平/垂直的各相位旋轉的運算。關于該矩陣M的詳細內容在后 面敘述。此外，在該圖的左邊表示圖40 (b)的值，右邊的ClReRe C4Imlm表示通過圖38所示的折返成分除去部(3809)在相位移動部 (3811)的各輸出信號上乘以的系數(shù)。即，關于圖38所示的幀#1，在延遲器(3802—1)的輸出信號上乘以系數(shù)ClReRe，在水平相位移 動器(3803_1)的輸出信號上乘以系數(shù)ClImRe，在垂直相位移動器 G804—l)的輸出信號上乘以系數(shù)ClRelm，在水平/垂直相位移動器 (3805 — 1)的輸出信號上乘以系數(shù)ClImlm。以下同樣，關于幀#2， 在延遲器G802—2)的輸出信號上乘以系數(shù)C2ReRe，在水平相位移 動器(3S03—2)的輸出信號上乘以系數(shù)C2ImRe，在垂直相位移動器 (3804-2)的輸出信號上乘以系數(shù)C2Relm，在水平/垂直相位移動器 (3805_2)的輸出信號上乘以系數(shù)C2Imlm。關于幀#3，在延遲器 (3802—3)的輸出信號上乘以系數(shù)ClReRe，在水平相位移動器(3803 一3)的輸出信號上乘以系數(shù)C3ImRe，在垂直相位移動器(3804_3) 的輸出信號上乘以系數(shù)C3Relm，在水平/垂直相位移動器(3805_3) 的輸出信號上乘以系數(shù)C3Imlm。關于幀#4，在延遲器(3802—4)的 輸出信號上乘以系數(shù)C4ReRe，在水平相位移動器(3803_4)的輸出 信號上乘以系數(shù)C4ImRe，在垂直相位移動器(3804—4)的輸出信號 上乘以系數(shù)C4Relm，在水平/垂直相位移動器G805—4)的輸出信號 上乘以系數(shù)C4Imlm。在通過后述的折返成分除去部(3809)，使乘以 上述系數(shù)而得的合計16個信號全部相加時，如果以使圖40 (c)的關 系總是成立的方式決定上述系數(shù)ClReRe C4Imlm，則能夠消除折返 成分，僅抽出原成分。圖40 (d)表示矩陣M的詳細內容。矩陣M是具有上述16x16個 要素的矩陣，由以mij(其中，行編號i和列編號j是滿足l^K4， ig$4 的整數(shù))表示的具有4x4個要素的部分矩陣構成。該部分矩陣mij根 據行編號i分類為該圖(e) (f) (g) (h)所示。在圖40 (e)中表示行編號1=1時的部分矩陣mlj (即mll、 m12、 m13、 m14)的各要素。該部分矩陣mlj是對頻率()i， v) = (0， 0) 的成分起作用的要素，因為與幀間的采樣相位差無關，不會產生水平/ 垂直的相位旋轉，因此成為單位矩陣(即，向右下傾斜的對角線上的 要素均為l，其余要素均為O的矩陣)。在圖40 (f)中表示行編號i=2時的部分矩陣m2j (即m21、 m22、 m23、 m24)的各要素。該部分矩陣m2j是對(p， v) = (ps， 0)的 成分起作用的要素，是根據采樣的水平相位差0Hj(其中，j是滿足1SJS4的整數(shù))使水平方向的相位旋轉的旋轉矩陣。即，垂直相位軸相同的圖40 (b)所示的井5和弁6、以及#7和#8分別成對，以水平頻率軸為中心使相位旋轉eHj的旋轉矩陣。其中，j=i時的水平相位差em在圖38中沒有表示，但將其解釋為幀#1 (基準)和幀#1 (與處理對象=基準相同)之間的相位差(=0)，以em二o進行處理即可。以下， 關于垂直相位差evi，也同樣地作為evi二o處理。在圖40 (g)中表示行編號i=3時的部分矩陣m3j (即m31、 m32、 m33、 m34)的各要素。該部分矩陣m3j是對(p， v) = (0， vs)的 成分起作用的要素，是根據采樣的垂直相位差0Vj(其中，j是滿足1SJS4 的整數(shù))使垂直方向的相位旋轉的旋轉矩陣。g卩，水平相位軸相同的 圖40 (b)所示的弁9和#11、以及#10和#12分別成對，以垂直頻率軸為中心使相位旋轉evj的旋轉矩陣。在圖40(h)中表示行編號i二4時的部分矩陣m4j (即m41、 m42、 m43、 m44)的各要素。該部分矩陣m4j是對(p， v) = ([is， vs)的 成分起作用的要素，是根據采樣的水平相位差0Hj和垂直相位差6Vj (其中，j是滿足l^jS4的整數(shù))這兩者，使水平方向、垂直方向的相 位均旋轉的旋轉矩陣。即，是上述m2j和m3j的積。換個角度看，關于mlj、 m2j、 m3j，設其如m4j所示是使水平方 向、垂直方向的相位均旋轉的旋轉矩陣，則認為在mlj的情況下是設 定成0Hj二eVj二O，在m2j的情況下是設定成eVj二O，在m3j的情況 下是設定成0均=0，成為與上述說明相同的部分矩陣。這樣，基于各采樣相位差(eHj， eVj)決定矩陣M，以圖40 (c) 所示的等式總是成立的方式，決定合計16個系數(shù)(ClReRe C4Imlm)。 此時，相對矩陣M預先求取逆矩陣M—、通過圖40 (i)所示的運算決 定系數(shù)(ClReRe C4Imlm)即可。作為求取逆矩陣M—1的方法，已 知使用余因子矩陣的方法、使用Gauss-Jordan的清償法(掃含出L法) 的方法、分解為三角矩陣以進行計算的方法等，因此，此處省略圖示。圖41表示圖38所示的折返成分除去部(3809)的詳細的結構例。 在該圖中，在系數(shù)決定部(4101)中，基于從圖38所示的位置推定部 (3812)輸出的水平相位差(eH2、 0H3、 0H4)和垂直相位差(eV2、 eV3、 eV4)，通過圖40 (i)所示的逆矩陣運算，生成各系數(shù)(ClReRe C4Imlm)。這些系數(shù)通過乘法器(4102)與從相位移動部(3811)輸出 的各幀的信號相乘，通過加法器(4103)進行全加法計算，成為折返 成分除去部(3809)的輸出信號(即，分辨率變換部(8)的輸出信號)。 因為一般來說，水平相位差(6H2、 6H3、 6H4)和垂直相位差(0V2、ev3、 ev4)在輸入幀上的每個像素中值不同，所以必須針對每個像素 進行上述逆矩陣運算。此時，也可以使水平相位差(eH2、 eH3、 eH4) 和垂直相位差(ev2、 ev3、 ev4)為代表性的相位差(例如圖9 (d)所示的兀/8的整數(shù)倍等)，預先生成各系數(shù)(ClReRe C4Imlm)，使用 ROM (Read Only Memory:只讀存儲器)等進行表格化。因為已知一 般的表格參照方式，所以省略圖示。圖42表示圖38所示的折返成分除去部(3809)的其他結構例。 在上述說明中，按照使得圖40 (c)所示的等式總是成立的方式決定合 計16個系數(shù)(ClReRe C4Imlm)時，預先求取相對矩陣M的逆矩陣 M—、通過圖40 (i)所示的運算決定系數(shù)(ClReRe C4Imlm)，但是， 存在依據水平相位差(0H2、 0H3、 0H4)和垂直相位差(eV2、 0V3、 0V4)的值，逆矩陣M^不存在，系數(shù)(ClReRe C4Imlm)無法決定 的情況。逆矩陣M—i是否存在，在通過系數(shù)決定部(4101)計算逆矩 陣M—i時，由使用余因子矩陣的方法、使用Gause-Jordan的消去法的 方法、分解成三角矩陣進行計算的方法等的運算過程能夠容易地進行 判定，在不存在逆矩陣M—i的情況下，以通過上述圖21等所示的分辨 率變換部(4)使用幀#1和幀#2取得輸出信號的方式，切換輸出信 號即可。即，使用圖42所示的水平方向的折返成分除去部(2108)、 垂直方向的折返成分除去部(2109)、像素插補器(2003) (2007)、混 合器(2009)，基于從相位移動部(3811)輸出的幀#1和幀#2，以及從位置推定部輸出的水平相位差em (3807—2)和垂直相位差ev2G808—2)，生成分辨率變換結果，使用切換器(4201)與上述加法 器(4103)的結果進行切換，成為輸出信號即可。而且，也可以不是 使用切換器(4201)進行二維切換，而是以連續(xù)混合(即加權加法運 算)加法器(4103)的輸出和混合器(2009)的輸出的方式構成，例 如以在不存在逆矩陣M—^勺像素的附近增加混合器(2009)的輸出的 混合比的方式構成。通過以上說明的折返成分的除去處理，在圖40 (a)所示的二維頻 率區(qū)域中，在水平方向上能夠達到從中心到(p， v) = (ps， 0)的分 辨率提高效果。此外，在垂直方向上能夠達到從中心到(p， v) = (0， vs)的分辨率提高效果。此外，在傾斜方向上能夠達到從中心到(p v) = (w， vs)的分辨率提高效果。此處，在實施例7所示的圖像信號處理裝置和圖像信號處理方法 中，在水平方向和垂直方向之外，在傾斜方向也進行高分辨率化，但其傾斜方向的分辨率提高效果如圖31所示，不會達到(p， V) = (JLIS，由此，圖38所示的圖像信號處理裝置，相比于實施例7的圖像信 號處理裝置，具有在傾斜方向上能夠提高分辨率直至高頻成分的效果。接著，使用圖44，說明本發(fā)明的實施例11的圖像信號處理裝置與 現(xiàn)有技術的動作的不同點。該圖(a)表示輸入圖38所示的分辨率變 換部(8)的幀#1 (4401)、幀#2(4402)、幀#3 (4403)、幀#4(4404)、 幀#5 (4405)，該圖(b)表示從分辨率變換部(8)輸出的各幀。在 各幀中，被拍攝體以1/4像素一次一次地右旋移動，有意地以四幀為一 周的方式移動被拍攝體。該動作在幀#5以后也同樣連續(xù)進行。在專利文獻l、專利文獻2、非專利文獻l中記載的現(xiàn)有技術中， 如上所述，在相對水平/垂直的二維的輸入信號進行高分辨率化的情況 下，因為折返來自縱橫兩個方向，所以原信號的帶域在縱橫方向均變 寬至兩倍，三個折返成分重合，為了消除該折返成分需要2M+1=7 個數(shù)字數(shù)據(=7個幀圖像的信號)。因此，在如圖34 (a)所示，四 幀一周地輸入信號的情況下，無論選擇哪7個幀均不能夠得到獨立的 數(shù)據，所以高分辨率化處理的解不確定，無法求解。另一方面，使用實施例ll，例如使用鄰接的四幀(幀#1 (4401)、 幀#2 (4402)、幀#3 (4403)和幀#4 (4404))，如該圖(b)所示除 去水平方向、垂直方向、水平/垂直方向的折返成分，能夠實現(xiàn)高分辨 率化。即，通過使用該圖(a)的輸入圖像作為測試圖案，能夠確認本 實施例的動作狀況。作為該測試圖案的樣式，使用一般已知的圓形波 帶板(CZP: Circular Zone Plate),則能夠在顯示部(3)直接看到分辨 率變換的效果。g卩，如果使圓形波帶板如圖44 (a)所示四幀一周地進行移動，則總是能夠顯示已提高水平方向的分辨率和垂直方向的分辨 率的圖像，能夠確認分辨率提高的效果。根據以上說明的實施例11的圖像信號處理裝置，相對4個輸入圖 像幀的各圖像信號進行方向不同的多種類的相位移動(水平方向、垂 直方向、水平/垂直方向)，由此從各個圖像信號中分別生成4個信號。由此，能夠從4個輸入圖像幀的圖像信號中生成16個信號。此處，基 于上述4個輸入圖像幀的相位差，對于該16個信號的各個信號，針對 每個像素計算出用于消除該16個信號的折返成分而進行合成的系數(shù)。 對于生成的圖像的各個像素，計算在上述16個信號的各個信號所具有 的對應像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨 率圖像的像素值。由此，實施例11的圖像信號處理裝置，在水平方向和垂直方向之 外，能夠生成右下方向和右上方向的傾斜成分也被高分辨率化的高分 辨率圖像。此外，實施例11的圖像信號處理裝置的分辨率提高效果，在傾斜 方向上，相比于實施例7的圖像信號處理裝置，能夠提高分辨率直至 更高的頻率成分，能夠生成更高畫質的高分辨率圖像。[實施例12]使用圖43和圖19說明本發(fā)明的實施例12的圖像信號處理方法。實施例12表示通過與軟件協(xié)同作用的控制部實現(xiàn)與實施例11的 圖像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。此處，使用圖19說明用于實現(xiàn)本實施例的圖像信號處理方法的圖 像處理裝置。圖19所示的圖像信號處理裝置包括例如被輸入電視播 放信號等的圖像信號的輸入部(1);存儲用于處理從輸入部(1)輸入 的信號的軟件的存儲部(11);與存儲在存儲部(11)中的軟件協(xié)同作 用，對從輸入部(1)輸入的信號進行圖像信號處理的控制部(10); 控制部(10)在該圖像信號處理中在數(shù)據的緩存中使用的幀緩存器#1(31)、幀緩存器弁2 (32)、幀緩存器#3 (33)、幀緩存器#4 (34); 和用于對從控制部(10)輸出至輸出部(3)的圖像信號處理后的信號 進行幀緩存的緩存器#5 (35)。此處，圖19所示的圖像信號處理裝置所具有的輸入部(1)的個數(shù)與圖像處理中使用的幀數(shù)相同為4個，也可以僅具有一個輸入部(1), 連續(xù)輸入4幀。此處，在數(shù)據的緩存中使用的幀緩存器弁l (31)、幀緩存器#2 (32)、幀緩存器#3 (33)、幀緩存器#4 (34)和存儲軟件的存儲部 (11)，可以分別使用不同的存儲器芯片構成，也可以使用一個或多個 存儲器芯片，分割各數(shù)據地址而進行使用。在本實施例中，控制部(10)與存儲在存儲部(11)中的軟件協(xié) 同作用，對從輸入部(1)輸入的圖像信號進行圖像信號處理，輸出至 顯示部(3)。使用圖43說明該圖像信號處理的詳細內容。圖43的流程圖是，從歩驟(4301)開始，在步驟(4302_1) (4302 _2) (4302_3) (4302—4)，將各幀的圖像數(shù)據在水平/垂直方向上均 分別提升為兩倍。即，在步驟(4302_1)對幀#1的圖像數(shù)據進行提 升，并寫入幀緩存器弁1，在步驟(4302_2)對幀#2的圖像數(shù)據進行 提升，并寫入幀緩存器#2,在步驟(4302—3)對幀#3的圖像數(shù)據進 行提升，并寫入幀緩存器#3，在步驟(4302—4)對幀#4的圖像數(shù)據 進行提升，并寫入幀緩存器#4。此處，提升能夠通過使各幀緩存器的 值一度清0，之后針對每一個水平像素、每一個垂直像素寫入數(shù)據而實 現(xiàn)。接著，在步驟(4303)中，設定幀緩存器#1的最初的像素(例如 左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器#1 的所有的像素數(shù)據的處理結束。在歩驟(4304_2)中，以幀緩存器#1的對象像素為基準，推定 幀緩存器#2中對應的像素的位置，輸出水平相位差0H2和垂直相位 差eV2。同樣的，在歩驟(4304_3)中，以幀緩存器#1的對象像素 為基準，推定幀緩存器#3中對應的像素的位置，輸出水平相位差eH3 和垂直相位差eV3。此外，在步驟(4304_4)中，以幀緩存器#1的 對象像素為基準，推定幀緩存器#4中對應的像素的位置，輸出水平相位差eH4和垂直相位差ev4。此時，作為推定對應的像素的位置的方法，能夠直接使用上述現(xiàn)有技術。在歩驟(4305_2)中，基于步驟(4304—2)中求取的水平相位 差0H2和垂直相位差0V2，對幀緩存器#2中的對應的像素的附近的像素進行運動補償。將使用圖5和圖6說明的動作相對水平方向和垂 直方向的各個方向同樣地進行該運動補償?shù)膭幼骷纯伞Ｍ瑯拥?，在步驟(4305 — 3)中，基于步驟(4304_3)中求取的水平相位差0H3和 垂直相位差eV3，對幀緩存器#3中的對應的像素的附近的像素進行運 動補償。此外，在步驟(4305_4)中，基于步驟(4304—4)中求取 的水平相位差0H4和垂直相位差0V4，對幀緩存器#4中的對應的像 素的附近的像素進行運動補償。接著，在步驟(4313)中，相對幀緩存器#1和已運動補償?shù)膸?存器#2、幀緩存器#3、幀緩存器#4，通過步驟(4306_1) (4306_ 2) (4306_3) (4306—4)使水平相位移動一定量，通過歩驟(4307 — 1) (4307—2) (4307—3) (4307_4)使垂直相位移動一定量。此外， 相對歩驟(4307 — 1) (4307_2) (4307—3) (4307_4)的結果，進一 步通過步驟(4308_1) (4308—2) (4308—3) (4308—4)使水平相位 移動一定量，使水平和垂直的兩者的相位移動一定量。即，使各幀緩 存器中的像素數(shù)據在水平方向和垂直方向上移動兀/2相位。接著，在步驟(4309)中，基于水平相位差(0H2、 eH3、 9H4)和垂直相位差(ev2、 ev3、 ev4)以圖40所示的方法決定全部的16個系數(shù)(ClReRe C4Imlm)，使步驟(4313)的各輸出與上述各系數(shù) 相乘并相加(加權相加)，由此從幀緩存器#1、幀緩存器#2、幀緩存 器# 3 、幀緩存器# 4的像素數(shù)據中除去折返成分，輸出至幀緩存器# 5 。 該除去折返成分的動作與使用圖41或圖42所說明的動作相同。接著，在歩驟(4310)中，判定幀緩存器#1的全部像素的處理是 否結束，如果未結束，則在步驟(4311)將下一像素(例如右邊鄰接 的像素)設定為處理的對象，回到步驟(4304_2) (4304_3) (4304 一4)以后，如果已結束則在步驟(4312)結束處理。通過進行以上所述的處理，能夠使用幀緩存器#1、幀緩存器弁2、 幀緩存器#3、幀緩存器#4的像素數(shù)據，向幀緩存器#5輸出已進行 高分辨率化的信號。在應用于動畫的情況下，針對每幀重復從步驟 (4301)到步驟(4312)的處理即可。而且，在圖38、圖41、圖42、圖43中，說明了輸入的幀的個數(shù) 為4個的情況，但本發(fā)明并不限定于此，當輸入n個(其中n是4以上的整數(shù))時，可以從中選擇適于上述分辨率變換處理的4個幀進行使用。例如，在輸出圖40 (i)所示的逆矩陣運算時，以使不存在逆矩 陣M—1的像素盡可能少的方式，從n個幀中選擇在分辨率變換處理中 使用的4個幀，針對每個像素或每個由多個像素構成的區(qū)域進行切換。由此，實施例12的圖像信號處理方法具有在傾斜方向上，相比于 實施例10的圖像信號處理方法，能夠提高分辨率直至更高的頻率成分 的效果。該效果的詳細內容與實施例11中說明的圖38所示的圖像信 號處理裝置的效果相同，因此省略說明。如以上所說明的，實施例12的圖像信號處理方法，相對4個輸入 圖像幀的各圖像信號進行方向不同的多種類的相位移動(水平方向、 垂直方向、水平/垂直方向)，由此從各個圖像信號中分別生成4個信號。 由此，能夠從4個輸入圖像幀的圖像信號中生成16個信號。此處，基 于上述4個輸入圖像幀的相位差，對于該16個信號的各個信號，針對 每個像素計算出用于消除該16個信號的折返成分而進行合成的系數(shù)。 對于生成的圖像的各個像素，計算在上述16個信號的各個信號所具有 的對應像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨 率圖像的像素值。由此，實施例12的圖像信號處理方法，在水平方向和垂直方向之 外，能夠生成右下方向和右上方向的傾斜成分也被高分辨率化的高分 辨率圖像。此外，實施例12的圖像信號處理方法的分辨率提高效果，相比于 實施例IO的圖像信號處理方法，在傾斜方向上，能夠提高分辨率直至 更高的頻率成分，能夠生成更高畫質的高分辨率圖像。而且，上述實施例1 實施例12的圖像信號處理裝置或圖像信號 處理方法中，舉出在使圖像的分辨率提高的同時使像素數(shù)增加至兩倍 的情況為例進行了說明，但通過使該圖像信號處理裝置或圖像信號處 理方法多次或多層地作用，例如能夠使像素數(shù)以2的冪次倍(=2倍、 4倍、8倍......)增加。g卩，通過使用兩個輸入圖像幀進行信號處理，使像素數(shù)增加至兩倍成為中間圖像幀之后，進一步使用兩個該中間圖 像幀作為新的輸入圖像幀進行信號處理，由此能夠使像素數(shù)進一步增 加至兩倍，得到輸出圖像幀。在該情況下，與輸入圖像幀進行比較，能夠得到4倍的像素數(shù)的輸出圖像幀。同樣的，如果使信號處理總共重復3次，則與輸入圖像幀進行比較，輸出圖像幀的像素數(shù)成為8倍。 此時，為了得到一個輸出圖像幀需要的輸入圖像幀的個數(shù)也成為2的 冪次方(=2個、4個、8個......)。而且，關于最終的輸出圖像，通過在上述圖像處理后進行一般的 分辨率變換處理，也能夠以上述2的冪次倍(=2倍、4倍、8倍......)以外的像素數(shù)進行輸出。[實施例13]圖35表示本發(fā)明的實施例13的圖像顯示裝置。本實施例的圖像 顯示裝置是進行上述實施例7或實施例8中的任一個實施例中所記載 的圖像信號處理的結構的圖像顯示裝置。在該圖中，圖像顯示裝置3500例如包括通過包括電視信號等的 播放波、網絡等輸入播放信號、影像內容、圖像內容等的輸入部3501; 對從輸入部3501輸入的內容進行錄像或再現(xiàn)的錄像再現(xiàn)部3502;錄像 再現(xiàn)部3502記錄內容的內容累積部3503;處理錄像再現(xiàn)部3502再現(xiàn) 的影像信號或圖像信號，作為實施例7或實施例8的任一個實施例所 記載的圖像信號處理裝置的圖像信號處理部3504;顯示通過圖像信號 處理部3504處理的影像信號或圖像信號的顯示部3505;輸出錄像再現(xiàn) 部3502再現(xiàn)的聲音信號的聲音輸出部3506;控制圖像顯示裝置3500 的各結構部的控制部3507;和用戶進行圖像顯示裝置3500的操作的用 戶接口部3508等。圖像信號處理部3504的詳細的動作與實施例7或實施例8中記載 的相同，因此省略說明。圖像顯示裝置3500包括作為實施例7或實施例8中的任一個實施 例所記載的圖像信號處理裝置的圖像信號處理部3504，由此，能夠將 輸入到輸入部3501的影像信號或圖像信號，在顯示部3505中以高分 辨率作為高畫質的影像信號或圖像信號進行顯示。從而，在從輸入部 3501輸入比顯示部3505的顯示器件的分辨率低的低分辨率的信號的 情況下，也能夠使再現(xiàn)信號高分辨率化，以高畫質進行高精細的顯示。此外，在再現(xiàn)累積在內容累積部3503中的影像內容或圖像內容時， 也能夠變換為分辨率更高的高畫質的影像信號或圖像信號，并顯示在顯示部3505中。此外，通過在再現(xiàn)累積在內容累積部3503中的影像內容或圖像內 容之后進行圖像信號處理部3504的圖像處理，累積在內容累積部3503 中的數(shù)據成為相比于顯示在顯示部3505中的分辨率為較低的分辨率。 由此，具有能夠相對地減少內容的數(shù)據量地進行累積的效果。另外，將圖像信號處理部3504包括在錄像再現(xiàn)部3502中，在錄 像時進行上述的圖像信號處理也可以。在這種情況下，沒有必要在再 現(xiàn)時進行上述的圖像信號處理，具有能夠降低再現(xiàn)時的處理負荷的效 果。此處，說明了上述圖像信號處理通過圖像信號處理部3504進行的 情況，但也可以由控制部3507和軟件實現(xiàn)。在該情況下，也可以由實 施例7或實施例8中的任一個實施例所記載的方法進行圖像信號處理。在本實施例中，錄像再現(xiàn)部3502在錄像時，根據從輸入部3501 輸入的影像等內容的狀態(tài)進行編碼之后，將其記錄在內容累積部3503 中即可。此外，在本實施例中，錄像再現(xiàn)部3502在錄像時，如果從輸入部 3501輸入的影像等內容為已編碼的狀態(tài)，則進行解碼并再現(xiàn)即可。此外，在本實施例的圖像顯示裝置中，內容累積部3503并非必需。 在該情況下，錄像再現(xiàn)部3503不進行錄像，而進行從輸入部3501輸 入的影像等的內容的再現(xiàn)即可。在該情況下，能夠將輸入輸入部3501的影像信號或圖像信號在顯 示部3505中作為高分辨率、高畫質的影像信號或圖像信號進行顯示。此外，圖像顯示裝置3500例如可以是等離子體電視、液晶電視、 布勞恩管、投影機等，也可以是此外的使用其他器件的裝置。同樣的， 顯示部3505例如可以是等離子體面板模塊、LCD模塊、投影用器件。 此外，內容累積部3503例如可以是硬盤驅動器、閃存、可移動介質盤 驅動器。聲音輸出部3506例如是揚聲器等。此外，輸入部3501可以 具有接收播放波的調諧器，此外，也可以具有與網絡連接的LAN用連 接器，也可以具有USB連接器。而且，可以具有數(shù)字輸入影像信號、 聲音信號的端子，也可以具有復合(composite)端子或分量(component) 端子等模擬輸入端子。此外，也可以是通過無線傳達數(shù)據的接收部。根據以上說明的實施例13的圖像顯示裝置，相對包括在輸入影像 信號或輸入圖像信號的兩個輸入圖像幀的各圖像信號進行相位移動， 從各圖像信號中分別生成兩個信號。由此，能夠從兩個輸入圖像幀的 圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對 于該四個信號的各個信號，針對每個像素計算出用于消除該四個信號 的折返成分而進行合成的系數(shù)。對于生成的圖像的各個像素，計算在 上述四個信號的各個信號所具有的對應像素的像素值上乘以各系數(shù)并 相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的 各像素進行上述處理，能夠生成相比于輸入圖像幀，在一維方向上已 進行高分辨率化的圖像。在水平方向和垂直方向上分別進行該處理，生成在水平方向上高 分辨率化的圖像和在垂直方向上高分辨率化的圖像。對于該在水平方 向上高分辨率化的圖像和在垂直方向上高分辨率化的圖像，在分別進 行垂直方向、水平方向的提升處理之后，使兩者混合。由此，能夠從包括在輸入影像信號或輸入圖像信號的兩個輸入圖 像幀的各圖像信號中生成在垂直方向和水平方向這兩個方向上高分辨 率化的高分辨率圖像。即，能夠生成二維高分辨率圖像，并能夠在顯 示部進行顯示。此外，實施例13的圖像顯示裝置使用兩個輸入圖像幀，因此能夠 以較少的圖像處理量實現(xiàn)高分辨率顯示。由此，能夠實現(xiàn)折返成分較 少的、在垂直方向和水平方向這兩個方向上在顯示部中顯示高分辨率 的影像或圖像的圖像顯示裝置。[實施例14]本發(fā)明的實施例14的圖像顯示裝置，是在實施例13的圖像顯示 裝置中，將圖35所示的圖像信號處理部3504替換為實施例9記載的 圖像信號處理裝置。其他結構與實施例13的圖像顯示裝置相同，因此 省略說明。此外，圖像信號處理部3504的詳細的動作與實施例9記載的相同， 因此省略說明。根據實施例14的圖像顯示裝置，使用包括在輸入影像信號或輸入 圖像信號的兩個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像，在水平方向、垂直方向和傾斜方向上已進行高分辨率化的高分辨率圖 像。此外，能夠實現(xiàn)將其顯示在顯示部中的圖像顯示裝置。 [實施例15]本發(fā)明的實施例15的圖像顯示裝置，是在實施例13的圖像顯示裝置中，將圖35所示的圖像信號處理部3504替換為實施例11所述的 圖像信號處理裝置。其他結構與實施例13的圖像顯示裝置相同，因此 省略說明。此外，圖像信號處理部3504的詳細的動作與實施例11記載的相 同，因此省略說明。根據實施例15的圖像顯示裝置，使用包括在輸入影像信號或輸入 圖像信號的4個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像， 在水平方向、垂直方向和傾斜方向上已進行高分辨率化的高分辨率圖 像，并能夠實現(xiàn)在顯示部中進行顯示的圖像顯示裝置。此外，實施例15的圖像顯示裝置的分辨率提高效果，相比于實施 例14的圖像顯示裝置，能夠在傾斜方向上提高分辨率直至高頻成分， 能夠顯示更高畫質的高分辨率圖像。[實施例16]本發(fā)明的實施例16的圖像顯示裝置，是在實施例13的圖像顯示 裝置中，將圖35所示的圖像信號處理部3504替換為實施例1、實施例 3或實施例5中的一個實施例所記載的圖像信號處理裝置。其他結構與 實施例13的圖像顯示裝置相同，因此省略說明。此外，圖像信號處理部3504的詳細的動作與實施例1、實施例3 或實施例5記載的相同，因此省略說明。根據實施例16的圖像顯示裝置，使用包括在輸入影像信號或輸入 圖像信號的兩個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像， 在一維方向上已進行高分辨率化的高分辨率圖像，并能夠實現(xiàn)在顯示 部中進行顯示的圖像顯示裝置。[實施例17]圖36表示本發(fā)明的實施例17的錄像再現(xiàn)裝置。本實施例的錄像 再現(xiàn)裝置是進行上述實施例7或者實施例8的任意一個實施例所記載 的圖像信號處理的結構的錄像再現(xiàn)裝置。在該圖中，錄像再現(xiàn)裝置3600例如包括通過例如包含電視信號 等的播放波或網絡等輸入播放信號、影像內容、圖像內容等的輸入部3501;對從輸入部3501輸入的內容進行錄像或者再現(xiàn)的錄像再現(xiàn)部 3502;錄像再現(xiàn)部3502進行內容的記錄的內容累積部3503;作為對錄 像再現(xiàn)部3502再現(xiàn)的影像信號或者圖像信號進行處理的實施例7或者 實施例8的任意一個實施例所記載的圖像信號處理的裝置的圖像信號 處理部3504;將通過圖像信號處理部3504處理后的影像信號或者圖像 信號向其他裝置等輸出的圖像影像輸出部3605;將錄像再現(xiàn)部3502 再現(xiàn)的聲音信號向其他裝置等輸出的聲音輸出部3606;對錄像再現(xiàn)裝 置3600的各結構部進行控制的控制部3507;和用戶進行錄像再現(xiàn)裝置 3600的操作的用戶接口部3508等。錄像再現(xiàn)裝置3600包括作為實施例7或者實施例8的任意一個實 施例所記載的圖像信號處理裝置的圖像信號處理部3504，由此能夠將 輸入部3501輸入的影像信號或者圖像信號作為更高分辨率且更高畫質 的影像信號或者圖像信號，輸出至其他裝置等。因此，能夠適當實現(xiàn) 使低分辨率的影像信號或者圖像信號高分辨率化并變換成高畫質、高 精細的影像信號或者圖像信號的高畫質高分辨率信號變換裝置。此外，在對內容累積部3503中存儲的影像內容或者圖像內容進行 再現(xiàn)時，也能夠變換成更高分辨率且更高畫質的影像信號或者圖像信 號再輸出至其他裝置等。因此，能夠適當實現(xiàn)預先輸入并存儲有低分辨率的影像信號或者 圖像信號，當再現(xiàn)、輸出時進行高分辨率化并變換成高畫質、高精細 的影像信號或者圖像信號加以輸出的錄像再現(xiàn)裝置。此外，通過在內容累積部3503中存儲的影像內容或者圖像內容的 再現(xiàn)后進行圖像信號處理部3504的圖像處理，能夠使內容累積部3503 中存儲的數(shù)據為相比輸出到其他裝置的信號的分辨率相對低的分辨 率。因此具有能夠相對地減小內容的數(shù)據量加以存儲的效果。此外，也可以將圖像信號處理部3504包含在錄像再現(xiàn)部3502中， 在錄像時進行上述圖像信號處理。在這種情況下，由于再現(xiàn)時沒有必 要進行上述圖像信號處理，所以具有能夠降低再現(xiàn)時的處理負荷的效 果。在此，對上述圖像信號處理是通過圖像信號處理部3504進行而加以了說明，但是也可以通過控制部3507和軟件來實現(xiàn)。在這種情況下， 通過實施例7或者實施例8的任意一個實施例所記載的方法進行圖像 信號處理也可。在本實施例中，錄像再現(xiàn)部3502根據錄像時從輸入部3501輸入 的影像等的內容狀態(tài)，進行編碼后記錄在內容累積部3503中即可。此外，在本實施例中，如果在錄像時從輸入部3501輸入的影像等 的內容為編碼后的狀態(tài)，則錄像再現(xiàn)部3502進行解碼并再現(xiàn)即可。此外，本實施例的圖像影像輸出部3605和聲音輸出部3606作為 一體也可以。在這種情況下，能夠使用將影像信號和聲音信號以一條 電纜輸出的連接器形狀等。此外，錄像再現(xiàn)裝置3600也可以是例如HDD記錄器、DVD記錄 器、或者使用其他的存儲裝置設備的裝置。同樣地，內容累積部3503 也可以是例如硬盤驅動器、閃存、可移動介質盤驅動器。此外，輸入部3501可以包括接收播放波的調諧器，也可以包括與 網絡連接的LAN用連接器，也可以包括USB連接器。而且，可以包 括對影像信號和聲音信號進行數(shù)字輸入的端子，也可以包括復合(composite)端子或分量(component)端子等模擬輸入端子。此外， 也可以是無線傳送數(shù)據的接收部。此外，圖像影像輸出部3605可以包括對影像信號進行數(shù)字輸出的 端子，也可以包括復合端子或分量端子等進行模擬輸出的端子。此外 可以包括與網絡連接的LAN用連接器，也可以包括USB連接器。而 且，也可以是無線傳送數(shù)據的發(fā)送部。關于聲音輸出部3606，也與圖 像影像輸出部3605相同。再者，輸入部3501也可以包括例如攝像光學系統(tǒng)和受光元件。在 這種情況下，錄像再現(xiàn)裝置3600能夠適用于例如數(shù)字相機、攝像機、 監(jiān)視攝像頭(監(jiān)視攝像系統(tǒng))等。此時例如輸入部3501通過攝像光學 系統(tǒng)將攝影對象拍攝在受光元件上，以從受光元件輸出的信號為基礎 生成圖像數(shù)據或者影像數(shù)據，輸出至錄像再現(xiàn)部3502即可。如果錄像再現(xiàn)裝置3600是例如數(shù)字相機，在一次攝影中記錄時間 上不同的多個圖像，如果對該多個圖像數(shù)據進行圖像信號處理部3504的圖像信號處理，則能夠得到一枚高畫質的高分辨率圖像。而且，圖 像信號處理部3504的圖像處理可以在從數(shù)字相機輸出數(shù)據時，對記錄在內容累積部3503中的圖像進行。此外，使錄像再現(xiàn)部3502和圖像 信號處理部3504 —體等，可以在內容累積部3503中進行記錄之前， 進行圖像信號處理部3504的圖像處理。在這種情況下，可以僅在內容 累積部3503中保存用戶最終想要處理的放大圖像即可，其后用戶處理 圖像數(shù)據時容易管理。根據以上說明的數(shù)字相機，能夠得到具有分辨率超越數(shù)字相機的 受光元件的分辨率的高畫質圖像數(shù)據。此外，如果錄像再現(xiàn)裝置3600是例如攝像機，則將通過輸入部 3501的攝像光學系統(tǒng)攝像在受光元件上的影像作為影像數(shù)據輸出至錄 像再現(xiàn)部3502即可。錄像再現(xiàn)部3502在內容累積部3503中記錄影像 數(shù)據，圖像信號處理部3504從被記錄的影像數(shù)據生成高分辨率化的影 像數(shù)據即可。這樣能夠得到具有分辨率超越攝像機的受光元件的分辨 率的高畫質影像數(shù)據。而且此時，圖像信號處理部3504也可以使用被 記錄的影像數(shù)據中包含的多幀數(shù)據，生成一枚靜像圖像數(shù)據。這樣能 夠從影像數(shù)據中得到一枚高畫質圖像數(shù)據。此外，與上述的數(shù)字相機 的情況相同，圖像信號處理部3504的圖像處理在影像數(shù)據記錄到內容 累積部3503之前，或者記錄之后都可以。根據以上說明的攝像機，能夠得到具有分辨率超越攝像機的受光 元件的分辨率的高畫質影像數(shù)據和利用攝影的影像數(shù)據得到高畫質的 靜態(tài)圖像數(shù)據。此外，在錄像再現(xiàn)裝置3600是例如監(jiān)視攝像頭(監(jiān)視攝像頭系統(tǒng)) 的情況下，也與上述的攝像機的情況相同，能夠得到具有分辨率超越 監(jiān)視攝像頭的受光元件的分辨率的高畫質影像數(shù)據和利用攝影的影像 數(shù)據得到高畫質的靜態(tài)圖像數(shù)據。此時，例如具備攝像光學系統(tǒng)和受 光元件的輸入部3501與錄像再現(xiàn)部3502的距離被隔開，即使在通過 網絡電纜等連接的情況下，以低分辨率的影像數(shù)據發(fā)送至錄像再現(xiàn)部 3502，通過其后的圖像信號處理部3504的圖像信號處理，也能夠進行 高分辨率化。由此，能夠有效利用來自具備攝像光學系統(tǒng)和受光元件 的輸入部3501的發(fā)送網絡的頻帶，并且得到高分辨率的影像數(shù)據。使實施例13乃至實施例16的圖像顯示裝置和本實施例的錄像再 現(xiàn)裝置兩者的功能和各結構部為一體，還能夠得到本發(fā)明的一個實施 方式。在這種情況下，既能夠顯示進行過上述圖像信號處理的影像信 號或者圖像信號，也能夠向其他裝置輸出，能夠作為顯示裝置、記錄 再現(xiàn)裝置、輸出裝置的任意一種裝置加以使用，對用戶而言使用方便。根據以上說明的實施例17的錄像再現(xiàn)裝置，對輸入影像信號或者輸入圖像信號中包含的2枚輸入圖像幀的各圖像信號進行相位移動， 從各圖像信號分別生成2個信號。由此，從2枚輸入圖像幀的圖像信 號生成4個信號。在此，根據2枚輸入圖像幀的相位差，就該4個信 號的各個信號對每個像素計算出用于消除該4個信號的折返成分并進 行合成的系數(shù)。對生成圖像的各個像素，計算在上述四個信號的各個 信號所具有的對應像素的像素值上乘以各系數(shù)并相加所得的和，生成 新的高分辨率圖像的像素值。通過對生成圖像的各像素進行該處理， 生成相比輸入圖像幀在一維方向上的更高分辨率化后的圖像。將其分別在水平方向和垂直方向進行，生成在水平方向高分辨率 化后的圖像和在垂直方向高分辨率化后的圖像。對于該水平方向高分 辨率化后的圖像和垂直方向高分辨率化后的圖像，分別在垂直方向、 水平方向進行過提升處理后，將兩者混合。由此能夠從輸入影像信號或者輸入圖像信號中包含的2枚輸入圖 像幀的各圖像信號，生成在水平方向和在垂直方向這兩方向上高分辨 率化后的高分辨率圖像。即能夠生成二維高分辨率圖像，并能夠將其 輸出。此外，預先在記錄部中記錄有輸入影像信號或者輸入圖像信號， 當從該記錄部進行再現(xiàn)時，能夠從影像信號或者圖像信號中包含的2 枚輸入圖像幀的各圖像信號中，生成在水平方向和在垂直方向這兩方 向上高分辨率化后的二維高分辨率圖像，并能夠將其輸出。此外，實施例17的錄像再現(xiàn)裝置由于使用2枚輸入圖像幀，所以 能夠以很少的圖像處理量實現(xiàn)高分辨率圖像的輸出。由此， 能夠實現(xiàn)折返成分少、在垂直方向和水平方向這兩方向上輸出高分辨 率影像或者圖像的錄像再現(xiàn)裝置。[實施例18]本發(fā)明的實施例18的錄像再現(xiàn)裝置是在實施例17的錄像再現(xiàn)裝置中，將圖36所示的圖像信號處理部3504替換成實施例9中記載的 圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結構與實施例17的錄像 再現(xiàn)裝置相同，因此省略說明。此外，因為圖像信號處理部3504的詳細的動作與實施例9中記載 的相同，因此省略說明。根據實施例18的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像 信號中包含的2枚輸入圖像幀，能夠生成相較輸入影像或者輸入圖像 在水平方向、垂直方向和傾斜方向進行過高分辨率化的二維高分辨率 圖像，并能夠將其輸出。此外，預先在記錄部中記錄有輸入影像信號或者輸入圖像信號， 當從該記錄部進行再現(xiàn)時，能夠從影像信號或者圖像信號中包含的2 枚輸入圖像幀的各圖像信號中，生成在水平方向、垂直方向和傾斜方 向上進行過高分辨率化后的二維高分辨率圖像，并能夠將其輸出。[實施例19]本發(fā)明的實施例19的錄像再現(xiàn)裝置是在實施例17的錄像再現(xiàn)裝 置中，將圖36所示的圖像信號處理部3504替換成實施例11中記載的 圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結構與實施例17的錄像 再現(xiàn)裝置相同，因此省略說明。此外，因為圖像信號處理部3504的詳細的動作與實施例11中記 載的相同，因此省略說明。根據實施例19的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像 信號中包含的4枚輸入圖像幀，能夠實現(xiàn)生成并且輸出相較輸入影像 或者輸入圖像在水平方向、垂直方向和傾斜方向進行過高分辨率化的 二維高分辨率圖像的錄像再現(xiàn)裝置。此外，預先在記錄部中記錄有輸入影像信號或者輸入圖像信號， 當從該記錄部進行再現(xiàn)時，能夠從影像信號或者圖像信號中包含的4 枚輸入圖像幀的各圖像信號中，生成在水平方向、垂直方向和傾斜方 向上進行過高分辨率化的二維高分辨率圖像，并能夠將其輸出。此外，實施例19的錄像再現(xiàn)裝置的分辨率提高效果能夠在傾斜方 向上比實施例18的錄像再現(xiàn)裝置進一步提高分辨率至高頻成分，因而能夠輸出更高畫質的高分辨率圖像。 [實施例20]本發(fā)明的實施例20的錄像再現(xiàn)裝置是在實施例17的錄像再現(xiàn)裝 置中，將圖36所示的圖像信號處理部3504替換成在實施例1、實施例 3或者實施例5的實施例中的一個實施例所記載的圖像信號處理裝置 的錄像再現(xiàn)裝置。由于其他結構與實施例17的錄像再現(xiàn)裝置相同，因 此省略說明。此外，因為圖像信號處理部3504的詳細的動作與實施例1、實施 例3或者實施例5的實施例中記載的相同，因此省略說明。根據實施例20的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像 信號中包含的2枚輸入圖像幀，能夠實現(xiàn)生成并且輸出相較輸入影像 或者輸入圖像在一維方向上進行過高分辨率化的高分辨率圖像的錄像 再現(xiàn)裝置。此外，預先在記錄部中記錄有輸入影像信號或者輸入圖像信號， 當從該記錄部進行再現(xiàn)時，能夠從影像信號或者圖像信號中包含的2 枚輸入圖像幀的各圖像信號中，生成在一維方向上進行過高分辨率化 的高分辨率圖像，并能夠將其輸出。[實施例21]圖45表示本發(fā)明的實施例21的圖像信號處理裝置。本實施例的 圖處理裝置包括例如輸入電視播放信號等運動圖像的幀列的輸入部(1);用于使從該輸入部(1)輸入的幀水平、垂直方向進行組合并二 維高分辨率化的分辨率變換部(4);進而根據通過該分辨率變換部(4) 而高分辨率化的幀顯示圖像的顯示部(3);和對在上述分辨率變換部(4)中使用的相位差信息進行變換的相位變換部(4501)。在此，在 本實施例的圖像信號處理裝置中所使用的分辨率變換部(4)是與本發(fā) 明的實施例8同樣的圖21所示的分辨率變換部(4)，因此省略說明。在本發(fā)明的實施例21的圖像信號處理裝置中，通過使用上述相位 變換部(4501)，將在本發(fā)明的實施例8的圖像信號處理裝置中不能夠 利用于高分辨率化的被拍攝體的運動的信息(水平相位差eH (2102) 和垂直相位差eV (2103))變換為能夠利用于高分辨率化的信息(水 平相位差6H' (4502)和垂直相位差ev' (4503))。以下說明相位變換部(4501)的詳細內容。圖46表示相位變換部(4501)的動作原理。該圖(a)表示在圖 像幀(4601)中被拍攝體向右方向移動的狀態(tài)。以此為例，假設被拍 攝體的運動(4602)僅包括水平方向的運動而不包括垂直方向的運動。 該圖(b)是放大該圖(a)的圖像的一部分(4603)的圖，表示隨著 被拍攝體的運動(4602)，被拍攝體的輪廓線(4610)變化至(4611) 的位置的狀態(tài)。此處，圖像幀(4601)上的(x0， y0)的位置的像素(4607)是 一幀前的(xl， yl)的位置的像素(4606)隨著被拍攝體的運動(4602) 移動而得的。此時，圖45所示的位置推定部(2101)所輸出的垂直相 位差ev (2103)為0，根據圖9所示的計算式，垂直方向的高分辨率 化所必需的系數(shù)Cl (和C3)不確定，因此如果直接使用垂直相位差ev (2103)，則在圖45所示的折返成分除去部(2109)中不能夠除去折 返成分。另一方面，如圖46 (b)所示，如果被拍攝體的輪廓線(4610)上 的像素的亮度值(信號電平)相同，則能夠認為圖像幀(4601)上的(x0， y0)的位置的像素(4607)是一幀前的(x2， y2)的位置的像 素(4608)向下方向(4604)移動而得，或者，是一幀前的(x3， y3) 的位置的像素(4609)向右上方向(4605)移動而得。g卩，如果使用 下方向(4604)或右上方向(4605)的運動信息，則能夠求取值不為0 的垂直相位差eV' (4503)，能夠通過圖45所示的折返成分除去部(2109)除去折返成分。因此，如果在與被拍攝體的本來的運動(4602) 相對應的(xl， yl)的位置的像素(4606)附近推定成為同一亮度的 方向，則可將不能夠利用于高分辨率化的被拍攝體的運動的信息(水 平相位差0H (2102)和垂直相位差ev (2103))變換為能夠利用于高 分辨率化的信息(水平相位差eH' (4502)和垂直相位差eV' (4503))。 圖46 (c) (d) (e)中綜合表示相位變換部(4501)的動作。該圖(c)表示本來的水平相位差0H (2102)和垂直相位差ev (2103)，分 別為(x0—xl)和(y0—yl)的值。該圖(d)表示向同一亮度方向的 相位變換的動作，表示將與被拍攝體的本來的運動(4602)相對應的(xl， yl)的位置的像素(4606)變換為被拍攝體的輪廓線(4610)上的(x2， y2)的位置的像素(4608)的動作。該圖(e)表示，基于 該圖(c) (d)的動作，求取相位變換后的水平相位差0H， (4502)和 垂直相位差eV' (4503)的動作，分別為(x0—x2)和(y0—y2)，即 附(2102) + (xl—x2) =eH+A6H，和9V (2103) + (yl—y2)= eV+A0V。通過圖45所示的分辨率變換部(4)，使用該相位變換后的 水平相位差6H' (4502)和垂直相位差ev' (4503)進行折返成分除去 即可。另外，圖46 (b)所示的像素(4606) (4608) (4609)不僅是實 際的像素(實像素)，也可以是使用附近的實像素進行插補后的像素(插 補像素)。此外，各像素(4606) (4607) (4608) (4609)沒有必要在 被拍攝體的輪廓線之上，只要是相互為相同的亮度值的對應關系即可。 圖47表示實現(xiàn)圖46 (e)所示的相位變換的動作的相位變換部(4501)的結構例。在該圖中，首先，基于從圖45所示的輸入部(1) 輸入的幀#2 (4604)，通過同一亮度方向推定部(4702)生成水平方 向的相位校正值A0H (4707)和垂直方向的相位校正值A0V (4708)， 通過加法器(4703) (4704)分別使從圖45所示的相位推定部(2101) 輸出的水平相位差0H (2102)和垂直相位差eV (2103)相加，分別 輸入切換器(4705) (4706)。與此并行，將水平相位差6H (2102)和 垂直相位差ev (2103)輸入相位判定部(4701)，通過圖45所示的分 辨率變換部(4)判定是否能夠直接利用于折返成分除去，在判定"能 夠直接利用"的情況下，將切換器(4705) (4706)切換至上側，將水 平相位差9H (2102)和垂直相位差eV (2103)直接作為相位變換后 的水平相位差eH'(4602)和垂直相位差ev'(4603 )從相位變換部(4501) 輸出。另一方面，通過相位判定部(4701)判定"不能夠直接利用"的 情況下，將切換器(4705) (4706)切換至下側，將加法器(4703) (4704) 的各瑜出作為相位變換后的水平相位差0H' (4602)和垂直相位差ev'(4603)從相位變換部(4501)輸出。圖48表示在相位判定部(4701)中，判定是否能夠直接利用水平 相位差0H (2102)或垂直相位差ev (2103)的方法。在該圖中，判 定是否能夠使用圖9所示的計算式求取系數(shù)C1 (和系數(shù)C3)，在水平 相位差0H (2102)或垂直相位差ev (2103)的某一方為0而系數(shù)C1、 C3不定的情況下，或由于隨著水平相位差0H (2102)或垂直相位差ev(2103)的某一方接近0而系數(shù)C1、 C3變大導致相對噪聲等變得脆弱 的情況下，判定"水平相位差0H (2102)或垂直相位差ev (2103)不 能夠直接利用"。此處，說明在圖45所示的輸入部(1)中輸入的信號為隔行掃描 的情況。首先，利用圖37說明一般的隔行掃描和逐行掃描。圖37 (a)表 示隔行掃描(2 : 1隔行)的掃描線的位置關系，該圖(b)表示逐行掃 描的掃描線的位置關系。圖中的水平軸表示時間方向(幀方向)的位 置(t)，垂直軸表示垂直位置(v)。該圖(b)中的逐行掃描中，在幀(3705)中掃描線依次掃描。與 此相對，在該圖(a)的隔行掃描中，形成有場(field) (3702)，其形 態(tài)為，與進行傳送或顯示的掃描線(實掃描線)(3701)相互跳過，或 者是不進行顯示的掃描線(3702)交替重復。此外，在下一場中掃描 線(3701)和掃描線(3702)的位置相逆(互補)，組合兩個場(3703) (3704)而形成一個幀(3704)。因此在本實施例中，在輸入圖45所示的輸入部(1)的信號為隔 行掃描的情況下，需要使圖48所示的各系數(shù)C0、 Cl、 C2、 C3為將相位差e (eH或ev)置換為(e士Ti)的值。從而，在相位差e成為士7i而系數(shù)ci、 C3變得不定的情況，或由 于隨著相位差e接近士Ti而系數(shù)ci、 C3變大導致相對噪聲等脆弱的情況下，判定"水平相位差eH (2102)或垂直相位差ev (2103)不能夠直接利用"即可。使用圖49，說明圖47所示的同一亮度方向推定部(4702)的動作 的一個例子。在圖49 (a)中，柵格狀排列的實像素(4901)表示原本 存在于幀上的像素。此外，插補像素(4903)表示以處理對象的像素(4902)為中心配置在圓周上的井1 弁N的N點(N為正整數(shù))，是 使用附近的多個實像素(4901)插補的像素。另外，插補像素(4903) 的位置并不限定于該圖(a)所示的位置，例如該圖(b)所示，也可 以將弁1 弁N的N點的插補像素(4904)矩形狀地配置在中心的像素(4902)的周圍。在這樣配置的插補像素(4903)或(4904)中選擇 與中心的像素(4902)的亮度值的差最小的，求取從連接中心的像素(4902)和選擇的插補像素(4卯3)或(4904)的直線的方向開始的 水平方向的相位校正值A0H (4707)和垂直方向的相位校正值A0V (4708)。圖50表示同一亮度方向推定部(4702)的結構例。在該圖中，首 先，對于輸入的幀#2 (4504)的信號，施加以水平低通濾波器(以下 稱為LPF) (5001)和垂直LPF濾波器(5002)，而得到中心的像素的 值。這些是用于使由錯誤推定同一亮度方向而引起的折返成分的影響 變小的濾波器，使輸入信號的尼奎斯特頻帶的約1/2 1/4的頻率為各 LPF的截止頻率即可。接著，使用像素插補器# 1 (5003 — 1) #N(5003 一N)，生成圖49 (a)所示的插補像素(4903)或圖49 (b)所示的插 補像素(4904)的位置的信號。該像素插補器# 1 ( 5003 — 1) #N(5003 一N)能夠直接利用如上所述使用sine函數(shù)根據位于中心的像素(4902) 的附近的實像素(4901)的值進行像素插補的一般的插補LPF，因此 省略詳細的圖示和說明。像素插補器#1 (5003 — 1) #N(5003—N) 的各輸出是，使用減法器(5004 — 1) (5004—N)，生成與像素插補 前的信號(即實像素=垂直LPF (5002)的輸出)的各個差信號，使 用絕對值化器(5005_1) (5005—N)，求取每個插補像素#1 # N的亮度值的差的絕對值。以使得該值(亮度值的差的絕對值)最小 的方式通過方向選擇器(5006)選擇插補像素，將選擇的插補像素的 位置和中心的實像素的位置的水平方向和垂直方向的差值，作為水平 方向的相位校正值AeH (4707)和垂直方向的相位校正值AeV (4708) 輸出。另外，如果將水平LPF (5001)和垂直LPF (5002)的各截止 頻率設定得較低(即使通過帶域變窄時)，則折返成分變小，但同時表 示本來的同一亮度方向的細小紋理(texture)(圖案)的信號成分也衰 減。相反的，如果將截止頻率設定得較高(即使通過帶域變寬時)，則 細小紋理(圖案)的信號成分殘留，但折返成分的影響變大。從而， 為了使兩者為折衷的關系，水平LPF (5001)和垂直LPF (5002)的 特性優(yōu)選以一邊確認輸入的幀(4504)的實際的圖像與水平方向的相 位校正值A6H (4707)以及垂直方向的相位校正值A0V (4708)的結 果一邊使其最佳化的方式進行設計。另外，在圖49 (a) (b)中，為了簡單，將中心的像素(4902)圖示于與實像素相同的位置，實際上，通過圖45所示的位置推定部(2101)求取幀#1上與處理對象的像素對應的幀#2上的像素的位置，并以此 為中心的像素(4902)的位置。從而，在水平相位差0H (2102)或垂 直相位差ev (2103)的值不是實像素的間隔的整數(shù)倍(包括O)的情 況下，中心的像素(4卯2)也不與實像素為相同位置。在該情況下， 使圖50所示的水平LPF(5001 )的抽頭系數(shù)根據水平相位差0H(2102) 移位，并使垂直LPF (5002)的抽頭系數(shù)根據垂直相位差0V (2103) 移位即可。具體地說，在設水平LPF (5001)的截止頻率為fc (H)， 尼奎斯特頻率為fo (H)的情況下，水平LPF (5001)的抽頭系數(shù)Ck (H)(其中k為整數(shù))為一般已知的sine函數(shù)，使Ck (H) =2sin (丌xfc (H) xk/fn (H) —0H) / (兀xfb (H) xk/fn (H) —0H)即可。垂直 LPF (5002)的抽頭系數(shù)Ck (V)也同樣，使Ck (V) =2sin (兀xfc (V)xk/fn (v) —ev) / (兀xfc (v) xk/& (v) —ev)即可。此外，圖49 (a)中的中心的像素(4902)和插補像素(4903)的 間隔(圓的半徑)、該圖(b)中的中心的像素(4902)插補像素(4904) 的間隔(=矩形的各邊的長度的1/2)，與水平方向的相位校正值A0H(4707) 和垂直方向的相位校正值A6V (4708)的各值的大小相對應， 但這些間隔(圓的半徑、矩形的各邊的長度的1/2)可以為固定值，也 可以為可變值。即，在使用圖46 (e)所示的相位變換后的水平相位差 0H' (4502)和垂直相位差eV' (4503)進行折返變形除去時，可以使 水平方向的相位校正值A0H (4707)和垂直方向的相位校正值A0V(4708) 為實像素(4901)的間隔的約1/2，使得能夠使用圖9所示的 計算式求取系數(shù)C1 (和系數(shù)C3 )，也可以保持A0H(4707)和A6V(4708 ) 的比率一定地適當增減各值，使得水平方向的相位校正值A0H (4707) 和垂直方向的相位校正值A6V (4708)所指向的同一亮度方向不變。此外，也存在以下情況即使保持AQH (4707)和A0V (4708) 的比率一定地適當增減各值，使得水平方向的相位校正值AeH (4707) 和垂直方向的相位校正值A0V (4708)所指向的同一亮度方向不變， 也不能夠使用圖9所示的計算式求取系數(shù)C1 (和系數(shù)C3)。例如，在 圖49 (a)中，在同一亮度方向為水平(弁l)時，垂直方向的相位校 正值AeV(4708)總是0，即使使用相位變換后的垂直相位差eV，(4603)，與直接使用垂直相位差0V (2103)的情況同樣，不能夠通過圖45所 示的折返成分除去部(2109)除去垂直方向的折返成分。在該情況下， 與本發(fā)明的實施例5的圖像信號處理裝置同樣，采用下述結構即可， 在折返成分除去部(2108) (2109)中準備圖11所示的一般的插補低 通濾波器(1101)作為旁通路，通過系數(shù)決定器(1103)生成上述系 數(shù)CO 、 C1之外的新的C4 ，通過乘法器(1102 )使插補低通濾波器(1101) 的輸出與系數(shù)C4相乘，由加法器(1104)加在已高分辨率化的信號上 并輸出。另外，插補低通濾波器(1101)、乘法器(1102)、系數(shù)決定 器(1103)、加法器(1104)、插補的像素插補部(1105)以外的結構 與圖10所示的實施例3的結構相同，因此省略說明。此外，插補低通 濾波器(1101)、乘法器(1102)、系數(shù)決定器(1103)、加法器(1104)、 插補的像素插補部(1105)的動作和結構，與圖12和圖13所示的實 施例5的動作和結構相同，因此省略說明。此外，在圖49(a)(b)所示的中心的像素(4902)和插補像素(4903) (4904)的信號值的差的最小值大于預選決定的閾值時，判定不能夠 推定同一亮度方向，通過圖50所示的同一亮度方向推定部(4702)中 的方向選擇器(5006)使相位校正值A0H (4707)和A6V (4708)的 值分別為0等，使得圖45所示的折返成分除去部(2108) (2109)不 會誤動作即可。根據以上說明的實施例21的圖像信號處理裝置，在實施例8的圖 像信號處理裝置的效果之外，還具有即使是不能夠在實施例8的圖像 信號處理裝置中利用于高分辨率化的被拍攝體的運動的情況下，也能 夠實現(xiàn)高分辨率化的效果。另外，說明本實施例的圖像信號處理裝置的圖45的結構以說明本 發(fā)明的實施例8的圖像信號處理裝置的圖21的構成為基礎，但并不限 定于此，可知相對于本發(fā)明的其他實施例的圖像信號處理裝置設置圖 45所示的相位變換部(4501)也能夠得到同樣的效果，因此省略說明。[實施例22]實施例22是與軟件共同作用，通過控制部實現(xiàn)與實施例21的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。進 行本實施例的圖像信號處理方法的圖像處理裝置是與實施例2同樣的圖18所示的圖像處理裝置，因此省略說明。圖51表示本實施例的動作的流程圖的一個例子。圖51的流程圖在是本發(fā)明的實施例2的圖14所示的流程圖上添加步驟(5103)而得 的，步驟(1401) 步驟(1420)是與本發(fā)明的實施例2同樣的動作， 因此省略說明。在步驟(5103)中，首先在步驟(5101)中，基于通過步驟(1405)求得的相位差e (即水平相位差eH或垂直相位差ev)，判定基于圖9所示的計算式決定的系數(shù)C1是否適當，如果適當則進入步驟(1406) 和步驟(1409)，如果不適當則進入步驟(5102)。此處，在判定系數(shù)ci是否適當時，在相位差e為o而系數(shù)ci變得不穩(wěn)定的情況下、由 于相位差e接近o而系數(shù)ci變大導致相對噪聲等脆弱的情況下，判定"系數(shù)C1不適當"即可。另外，如實施例21中所說明的，輸入圖18所示的輸入部(1)的 信號為隔行掃描的情況下，圖9所示的各系數(shù)C0、 Cl、 C2、 C3為將相位差e置換為(e士兀)的值，因此在相位差e為士兀而系數(shù)ci變得不 穩(wěn)定的情況下、由于隨著相位差e接近±兀而系數(shù)ci變大導致相對噪 聲等脆弱的情況下，判定"系數(shù)ci不適當"即可。在步驟(5102)中，與使用圖46 圖50說明的動作同樣地推定同一亮度方向，在本來的相位差e (即水平相位差eH或垂直相位差ev)上添加水平方向的相位校正值A0H (4707)或垂直方向的相位校正值 AeV(4708)變換為新的相位差e，使用該新的相位差e進行步驟(1406) 和步驟(1409)。如果基于以上的流程圖，從圖51所示的步驟(1401)開始處理， 在步驟(1417)結束處理，則圖18在所示的幀緩存器#3中被緩沖的 信號能夠以幀單位或像素單位向顯示部(3)輸出。通過進行以上所述的處理，使用幀緩存器#1和幀緩存器#2的像 素數(shù)據，能夠向幀緩存器#3輸出已進行高分辨率化的信號。在應用于 運動圖像的情況下，使圖51所示的步驟(1401) 歩驟(1417)的處 理在每一幀中重復即可。另外，對本實施例的動作進行說明的圖51的流程圖，是在本發(fā)明 的實施例2中的圖14所示的流程圖中添加步驟(5103)而得到的，但是相對本發(fā)明的實施例4中的圖15所示的流程圖添加步驟(5103)也能夠得到同樣的效果，這是顯而易見的，因此省略說明。此外，即使以使得水平方向的相位校正值A0H (4707)和垂直方 向的相位校正值A0V (4708)所指向的同一亮度方向不變的方式，將 △0H (4707)和A0V (4708)的比率保持為一定，并適當增減各值， 也可能存在不能夠使用圖9所示的計算式求取系數(shù)C1 (和系數(shù)C3)的 情況。例如，在圖49 (a)中，在同一亮度方向為水平(#1)的情況 下，垂直方向的相位校正值A0V (4708)總是為0，即使使用相位變換 后的垂直相位差ev' (4603)，也與直接使用垂直相位差ev (2103)的 情況同樣，不能夠通過步驟(1420)除去垂直方向的折返成分。在該 情況下，與本發(fā)明的實施例6的圖像信號處理方法同樣，準備圖16所 示的步驟(1605)和步驟(1606)，以在變換后的相位差e為0或0附 近時將歩驟(1606)的處理結果輸出至幀緩存器弁3中的方式構成即可。 該歩驟(1605)和歩驟(1606)與實施例6的動作相同，因此省略說 明。根據以上說明的實施例22的圖像信號處理方法，在實施例2的圖 像信號處理方法的效果之外，還具有即使是不能夠在實施例2的圖像 信號處理方法中利用于高分辨率化的被拍攝體的運動的情況下，也能 夠實現(xiàn)高分辨率化的效果。即，能夠實現(xiàn)與更多樣的被拍攝體的運動 相對應的高分辨率化處理。[實施例23]本發(fā)明的實施例23的圖像顯示裝置，是在實施例13的圖像顯示 裝置中，用圖35所示的圖像信號處理部3504代替實施例21或實施例 22所述的圖像信號處理裝置的結構。其它結構與實施例13的圖像顯示 裝置相同，因此省略說明。此外，圖像信號處理部3504的詳細動作已記載于實施例21或實 施例22，所以省略說明。根據實施例23的圖像顯示裝置，在實施例13的圖像顯示裝置的 效果之外，還具有即使是不能夠在實施例13的圖像顯示裝置中利用于 高分辨率化的被拍攝體的運動的情況下，也能夠實現(xiàn)高分辨率化的效 果。此外，能夠實現(xiàn)將通過該高分辨率化處理生成的圖像在顯示部中顯示的圖像顯示裝置。S卩，能夠生成與更多樣的被拍攝體的運動相對 應的高分辨率圖像，并能夠顯示生成的高分辨率圖像。 [實施例24]本發(fā)明的實施例24的記錄再現(xiàn)裝置，是在實施例17的記錄再現(xiàn) 裝置中，用圖36所示的圖像信號處理部3504代替實施例21或實施例 22所述的圖像信號處理裝置的結構。其他結構與實施例17的記錄再現(xiàn) 裝置相同。因此省略說明。此外，圖像信號處理部3504的詳細動作已記載于實施例21或實 施例22，因此省略說明。根據實施例24的記錄再現(xiàn)裝置，在實施例17的記錄再現(xiàn)裝置的 效果之外，還具有即使是不能夠在實施例17的記錄再現(xiàn)裝置中利用于 高分辨率化的被拍攝體的運動的情況下，也能夠實現(xiàn)高分辨率化的效 果。此外，能夠輸出通過該高分辨率化處理生成的圖像。即，能夠生 成與更多樣的被拍攝體的運動相對應的高分辨率圖像，并能夠輸出生 成的高分辨率圖像。[實施例25]圖52表示本發(fā)明的實施例25的圖像信號處理裝置。本實施例的 圖像處理裝置包括例如輸入電視播放信號等圖像幀的輸入部(1); 在水平、垂直方向組合從該輸入部(1)輸入的幀的用于二維高分辨率 化的分辨率變換部(9);進而基于通過該分辨率變換部(9)被高分辨率化的幀顯示圖像的顯示部(3);和生成在上述分辨率變換部(9)中使用的相位差信息的同一亮度方向推定部(4702)。此處，在本實施例 的圖像信號處理裝置，是從與本發(fā)明的實施例21同樣的圖45所示的 圖像信號處理裝置中除去輸入幀#2的信號的輸入部(1)，并且將位置 推定部(2101)置換為同一亮度方向推定部(4702)的結構。其他結 構和動作與圖45所示的圖像信號處理裝置相同。因此省略說明。本發(fā)明的實施例25的圖像信號處理裝置，具有僅使用從輸入部(1) 輸入的幀#1的信號實現(xiàn)高分辨率化的處理的分辨率變換部(44)。以 下說明其詳細內容。在上述實施例21的圖像信號處理裝置中，通過使用圖45所示的 相位變換部(4501)，將在本發(fā)明的實施例8的圖像信號處理裝置中不能夠利用于高分辨率化的被拍攝體的運動的信息(水平相位差0H(2102) 和垂直相位差ev (2103))變換為能夠利用于高分辨率化的 信息(水平相位差0H， (4502)和垂直相位差ev， (4503))。另一方面，在本發(fā)明的實施例25中，幀弁2的信號和幀#1的信 號相同，§卩，認為圖像完全靜止，由此，在使輸入圖45所示的相位變 換部(4501)的圖像信號為幀#1 (5201)的同時，使被拍攝體的運動 的信息(水平相位差9H (2102)和垂直相位差eV (2103))強制為0， 將圖47所示的相位變換部(4501)的結構僅置換為同一亮度方向推定 部(4702)。以下說明該動作的詳細內容。圖53表示本實施例的圖像信號處理裝置中的同一亮度方向推定部(4702)的動作原理。該圖(a)表示被拍攝體顯示在圖像幀(5301) 中的狀態(tài)。另外，在本實施例的圖像信號處理裝置中，與圖46 (a)所 示的圖像幀(4601)不同，僅處理一個圖像幀(5301)的信號。該圖(b)放大該圖(a)的圖像的一部分(5302)，表示被拍攝體的輪廓線(5303) 的狀態(tài)。此處，如該圖(b)所示，如果被拍攝體的輪廓線(5303)上的像 素的亮度值(信號電平)相同，則能夠認為(xl， yl)的位置的像素(5304) 是(x2， y2)位置的像素(5305)向左下方向(5306)移動 而得到的。S卩，如果將一個圖像幀(5301)考慮成假想的兩個圖像幀， 針對圖像幀(5301)上的處理對象的像素(5304)，將與位于另一個圖 像幀(5301)上的處理對象的附近的同一亮度的像素(5305)的位置 差(采樣相位差)看作運動信息，并生在水平相位差eH' (4502)和垂 直相位差ev' (4503)，則與上述實施例21的圖像信號處理裝置同樣， 能夠實現(xiàn)高分辨率化。另外，該圖(b)所示的像素(5304) (5305) 也可以不是實際的像素(實像素)，而是使用附近的實像素進行插補的 像素(插補像素)。此外，各像素(5304) (5305)也并非必須位于被 拍攝體的輪廓線上，只要是相互為相同的亮度值的對應關系即可。在圖53 (c) (d) (e)中集中表示同一亮度方向推定部(4702)的動作。該圖(c)表示本來的水平相位差eH (2102)和垂直相位差ev(2103) ，因為將一個圖像幀(5301)看作靜止的兩個圖像幀，因此本來的水平相位差eH (2102) = (xi—xi) =0，本來的垂直相位差ev(2103) = (yl—yl) =0。該圖(d)表示向同一亮度方向的相位變 換的動作。表示將(xl， yl)位置的像素(5304)變換為被拍攝體的 輪廓線(5303)上的(x2， y2)位置的像素(5305)的動作。該圖(e) 表示基于該圖(c)(d)的動作，求取相位變換后的水平相位差0H'(4502) 和垂直相位差eV，(4503)的動作，相位變換后的水平相位差0H'(4502) =(xl—x2) =A6H，相位變換后的垂直相位差eV， (4503) = (yl， y2) =A6V。此處，圖52所示的同一亮度方向推定部(4702)與圖50所示的 同一亮度方向推定部(4702)為相同的結構和動作，圖53 (e)所示的 △6H和A0V與從圖50所示的同一亮度方向推定部(4702)輸出的水 平方向的相位校正值A0H(4707)和垂直方向的相位校正值A0V(4708) 相同。在圖52所示的分辨率變換部(9)中，使用通過同一亮度方向推 定部(4702)生成的水平相位差eH' (4502) =A0H (4707)和垂直相 位差eV' (4503) =A0V (4708)進行折返成分除去即可。另外，即使以使得水平方向的相位校正值A0H (4707)和垂直方 向的相位校正值A0V (4708)所指向的同一亮度方向不變的方式，將 A0H (4707)和A0V (4708)的比率保持為一定，并適當增減各值， 也可能存在不能夠使用圖9所示的計算式求取系數(shù)C1 (和系數(shù)C3)的 情況。例如，在同一亮度方向為水平的情況下，垂直方向的相位校正 值A0V(47O8)總是為0，不能夠通過圖52所示的折返成分除去部(2109) 除去垂直方向的折返成分。在此情況下，與本發(fā)明的實施例5的圖像 信號處理裝置同樣，采用在折返成分除去部(2108) (2109)中準備圖 11所示的一般的插補低通濾波器(1101)作為旁通路，通過系數(shù)決定 器(1103)，在上述系數(shù)C0、C1之外還生成新的C4，通過乘法器(1102) 使插補低通濾波器(1101)的輸出與系數(shù)C4相乘，由加法器(1104) 加在高分辨率化的信號上并輸出的結構即可。另外，插補低通濾波器 (1101)、乘法器(1102)、系數(shù)決定器(1103)、加法器(1104)、輔助 的像素插補部(1105)以外的結構與圖10所示的實施例3的結構相同， 因此省略說明。此外，插補低通濾波器(1101)、乘法器(1102)、系 數(shù)決定器(1103)、加法器(1104)、輔助的像素插補部(1105)的動作和結構與圖12和圖13所示的實施例5的動作和結構相同，因此省 略說明。根據以上說明的實施例25的圖像信號處理裝置，能夠使用比現(xiàn)有 例少的一個輸入圖像幀，生成折返成分少、比輸入圖像分辨率高的圖 像。從而，具有即使在輸入的圖像幀僅為一個的情況下，輸入的圖像 幀的全部或一部分(一個區(qū)域)靜止的情況下的靜止部分，被拍攝體 劇烈運動等導致不能夠推定前后的幀間的對應像素的情況下，及作為 連續(xù)幀列為一個一個完全不同的內容的圖像幀導致不能夠推定前后幀 間的對應像素的情況下，也能夠實現(xiàn)高分辨率化的效果。此外，因為實施例25的圖像信號處理裝置使用比現(xiàn)有例少的一個輸入圖像幀，所以具有能夠相比現(xiàn)有例減少需要的圖像處理的量的效 果。另外，說明本實施例的圖像信號處理裝置的圖52的結構以說明本 發(fā)明的實施例21的圖像信號處理裝置的圖45的結構為基礎，但并不 限定于此，即使相對本發(fā)明的其他實施例的圖像信號處理裝置設置圖 52所示的同一亮度方向推定部(4702)，并僅輸入一個幀圖像，也能夠 得到同樣的效果，這是顯而易見的，因此省略說明。[實施例26]實施例26是通過與軟件協(xié)同工作的控制部實現(xiàn)與實施例25的圖 像信號處理裝置的圖像信號處理等價的處理的圖像信號處理方法。進 行本實施例的圖像信號處理方法的圖像處理裝置是從圖18所示的圖像 處理裝置中除去輸入幀#2的輸入部(1)和緩存器#2 (22)、其他與 本發(fā)明的實施例相同的圖像處理裝置，因此省略說明。圖55表示本實施例的動作的流程圖的一個例子。圖55的流程圖 從本發(fā)明的實施例2中圖14所示的流程圖中刪除步驟(1403) (1405) (1406) (1418)，新加入歩驟(5501) (5502)。以下說明與圖14所示 的流程圖不同的方面。首先，本實施例的圖像信號處理方法，僅使用從圖18所示的圖像 處理裝置的輸入部(1)輸入的幀弁l的信號，實現(xiàn)高分辨率化的處理。 因此，與圖14所示的流程圖中的幀#2和幀緩存器#2相關的處理步 驟不再需要，于是刪除步驟(1403) (1405) (1406) (1418)。接著，通過代替步驟(1405 )設置的步驟(5501)，相對在步驟(1404 ) 設定的處理對象的像素，通過使用圖53說明的動作推定同一亮度方向， 生成相位差e (水平相位差eH， (4502)或垂直相位差ev， (4503))， 進行步驟(5502)和步驟(1409)。在步驟(5502)中，將在步驟(5501) 生成的相位差e看作運動信息，對幀緩存器# 1的對象像素的附近的圖 像進行運動補償。此時，作為附近的像素，僅對在步驟(1408)的兀/2 相位移動的處理中使用的像素數(shù)據，即有限的抽頭數(shù)起作用的范圍的 像素數(shù)據進行運動補償即可。該運動補償?shù)膭幼髋c使用圖5和圖6說 明的動作相同。其他的步驟(1401) (1402)、步驟(1407) 歩驟(1417)、和步 驟(1419) (1420)與本發(fā)明的實施例2為同樣的動作，因此省略說明。通過進行以上所述的處理，能夠使用幀緩存器#1的像素數(shù)據，向 幀緩存器#3輸出已進行高分辨率化的信號。在應用于運動圖像的情況 下，使步驟(1401) 步驟(1417)的處理在每一幀中重復即可。根據以上說明的實施例26的圖像信號處理方法，能夠使用比現(xiàn) 有例少的一個輸入圖像幀，生成折返成分少、且比輸入圖像分辨率高 的圖像。此外，實施例26的圖像信號處理方法使用比現(xiàn)有例少的一個輸入 圖像幀，因此具有相比于現(xiàn)有例能夠減少需要的圖像處理的量的效果。 [實施例27]圖54表示本發(fā)明的實施例27的圖像信號處理裝置。本實施例的 圖像處理裝置包括例如輸入電視播放信號等圖像幀的輸入部(1); 在水平、垂直方向組合從該輸入部(1)輸入的幀的用于二維高分辨率 化的分辨率變換部(41);和進而基于通過該分辨率變換部(41)被高 分辨率化的幀顯示圖像的顯示部(3)。在該圖所示的分辨率變換部(41)中，基于輸入的幀圖像的信號 (5201)，通過與上述同一亮度方向推定部(4702)生成水平相位差eH， (4502) =A0H (4707)和垂直相位差0V， (4503) =A0V (4708)， 將這些相位差信息輸入分辨率變換部(9一1)，并且使用乘法器(5401) (5402)使各相位差信息的極性反轉(即，乘以(一l))，并輸入分辨 率變換部(9_2)。在通過各分辨率變換部(9一1) (9_2)進行高分辨率化的處理之后，使用加法器(5403)和乘法器(5404)，使各分辨 率變換部(9_1) (9—2)的各輸出平均化并輸出。另外，同一亮度方 向推定部(4702)和分辨率變換部(9_1) (9_2)的動作和結構與上 述實施例25的同一亮度方向推定部(4702)和分辨率變換部(9)相 同，因此省略說明。在上述的圖53 (b)中表示，在同一亮度方向推定部(4702)中， 對處理對象的像素(5304)推定成為同一亮度的附近的像素(5305) 的方向的樣子。另一方面，如圖49 (a) (b)所示，著眼于作為處理對 象的中心的像素(4902)的附近，由于能夠在微小區(qū)域中將成為同一 亮度的方向看作直線，因此可以按照以處理對象像素(4902)為中心 點對稱的方式使該直線延伸。因此，即使將通過同一亮度方向推定部(4702)生成的水平相位 差eH， (4502)和垂直相位差ev， (4503 )的值利用乘法器(5401) (5402) 進行極性反轉，按照以處理對象像素(4卯2)為中心點對稱的方式將 各相位差的值進行變換以后輸入到分辨率變換部(9-2)中，也能夠得 到與直接使用水平相位差0H' (4502)和垂直相位差eV' (4503)的值 的分辨率變換部(9-1)相同的輸出結果。假如在通過同一亮度方向推定部(4702)生成的水平相位差0H，(4502)和垂直相位差ev' (4503)的值中包含誤差和噪聲的情況下， 由于其影響在分辨率變換部(9-1)和分辨率變換部(9-2)中以相反極 性出現(xiàn)，因此通過將兩者的輸出平均化，能夠減少誤差和噪聲。進一步增加分辨率變換部(9)的個數(shù)，并且不限定乘法器(5401)(5402)的倍率為(一l)，以各種倍率變換水平相位差0H' (4502)和 垂直相位差ev' (4503)的值進行過高分辨率化處理以后，使各分辨率 變換部(9)的輸出平均化輸出即可。例如，將分辨率變換部(9)的 個數(shù)從圖54所示的2個變?yōu)?個，將輸入各分辨率變換部(9)的水 平相位差0H， (4502)和垂直相位差eV， (4503)的倍率，在圖54所 示的l倍和(—1)倍的兩種的基礎上追加0.5倍、(一0.5)倍、1.5倍、(一1.5)倍為合計6種，通過將各分辨率變換部(9)的輸出全部進行 合計并使其為1/6倍而進行平均化，作為輸出信號即可。通過這樣增加 分辨率變換部(9)的個數(shù)，能夠降低在同一亮度方向推定部(4702)中產生的誤差和噪聲。根據以上說明的實施例27的圖像信號處理裝置，除了實施例25 的圖像信號處理裝置的效果以外，還具有能夠降低在同一亮度方向推定部(4702)中產生的誤差和噪聲的效果。 [實施例28]本發(fā)明的實施例28的圖像顯示裝置是在實施例13的圖像顯示裝 置中，將圖35所示的圖像信號處理部3504替換為從實施例25到實施 例27所記載的圖像信號處理裝置的圖像顯示裝置。其他結構與實施例 13的圖像顯示裝置相同，因此省略說明。此外，關于圖像信號處理部3504的詳細動作，因為與從實施例25 到實施例27所記載的相同，所以省略說明。根據實施例28的圖像顯示裝置，由于使用比現(xiàn)有例少的一個輸入 圖像幀，因此具有能夠進一步降低必要的圖像處理的量的效果。[實施例29]本發(fā)明的實施例29的錄像再現(xiàn)裝置是在實施例17的錄像再現(xiàn)裝 置中，將圖36所示的圖像信號處理部3504替換為從實施例25到實施 例27所記載的圖像信號處理裝置的錄像再現(xiàn)裝置。其他結構與實施例 17的錄像再現(xiàn)裝置相同，因此省略說明。此外，關于圖像信號處理部3504的詳細動作，因為與從實施例25 到實施例27所記載的相同，所以省略說明。根據實施例29的錄像再現(xiàn)裝置，由于使用比現(xiàn)有例少的一個輸入 圖像幀，因此具有能夠進一步降低必要的圖像處理的量的效果。[實施例30]圖56表示本發(fā)明的實施例30的圖像信號處理裝置。本實施例的 圖像處理裝置包括輸入例如電視播放信號等的運動圖像幀列的輸入部 (1)、用于對從該輸入部(1)輸入的幀進行組合水平和垂直方向的二 維的高分辨率化的分辨率變換部(43)，和進一歩根據由該分辨率變換 部(43)進行過高分辨率化的幀而顯示圖像的顯示部(3)。本發(fā)明的實施例30的圖像信號處理裝置中所具備的分辨率變換部 (43)包括與本發(fā)明的實施例25的圖像信號處理裝置相同的分辨率 變換部(44)、與本發(fā)明的實施例8的圖像信號處理裝置相同的分辨率變換部(4)、和對這兩者的輸出信號進行混合的混合部(5601)。由于 分辨率變換部(44)和分辨率變換部(4)分別與圖52和圖21所示的 分辨率變換部相同，所以省略說明。以下，詳細說明分辨率變換部(43) 的動作和結構。首先，與本發(fā)明的實施例25的圖像信號處理裝置相同的分辨率變 換部(44)能夠僅利用從輸入部(1)輸入的幀#1的信號實現(xiàn)高分辨 率化。其另一方面，如上所述，通過由分辨率變換部(44)中的同一 亮度方向推定部(4702)生成的水平相位差0H， (4502) 二A0H (4707) 和垂直相位差ev' (4503) =A0V (4708)的值，不能利用圖9所示的 計算式求出系數(shù)C1 (和系數(shù)C3)，存在不能得到高分辨率化的效果的 情況。例如，在同一亮度方向為水平方向或垂直方向的情況下，不能 得到高分辨率化的效果。此外，與本發(fā)明的實施例8的圖像信號處理裝置相同的分辨率變 換部(4)利用從輸入部(1)輸入的幀#1和幀#2的信號兩者實現(xiàn)高 分辨率化。此時，如上所述，通過由分辨率變換部(4)中的位置推定 部(2101)生成的水平相位差0H (2102)和垂直相位差eV (2103) 的值，不能利用圖9所示的計算式求出系數(shù)C1 (和系數(shù)C3)，存在不 能得到高分辨率化的效果的情況。例如，在輸入圖像為逐行掃描的情 況下，在被拍攝體靜止的區(qū)域、被拍攝體的運動恰好為整數(shù)像素單位 的區(qū)域，不能得到高分辨率化的效果。此外，在輸入圖像為隔行掃描 的情況下，在場間圖像的信號值沒有變化的區(qū)域，不能得到高分辨率 化的效果。因此，在本發(fā)明的實施例30的圖像信號處理裝置中所具備的分辨 率變換部(43)中，通過利用混合器(5601)對分辨率變換部(44) 的輸出信號(SR1 (1幀型))和分辨率變換部(4)的輸出信號(SR2 (2幀型))進行混合，高分辨率化的效果得以提高。圖57表示混合器(5601)的第一結構例。在該圖中，利用加法器 (5701)和乘法器(5702)，生成輸入到混合器(5601)中的SR1 (1 幀型)和SR2 (2幀型)的各信號的平均值并且輸出。在該圖所示的結 構中，雖然SR1 (l幀型)和SR2 (2幀型)的各分辨率提高效果均分 別為1/2，但是由于混合器(5601)為最簡單的結構，因此能夠低成本實現(xiàn)。圖58表示混合器(5601)的第二結構例。在該圖中，對于輸入到 混合器(5601)中的SR1 (l幀型)和SR2 (2幀型)的各信號，用乘 法器(5803)和乘法器(5804)分別乘以系數(shù)K (SR1)和系數(shù)K (SR2)， 再用加法器(5805)將兩者相加并輸出。系數(shù)K (SR1)和系數(shù)K (SR2) 分別由系數(shù)決定器(5801)(5802)生成。以下，說明該系數(shù)決定器(5801) (5802)的動作。如本發(fā)明的實施例7的動作所進行過的說明，圖21所示的折返成 分除去部(2108) (2109)以該圖所示的相位差0H (2102)和相位差0V(2103)，在圖1所示的系數(shù)決定器(109)中產生圖9所示的系數(shù)C0 C3，進行折返成分除去的運算。此時，為了防止在相位差0H (2102)、 0V(21O3)為0時系數(shù)Cl和C3為不定，或者由于隨著相位差0H(2102)、 eV (2103)接近0而系數(shù)C1、 C3變大導致對噪聲等變得脆弱，優(yōu)選 導入圖13所示的系數(shù)C4 (0SC4S1)，如圖11所示的結構所示進行補 助像素插補。換句話說，在系數(shù)C4的值為0.0時具有分辨率提高的效 果，但是隨著系數(shù)C4的值接近1.0，分辨率提高的效果變小。利用該性質，在本發(fā)明的實施例7中，以水平相位差0H (2102) 在0附近(即，系數(shù)C4 (水平)為1.0附近)時垂直分辨率變換結果 的SR (垂直)強烈反映，在垂直相位差eV (2103)在0附近(即， 系數(shù)C4 (垂直)為1.0附近)時水平分辨率變換結果的SR (水平)強 烈反映的方式，用水平/垂直方向各自的系數(shù)C4的值決定系數(shù)K (水 平)和系數(shù)K (垂直)。為了實現(xiàn)該動作，在圖23所示的系數(shù)決定器(2301)中進行K (水平)=C4 (水平)+ (1—C4 (垂直))/2的運 算，決定K(水平)，在系數(shù)決定器(2303)中進行K(垂直)二C4(垂 直)+ (1 — C4 (水平))/2的運算，決定K (垂直)。與此相同，在本實施例中，以在分辨率變換部(44)中利用的相 位差0H' (4502)和相位差eV， (4503)為基礎，生成系數(shù)C4 (水平) 和C4 (垂直)，將其平均值作為C4 (SR1)。此外，以在分辨率變換部(4)中利用的相位差eH (2102)和相位差ev (2103)為基礎，生成 系數(shù)C4 (水平)和C4 (垂直)，將其平均值作為C4 (SR2)。 g卩，系 數(shù)C4 (SR1)和C4 (SR2)能夠作為表示通過分辨率變換部(44)和分辨率變換部(4)進行高分辨率化的效果分別為何種程度的指標使用。因此，在圖58所示的混合器(5601 )中，如果在用系數(shù)決定器(5801) 進行K(SR1) =C4(SR1) + (1—C4(SR2))/2的運算，決定K(SR1)， 并且用系數(shù)決定器(5802)進行K (SR2) = C4 ( SR2) + (1 — C4 (SR1)) /2的運算，決定K (SR2)后，根據各系數(shù)K (SR1)和K (SR2)，對 分辨率變換部(44)的輸出(SR1)和分辨率變換部(4)的輸出(SR2) 進行加權相加混合輸出，則能夠在輸出信號中提高分辨率變換部(44) 和分辨率變換部(4)的效果大的一方的信號所占的比例，能夠提高高 分辨率化的效果。根據以上說明的實施例30的圖像信號處理裝置，除了實施例25 和實施例8的圖像信號處理裝置的效果以外，還具有即使是不能在實 施例25和實施例8的圖像信號處理裝置中利用于高分辨率化的被拍攝 體的同一亮度方向和被拍攝體運動的情況下，也能夠實現(xiàn)高分辨率化， 能夠進一步使分辨率提高效果變大的效果。其中，對本實施例的圖像信號處理裝置進行說明的圖56的結構雖 然以與本發(fā)明的實施例25的圖像信號處理裝置相同的分辨率變換部 (44)、和與本發(fā)明的實施例8的圖像信號處理裝置相同的分辨率變換 部(4)為基礎，但并不限定與此，可知即使對本發(fā)明的其他實施例的 1幀輸入型的圖像信號處理裝置和2幀輸入型的圖像信號處理裝置，設 置圖56所示的混合部(5601)，也能夠得到同樣的效果，因此省略說 明。[實施例31]本發(fā)明的實施例31的圖像顯示裝置是在實施例13的圖像顯示裝 置中，將圖35所示的圖像信號處理部3504替換為實施例30所記載的 圖像信號處理裝置的圖像顯示裝置。其他結構與實施例13的圖像顯示 裝置相同，因此省略說明。此外，關于圖像信號處理部3504的詳細動作，因為與實施例30 所記載的相同，所以省略說明。根據實施例31的圖像顯示裝置，除了實施例28和實施例13的圖 像顯示裝置的效果以外，還具有即使不能在實施例28和實施例13的 圖像顯示裝置中利用于高分辨率化的被拍攝體的同一亮度方向和被拍攝體運動的情況下，也能夠實現(xiàn)高分辨率化，能夠進一步使分辨率提 高效果變大的效果。 [實施例32]本發(fā)明的實施例32的錄像再現(xiàn)裝置是在實施例17的錄像再現(xiàn)裝 置中，將圖36所示的圖像信號處理部3504替換為實施例30所記載的 圖像信號處理裝置的錄像再現(xiàn)裝置。其他結構與實施例17的錄像再現(xiàn) 裝置相同，因此省略說明。此外，關于圖像信號處理部3504的詳細動作，因為與實施例30 所記載的相同，所以省略說明。根據實施例32的錄像再現(xiàn)裝置，除了實施例29和實施例17的錄 像再現(xiàn)裝置的效果以外，還具有即使是不能夠在實施例29和實施例17 的錄像再現(xiàn)裝置中利用于高分辨率化的被拍攝體的同一亮度方向和被 拍攝體運動的情況下，也能夠實現(xiàn)高分辨率化，能夠進一步使分辨率 提高效果變大的效果。其中，本發(fā)明的各實施例除了在上述實施例中說明過的裝置以外， 還能夠同樣應用于例如DVD播放器、磁盤播放器、或者半導體存儲播 放器。此外，例如也能夠應用于用于接收一段播放的便攜式圖像顯示 終端(例如便攜式電話)。此外作為圖像幀，可以使用電視播放信號以外的信號的圖像幀。 此外，也可以使用例如通過英特網發(fā)送的數(shù)據流圖像、從DVD播放器 或HDD播放器再現(xiàn)的圖像的圖像幀。此外，在上述各實施例中，以幀為單位的高分辨率化作為例子進 行了說明。但是高分辨率化的對象也可以不必是幀的整體。例如，以 輸入圖像或者輸入影像的幀的一部分作為高分辨率化的對象也可以。 即，如果以輸入影像的幀的一部分的多個幀作為對象實施上述本發(fā)明 的一個實施例的圖像處理，能夠得到輸入圖像或者輸入影像的一部分 的高畫質的放大圖像。這能夠應用于例如影像的一部分的放大顯示等。此外，本發(fā)明的各實施例除了亮度信號(Y)以外，也能夠應用于 紅(R)、綠(G)、藍(B)等色信號和通過一般的色空間變換處理從 RGB信號變換來的Cb、 Cr、 Pb、 Pr、 U、 V等色差信號。在這種情況 下，將上述說明中的"亮度"轉換為"色"或者"色差"即可。其中，將上述各個實施例任意組合，也能夠得到本發(fā)明的一個實 施方式。根據上述本發(fā)明的各實施例，能夠進行將低分辨率的圖像適當?shù)?變換成放大圖像的處理，能夠適當?shù)氐玫礁弋嬞|的高分辨率圖像。即 能夠對圖像信號適當進行高分辨率化。此外，根據上述本發(fā)明的各實施例，能夠減少為了得到高畫質的 高分辨率圖像所需要的圖像的幀數(shù)。
權利要求
1.一種圖像信號處理裝置，其特征在于，包括輸入圖像幀的輸入部；和用于增加構成所述輸入圖像幀的像素數(shù)而得到輸出圖像幀的分辨率變換部，其中，所述分辨率變換部具有對所述輸入圖像幀上的各圖像數(shù)據推定同一亮度方向并生成所述各圖像數(shù)據的采樣相位差的同一亮度方向推定部，所述分辨率變換部用所述同一亮度方向推定部生成的采樣相位差進行圖像的高分辨率化處理。
2. 根據權利要求l所述的圖像信號處理裝置，其特征在于， 所述分辨率變換部包括利用所述變換后的采樣相位差的信息對各輸入圖像幀的圖像數(shù)據 進行運動補償同時增加像素數(shù)的運動補償/提升部；對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據進行規(guī)定量相位移動 的相位移動部；利用所述采樣相位差的信息決定系數(shù)的系數(shù)決定部；和通過對所述相位移動前后的各圖像數(shù)據乘上所述系數(shù)并相加，而 除去折返成分并輸出的折返成分除去部。
3. —種圖像信號處理方法，其特征在于，包括 輸入一個圖像幀的輸入步驟；和用于增加構成所述輸入圖像幀的像素數(shù)而得到輸出圖像幀的分辨 率變換步驟；其中，在所述分辨率變換步驟中，進行對所述輸入圖像幀上的各圖像數(shù) 據推定同一亮度方向并生成所述各圖像數(shù)據的采樣相位差的同一亮度 方向推定，用所述同一亮度方向推定部生成的采樣相位差進行圖像的 高分辨率化處理。
4. 根據權利要求3所述的圖像信號處理方法，其特征在于在所述分辨率變換步驟中，進行同一亮度方向推定，對所述輸入圖像幀上的各圖像數(shù)據推定 同一亮度方向并生成所述各圖像數(shù)據的采樣相位差，進行運動補償/提升處理，利用所述變換后的采樣相位差的信息對 各輸入圖像幀的圖像數(shù)據進行運動補償同時增加像素數(shù)，進行相位移動處理，對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據 進行規(guī)定量相位移動，利用所述采樣相位差的信息決定系數(shù)，進行折返成分除去處理，通過對所述相位移動前后的各圖像數(shù)據 乘上所述系數(shù)并相加，而除去折返成分并輸出。
5. —種圖像顯示裝置，其特征在于，包括 輸入圖像幀的輸入部；用于增加構成所述輸入圖像幀的像素數(shù)而得到輸出圖像幀的分辨 率變換部，和對所述分辨率變換部生成的圖像進行顯示的顯示部，其中， 所述分辨率變換部具有對所述輸入圖像幀上的各圖像數(shù)據推定同一亮度方向并生成所述各圖像數(shù)據的采樣相位差的同一亮度方向推定部，并且，所述分辨率變換部用所述同一亮度方向推定部生成的采樣 相位差進行圖像的高分辨率化處理。
6. 根據權利要求5所述的圖像顯示裝置，其特征在于，所述分辨率變換部包括利用所述變換后的采樣相位差的信息對各輸入圖像幀的圖像數(shù)據 進行運動補償同時增加像素數(shù)的運動補償/提升部；對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據進行規(guī)定量相位移動的相位移動部；利用所述采樣相位差的信息決定系數(shù)的系數(shù)決定部；和 通過對所述相位移動前后的各圖像數(shù)據乘上所述系數(shù)并相加，而除去折返成分并輸出的折返成分除去部。
7. —種圖像信號處理裝置，其特征在于，包括 輸入多個圖像幀的輸入部；和用于通過對所述輸入的多個圖像幀進行合成，來增加構成圖像幀 的像素數(shù)而得到輸出圖像幀的分辨率變換部，其中， 所述分辨率變換部包括利用作為基準的所述輸入圖像幀上的圖像數(shù)據和其他輸入圖象幀 上的對應的各圖像數(shù)據，推定采樣相位差的位置推定部；對所述采樣相位差進行變換，輸出變換后的采樣相位差的相位變 換部；利用所述變換后的采樣相位差的信息，對各輸入圖像幀的圖像數(shù)據進行運動補償同時增加像素數(shù)的運動補償/提升部；對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據進行規(guī)定量相位移動 的相位移動部；和通過對所述相位移動前后的各圖像數(shù)據乘上用所述采樣相位差的 信息決定的系數(shù)并相加，而除去折返成分并輸出的折返成分除去部。
8. 根據權利要求7所述的圖像信號處理裝置，其特征在于 所述相位變換部具有，推定與所述輸入圖像幀中的處理對象像素相同的亮度方向，并根據該推定結果輸出相位校正值的同一亮度方向 推定部，在所述采樣相位差上附加所述相位校正值，并作為所述變換后的 采樣相位差。
9. 一種圖像信號處理方法，其特征在于，包括 輸入多個圖像幀的輸入步驟；和用于通過對所述輸入的多個圖像幀進行合成，來增加構成圖像幀 的像素數(shù)而得到輸出圖像幀的分辨率變換步驟，其中， 在所述分辨率變換步驟中，進行如下處理位置推定處理，利用作為基準的所述輸入圖像幀上的圖像數(shù)據和 其他輸入圖象幀上的對應的各圖像數(shù)據，推定采樣相位差；相位變換處理，對所述采樣相位差進行變換，輸出變換后的采樣相位差；運動補償/提升處理，利用所述變換后的采樣相位差的信息，對各輸入圖像幀的圖像數(shù)據進行運動補償同時增加像素數(shù)；相位移動處理，對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據進行規(guī)定量相位移動；和折返成分除去處理，通過對所述相位移動前后的各圖像數(shù)據乘上用所述采樣相位差的信息決定的系數(shù)并相加，而除去折返成分并輸出。
10. 根據權利要求9所述的圖像信號處理方法，其特征在于， 所述相位變換步驟包括推定與所述輸入圖像幀中的處理對象像素相同的亮度方向，并根 據該推定結果輸出相位校正值的同一亮度方向推定歩驟；和在所述采樣相位差上附加所述相位校正值，并作為所述變換后的 采樣相位差的步驟。
11. 一種圖像顯示裝置，其特征在于，包括 輸入多個圖像幀的輸入部；用于通過對所述輸入的多個圖像幀進行合成，來增加構成圖像幀 的像素數(shù)而得到輸出圖像幀的分辨率變換部，和對所述分辨率變換部生成的圖像進行顯示的顯示部，其中， 所述分辨率變換部包括利用作為基準的所述輸入圖像幀上的圖像數(shù)據和其他輸入圖象幀 上的對應的各圖像數(shù)據，推定采樣相位差的位置推定部；對所述采樣相位差進行變換，輸出變換后的采樣相位差的相位變 換部；利用所述變換后的采樣相位差的信息，對各輸入圖像幀的圖像數(shù) 據進行運動補償同時增加像素數(shù)的運動補償/提升部；對所述增加像素數(shù)后的各圖像幀的圖像數(shù)據進行規(guī)定量相位移動 的相位移動部；和通過對所述相位移動前后的各圖像數(shù)據乘上用所述采樣相位差的信息決定的系數(shù)并相加，而除去折返成分并輸出的折返成分除去部。
12.根據權利要求ll所述的圖像顯示裝置，其特征在于 所述相位變換部具有，推定與所述輸入圖像幀中的處理對象像素相同的亮度方向，并根據該推定結果輸出相位校正值的同一亮度方向推定部，在所述采樣相位差上附加所述相位校正值，并作為所述變換后的 采樣相位差。
全文摘要
本發(fā)明涉及圖像信號處理裝置、圖像信號處理方法和圖像顯示裝置，用較少的幀數(shù)適當對輸入圖像信號進行高分辨率化。其包括輸入圖像幀的輸入部；和增加構成所述輸入圖像幀的像素數(shù)用于得到輸出圖像幀的分辨率變換部，其中，所述分辨率變換部具有對所述輸入圖像幀上的各圖像數(shù)據推定同一亮度方向并生成所述各圖像數(shù)據的采樣相位差的同一亮度方向推定部，所述分辨率變換部用所述同一亮度方向推定部生成的采樣相位差進行圖像的高分辨率化處理。
文檔編號G09G5/00GK101404733SQ20081016824
公開日2009年4月8日 申請日期2008年10月6日 優(yōu)先權日2007年10月4日
發(fā)明者影山昌廣, 浜田宏一, 米司健一 申請人:株式會社日立制作所