專利名稱:圖像顯示裝置的制作方法
技術(shù)領(lǐng)域:
圖像顯示裝置,
的保持型
背景技術(shù):
作為用于改善電視接收器、DVD播放器等的畫面質(zhì)量的視頻信號處理之 一,存在有使用運動補償?shù)膸俎D(zhuǎn)換。
將關(guān)于用于電視廣播的、由攝像機捕獲的視頻信號(以下稱為攝像機信 號)和通過將電影電視電影轉(zhuǎn)換到電視系統(tǒng)而獲得的視頻信號(以下稱為電 影信號或影院信號),使用圖1至圖3來描述幀速轉(zhuǎn)換的原理。
圖1 (a)示出NTSC系統(tǒng)的攝像機信號的原始幀A、 B、 C和D。如圖1 (b)所示,在轉(zhuǎn)換攝像機信號的幀速到120Hz的情況下,在相鄰原始幀之間 (在幀A和B之間、在幀B和C之間和在幀C和D之間),以每1/120秒的 定時添加內(nèi)插幀。
圖2 U)示出被電視電影轉(zhuǎn)換(2: 2折疊(pulldown))到PAL系統(tǒng)的 電影信號的原始幀A、 B、 C和D。每個原始幀被重復(fù)兩次。如圖2 (b)所 示,在轉(zhuǎn)換2: 2折疊電影信號的幀速到100Hz的情況下,在以25Hz周期相 鄰的原始幀之間(在幀A和B之間、在幀B和C之間和在幀C和D之間), 以1/100秒的間隔添加三個內(nèi)插幀。
圖3 (a)示出被電視電影轉(zhuǎn)換(3: 2折疊(pulldown))到NTSC系統(tǒng) 的電影信號的原始幀A、 B、 C和D。奇數(shù)號原始幀A和C被重復(fù)三次,而 偶數(shù)號原始幀B被重復(fù)兩次。如圖3(b)所示,在轉(zhuǎn)換3: 2折疊電影信號 的幀速到120Hz的情況下,在以24Hz周期相鄰的原始幀之間(在幀A和B 之間和在幀B和C之間),以1/120秒的間隔添加四個內(nèi)插幀。
通過內(nèi)4翁前原始幀(earlier original frame )和后原始幀(following original frame)的視頻圖像來產(chǎn)生每個內(nèi)插幀。通過這樣的方法來執(zhí)行內(nèi)插,該方法 基于每個內(nèi)插幀中視頻圖像的內(nèi)插位置的參數(shù)以及前原始幀和后原始幀之間的運動矢量的參數(shù)計算前原始幀和后原始幀的像素的地址,而該像素地址用 于計算內(nèi)插幀的像素值,然后根據(jù)內(nèi)插位置將權(quán)重放置該地址的像素值上。
幀速轉(zhuǎn)換產(chǎn)生消除攝像機信號中的運動模糊的效果,以及減小電影信號 中的顫動(視頻圖像中的運動的不流暢)的效果。
圖1至圖3還示出了在常規(guī)幀速轉(zhuǎn)換下內(nèi)插幀中的視頻圖像的內(nèi)插位置。
如圖1 (b)所示,在將NTSC攝像機信號的幀速轉(zhuǎn)換到120Hz的時候,內(nèi)插 幀中的視頻圖像的內(nèi)插位置通常被設(shè)置到通過將前原始幀和后原始幀之間的 視頻圖像的運動量值(通過運動矢量檢測確定的大小)等分為兩部分而獲得 的位置,也就是,運動量值的50%的位置。
如圖2 (b)所示,將2: 2折疊電影信號的幀速轉(zhuǎn)換到100Hz的時候的 三個內(nèi)插幀中的視頻圖像的內(nèi)插位置通常被設(shè)置到通過將前原始幀和后原始 幀之間的視頻圖像的運動量值等分為四部分而獲得的位置,也就是,運動量 值的25%、 50%和75%的位置。
如圖3(b)所示,將3: 2折疊電影信號的幀速轉(zhuǎn)換到120Hz的時候的 四個內(nèi)插幀中的視頻圖像的內(nèi)插位置通常被設(shè)置到通過將前原始幀和后原始 幀之間的視頻圖像的運動量等分為五部分而獲得的位置,也就是,運動量的 20%、 40%、 60%和80%的位置。
圖4示出相關(guān)技術(shù)中在內(nèi)插位置上經(jīng)歷了幀速轉(zhuǎn)換的3: 2折疊電影信號 的視頻信號的示例的圖。飛機的視頻圖像在相鄰原始幀A和B之間移動。在 四個內(nèi)插幀中,飛機的視頻圖像被內(nèi)插在通過將運動量等分為五部分而獲得 的位置中。
除此而外,例如,在專利文獻l中提出了有關(guān)于這樣的幀速轉(zhuǎn)換的技術(shù)。 專利文獻l:日本待審專利申請公開號2003-189257。
發(fā)明內(nèi)容
如上所述,在使用運動補償?shù)膸俎D(zhuǎn)換中,通常,內(nèi)插幀中的視頻圖像 的內(nèi)插位置被設(shè)置到通過平均劃分前原始幀和后原始幀之間的視頻圖像的道 動量而獲得的位置。
然而,在電影信號的情況下,當在通過平均劃分圖4中所示范的原始幀 之間的視頻圖像的運動量而獲得的內(nèi)插位置上執(zhí)行內(nèi)插時,大大減小顫動, 并且視頻圖像的運動變得平滑。結(jié)果,習慣于電影信號的顫動的人覺得電影信號的感覺丟失。
此外,在使用運動補償?shù)膸俎D(zhuǎn)換中,在相鄰原始幀中的視頻圖像的運 動變得快的情況下,運動矢量位于運動矢量搜索范圍(塊匹配范圍)之外, 并且出現(xiàn)大的顫動。在這種情況下,存在這樣的問題由于在用戶觀看運動 平滑的視頻圖像時突然出現(xiàn)大的顫動,因此用戶覺得不舒服。
除此而外,到目前為此,為了使得轉(zhuǎn)換電影信號(影院信號)的幀速的 時候的視頻圖像的運動更平滑,已經(jīng)提出了在運動矢量的方向上移動幀轉(zhuǎn)換
之后的半幀(field)的像素位置的技術(shù)(參考專利文獻l)。然而,沒有提出
在減小轉(zhuǎn)換電影信號的幀速的時候的顫動的同時減弱顫動的減小程度的技術(shù)。
順便提一下,在利用運動矢量執(zhí)行用于改善畫面質(zhì)量的視頻信號處理(諸 如幀速轉(zhuǎn)換)的情況下,當如上所述那樣運動矢量位于運動矢量搜索范圍(塊 匹配范圍)之外時,運動矢量可能不能很好地被檢測。在這種情況下,如果 原樣地使用運動矢量,則不能很好地執(zhí)行視頻信號處理。發(fā)生另一問題,使 得畫面質(zhì)量惡化。
此外,在在固定像素(保持)型顯示設(shè)備(諸如液晶顯示器)上顯示經(jīng) 歷了視頻信號處理的視頻信號的情況下,出現(xiàn)另一問題,使得由于其配置而 出現(xiàn)所謂保持模糊(holdblur)。需要盡量減小保持模糊。由于這種保持模糊 的可觀看性根據(jù)環(huán)境而變化,所以需要根據(jù)環(huán)境的改善方法。
本發(fā)明已經(jīng)從這些問題出發(fā)來進行,其第一個目的是提供能夠在減小使 用運動補償轉(zhuǎn)換電影信號(影院信號)的幀速的時候的顫動的同時減弱顫動 的減小程度的圖像顯示裝置、視頻信號處理器和視頻信號處理方法。
本發(fā)明的第二個目的是提供能夠在執(zhí)行用于改善畫面質(zhì)量的預(yù)定視頻信' 號處理的時候,抑制由于運動矢量的檢測精度而引起的畫面質(zhì)量惡化的圖像 顯示裝置、視頻信號處理器和視頻信號處理方法。
此外,本發(fā)明的第三個目的是提供能夠根據(jù)環(huán)境減小保持模糊的圖像顯 示裝置。
本發(fā)明的圖像顯示裝置具有視頻信號處理部件,用于對沿時基(time base)的多個原始幀執(zhí)行預(yù)定視頻信號處理;以及顯示部件,用于基于經(jīng)歷 了視頻信號處理的視頻信號顯示視頻圖像。在這種情況下,顯示部件是保持 型顯示部件(hold-type display means )。除此而外,將圖像顯示裝置配置成根據(jù)原始幀中的視頻信號的本體(substance)和用戶觀看環(huán)境的亮度中至少^ 一,執(zhí)行將黑顯示區(qū)域插入顯示部件中的顯示屏幕的黑插入處理。
在本發(fā)明的圖像顯示裝置中,對沿時基的多個原始幀執(zhí)行預(yù)定視頻信號 處理,并且基于經(jīng)歷了這種視頻信號處理的視頻信號顯示視頻圖像。除此而 外,根據(jù)原始幀中的視頻信號的本體和用戶觀看環(huán)境的亮度中至少之一,執(zhí) 行將黑顯示區(qū)域插入顯示部件的顯示屏幕的黑插入處理。
在本發(fā)明的圖像顯示裝置中,根據(jù)原始幀中的視頻信號的本體和用戶觀 看環(huán)境的亮度中至少之一,執(zhí)行將黑顯示區(qū)域插入顯示部件的顯示屏幕的黑 插入處理。因此,保持模糊能夠根據(jù)環(huán)境被減小。
圖1示出相關(guān)技術(shù)中攝像機信號的幀速轉(zhuǎn)換的原理和內(nèi)插位置的圖; 圖2示出相關(guān)技術(shù)中電影信號的幀速轉(zhuǎn)換的原理和內(nèi)插位置的圖; 圖3示出相關(guān)技術(shù)中電影信號的幀速轉(zhuǎn)換的原理和內(nèi)插位置的圖; 圖4是示范相關(guān)技術(shù)中在內(nèi)插位置上經(jīng)歷了幀速轉(zhuǎn)換的電影信號的視頻 圖像的圖5示出根據(jù)該發(fā)明第一實施方式的視頻信號處理器的電路配置的示例 的塊圖6示出通過內(nèi)插器的地址計算的原理的圖7示出從CPU供給的內(nèi)插位置參數(shù)的圖8示出在3: 2折疊電影信號的情況下內(nèi)插位置參數(shù)的值的圖9示出在2: 2折疊電影信號的情況下內(nèi)插位置參數(shù)的值的圖IO示出經(jīng)歷了使用圖5的設(shè)備的幀速轉(zhuǎn)換的電影信號的視頻圖像的
圖11示出根據(jù)第一實施方式的改進示例的視頻信號處理器的電路配置 的示例的塊圖12示出攝像機信號向240Hz的幀速轉(zhuǎn)換的圖13示出根據(jù)本發(fā)明第二實施方式的視頻信號處理器的配置的示例的 塊圖14示出形成在人類的視網(wǎng)膜上的圖像中模糊的頻率特性的示例的圖; 圖15說明由圖13的視頻信號處理器執(zhí)行的圖像處理處理的示例的流程圖16示出根據(jù)行進矢量(行進速度、運動矢量)的成像模糊(imaging blur) 的頻率特性的示例的圖17示出圖13的視頻信號處理器中成像模糊抑制處理器的功能配置的 示例的塊圖18示出圖17的成像模糊抑制處理器中的高頻分量去除單元的功能配 置的示例的塊圖19示出圖18的高頻分量去除單元中的高頻限制器的特性的示例的圖; 圖20示出圖17的成像模糊抑制處理器中的濾波單元的功能配置的示例 的塊圖21示出圖20的濾波單元中的增益控制器的功能配置的示例的塊圖; 圖22示出圖21中增益控制器中的調(diào)節(jié)量確定單元的特性的示例的圖; 圖23示出圖17的成像模糊抑制處理器中的成像模糊補償單元的功能配 置的示例的塊圖24示出圖23中成像模糊補償單元中的ALTI單元的功能配置的示例的 塊圖25是圖解用以說明在計算連續(xù)地排列在目標像素右邊的像素組的像 素值的平均的情況下校正像素值的方法的、圖24的ALTI單元的待處理對象 的示例的圖26是補充說明在計算連續(xù)地排列在目標像素右邊的像素組的像素值
的平均的情況下的像素值校正方法的圖27說明圖24的ALTI單元的處理的示例的流程圖28示出圖24的ALTI單元中的調(diào)節(jié)量值計算器的特性的示例的圖29示出圖23的成像模糊補償單元中的ALTI單元的功能配置的、不同
于圖12的另一示例的塊圖30示出圖23的成像模糊補償單元中的增益控制器的功能配置的示例
的塊圖31示出圖30的增益調(diào)節(jié)單元中的調(diào)節(jié)量確定單元的特性的示例的圖; 圖32示出圖13的視頻信號處理器中的成像模糊抑制處理器的功能配置 的、不同于圖17的示例的塊圖33示出圖13的視頻信號處理器中的成像模糊抑制處理器的功能配置的、不同于圖17和圖32的示例的塊圖34圖解攝像機的快門速度和成像模糊的特性的圖35示出根據(jù)第二實施方式的視頻信號處理器的一部分的配置的、不同 于圖13的示例的塊圖36示出根據(jù)第二實施方式的視頻信號處理器的一部分的配置的、不同 于圖13和圖35的示例的塊圖37示出根據(jù)第二實施方式的視頻信號處理器的一部分的配置的、不同 于圖13、圖35和圖36的示例的塊圖38示出根據(jù)第二實施方式的視頻信號處理器的一部分的配置的、不同 于圖13、圖35、圖36和圖37的示例的塊圖39示出圖13中的視頻信號處理器中的成像模糊抑制處理器的功能配 置的、不同于圖17、圖32和圖33的示例的塊圖40示出圖13的視頻信號處理器中的成像模糊抑制處理器的功能配置 的、不同于圖17、圖32、圖33和圖39的示例的塊圖41示出圖13的視頻信號處理器中的成像模糊抑制處理器的功能配置 的、不同于圖17、圖32、圖33、圖39和圖40的示例的塊圖42示出根據(jù)第二實施方式的改進示例的視頻信號處理器的配置的塊
圖43示出根據(jù)本發(fā)明第三實施方式的改進示例的視頻信號處理器的配 置的示例的塊圖44示出運動矢量的檢測的存在/不存在和可靠性之間的關(guān)系的示例的
圖45示出運動矢量的檢測的存在/不存在和可靠性之間的關(guān)系的示例的 定時波形圖46示出在根據(jù)可靠性與運動矢量相乘的增益中的變化的示例的定時
圖47示出在根據(jù)可靠性與運動矢量相乘的增益中的變化的另一示例的 定時圖48示出根據(jù)本發(fā)明第四實施方式的圖像顯示裝置的配置的示例的塊
圖49示出通過圖解在圖48中的背光驅(qū)動單元基于幀單元的黑插入處理(消隱處理)的示例的定時圖50示出通過圖解在圖48中的背光驅(qū)動單元基于黑插入線單元的黑插 入處理(消隱處理)的示例的定時圖51示出通過圖解在圖48中的背光驅(qū)動單元基于黑插入線單元和幀單 元的組合的黑插入處理(消隱處理)的示例的定時圖52示出在基于幀單元的黑插入處理中的黑插入比的示例的定時圖53示出在基于幀單元的黑插入處理中的黑插入比的另一示例的定時
圖54示出在基于黑插入線單元和幀單元的組合的黑插入處理中的黑插 入比的示例的定時圖55示出在基于黑插入線單元和幀單元的組合的黑插入處理中的黑插 入比的另 一 示例的定時圖56示出整個屏幕的亮度直方圖分布的示例的特性圖57示出根據(jù)第四實施方式的改進示例的圖像顯示裝置的配置的示例 的塊圖;以及
圖58示出本發(fā)明應(yīng)用到的視頻信號處理器的全部或部分的硬件配置的 示例的塊圖。
具體實施例方式
下面將參考附圖詳細描述本發(fā)明的實施方式。 [第一實施方式]
圖5是示出根據(jù)本發(fā)明第一實施方式的視頻信號處理器(視頻信號處理 器4)的電路配置的示例的塊圖。視頻信號處理器4內(nèi)置于電視接收器中。 將經(jīng)歷了諸如通過未示出的調(diào)諧器、解碼器的調(diào)諧和解碼之類的處理的數(shù)字 分量信號YUV供給視頻信號處理器4。
供給視頻信號處理器4的數(shù)字分量信號YUV被輸入到預(yù)處理器41 ,并 經(jīng)由存儲器控制器42順序?qū)懭氪鎯ζ?3。
預(yù)處理器41執(zhí)行從數(shù)字分量信號YUV分離亮度信號Y的處理。由預(yù)處 理器41分離出來的亮度信號Y也經(jīng)由存儲器控制器42順序?qū)懭氪鎯ζ?3。
寫入存儲器43的亮度信號Y由存儲器控制器42順序讀取(如圖2和3 所示,在相同原始幀重復(fù)兩次或三次的電影信號的情況下,該相同原始幀僅僅被讀取一次)并發(fā)送到運動矢量檢測器44。運動矢量檢測器44使用當前 幀的亮度信號Y和緊接著的在前幀和在后幀的亮度信號Y,通過塊匹配執(zhí)行 運動矢量^r測處理。
將由運動矢量檢測器44檢測到的每幀的運動矢量mv經(jīng)由存儲器控制器 42寫入存儲器43。之后,從存儲器43讀取運動矢量mv并再次發(fā)送到運動 矢量檢測器44,以便在后幀的運動矢量檢測中參考。
此外,存儲器控制器42在將信號相互偏離一幀的同時,以兩個序列按倍 速讀取寫入存儲器43中的數(shù)字分量信號YUV (如圖2和3所示,在相同原 始幀重復(fù)兩次或三次的電影信號的情況下,該相同原始幀僅僅被讀取一次)。 此外,存儲器控制器42按倍速讀取指示兩幀之間的運動的運動矢量mv。將 以這樣的方式讀取的兩個序列的數(shù)字分量信號2YUV和運動矢量mv傳送到 內(nèi)插部分45。
內(nèi)插部分45配備有兩個序列的搜索范圍存儲器451和452以及內(nèi)插器 453。來自存儲器控制器42的兩個序列的數(shù)字分量信號2YUV之一被寫入搜 索范圍存儲器451,而另一序列被寫入搜索范圍存儲器452。來自存儲器控制 器42的運動矢量rm^皮輸入內(nèi)插器453。
此外,從電視接收器中的CPU 46將指示內(nèi)插幀中視頻圖像的內(nèi)插位置的 內(nèi)插位置參數(shù)Relpos經(jīng)由I2C總線40 (作為串行總線)供應(yīng)給內(nèi)插部分45' 以及用于并行轉(zhuǎn)換該串行信號的解碼器47 (后面將描述內(nèi)插位置參數(shù)Relpos 的細節(jié))。也將內(nèi)插位置參數(shù)Relpos輸入到內(nèi)插器453。
內(nèi)插器453基于運動矢量mv和內(nèi)插位置參數(shù)Relpos計算用于計算內(nèi)插 幀的像素值的、搜索范圍存儲器451和452中的原始幀中的像素的地址。
圖6是概念性地示出地址計算的原理的圖。n-l表示在垂直軸方向上寫入 搜索范圍存儲器451和452中的、偏離一幀的兩個原始幀中先產(chǎn)生的原始幀 的每個像素的地址(在屏幕上的x方向上和y方向上的位置)。n表示在垂直 軸方向上該兩個原始幀中的后原始幀的每個像素的地址。
i指示在垂直軸方向上、內(nèi)插幀中每個像素的地址。水平軸指示時間,并 示出原始幀n-l和n之間的內(nèi)插幀i的定時(這里,作為示例,為對應(yīng)于圖2 (b)中的三個內(nèi)插幀中位于中心的內(nèi)插幀的定時)。Relpos指示為內(nèi)插幀i 的產(chǎn)生而供給的內(nèi)插位置參數(shù)。
mv (x,y) int示出關(guān)于內(nèi)插幀i的每個像素中當前正在產(chǎn)生的像素(稱為參考像素)的地址(x,y ),原始幀n-l和n之間的運動矢量mv。 zeroPelPrev (x,y )指示在原始幀n-l中的參考地址(x,y )上的像素的值。zeroPelSucc( x,y ) 指示在原始幀n中的參考地址(x,y)上的像素的值。
內(nèi)插器453基于參考地址(x,y)、運動矢量mv (x,y) 1111的x方向上的分 量mvX、運動矢量mv( x,y )int的y方向上的分量mvY和內(nèi)插位置參數(shù)Relpos, 通過下述公式(1)獲得用于計算參考地址(x,y)的像素值的、在原始幀n-l 和n中的像素的地址。 [數(shù)學(xué)公式1]
原始幀n-l中的像素的地址
=(x+mvX.Relpos, y+mvY.Relpos )
原始幀n中的像素的地址
=(x舊X.( 1-Relpos), y-mvY'(l-Relpos)) ......(1)
內(nèi)插器453將如上所獲得的地址發(fā)送到搜索范圍存儲器451和452,并 讀取該地址的像素值prev和succ。然后,使用像素值prev和succ以及內(nèi)插 位置參數(shù)Relpos,通過下述公式(2)計算內(nèi)插幀i的參考地址(x,y )的像素 值Out。
Out=prev( 1 -Relpos)+succ'Relpos ......(2)
通過對內(nèi)插幀i的每個像素順序執(zhí)行這樣的計算(順序更新參考地址的 值(x,y)),產(chǎn)生內(nèi)插幀i。
接下來,將描述從CPU46供給內(nèi)插部分45的內(nèi)插位置參數(shù)Relpos。圖 7是示出從CPU46供給的內(nèi)插位置參數(shù)Relpos的圖。在2: 2折疊電影信號 (參考圖2 (a))作為數(shù)字分量信號YUV供應(yīng)給圖5的視頻信號處理器4的 情況下,CPU 46每1/100秒(即,以1/25秒周期)供應(yīng)四相的參數(shù)Relpos—22_0、 Relpos_22J、 Relpos—22—2以及Relpos—22—3。每相參數(shù)由六位構(gòu)成(圖中的 [5: O]表達六位)。
Relpos_22—0是用于從內(nèi)插器453輸出在搜索范圍存儲器451和452中相 互偏離 一幀的兩個原始幀中的在前幀的參數(shù)。Relpos—22_l至Relpos一22—3是 用于在該兩個原始幀之間以如圖2(b)所示的1/100秒間隔產(chǎn)生三個內(nèi)插幀 的參數(shù)。
在供給2: 2折疊電影信號的情況下,相同原始幀在搜索范圍存儲器451和452中保持l/25秒(圖5)。然后,在l/25秒期間,內(nèi)插器453基于每一 個相應(yīng)相的參數(shù)Relpos—22—0、 Relpos—22—1、 Relpos—22—2以及Relpos—22—3, 通過公式(1)和(2)計算內(nèi)插幀。通過以1/25秒周期重復(fù)該處理,2: 2折 疊電影信號一皮幀速轉(zhuǎn)換(frame-rate-convert )。
另一方面,在3: 2折疊電影信號(參考圖3U))作為數(shù)字分量信號YUV 供應(yīng)給圖5的視頻信號處理器4的情況下,CPU 46每1/120秒(即,以1/24 秒周期)供應(yīng)五相的內(nèi)插位置參數(shù)Relpos—32—0、 Relpos—32—1、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4。
Relpos—32_0是用于從內(nèi)插器453輸出在搜索范圍存儲器451和452中相 互偏離 一幀的兩個原始幀中的在前幀的參數(shù)。Relpos—32 J至Relpos—32_4是 用于在該兩個原始幀之間以如圖3(b)所示的1/120秒間隔產(chǎn)生四個內(nèi)插幀 的參數(shù)。
在供給3: 2折疊電影信號的情況下,相同原始幀在搜索范圍存儲器451 和452中保持1/24秒。然后,在1/24秒期間,內(nèi)插器453基于每一個相應(yīng)相 的參數(shù)Relpos一32—0、 Relpos—32—1、 Relpos一32一2、 Relpos一32一3以及 Relpos—32—4,通過^^式(1 )和(2)計算內(nèi)插幀。通過以1/24秒周期重復(fù)該 處理,3: 2折疊電影信號被幀速轉(zhuǎn)換。
由用戶選擇內(nèi)插位置參數(shù)Relpos的值。具體地說,如圖5所示,附連到 電視接收機的遙控器400配備有用于在"強、中、弱,,三個級別中切換和選擇 內(nèi)插位置參數(shù)Relpos的值的內(nèi)插位置調(diào)節(jié)按鈕401 。
通過電視接收機中的紅外光接收單元48從遙控器400中接收指示內(nèi)插位 置調(diào)節(jié)按鈕401的選擇結(jié)果的信號。當該信號經(jīng)由I2C總線40傳送到CPU46 時,CPU 46根據(jù)選擇結(jié)果設(shè)置內(nèi)插位置參數(shù)Relpos的值。
圖8是示出在供給3: 2折疊電影信號的情況下CPU46根據(jù)內(nèi)插位置調(diào) 節(jié)按鈕401的選擇結(jié)果設(shè)置的內(nèi)插位置參數(shù)Relpos的值的圖。在內(nèi)插位置調(diào) 節(jié)按鈕401選擇了 "強"的情況下,分別將Relpos—32—0、 Relpos—32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4的值設(shè)置到0、 0.2、 0.4、 0.6和 0.8。 -
由于第一相的參數(shù)Relpos—32—0的值是0,因此,由公式(1 )和(2 ), 從內(nèi)插器453原樣輸出在搜索范圍存儲器451和452中的兩個原始幀中的在 前原始幀。此外,從公式(1)和(2),由于第二、第三、第四和第五相的參數(shù)
Relpos—32—1、 Relpos_32—2、 Relpos—32—3以及Relpos_32_4的值均勻地按0.2 (像0.2、 0.4、 0.6和0.8)改變,因此,在搜索范圍存儲器451和452中的 兩個原始幀之間產(chǎn)生的四個內(nèi)插幀中的視頻圖像的內(nèi)插位置與如圖3 (b)所 示的相關(guān)技術(shù)中的內(nèi)插位置相同。通過均勻地將兩個原始幀之間的視頻圖像 的運動量劃分為五個部分(即,根據(jù)該運動量的20%、 40%、 60%和80%的 位置),來獲得該位置。
在內(nèi)插位置調(diào)節(jié)按鈕401選擇了"中"的情況下,分別將Relpos一32一0、 Relpos一32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4的值設(shè)置到0、 0.15 、 0.3、 0.7和0.85。由于第一相的參數(shù)Relpos—32—0的值是O,因此,與"強,,的 情況下一樣,從內(nèi)插器453原樣輸出在搜索范圍存儲器451和452中的兩個 原始幀中的在前原始幀。
另一方面,如圖3 (b)所示的第二和第三相的參數(shù)Relpos—32—1和 Relpos—32—2的值0.15和0.3比"強,,的情況下的值0.2和0.4更小,是用于產(chǎn) 生在相鄰的原始幀之間的四個內(nèi)插幀中更接近于在前原始幀的內(nèi)插幀的參 數(shù)。
如圖3 (b)所示的第四和第五相的參數(shù)Relpos一32—3和Relpos—32—4的 值0.7和0.85比"強,,的情況下的值0,6和0.8更大,是用于產(chǎn)生相鄰的原始幀 之間的四個內(nèi)插幀中更接近于后原始幀的內(nèi)插幀的參數(shù)。
通過參數(shù)Relpos—32—1至RelposJ32—4的值,在"中"的情況下,在搜索范 圍存儲器451和452中的兩個原始幀之間產(chǎn)生的四個內(nèi)插幀中的視頻圖像的 內(nèi)插位置是根據(jù)該兩個原始幀之間的視頻圖像的運動量的15%、 30%、 70% 和85%的位置。即,四個內(nèi)插幀中的視頻圖像的內(nèi)插位置不是像在"強"的情 況下那樣,通過將兩個原始幀之間的視頻圖像的運動量均勻地劃分而獲得的 位置(與相關(guān)技術(shù)的位置相同的內(nèi)插位置),而是比均勻劃分出來的位置更接 近于接近到內(nèi)插幀的原始幀中的視頻圖像的位置。
在內(nèi)插位置調(diào)節(jié)按鈕401選擇了"弱"的情況下,分別將Relpos—32—0、 Relpos—32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32_4的值設(shè)置到0、 0.1 、 0.2、 0.8和0.9。第二和第三相的參^:(用于在相鄰的原始幀之間的四個內(nèi)插 幀中,產(chǎn)生更接近于前面原始幀的內(nèi)插幀的參數(shù))的值O.l和0.2還小于"中,, 的情況下的值0.15和0.3。此外,第四和第五相的參數(shù)(用于在相鄰的原始幀之間的四個內(nèi)插幀中,
產(chǎn)生更接近于后面原始幀的內(nèi)插幀的參數(shù))的值0.8和0.9大于,,中"的情況下 的值0.7和0.85。
通過參數(shù)Relpos—32—1至Relpos—32—4的值,在"弱"的情況下,在搜索 范圍存儲器451和452中的兩個原始幀之間產(chǎn)生的四個內(nèi)插幀中的視頻圖像 的內(nèi)插位置是根據(jù)該兩個原始幀之間的視頻圖像的運動量的10%、 20%、 80% 和90%的位置。即,四個內(nèi)插幀中的視頻圖像的內(nèi)插位置是與"中,,的情況相 比,更鄰近于更接近到內(nèi)插幀的原始幀中的視頻圖像的位置。 -
圖9是示出在供給2: 2折疊電影信號的情況下CPU46根據(jù)內(nèi)插位置調(diào) 節(jié)按鈕401的選擇結(jié)果設(shè)置的內(nèi)插位置參數(shù)Relpos的值的圖。在內(nèi)插位置調(diào) 節(jié)按鈕401選擇了"強,,的情況下,分別將Relpos—22—0、 Relpos—22—1、 Relpos—22—2和Relpos—22—3的值設(shè)置到0、 0.25、 0.5和0.75。
由于第一相的參數(shù)Relpo^22J)的值是0,因此從內(nèi)插器453原樣輸出—在 搜索范圍存儲器451和452中的兩個原始幀中的在前原始幀。
此外,從公式(1)和(2),由于第二、第三和第四相的參數(shù)Relpos—22—1、 Relpos—22—2和Relpos—22—3的值均勻地按0,25 (像0.25、 0.5和0.75 )改變, 因此在搜索范圍存儲器451和452中的兩個原始幀之間產(chǎn)生的三個內(nèi)插幀中 的視頻圖像的內(nèi)插位置與如圖2 (b)所示的相關(guān)技術(shù)中的內(nèi)插位置相同。通 過均勻地將兩個原始幀之間的視頻圖像的運動量劃分為四個部分(即,根據(jù) 該運動量的25%、 50%和75%的位置),來獲得該位置。
在內(nèi)插位置調(diào)節(jié)按鈕401選擇了"中,,的情況下,分別將Relpos—22_0、 Relpos_22—1、 Relpos—22—2和Relpos—22—3的值設(shè)置到0、 0.15、 0.3和0.85。 由于第一相的參數(shù)Relpos—22—0的值是0,因此與"強,,的情況一樣,從內(nèi)插器 453原樣輸出在搜索范圍存儲器451和452中的兩個原始幀中的在前原始幀。
另一方面,第二相的參數(shù)Relpos—22J (如圖2 (b)所示,這是用于產(chǎn): 生在相鄰的原始幀之間的三個內(nèi)插幀中更接近于在前原始幀的內(nèi)插幀的參 數(shù))的值0.15比"強,,的情況下的值0.25更小。
此外,如圖2(b)所示,第三相的參數(shù)Relpos—22_2是用于在相鄰的原 始幀之間的三個內(nèi)插幀中產(chǎn)生正好在前面原始幀與后面原始幀的中間的內(nèi)插 幀的參數(shù)。這里,通過將該中間內(nèi)插幀分類為更鄰近前面原始幀的內(nèi)插幀, 參數(shù)Relpos_22—2的值變成比"強,,的情況的值0.5更小的值0.3。第四相的參數(shù)Relpos—22—3 (如圖2 (b)所示,這是用于產(chǎn)生在相鄰的 原始幀之間的三個內(nèi)插幀中更接近于后面原始幀的內(nèi)插幀的參數(shù))的值0.85 比"強,,的情況下的值0.75更大。 .
通過參數(shù)Relpos—22_1至Relpos—22—3的值,在"中,,的情況下,在搜索范 圍存儲器451和452中的兩個原始幀之間產(chǎn)生的三個內(nèi)插幀中的視頻圖像的 內(nèi)插位置是根據(jù)該兩個原始幀之間的視頻圖像的運動量的15%、 30%和85% 的位置。即,三個內(nèi)插幀中的視頻圖像的內(nèi)插位置不是像在"強"的情況下那 樣,通過將兩個原始幀之間的視頻圖像的運動量均勻地劃分而獲得的位置(與 相關(guān)技術(shù)的位置相同的內(nèi)插位置),而是比均勻劃分的位置更接近于更鄰近到 內(nèi)插幀的原始幀中的視頻圖像的位置。
在內(nèi)插位置調(diào)節(jié)按鈕401選擇了"弱"的情況下,分別將Relpos—22—0、 Relpos—22—1、 Relpos—22—2和Relpos—22—3的值設(shè)置到0、 0.1、 0.2和0.9。第 二和第三相的參數(shù)(用于在相鄰的原始幀之間的三個內(nèi)插幀中,產(chǎn)生更接近 于前面原始幀的內(nèi)插幀的參數(shù))的值O.l和0.2還小于"中"的情況下的值0.15 和0.3。
此外,第四相的參數(shù)(用于在相鄰的原始幀之間的三個內(nèi)插幀中,產(chǎn)'生 更接近于后面原始幀的內(nèi)插幀的參數(shù))的值0.9大于"中"的情況下的值0.85。
通過參數(shù)Relpos—22—1至Relpos—22—3的值,在"弱"的情況下,在搜索 范圍存儲器451和452中的兩個原始幀之間產(chǎn)生的三個內(nèi)插幀中的視頻圖像 的內(nèi)插位置是根據(jù)該兩個原始幀之間的視頻圖像的運動量的10%、 20%和 90%的位置。即,三個內(nèi)插幀中的視頻圖像的內(nèi)插位置是與"中,,的情況相比, 更鄰近于更接近到內(nèi)插幀的原始幀中的視頻圖像的位置。
圖10是使用與圖4中的原始幀相同的原始幀的視頻圖像作為示例,與相 關(guān)技術(shù)中的內(nèi)插位置中的視頻圖像(圖10 (a))相比較地示出在3: 2折疊電 影信號被供給圖5的視頻信號處理器4并且內(nèi)插位置調(diào)節(jié)按鈕401選擇了"弱" 的情況下經(jīng)歷了幀速轉(zhuǎn)換的視頻圖像(圖10 (b))的圖。
如圖10(b)所示,在更接近于前面原始幀A的兩個內(nèi)插幀中,與相關(guān) 技術(shù)的情況相比,飛機的圖像定位得更鄰近于原始幀A。另一方面,在更接 近于后面原始幀B的兩個內(nèi)插幀中,與相關(guān)技術(shù)的情況相比,飛機圖像定位 得更鄰近于原始幀B。因此,第二和第三內(nèi)插幀的飛機圖像的位置之間的間 隔大于相關(guān)技術(shù)的飛機圖像的位置之間的間隔。如上所述,在視頻信號處理器4中,當內(nèi)插位置調(diào)節(jié)按鈕401選擇了"弱"
或"中"時,在前原始幀和后原始幀中更鄰近于前原始幀的內(nèi)插幀中的內(nèi)插位 置朝向前面原始幀的視頻圖像移動。更鄰近于后面原始幀的內(nèi)插幀中的內(nèi)插 位置朝向后面原始幀的視頻圖像移動。
結(jié)果,也如圖IO所示,在更鄰近于前面原始幀的內(nèi)插幀與更鄰近于后面
原始幀的內(nèi)插幀之間,所內(nèi)插的視頻圖像的位置的間隔大于相關(guān)技術(shù)的情況 下的視頻圖像的位置的間隔。
如上所述,視頻圖像中的內(nèi)插幀彼此分開得比相關(guān)技術(shù)的情況下更多。 結(jié)果,內(nèi)插幀之間的視頻圖像的運動不平滑性比相關(guān)技術(shù)的情況更突出。因 此,在執(zhí)行電影信號的幀速轉(zhuǎn)換的時候,當利用幀速轉(zhuǎn)換減小了顫動時,減 小的程度能夠被降低得比相關(guān)技術(shù)的情況更多。
除此而外,在用戶通過電視接收器觀看電影信號的視頻圖像的情況下, 某些用戶偏好顫動被大大減小以使得視頻圖像的運動更平滑的情況,而某些 用戶由于他們喜歡電影信號的圖像而偏好在一定范圍內(nèi)保留顫動。結(jié)果,偏
好視頻圖像的更平滑運動的用戶利用內(nèi)插位置調(diào)節(jié)按鈕401選擇"強"。偏好 在一定范圍內(nèi)保留顫動的情況下的圖像的用戶利用內(nèi)插位置調(diào)節(jié)按鈕401選 擇"弱,,或"中"。因此,可以根據(jù)每個用戶的偏好來選擇顫動的降低程度。''
如在上述"背景技術(shù)"部分描述的那樣,在使用運動補償?shù)膸俎D(zhuǎn)換中,' 在相鄰原始幀之間的視頻圖像的運動變得快的情況下,運動矢量位于運動矢 量搜索范圍之外,從而出現(xiàn)大顫動。也在這種情況下,通過利用內(nèi)插位置調(diào) 節(jié)按鈕401選擇"弱"或"中"來減少減小顫動的程度,即使當在用戶觀看包括 一些顫動的視頻圖像的同時出現(xiàn)大顫動,與大顫動突然出現(xiàn)在運動平滑的視 頻圖像中的通常情況相比,用戶也會4艮少覺得生疏。
除此而外,在使用運動補償?shù)膸俎D(zhuǎn)換中,作為副作用,知道會出現(xiàn)一 種現(xiàn)象(稱為暈圈(Halo)),使得在運動的人等的視頻圖像的輪廓中看見像 閃爍那樣的噪聲。隨著要內(nèi)插的視頻圖像的位置離開原始幀中的視頻圖像的 位置,暈圈變得更加明顯。相反,當利用內(nèi)插位置調(diào)節(jié)按鈕401選擇"弱"或"中" 時,要內(nèi)插的視頻圖像的位置變成鄰近于原始幀中的視頻圖像,從而暈圈能
夠被抑制。
在圖5的示例中,遙控器400配備有內(nèi)插位置調(diào)節(jié)按鈕401,用于在"強、 中和弱"三個級別中切換和選擇內(nèi)插位置參數(shù)Relpos的值。然而,作為另一個示例,可以為遙控器400或電視接收器本體配備諸如音量開關(guān)的操作部件, 用于連續(xù)(步進)地在圖8和圖9中的"強,,到"弱,,的范圍內(nèi)改變值的同時, 選擇內(nèi)插位置參數(shù)Relpos的值。在這種情況下,為了進一步減少內(nèi)插位置參 數(shù)Relpos的值的最小變化量,從CPU46供應(yīng)的內(nèi)插位置參數(shù)Relpos的位數(shù) 可以被設(shè)置成大于六位(例如,約八位)。
接下來,圖11是示出根據(jù)本實施方式的改進示例的視頻信號處理器(視 頻信號處理器4A)的電路配置的示例的塊圖。相同的標記指示與圖5所示的 視頻信號處理器4的組件相同的組件,并且將不重復(fù)它們的描述。
在視頻信號處理器4A中,由S/N電平檢測器49 ^^測供應(yīng)給視頻信號處 理器4A的數(shù)字分量信號YUV的S/N電平。然后,將指示檢測信號的信號經(jīng) 由I2C總線40發(fā)送到CPU 46。
在使用運動補償?shù)膸俎D(zhuǎn)換中,如上所述,出現(xiàn)現(xiàn)象(暈圈)使得在運 動的人等的視頻圖像的輪廓中出現(xiàn)像閃爍那樣的噪聲。隨著視頻圖像的內(nèi)插 位置離開原始幀中的視頻圖像的位置,暈圈變得更加明顯。除此而外,隨著 視頻信號的S/N電平減少(噪聲電平增加),更多地出現(xiàn)暈圈。
在CPU 46中的存儲器中,預(yù)先存儲指示預(yù)設(shè)為是否容易出現(xiàn)暈圈的界線 的預(yù)定值的S/N電平的信息。在S/N電平檢測器49的檢測結(jié)果比預(yù)定電平高 的情況下,CPU46將供應(yīng)給內(nèi)插部分45的內(nèi)插位置參數(shù)Relpos設(shè)置成圖8 和圖9中的"強"值。另一方面,當S/N電平檢測器49的檢測結(jié)果等于或小于 預(yù)定電平時,CPU46將供應(yīng)給內(nèi)插部分45的內(nèi)插位置參數(shù)Repos設(shè)置成圖 8和圖9中的"弱"(或"中")值。
從而,在要供給的數(shù)字分量信號YUV的S/N電平高的情況下(在不容 易出現(xiàn)暈圈的情況下),視頻圖像的運動能夠被進行平滑。在S/N電平低的情 況下(在容易出現(xiàn)暈圈的情況下),通過設(shè)置鄰近原始幀的視頻圖像的視頻圖 像的內(nèi)插位置,暈圏能夠被抑制。
除此而外,在本實施方式中示范幀速轉(zhuǎn)換電影信號的情況。然而,例如, 在如圖12所示將NTSC系統(tǒng)的攝像機信號的幀速轉(zhuǎn)換到240Hz的情況下, 在相鄰原始帕之間(幀A和B之間、幀B和C之間以及幀C和D之間)以 1/240秒間隔添加三個內(nèi)插幀。雖然沒有示出,但在將PAL系統(tǒng)的攝像機信-號的幀速轉(zhuǎn)換到200Hz的情況下,在相鄰原始幀之間以1/200秒間隔添加'三' 個內(nèi)插幀。如上所述,本發(fā)明也可以應(yīng)用到將攝像機信號轉(zhuǎn)換到高幀速的情況。
在該實施方式中,已經(jīng)描述了通過選擇用戶操作設(shè)置內(nèi)插位置參數(shù)
Relpos的值的示例,以及根據(jù)視頻信號的S/N電平設(shè)置內(nèi)插位置參數(shù)Relpos 的值的示例。然而,作為設(shè)置內(nèi)插位置參數(shù)Relpos的值的再另一方法,例如, 從EPG (電子節(jié)目指南)獲得當前接收的電視廣播節(jié)目的類型信息,并且可 以根據(jù)該類型來設(shè)置內(nèi)插位置參數(shù)Relpos的值(例如,在視頻圖像的運動慢 的類型中設(shè)置圖8和圖9中的"強"值,而在視頻圖像的運動快的類型中設(shè)置 圖8和圖9中的"中"值)。
作為替換,內(nèi)插位置參數(shù)Relpos的值可以按重置的事實被設(shè)置到圖8和 圖9中的"弱"或"中"值。
此外,圖8和圖9中所示的"弱"和"中,,值僅僅是一個示例。很明顯,通 過另 一值,也可以將每個內(nèi)插幀中的視頻圖像的內(nèi)插位置設(shè)置到更鄰近于更 接近于內(nèi)插幀的原始幀的視頻圖像的位置。
而且,在該實施方式中,已經(jīng)描述了應(yīng)用本發(fā)明到電視接收器中的視頻 信號處理器的示例。然而,本發(fā)明也可應(yīng)用到諸如DVD播放器中的視頻信號 處理器之類的、用于使用運動補償轉(zhuǎn)換視頻信號的幀速的任何視頻信號處理 器。
現(xiàn)在描述本發(fā)明的第二實施方式。
圖13示出第二實施方式的視頻信號處理器(視頻信號處理器4B)的配 置的示例。相同的標記指示與前一實施方式的組件相同的組件,并且將不重 復(fù)它們的描述。
視頻信號處理器4B基于存取單元對運動圖像數(shù)據(jù)執(zhí)行各種圖像處理。這 種存取單元是諸如幀或半幀之類的運動圖像的單元,例如,具體指構(gòu)成運動 圖像的整個幀或幀的一部分。在這種情況下,這里的幀表示單一靜止圖像。 因此,整個幀相當于一幀。然而,此后,為了解釋起來簡單,假設(shè)視頻信號 處理器4B基于幀單元對運動圖像數(shù)據(jù)執(zhí)行各種圖像處理。
如圖13所示,通過進一步給在第一實施方式中描述過的視頻信號處理器 4A (包括內(nèi)插部分45 (高幀速轉(zhuǎn)換單元))配備成像模糊特性檢測器12和成 像模糊抑制處理器13來獲得視頻信號處理器4B。
對于內(nèi)插部分45,像在第一實施方式中所描述的那樣,例如,可以以幀單元輸入諸如電視廣播信號之類的運動圖像信號作為運動圖像數(shù)據(jù)。
在下面,在運動圖像和與運動圖像對應(yīng)的運動圖像數(shù)據(jù)不必相互區(qū)別的 情況下,將把運動圖像和與運動圖像對應(yīng)的運動圖像數(shù)據(jù)簡單地總稱為運動 圖像。類似地,在幀和與幀對應(yīng)的幀數(shù)據(jù)不必相互區(qū)別的情況下,將它們簡 稱為幀。
在輸入處于第一幀速的運動圖像的情況下,內(nèi)插部分45對運動圖像執(zhí)行 高幀速轉(zhuǎn)換處理'并提供作為該處理的結(jié)果而獲得的、高于第一幀速的第二 幀速的運動圖像到成像模糊特性檢測器12和成像模糊抑制處理器13。
高幀速轉(zhuǎn)換處理是在輸入的時候的第 一幀速低于在輸出(顯示)的時候 的第二幀速的情況下執(zhí)行的處理。它是通過在輸入的時候創(chuàng)建新幀并將其插 入構(gòu)成運動圖像的每個幀之間來將第一幀速轉(zhuǎn)換到高于第一幀速的第二幀速 的處理。
在這種情況下,第一幀速指的是在運動圖像被輸入到內(nèi)插部分45的時間 點處運動圖像的幀速。因此,第一幀速可以是任意幀速。例如,在這種情況 下,它是未示出的成像設(shè)備捕獲運動圖像時的幀速,即,成像幀速。
此外,在該實施方式中,作為用于執(zhí)行這種高幀速轉(zhuǎn)換處理的高幀速轉(zhuǎn) 換器的示例,將描述在第一實施方式中的內(nèi)插部分45 (在在相鄰原始幀之間 添加N片內(nèi)插幀的情況下,作為內(nèi)插幀中的視頻圖像的內(nèi)插位置,設(shè)置比均 勻劃分的位置更接近于更鄰近于內(nèi)插幀的原始幀的視頻圖像的位置,而非通 過等分前原始幀和后原始幀之間的視頻圖像的運動量而獲得的位置)。代替內(nèi) 插部分45,可以配備通常的高幀速轉(zhuǎn)換器(其設(shè)置通過均勻劃分前原始幀和 后原始幀之間的視頻圖像的運動量而獲得的位置作為內(nèi)插幀中的視頻圖像內(nèi)' 插位置)。
關(guān)于構(gòu)成從內(nèi)插部分45供給的運動圖像的每一幀,成像模糊特性檢測器 12檢測指示成像模糊的特性的參數(shù)的值。成像模糊特性檢測器12的檢測結(jié) 果,即,指示成像模糊的特性的參數(shù)的值,被提供給成像模糊抑制處理器13。
除此而外,不限于指示成像模糊的特性的參數(shù),而是能夠采用各種參數(shù)。 后面將描述指示這種成像模糊的特性的參數(shù)的具體示例。例如,在使用行進 矢量(運動矢量)的絕對值作為指示成像模糊的特性的參數(shù)的情況下,成像 模糊特性檢測器12可以包括在第 一實施方式中描述過的運動矢量檢測器44。
不特別地限制指示在一幀中的成像模糊的特性的參數(shù)的所檢測到的值的數(shù)量。例如,每一幀可以檢測指示成像模糊的特性的參數(shù)的僅僅一個值??梢詫?gòu)成幀的每一個像素檢測指示成像模糊的特性的參數(shù)的值。也可以將一幀劃分為 一些塊,并對每個所劃分出來的塊檢測指示成像模糊的特性的參數(shù)的值。
成像模糊抑制處理器13關(guān)于構(gòu)成從內(nèi)插部分45供給的運動圖像的每一
幀,在成像模糊特性檢測器12所檢測到的參數(shù)的值中,基于與要進行處理的
幀對應(yīng)的值,校正構(gòu)成要進行處理的幀的每個像素的值。即,根據(jù)要處理的
幀中的成像模糊的特性(參數(shù)的值),成像模糊抑制處理器13校正要處理的
幀的每個像素值,以抑制成像模糊。也就是說,使用所檢測到的參數(shù)的值,
執(zhí)行抑制從內(nèi)插部分45供給的每一幀中所包括的成像模糊所引起的畫面質(zhì)量的惡化的成像模糊抑制處理。
從而,將通過校正每一幀的每個像素值來抑制了成像模糊并且轉(zhuǎn)換到高于在輸入的時候的第 一 幀速的第二幀速的運動圖像,從成像模糊抑制處理器13輸出到視頻信號處理器4B的外部。
在圖13的示例中,將成像模糊特性檢測器12和成像模糊抑制處理器13的套件(set)與內(nèi)插部分45組合在一起使用。然而,自然,該套件可以自己單獨使用,也可以與未示出的另一功能塊(用于執(zhí)行預(yù)定圖像處理的另一一見頻圖像信號處理器)組合起來使用。
也就是說,僅僅通過成像模糊特性檢測器12和成像模糊抑制處理器13的套件,就可以產(chǎn)生抑制成像模糊的效果。然而,為了使得效果更明顯,最好如上所述地將成像模糊特性檢測器12和成像模糊抑制處理器13的套件與內(nèi)插部分45組合起來。其原因在下面描述。 ;'
當將在未示出的顯示設(shè)備上顯示的運動圖像形成人的視網(wǎng)膜上的圖像時人所辨認出的模糊,是人跟蹤和看見包括在運動圖像中的運動物體時出現(xiàn)的保持模糊與在運動圖像的捕獲的時間添加的成像模糊的組合。
如后面將參考圖16等進行描述的那樣,成像模糊的特性被表達成低通濾波器。具體地說,成像模糊之后的圖像信號是等價于通過傳遞成像模糊之前的圖像信號(理想圖像信號)通過低通濾波器而獲得的信號的信號。因此,-具有成像模糊的圖像信號的頻率特性比沒有成像模糊的圖像信號的頻率特性更差。也就是說,通常,頻率越高,則具有成像模糊的圖像信號的增益與沒有成像模糊的圖像信號的增益相比越低。像成像模糊的特性一樣,保持模糊的特性也被表達成低通濾波器。也就是說,具有保持模糊的圖像信號是等價于通過傳遞沒有保持模糊的圖像信號
(具有成像模糊的圖像信號)通過低通濾波器而獲得的信號的信號。因此,具有保持模糊的圖像信號的頻率特性比沒有保持模糊的圖像信號的頻率特性更差。也就是說,通常,頻率越高,則具有保持模糊的圖像信號的增益與沒有保持模糊的圖像信號的增益相比越低。然而,保持模糊僅僅出現(xiàn)在顯示設(shè)備是固定像素(保持)顯示設(shè)備的情況下。
因此,通過對其頻率特性由于成像模糊而已經(jīng)被惡化的、具有成像模糊的圖像信號執(zhí)行高幀速轉(zhuǎn)換處理,能夠抑制保持模糊。然而,即使執(zhí)行高幀速轉(zhuǎn)換處理,也不會改變成像模糊的惡化,并且最終使抑制人的視網(wǎng)膜上的模糊的效果減半。這將參考圖14描述。
圖14示出在在圖像捕獲設(shè)備(這以下稱為攝像機)的圖像捕獲范圍內(nèi)捕獲以行進速度4[像素/每幀]移動的實際物體的圖像的情況下,形成在人的視網(wǎng)膜上的圖像中的模糊的頻率特性。在圖14中,水平軸表示頻率,而垂直軸指
示增益。然而,在水平軸上的每個值表示在Nyquist頻率為1的情況下的相對值。
在圖14中,由交替的長短虛線指示的曲線hO示出在不執(zhí)行減小模糊(包括成像模糊和保持模糊)的處理的情況下,形成在人的視網(wǎng)膜上的圖像中的模糊的頻率特性。具體地說,在圖13的示例中被輸入到視頻信號處理器4B的運動圖像被直接提供給顯示設(shè)備并且不用被輸入到視頻信號處理器4B就顯示(不用被處理)的情況下,形成在看見運動圖像的人的視網(wǎng)膜上的圖像中的模糊的頻率特性是曲線h0。
相反,例如,當顯示速度通過高幀速轉(zhuǎn)換處理加倍時,只減小了保持模
糊。結(jié)果,形成在人的視網(wǎng)膜上的圖像中的模糊的頻率特性變成由圖中的li
線所示的曲線hl。具體地說,在被輸入到圖13的視頻信號處理器4B的運動圖像在內(nèi)插部分45中經(jīng)歷高幀速轉(zhuǎn)換處理,然后提供給顯示設(shè)備并且不用被輸入到成像模糊抑制處理器13就顯示(不用減小成像模糊)的情況下,形成在看見運動圖像的人的視網(wǎng)膜上的圖像中的模糊的頻率特性是曲線hl。
例如,當顯示速度通過高幀速轉(zhuǎn)換處理加倍(減小保持模糊),并且通過使用本發(fā)明來改善成像模糊的程度時,形成在人的視網(wǎng)膜上的圖像中的模糊的頻率特性變成由圖中的實線所示的曲線h2。具體地說,在被輸入到圖13'的視頻信號處理器4B的運動圖像在內(nèi)插部分45中經(jīng)歷高幀速轉(zhuǎn)換處理,接受成像模糊抑制處理器13的成像模糊抑制,然后提供給顯示設(shè)備并顯示的情況下,形成在看見運動圖像的人的視網(wǎng)膜上的圖像中的模糊的頻率特性是'#7線h2。
從曲線hl和h2之間的比較能理解,通過高幀速轉(zhuǎn)換處理僅在保持模糊中的減小對于人的視網(wǎng)膜上的模糊的頻率方面的減小是不夠的,而需要成像模糊方面的進一步減小。然而,如上所述,在相關(guān)技術(shù)中,簡單執(zhí)行高幀速轉(zhuǎn)換處理,而不用特別地考慮成^象模糊方面的減小的必要性。
因此,在圖13的實施方式和將在后面描述的圖35和圖36等的實施方式中的本發(fā)明的視頻信號處理器,不僅配備有內(nèi)插部分45,而且配備有成像模糊特性檢測器12和成像模糊抑制處理器13,以減小成像模糊,也就是說,將人的視網(wǎng)膜上的模糊的特性從圖14中的曲線hO改善到曲線hl。然而,如在圖37和圖38的實施方式中所描述的那樣,對于本發(fā)明的視頻信號處理器來說,成像模糊特性檢測器12不是基本元件。
也就是說,成像模糊抑制處理器13基于指示由成像模糊特性檢測器l'2檢測到的成像模糊的特性的參數(shù)的值中與要處理的幀對應(yīng)的值,校正要處理的每一幀的每一個像素值,從而抑制在經(jīng)歷了高幀速轉(zhuǎn)換處理的幀中由成像模糊引起的、圖像中的惡化。換句話說,通過將諸如視頻信號處理器4B之類的、本發(fā)明的視頻信號處理器輸出的圖像信號提供給未示出的顯示設(shè)備,顯示設(shè)備能夠顯示圖像惡化(模糊圖像)被抑制的清晰圖像作為與圖像信號對應(yīng)的圖像。
如上所述,最好將成像模糊特性檢測器12和成像模糊抑制處理器13的套件與內(nèi)插部分45組合起來。
接下來,將參考圖15的流程圖描述具有圖13的功能配置的視頻信號處理器4B的圖像處理。
在步驟S1,內(nèi)插部分45輸入第一幀速的運動圖像。
在步驟S2,內(nèi)插部分45將運動圖像的第一幀速轉(zhuǎn)換到比第 一幀速高第二幀速。 '
當將從第一幀速轉(zhuǎn)換到第二幀速的運動圖像從內(nèi)插部分45提供給成像模糊特性檢測器12和成像模糊抑制處理器13時,處理前進到步驟S3。
在步驟S3,成像模糊特性檢測器12檢測指示構(gòu)成運動圖像的每個幀中成像模糊的特性的參數(shù)的一個或多個值。
當將指示構(gòu)成運動圖像的每個幀中成像模糊的特性的參數(shù)的 一個或多個
值從成像模糊特性檢測器12提供給成像模糊抑制處理器13時,處理前進到步驟S4。
在步驟S4,關(guān)于從內(nèi)插部分45供給的、構(gòu)成運動圖像的每一幀,成像模糊抑制處理器13基于由成像模糊特性檢測器12檢測到的參數(shù)的值之中與要處理的幀對應(yīng)的一個或多個值,校正要處理的幀的每一個像素值。
在步驟S5,成像模糊抑制處理器13輸出通過校正每一幀的像素值并改變第一幀速到第二幀速而獲得的運動圖像。
之后,結(jié)束圖15的圖像處理。
在上述描述中,為了解釋的筒單,基于運動圖像單元執(zhí)行步驟S1至步驟S5中的每一步中的處理。然而,實際上,幀時常是處理單元。
在圖15的圖像處理中,每一步的處理單元是運動圖像的事實等價于將在步驟S1至步驟S5中要處理的步驟移動到下一步驟的條件為對整個運動圖像執(zhí)行要處理的步驟的處理的條件的事實。
另一方面,在圖15的圖像處理中,每一步中的處理單元是幀的事實等價于將在步驟Sl至步驟S5中要處理的步驟移動到下一步驟的條件為對整個幀執(zhí)行要處理的步驟的處理的條件的事實。換句話說,每一步中的處理單元是幀的狀態(tài)等價于與其它幀相互獨立地(并行地)執(zhí)行關(guān)于每一幀的、在步驟Sl至步驟S5中的連續(xù)處理的狀態(tài)。在這種情況下,例如,當對第一幀執(zhí)行在步驟S3中的處理時,可以并行地執(zhí)行關(guān)于不同于上述幀的第二幀的、在步驟S2中的處理。
此外,實際上,時常發(fā)生這樣的事,構(gòu)成將要被處理的幀的每一個像素被順序地設(shè)置為要被作為處理的物體(這以下稱為目標像素)加以注意的像素,并且至少對目標像素順序和單獨地執(zhí)行步驟S3和步驟S4中的處理。也就是說,步驟S3和步驟S4中的處理單元通常是像素。
因此,在下面的描述中,也將假設(shè)基于像素單元執(zhí)行步驟S3和步驟S4中的處理。具體來說,步驟S3中的處理是成像模糊特性檢測器12的處理.。步驟S4中的處理是成像模糊抑制處理器13的處理。因此,將在成像模糊特性檢測器12和成像模糊抑制處理器13的處理單元為像素的假設(shè)下給出以下描述。接下來,將描述圖13中的視頻信號處理器4B中的成像模糊抑制處理器
13的細節(jié)。具體地說,例如,將描述在使用行進矢量(運動矢量)的絕對值作為指示成像模糊的特性的參數(shù)的情況下的成像模糊抑制處理器13的實施方式。
在以下,行進矢量(運動矢量)的絕對值將被稱為行進速度,而行進矢量(運動矢量)的方向?qū)⒈环Q為行進方向。行進方向可以是兩維平面上的任何方向。自然,在兩維平面上的任何方向變成行進方向的情況下,圖13的4見頻信號處理器4B可以類似地執(zhí)行將在后面描述的各種處理。然而,在以下,為了解釋起來簡單,假設(shè)行進方向是橫向方向。
在將行進速度用作指示成像模糊的特性的參數(shù)的情況下,例如,對于構(gòu)成運動圖像的每個幀,成像模糊特性檢測器12將構(gòu)成要處理的幀的每個像素設(shè)置為目標像素,順序地檢測目標像素中的行進矢量,并且順序地將作為指示在目標像素中的成像模糊的特性的參數(shù)的值的行進矢量提供給成像模糊抑制處理器13。
因此,例如,對于構(gòu)成運動圖像的每個幀,成像模糊抑制處理器13將構(gòu)成要處理的幀的每個像素設(shè)置為目標像素,并基于從成像模糊特性檢測器12供給的目標像素中的行進速度,順序地校正目標像素的像素值。
這里,將描述為什么可以將行進速度采用為指示成像模糊的特性的參數(shù)的原因。
一般可以以依賴于物體的行進速度的形式來表達成像模糊的特性。除此而外,在物體自身在真實空間中移動而攝像機固定的情況下,當由攝像機捕獲物體時,物體的行進速度自然包括幀中的物體(圖像)的行進速度。此外,在物體固定在真實空間中而攝像機由于手抖動等而移動的情況下,或物體和攝像機兩者都在真實空間中移動的情況下,當由攝像機捕獲物體時,
這里的物體的行進速度包括相對于幀中的物體(圖像)的行進速度。
因此,可以以依賴于構(gòu)成物體的圖像的每個像素的行進速度的形式來表達成像模糊的特性。
像素的行進速度涉及要處理的幀中的像素與之前幀中的對應(yīng)像素(對應(yīng)點)之間的空間距離。例如,在要處理的幀中的像素與緊接的在前幀(時間上之前的一幀)中的對應(yīng)像素(對應(yīng)點)之間的空間距離為v個像素的情況下(v表示等于或大于O的任意整數(shù)值),像素中的行進速度是v[像素/幀]。在這種情況下,如果將構(gòu)成物體的圖像的每個像素中的預(yù)定一個設(shè)置為目標像素,則可以以依賴于目標像素中的行進速度V[像素/幀]的形式來表達目標像素中的成像模糊的特性。
更具體地說,例如,在圖16中,在目標的行進速度為2、 3和4[像素/幀]的情況下,可以分別用曲線H2、 H3和H4來表達目標像素中的成像模糊的頻率特性。
也就是說,圖16示出在目標像素的行進速度為2、 3和4[像素/幀]的情況下目標像素中的成像模糊的頻率特性。在圖16中,水平軸示出頻率,而垂直軸示出增益。然而,水平軸上的每個值示出在Nyquist頻率為1的情況下的相對值。
上面已經(jīng)描述了為什么可以將行進速度采用為指示成像模糊的特性的參凄t的原因。
順便提一下,像從圖16中的頻率特性H2至H4所理解的那樣,當在空間區(qū)域中表達目標像素中的成像模糊的特性時,其可以由運動平均濾波器(低通濾波器)來表達。
具體地說,當指示運動平均濾波器(低通濾波器)的傳遞函數(shù)(以下稱為成像模糊的傳遞函數(shù))被寫成H,在頻率區(qū)域中將推測不出現(xiàn)成像模糊的情況下的理想圖像信號(以下稱為無成像模糊的信號)表達為F,而在頻率區(qū)域中將從攝像機輸出的實際圖像信號即出現(xiàn)成像模糊的圖像信號(以下稱為具有成像模糊的信號)表達為G時,具有成像模糊的信號G被表達為下述公式(3 )。
G=HxF ……(3)
本發(fā)明的目的是去除(抑制)成像模糊。為了實現(xiàn)該目的,根據(jù)已知的具有成像模糊的信號G以及已知的成像模糊的傳遞函數(shù)H預(yù)測地計算不具有成像模糊的信號F就足夠了。也就是說,執(zhí)行預(yù)測計算的以下公式(4)就足夠了。
F=inv (H) xG ......(4)
在公式(4)中,inv (H)指示成像模糊的傳遞函數(shù)H的反函數(shù)。由于成像模糊的傳遞函數(shù)H具有如上所述的低通濾波器的特性,所以傳遞函數(shù)H的反函數(shù)inv(H)自然具有高通濾波器的特性。
如上所述,成像模糊的傳遞函數(shù)H的特性根據(jù)行進速度變化。具體地說,例如,在圖16中,當目標像素中的行進速度為2、 3和4[像素/幀]時,目標像素中的成像模糊的傳遞函數(shù)H的頻率特性分別變成如由曲線H2、 H3和H4所示的不同的特性。 .;-
從而,成像模糊抑制處理器13可以實現(xiàn)本發(fā)明的目的,也就是通過按照行進速度改變成像模糊的傳遞函數(shù)H的特性而去除(抑制)成像模糊的目的,獲得其特性被改變了的傳遞函數(shù)H的反函數(shù)inv ( H ),并使用反函數(shù)inv ( H )執(zhí)行公式(4)的計算處理。
替換地,由于公式(4)的計算是頻率區(qū)域的計算,為了實現(xiàn)本發(fā)明的目的,成像模糊抑制處理器13可以執(zhí)行等價于公式(4)的計算處理的空間.區(qū)域中的處理。具體來說,例如,成像模糊抑制處理器13可以執(zhí)行下述第一至第三處理。
在第一處理中,根據(jù)從成像模糊特性檢測器12供給的目標像素中的行進速度,轉(zhuǎn)換表達目標像素中的成像模糊的運動平均濾波器(低通濾波器)的特性。具體來說,例如,以一對一的對應(yīng)方式為多個行進速度準備運動平均濾波器。在多個運動平均濾波器中選擇與目標像素中的行進速度對應(yīng)的一個濾波器的處理是第 一處理的示例。
第二處理是由下述處理2-1至2-3組成的處理。
處理2-1是通過關(guān)于其特性由第一處理轉(zhuǎn)換過的運動平均濾波器上執(zhí)行Fourier變換來在頻率下顯示運動平均濾波器的處理。具體地說,例如,在目標像素的傳遞速度為2、 3和4[像素/幀]的情況下,獲得圖16中的曲線H2、H3和H4的處理為處理2-1。即,從頻率區(qū)域的觀點來看,獲得目標像素中的成像模糊的傳遞函數(shù)的處理是處理2-1。
處理2-2是計算作為由處理2-l所指示的頻率的運動平均濾波器的逆的處理。即,從頻率區(qū)域的觀點來看,產(chǎn)生由上述公式(4)表達的成像模糊的傳遞函數(shù)H的反函數(shù)kw (H)的處理是處理2-2。
處理2-3是關(guān)于由處理2-2計算出來并且作為所指示的頻率的運動平均濾波器的逆執(zhí)行Fourier變換的處理。即,產(chǎn)生與反函數(shù)inv ( H )對應(yīng)的高通濾波器(Wiener濾波器等)的處理為處理2-3。換句話說,產(chǎn)生運動平均濾波器的逆濾波器的處理為處理2-3。在以下,由處理2-3所產(chǎn)生的高通濾波器將被稱為逆運動平均濾波器。
第三個處理是輸入與具有成像模糊的、頻率范圍中的、公式(4)中的信號G對應(yīng)的空間區(qū)域中的圖像信號g作為輸入圖像,以及將處理2-3所產(chǎn)生的逆運動平均濾波器應(yīng)用在圖像信號g上的處理。通過第三處理,重構(gòu)(預(yù)
測地計算)與不具有成像模糊的、頻率區(qū)域中的、公式(4)中的信號F對應(yīng)的空間區(qū)域中的圖像信號f。具體地說,例如,通過逆運動平均濾波器應(yīng)用在包括要處理的幀中的目標像素的預(yù)定塊上來校正目標像素的像素值的處理為第三處理。
能夠執(zhí)行第一至第三處理的成像模糊抑制處理器13的功能配置的實施方式已經(jīng)由本發(fā)明的發(fā)明人發(fā)明,并公開在與日本專利申請?zhí)?004-234051的申請一起提交的圖17中。
然而,在成像模糊抑制處理器13具有與日本專利申請?zhí)?004-234051的申請一起呈現(xiàn)的圖17的配置的情況下,會新出現(xiàn)下述第一問題。即,如也.由圖16中的頻率特性H2至H4所示,指示成像模糊的運動平均濾波器(其頻率特性)包括在其上增益成為零的頻率。結(jié)果,成像模糊抑制處理器13產(chǎn)生運動平均濾波器的完全逆濾波器(完全逆運動平均濾波器)很困難。結(jié)果,新出現(xiàn)噪聲增加的第 一 問題。
此外,像第三處理一樣將高通濾波器(逆運動平均濾波器)應(yīng)用在圖像信號的處理也可以被說成使得邊緣清晰(sharp )的處理。作為"使得邊緣清晰,,的意義下的成像技術(shù),在過去存在諸如LTI和清晰度之類的技術(shù)。明顯,這樣的常規(guī)技術(shù)可以應(yīng)用到成像模糊抑制處理器13 。
然而,在將這種常規(guī)技術(shù)應(yīng)用到成像模糊抑制處理器13的情況下,新出現(xiàn)下述第二至第五問題。
即,LTI是公開在日本待審專利申請公告號2000-324364等中的相關(guān)技術(shù)的技術(shù)。在日本待審專利申請公告號2000-324364中,通過硬開關(guān)(hardswitch)以鄰近目標像素的像素的亮度(像素值)代替目標像素的亮度(像素值)來校正目標像素的亮度從而清晰化邊緣的技術(shù)為LTI。因此,由于特性的緣故,LTI具有第二問題,使得對噪聲的耐力低,而處理圖像可能由于噪聲而損壞。也存在不管在LTI之前的圖像數(shù)據(jù)如何都清晰化所有邊緣的第三問題。
除此而外,由于相關(guān)技術(shù)的技術(shù)被用于圖像形成,所以該技術(shù)具有對在其中不出現(xiàn)成像模糊的靜止畫面也類似地執(zhí)行該處理的第四問題,以及不管成像模糊量如何都統(tǒng)一執(zhí)行該處理的第五問題。相應(yīng)地,本發(fā)明的發(fā)明人已經(jīng)發(fā)明了具有例如本發(fā)明的圖17中所示的功
能配置的成像模糊抑制處理器13,來解決在"發(fā)明內(nèi)容,,部分中所述的問題以及上述第一至第五問題。即,圖17示出本發(fā)明被應(yīng)用到的成像模糊抑制處理器13的功能配置的示例。
在圖17的示例中,將成像模糊抑制處理器13配置成具有高頻分量去除單元21、濾波器單元22和成像模糊補償單元23。
至少在成像模糊抑制處理器13的描述中,輸入到構(gòu)成成像模糊抑制處理器13的每個功能塊(包括諸如加法器之類的計算單元)的信號以下統(tǒng)稱為輸入信號,而不管諸如運動圖像、構(gòu)成運動圖像的每一幀和構(gòu)成每一幀的每一像素的像素值之類的輸入單元。類似地,從每個功能塊輸出的信號以下統(tǒng)稱為輸出信號,而不管輸出單元。換句話說,在輸入單元和輸出單元必須相互區(qū)分的情況下,將使用單元(主要是像素值)給出描述。在其他情況下,將簡單地使用輸入信號或輸出信號給出描述。
如圖17所示,內(nèi)插部分45的輸出信號被提供給高頻分量去除單元21作為給成像模糊抑制處理器13的輸入信號。成像模糊特性檢測器12的輸出信號被提供給濾波器單元22和成像模糊補償單元23。高頻分量去除單元21的輸出信號被提供給濾波器單元22。濾波器單元22的輸出信號被提供給成像模糊補償單元23。成像模糊補償單元23的輸出信號被輸出到外部,作為指示成像模糊抑制處理器13的最終處理結(jié)果的輸出信號。
在下面,將依次描述高頻分量去除單元21、濾波器單元22和成像模糊補償單元23的細節(jié)。
首先,參考圖18和圖19,描述高頻分量去除單元21的細節(jié)。
圖18示出高頻分量去除單元21的詳細功能配置的示例。圖19示出圖18中的高頻分量去除單元21中的后述高頻限制器32的特性。
在圖18的示例中,將高頻分量去除單元21配置成具有高通濾波器31、高頻限制器32和減法器33。
如圖18所示,內(nèi)插部分45的輸出信號被作為給高頻分量去除單元21的輸入信號提供給高通濾波器31和減法器33。
高通濾波器31具有HPF (高通濾波器)的功能。因此,高通濾波器31從高頻分量去除單元21的輸入信號中提取高頻分量,并將其提供給高頻限制器32。高頻限制器32具有由圖19中的曲線Pl所示出的函數(shù),將作為輸入?yún)?shù)的、從高通濾波器31供給的高頻分量賦值給該函數(shù),并且將該函數(shù)的輸出(圖19的輸出)提供給減法器33。即,如從圖19中的曲線P1的形狀中容易理解的那樣,在從高通濾波器31供給的高頻分量(輸入)的值為預(yù)定值或大于預(yù)定值,或者預(yù)定值或小于預(yù)定值的情況下,高頻限制器32限制該值。換句話說,高頻限制器32具有圖19中的曲線P1所示的特性。
再參考圖18,減法器33計算高頻分量去除單元21的輸入信號與經(jīng)由高頻限制器32限制過的高頻分量之間的差值,并將所導(dǎo)出的差值信號作為高頻分量去除單元21的輸出信號提供給濾波器單元22。
按照這樣的方式,從高頻分量去除單元21中的輸入信號中去除諸如噪聲之類的高頻分量,并且將作為結(jié)果而獲得的信號作為輸出信號提供給濾波器單元22。
接下來,將參考圖20至圖22描述濾波器單元22的細節(jié)。圖20示出濾波器單元22的詳細功能配置的示例。圖21示出在圖20的':濾波器單元22中的、后面將要描述的增益控制器53的詳細功能配置的示例。圖22示出在圖21的增益控制器53中的、后面將要描述的調(diào)節(jié)量確定單元64的特性。
在圖20的示例中,濾波器單元22包括運動平均濾波器51至加法器54。如圖20所示,將高頻分量去除單元21的輸出信號作為濾波器單元22的輸入信號提供給運動平均濾波器51、減法器52和加法器54中的每一個。"此外,將成像模糊特性檢測器12的輸出信號提供給運動平均濾波器51和增益控制器53中的每一個。
運動平均濾波器51將運動平均濾波應(yīng)用到濾波器單元22的輸入信號。更具體地說,運動平均濾波器51將運動平均濾波器應(yīng)用在包括濾波器單元22的輸入信號中要被處理的幀中的目標像素的預(yù)定塊的每個像素值上,從而校正目標像素的像素值。此時,運動平均濾波器51根據(jù)成像模糊特性檢測器12的輸出信號中目標像素的行進速度來轉(zhuǎn)換運動平均濾波器的特性。具體地說,例如,在目標像素的行進速度為2、 3和4[像素/幀]的情況下,考慮頻率區(qū)域,運動平均濾波器51將運動平均濾波器的特性轉(zhuǎn)換成在圖16中分別由曲線H2、 H3和H4所示的特性。經(jīng)由運動平均濾波器51校正過的目標像素的像素值被提供給減法器52。此時,運動平均濾波器51也可以根據(jù)成像模糊特性檢測器12的輸出信 號中目標像素的行進速度,改變用在應(yīng)用運動平均濾波器在目標像素上的情 況下使用的抽頭(目標像素和鄰近目標像素的預(yù)定像素)的數(shù)量。具體地說, 例如,運動平均濾波器51應(yīng)該改變抽頭的數(shù)量以便隨著行進速度增加而增加
(即,以便隨著行進速度增加而增加要平均的寬度)。成像模糊補償單元23
利用使用根據(jù)行進速度的數(shù)量的抽頭的運動平均濾波器的結(jié)果,從而使得能 夠進行更高精度的校正,即,要執(zhí)行的、能夠更多地抑制成像模糊的校正。
減法器52獲得濾波器單元22的輸入信號中的目標像素的校正之前的像 素值與由運動平均濾波器51校正過的目標像素的像素值之間的差值,并將該 差值提供給增益控制器53。以下將減法器52的輸出信號稱為運動平均濾波 器之前與之后信號之間的差值。
增益控制器53調(diào)節(jié)運動平均濾波器之前與之后信號之間的差值,并將運 動平均濾波器之前與之后信號之間的經(jīng)過調(diào)節(jié)的差值作為輸出信號提供給加 法器54。后面將參考圖21描述增益控制器53的細節(jié)。
加法器54將濾波器單元22的輸入信號與增益控制器53的輸出信號相 加,并將相加信號作為輸出信號提供給成像模糊補償單元23。具體地說,當 關(guān)注目標像素時,加法器54將目標像素的運動平均濾波器之前與之后信號之 間的經(jīng)調(diào)節(jié)的差值的值作為校正量加到校正之前的目標像素的像素值,并且 將相加值作為經(jīng)校正目標像素的像素值提供給處于外部的成像模糊補償單元 23。
考慮到頻率區(qū)域來按照如下方式執(zhí)行如上所述的濾波器單元22中的空 間區(qū)域中的處理。
也就是說,在在頻率區(qū)域中考慮作為減法器52的輸出信號的、運動平均 濾波器之前與之后信號之間的差值的情況下,當關(guān)注預(yù)定頻率時,減法器52 的輸出信號的增益變成如下。具體來說,在所注意的頻率處,濾波器單元22 的輸入信號的增益與通過運動平均濾波器的輸入信號的增益之間差分增益變 成減法器52的輸出信號的增益。以下將減法器52的輸出信號的增益稱為運 動平均濾波器之前與之后的增益之間的差分增益。
此外,通過增益控制器53調(diào)節(jié)運動平均濾波器之前與之后的增益之間的 差分增益。后面將描述增益調(diào)節(jié)。
因此,在在頻率區(qū)域中考慮圖20的示例中的濾波器單元22 (加法器54)的輸出信號的情況下,當關(guān)注預(yù)定頻率時,輸出信號的增益為通過將輸入信 號的增益與增益調(diào)節(jié)之后運動平均濾波器之前與之后的增益之間的差分增益 相加而獲得相加增益。即,在每個頻率處,輸出信號的增益高出輸入信號的 增益僅僅增益調(diào)節(jié)之后運動平均濾波器之前與之后的信號的差分增益的量。
換句話說,濾波器單元22作為整體來執(zhí)行基本上等效于應(yīng)用高通濾波器 的處理的處理。
參考圖21,描述增益控制器53的細節(jié)。
在圖21的示例中,增益控制器53具有延遲單元61-1至61-n(以下稱為 對應(yīng)于圖21的DL單元61-1至61-n)、 MAX/MIN計算器62、減法器63、調(diào) 節(jié)量確定單元64和乘法器65。 .
如圖21所示,將作為減法器52的輸出信號的運動平均濾波器之前與之 后的信號之間的差值作為給增益控制器53的輸入信號提供給DL單元61-I。 成像模糊特性檢測器12的輸出信號被提供給MAX/MIN計算器62。
利用這樣的配置,增益控制器53可以抑制信號電平高的地方出現(xiàn)的振鈴 信號(ringing )。
下面將描述增益控制器53的詳細功能配置(每個功能塊的連接模式)及 其操作。
依次連接DL單元61-1至61-n。當將在前DL單元的輸出信號作為輸入 信號提供給DL單元時,DL單元將輸入信號延遲預(yù)定延遲時間,并將作為輸 出信號的產(chǎn)生信號提供給在后DL單元。還將DL單元61-1至61-n的每個輸 出信號提供給MAX/MIN計算器62。此外,還將DL單元61- (n/2)的輸出 提供給乘法器65。
在從右向左的像素排列順序下,將在作為增益控制器53的輸入信號的—運 動平均濾波器之前與之后的信號之間的差值中、與使用目標像素作為中心連 續(xù)排列在行進方向(在這種情況下,橫向方向)上的n個像素對應(yīng)的值(以 下稱為鄰近像素的差分值)順序輸入到DL單元61-1。因此,在從那以后過 去n倍于延遲時間的時間之后,從DL單元61 -1至61 -n的每一個中逐一輸出 使用目標像素作為中心在才黃向上連續(xù)排列的n個像素中的相鄰像素之間的一: 個差分值,并提供給MAX/MIN計算器62。此外,從DL單元61- (n/2)輸 出目標值的相鄰像素之間的差分值,并將該差分值如上所述那樣提供給 MAX/MIN計算器62,并且還提供給乘法器65。除此而外,雖然不特別限定,但在這種情況下DL單元61-1至61-n的數(shù) 量n是行進速度的最高值[像素/幀]。還假設(shè)從成像模糊特性檢測器12供給的 目標像素中的行進速度為v[像素/幀]。然而,v是0或大于0的任意整數(shù)。
MAX/MIN計算器62確定包括作為中心的目標像素并且包括在與行進速 度對應(yīng)的量的v個像素中的相鄰像素的差分值的范圍,作為計算范圍。 MAX/MIN計算器62從來自DL單元61-1至61-n供給的相鄰的n個差分值 中的、包括在計算范圍中的相鄰像素的v個差分值,獲得最大值MAX和'最 小值MIN,并將它們提供給減法器63。
除此而外,包括作為中心的目標像素并且包括在與行進速度對應(yīng)的量的 v個像素中的相鄰像素的差分值的范圍因為后面的原因而被設(shè)置為計算范圍。 即,振鈴信號僅僅依靠高通濾波器的抽頭的數(shù)量(換句話說,僅僅^泉靠與行 進速度對應(yīng)的量)發(fā)揮影響。
減法器63獲得從MAX/MIN計算器62供給的最大值MAX和最小值MIN 之間的差,并將差分值(=MAX-MIN)提供給調(diào)節(jié)量確定單元64。
知道差分值(=MAX - MIN )變得越大,則目標像素周圍的振鈴信號變得 越大。也就是說,差分值(=MAX - MIN )為作為目標像素周圍的振鈴信號的 量值的指標的值。
然后,調(diào)節(jié)量確定單元64基于減法器63供給的差分值(=MAX-MIN) 確定關(guān)于鄰近目標像素的像素的差分值的調(diào)節(jié)量,并將其提供給乘法器65 。
具體地說,例如,調(diào)節(jié)量確定單元64保持圖22中的曲線P2所指示的函 數(shù),將作為輸入?yún)?shù)的、從減法器63提供給差分值(二MAX - MIN )賦值給 該函數(shù),并且將作為關(guān)于鄰近目標像素的像素的差分值的調(diào)節(jié)量的、函數(shù)的 輸出(圖22的輸出)提供給乘法器65。也就是說,如從圖22中的曲線P2 的形狀容易理解的那樣,在從減法器63供給的差分值(=MAX-MIN)超過 預(yù)定值之后,調(diào)節(jié)量(輸出)降低以便抑制振鈴信號的出現(xiàn)。換句話說,調(diào)' 節(jié)量確定單元64具有由圖22中的曲線P2所示出的特性。
再參考圖21,乘法器65將從DL單元61- (n/2)供給的鄰近目標像素的 像素的差分值與調(diào)節(jié)量確定單元64供給的調(diào)節(jié)量(在圖22的示例中,為在 0至1的范圍中的值)相乘,并將產(chǎn)生的值提供為鄰近目標像素的經(jīng)調(diào)節(jié)信 號之間的差分值。即,被調(diào)節(jié)的相鄰像素之間的差分值被作為增益控制器53 的輸出信號順序提供給加法器54。
34如上所述,當作為減法器63的輸出信號的差分值(=MAX-MIN)超過 預(yù)定值時,隨著差分值(=MAX-MIN)增加,調(diào)節(jié)量(輸出)也逐漸從1 向0下降。因此,在作為減法器63的輸出信號的差分值(-MAX-MIN)等 于或大于預(yù)定值時,將把小于l的調(diào)節(jié)量乘到鄰近目標像素的像素的差分量 上。因此,調(diào)節(jié)了鄰近目標像素的像素的差值以便被降低。結(jié)果,抑制了目 標像素周圍的振鈴信號。
考慮到頻率區(qū)域,作為結(jié)果,可以說如上所述的增益控制器53中的空間 區(qū)域中的處理為調(diào)節(jié)運動平均濾波器之前和之后的增益之間的差分增益以使 抑制振鈴信號的處理。
接下來,將參考圖23至圖31描述成^象模糊補償單元23的細節(jié)。
圖23示出成像模糊補償單元23的詳細功能配置的示例。
在圖23的示例中,將成像模糊補償單元23配置成具有ALTI單元81、 減法器82、增益控制器83和加法器84。
如圖23所示,將濾波器單元22的輸出信號作為成像模糊補償單元23的 輸入信號輸入到ALTI單元81、減法器82和加法器84。將成像模糊特性檢測 器12的輸出信號提供給ALTI單元81和增益控制器83。
注意成像模糊補償單元23的輸入信號中的目標像素的像素值,以下將描 述ALTI單元81至加法器84中的每一個。
如上所述,處于被提供給成像模糊補償單元23時的階段的目標像素的像 素值通常不同于處于被輸入到圖17中的成像模糊抑制處理器13時的階段的 目標像素的像素值,因為前者已經(jīng)由高頻分量去除單元21和濾波器單元22 校正。此外,如后所述,目標像素的像素值還在成像;漠糊補償單元23中被適 當?shù)匦U?。然后,為了避免混淆,在成像模糊補償單元23的解釋期間,處于 被輸入每個功能塊時的階段的每個像素值將被稱為輸入像素值,而處于從每 個功能塊輸出時的階段的像素值將被稱為輸出像素值。此外,存在這樣的情 況,關(guān)于相同像素,從多個在前功能塊輸入多個不同像素值到某功能塊。在 這種情況下,更接近原始的像素值(主要是校正之前的像素值)將被稱為輸 入像素值,而其他像素值將被稱為在后功能塊的輸出像素值。例如,雖然后 面將描述細節(jié),但不同值將被作為目標像素的像素值,從ALTI單元81和外 部濾波器單元22提供給減法器82。因此,從外部濾波器單元22供給的像素 值將被稱為輸入像素值,而從ALTI單元81供給的像素值將被稱為ALTI單元81的輸出像素值。
ALTI單元81根據(jù)從成像模糊特性檢測器12供給的目標像素的行進速度 確定校正量,將該校正量加到目標像素的輸入像素值,并將所加出的值作為 目標像素的輸出像素值提供給減法器82。后面將參考圖24描述ALTI單元81 的更多細節(jié)。
減法器82計算ALTI單元81的目標像素的輸出像素值與目標像素的輸入 像素值之間的差,并將該差值(以下稱為目標像素差分值)提供給增益控制 器83。
增益控制器83根據(jù)從成像模糊特性檢測器12供給的目標像素中的行進 速度調(diào)節(jié)從減法器82供給的目標像素差分值,并將經(jīng)調(diào)整的目標像素差分值 作為關(guān)于目標像素的最終校正量提供給加法器84。
加法器84將來自增益控制器83的最終校正量加到目標像素的輸入像素 值上,并將加出的值作為目標像素的輸出像素值輸出到外部。即,將加法器 84的目標像素的輸出像素值作為最終由成像模糊補償單元23校正了的目標 像素的像素相加值輸出到外部。
下面將依次描述成像模糊補償單元23中的ALTI單元81和增益控制器 83中的每一個的細節(jié)。
首先,將參考圖24至29描述ALTI單元81的細節(jié)。
圖24示出ALTI單元81的詳細功能配置的示例。
在圖24的示例中,將ALTI單元81配置成具有延遲單元91-1至91-n(以 下稱為DL單元91-1至91-n,如圖24所示)、平均值計算器92至94、校正 量確定單元95和加法器96。 ''
下面將描述ALTI單元81的詳細功能配置(每個功能塊的連接模式)及 其操作。
依次連接DL單元91-1至91-n。 DL單元91-1至91-n中的每一個將從在 前DL單元輸出的每一個像素值僅僅延遲預(yù)定延遲時間,并將產(chǎn)生的信號輸 出到在后DL單元。將從DL單元91-1至91- ( n/2-l )輸出的每個像素值提供 給平均值計算器93。將從DL單元91- (n/2-l )、 91- ( n/2 )和91- ( n/2+l ) 輸出的像素值提供給平均值計算器92。將從DL單元91- (n/2+l)至91-n輸 出的像素值提供給平均值計算器94。將從DL單元91- (n/2)輸出的像素值 提供給校正量確定單元95和加法器96。在從右向左的像素排列順序下,將使用目標像素作為中心連續(xù)排列在^
進方向(在這種情況下為橫向方向)上的n個像素的每一個像素值順序輸入 到DL單元91-1。因此,在從那以后幾乎過去n倍于延遲時間的時間之后, 從DL單元91-1至91-n的每一個中逐一輸出使用目標像素作為中心在橫向上 連續(xù)排列的n個像素的每一個的像素值。
除此而外,將在處于它們從DL單元91-1至91-n的每一個中時的階段的 像素值中的每一個是給ALTI單元81的輸入像素值的假設(shè)下,給出描述。
具體地說,從DL單元91- ( n/2 )輸出目標像素的輸入像素值N。從DL 單元91-1至91-(n/2-l )中的每一個中輸出連續(xù)排列在目標像素的左邊的n/2-l 個像素中的每一個的輸入像素值。另一方面,從DL單元91-(n/2+l )至91-n 中的每一個中輸出連續(xù)排列在目標像素的右邊的n/2-1個像素中的每一個的 輸入像素值。
除此而外,雖然不特別限定,但在這情況下DL單元91-1至91-n的數(shù)量 n是行進速度的最高值[像素/幀]。也以類似于上述示例的方式假設(shè)從成像^t糊 特性檢測器12供給的目標像素中的行進速度為v[像素/幀]。
因此,向平均值計算器92輸入目標像素的輸入像素值N、目標像素左邊 的像素的輸入像素值和目標像素右邊的像素的輸入像素值。然后,平均值計 算器92計算目標像素的輸入像素值N、目標像素左邊的像素的輸入像素值和 目標像素右邊的像素的輸入像素值的平均值Na(以下稱為目標像素的平均像 素值Na),并將該平均值Na提供給校正量確定單元95。
如后面將要詳細描述那樣,校正量確定單元95確定的目標像素的校正量 ADD被調(diào)節(jié)預(yù)定調(diào)節(jié)量c。調(diào)節(jié)量c不是固定值,而是由預(yù)定處理(在下文 中稱為調(diào)節(jié)量確定處理)確定的可變值。在該實施方式中,在調(diào)節(jié)量確定處 理中,由于下述原因而使用目標像素的平均像素值Na。在這種情況下,雖然 可以原樣地在調(diào)節(jié)量確定處理中使用目標像素的輸入像素值N,但如果在目 標像素中包括噪聲,則可能破壞要處理的圖像。即,該原因是防止要處理的 圖像的破損。
向平均值計算器93提供連續(xù)排列在目標像素的左邊的n/2-l個像素的輸 入像素值。然后,平均值計算器93在目標像素的左邊的像素的左方向上依次 選擇約為行進速度的 一半的k個像素(其中k約為v/2 ),并確定包括所選擇 的k個像素的輸入像素值的范圍作為計算范圍。然后,平均值計算器93計算在所供給的n/2-l個輸入像素值中包含在計算范圍中的k輸入像素值的平均值 La (以下稱為左像素的平均像素值La),并將其提供給校正量確定單元95。
另 一方面,向平均值計算器94提供連續(xù)排列在目標像素的右邊的n/2-1 個像素的輸入像素值。然后,平均值計算器94在目標像素的右邊的像素的右 方向上依次選擇k個像素,并確定包括所選擇的k個像素的輸入像素值的范 圍作為計算范圍。然后,平均值計算器94計算在所供給的n/2-l個輸入像素 值中包含在計算范圍中的k輸入像素值的平均值Ra (以下稱為右像素的平均 像素值Ra),并將其提供給校正量確定單元95。 '
如后面將要詳細描述那樣,左像素的平均像素值La和右像素的平均像素 值Ra用于調(diào)節(jié)量確定處理和確定校正量的候選對象的處理(以下稱為候選對 象確定處理)。
也就是說,在公開在日本待審專利申請公告第2000-324364號中的相關(guān) 技術(shù)的LTI中,在左方向上遠離目標像素僅僅預(yù)定距離的一個像素(以下浙 為左像素)的輸入像素值與目標像素的輸入像素值之間的差分值被確定為校 正量的第一候選對象。此外,在右方向上遠離目標像素僅僅預(yù)定距離的一個 像素(以下稱為右像素)的輸入像素值與目標像素的輸入像素值之間的差分 值被確定為校正量的第二候選對象。然后,將第一和第二候選對象之一原樣 地確定為校正量,而不用進行調(diào)節(jié)。結(jié)果,相關(guān)技術(shù)的LTI具有一個問題, 使得如果在左像素或右像素的輸入像素值中包括噪聲,則可能不能恰當?shù)卮_ 定校正量(兩個候選對象)。
因此,為了解決這個問題,即,為了恰當?shù)卮_定校正量的候選對象,在 該實施方式的候選對象確定處理中,不是簡單地使用諸如左像素或右像素之 類的一個像素的輸入像素值,而是使用左像素的平均像素值La和右像素的平
均像素值Ra。
然而,存在這樣的情況,即包含在計算范圍中的每個輸入像素值的變化 方向不是恒定不變的,也就是說,增加然后減少,或減少然后增加。換句話 說,存在這樣的情況下,即連接指示包含在計算范圍中的每個輸入像素值的 點(后面將描述的圖25的點131至134等)的線的梯度的極性(polarity of gradient)在使用水平方向上的像素位置作為水平軸并使用像素值作為垂直軸 的平面(例如,后面將描述的圖25的平面)上被反轉(zhuǎn)。在這樣的情況下,出 現(xiàn)新問題,使得即使包含在計算范圍中的輸入像素值的簡單平均值被采用為
38左像素的平均像素值La或右像素的平均像素值Ra,也可能不能恰當?shù)卮_定 校正量(候選對象)。
因此,為了解決該新問題,在該實施方式中,平均值計算器93和94郭 通過使用由極性反轉(zhuǎn)之前的第二點指示的輸入像素值a計算下述公式(5 )的 右邊,將包含在計算范圍中的輸入像素值中由極性反轉(zhuǎn)之后的第一點指示的 輸入像素值(3更新到輸入像素值y。平均值計算器93和94都將第一點所指示 的像素的輸入像素值看作更新后的像素值y,并計算左像素的平均像素值La 或右像素的平均像素值Ra。
戸-Hxf(H) ......(5)
在公式(5)中,如圖25所示,H表示極性反轉(zhuǎn)之前的第二點(圖中的 點133)的像素值a與極性反轉(zhuǎn)之后的第一點(圖中的點134)的像素值(3之 間的差分值(=a-(3)。
即,圖25示出包括目標像素131連續(xù)排列在水平方向上的12個像素的 像素值的示例。在圖25中,水平軸指示"水平方向上的像素位置",而垂直軸 指示"像素值"。在圖25的示例中,平均值計算器94的計算范圍,即右像素' 的平均像素值Ra的計算范圍,是包括指示目標像素的點131的右邊的三個點 132至134所指示的像素值a、 a和卩的范圍D。
從圖25的示例,可以理解確定從點133到點134的梯度的極性。具體來 說,點134是極性反轉(zhuǎn)之后的第一點,而點133是極性確定之前的第二點。 因此,在圖25的示例中,平均值計算器94通過向公式(5)的右邊賦值并計 算在點133所指示的輸入像素值a與輸入像素值a和點134所指示的輸入像 素值卩之間的差分值H ( =a-(3 ),將點134所指示的輸入像素值從像素值(3改
變到像素值y。然后,平均值計算器94使用被更新了的像素值y作為計算范 圍D中的點134所指示的像素的輸入像素值,并原樣地使用原始像素值a作 為其他點132和133的每一個輸入像素值,計算右像素的平均像素值Ra。即, 計算Ra^ ( a+a+y ) /3。
在該實施方式中,在公式(5)的右邊的計算中,具有像圖26的線141 一樣的特性的函數(shù)被用作函數(shù)f ( H )。
如圖26所示,在極性反轉(zhuǎn)之前的像素值a與極性反轉(zhuǎn)之后的像素值(3之 間的差分值H等于值H2或更大的情況下,函數(shù)f(H)的輸出是零。除此而 外,當差分值H大時,其意味著極性反轉(zhuǎn)之后的梯度陡。因此,在極性反轉(zhuǎn)之后的梯度陡到一定程度以上的情況下,即,在差分值H是值H2或更大的
情況下,由公式(5)更新過的像素值Y變成像素值ou即,如圖25所示, 在極性反轉(zhuǎn)之后的梯度陡到一定程度以上的情況下,使用像素值a代替像素 值卩作為極性反轉(zhuǎn)之后的點134所指示的像素的輸入像素值,計算計算范圍 D中的右像素的平均像素值Ra。即,計算Ra- U+a+a) /3=01并將右像素'的 平均像素值Ra確定為像素值a。
另一方面,如圖26所示,在極性反轉(zhuǎn)之前的像素值a與極性反轉(zhuǎn)之后的 像素值(3之間的差分值H等于值H1或更小的情況下,函凄tf (H)的輸出變 成l。除此而外,當差分值H小時,其意味著極性反轉(zhuǎn)之后的梯度平緩。因 此,在極性反轉(zhuǎn)之后的梯度平緩到一定程度以上的情況下,即,在差分值H 是值H1或更小的情況下,由公式(5)更新過的像素值Y保持為像素值P。 即,在極性反轉(zhuǎn)之后的梯度平緩到一定程度以上的情況下,雖然未示出,但 原樣地使用像素值P作為極性反轉(zhuǎn)之后的點134所指示的輸入像素值,來計 算計算范圍D中的右像素的平均像素值Ra。即,計算Ra二 ( a+a+p ) /3并將 右像素的平均像素值Ra確定為像素值((a+a+卩)/3}。
除此而外,由于下述原因,當極性反轉(zhuǎn)之后的梯度平緩到一定程度之上 時,原樣地使用原始像素值P,而不用更新極性反轉(zhuǎn)之后的點134所指示的 像素值。即,在極性反轉(zhuǎn)之后的梯度平緩到一定程度之上的情況下,由于下 述原因,噪聲引起的極性反轉(zhuǎn)的可能性高。通過獲得平均而不用更新輸入像 素值,可以獲得沒有噪聲情況下右像素的適當平均像素值Ra。
以上已經(jīng)使用圖25的具體示例描述了計算右像素的平均像素值Ra的情 況。在其他情況下,例如,在計算左像素的平均像素值La的情況下,也類似 地通過公式(5),將極性反轉(zhuǎn)之后的點所指示的像素的輸入像素值從像素值 卩更新到像素值丫。
再參考圖24,在上述示例中,用于在上述平均值計算器92至94中的每 一個中計算平均值的情況的抽頭的數(shù)量(像素值的數(shù)量)是固定的。然而, 它可以根據(jù)成像模糊特性檢測器12的輸出信號中的目標像素中的行進速度 而變化。具體地說,例如,它可以變化,以隨行進速度增加而增加抽頭的數(shù) 量(即,增加平均的寬度)。使用根據(jù)如上所述的行進速度的數(shù)量的抽頭的平 均值計算器92至94的結(jié)果可以被后面將描述的校正量確定單元95使用,從 而使得能夠確定用于執(zhí)行更高精度的校正,即能夠進一步抑制成像模糊的校正的校正量。
校正量確定單元95利用來自DL單元91- (n/2)的目標像素的輸入像素 值N、來自平均值計算器92的目標像素的平均像素值Na、來自平均值計算 器93的左像素的平均像素值La以及來自平均值計算器94的右像素的平均像 素值Ra,確定校正量ADD,并將其提供給加法器96。
這里,加法器96將來自校正量確定單元95的校正量ADD加到來自DL 單元91- ( n/2 )的目標像素的輸入像素值N,并將相加結(jié)果作為目標像素的 輸出像素值,即目標像素的經(jīng)校正像素值,提供給處于ALTI單元81的外部 的減法器82。
在解釋校正量確定單元95的詳細功能配置的示例之前,將參考圖27的 流程圖描述ALTI單元81的處理。
在步驟S21, ALTI單元81設(shè)置目標像素。
在步驟S22, ALTI單元81的DL單元91-1至91-n獲得作為中心的目標 像素的輸入像素值N附近的n片(piece )相鄰輸入像素值。
在步驟S23,如上所述,ALTI單元81的平均值計算器92計算目標像素 的平均像素值Na,并將其提供給校正量確定單元95。
在步驟S24,如上所述,ALTI單元81中的平均值計算器93計算左像素 的平均像素值La,并將其提供給校正量確定單元95。 '
在步驟S25,如上所述,ALTI單元81中的平均值計算器94計算右像素 的平均像素值Ra,并將其提供給校正量確定單元95。
除此而外,從圖24明顯看出,平均值計算器92至94中的每一個相互獨 立地執(zhí)行該處理。因此,步驟S23至步驟S25中的處理的順序不限于圖27 中的示例,而可以是任何順序。即,實際上,步驟S23至步驟S25中的處理 被并行和相互獨立地執(zhí)行。
在步驟S26, ALTI單元81中的校正量確定單元95利用來自DL單元91-(n/2 )的目標像素的輸入像素值N、來自平均值計算器93的左像素的平均 像素值La以及來自平均值計算器94的右像素的平均像素值Ra,確定校正量 的兩個候選對象ADDL和ADDR。即,步驟S26的處理為上述候選對象確定 處理。校正量的兩個候選對象ADDL和ADDR是來自后面將描述的減法器 101和102的相應(yīng)輸出信號。除此而外,后面將描述步驟26中的候選對象確 定處理的細節(jié)以及才交正量的候選對象ADDL和ADDR。
41在步驟S27,校正量確定單元95利用來自平均值計算器92的目標像素 的平均像素值Na、來自平均值計算器93的左像素的平均像素值La以及來自 平均值計算器94的右像素的平均像素值Ra,確定調(diào)節(jié)量c。即,在步驟S27 中的處理是上述調(diào)節(jié)量確定處理。調(diào)節(jié)量c表示后面將描述的調(diào)節(jié)量值計算 器109的輸出信號。后面將描述步驟S27中的調(diào)節(jié)量確定處理以及調(diào)節(jié)量c。
除此而外,如后面將描述的那樣,實際上,步驟S26和步驟S27中的處 理被并行和相互獨立地執(zhí)行。即,步驟S26和步驟S27中的處理的順序不限 于圖27中的示例,而可以是任何順序。
在步驟S28,校正量確定單元95利用調(diào)節(jié)量c調(diào)節(jié)候選對象ADDL和 ADDR的每一個值。在以下,將步驟S28中的處理稱為調(diào)節(jié)處理。后面將描 述該調(diào)節(jié)處理的細節(jié)。
在步驟S29,校正量確定單元95根據(jù)預(yù)定判別條件確定(選擇)用調(diào)節(jié) 量c調(diào)節(jié)了其值的候選對象ADDL和ADDR中的預(yù)定一個作為校正量ADD, 并將其提供給加法器96。在以下,將步驟S29中的處理稱為校正量選擇處理。 后面將描述該校正量選擇處理的細節(jié)(包括判別條件)。
在步驟S30, ALTI單元81中的加法器96將校正量ADD加到目標像素 的輸入像素值N,并將產(chǎn)生的相加值作為目標像素的輸出像素值輸出到在外 部的減法器82。
在步驟S31, ALTI單元81確定是否已經(jīng)對所有像素完成了該處理。
在在步驟S31中確定還沒有對所有像素完成該處理的情況下,該處理返 回到步驟S21,并重復(fù)以下處理。具體來說,將另一像素設(shè)置成目標像素, 將校正量ADD加到目標像素的輸入像素值N,并將產(chǎn)生的相加值作為目標像 素的輸出像素值輸出到在外部的減法器82。自然,在像素之間輸入像素值N 和校正量ADD時常都變化。
在將所有像素設(shè)置為目標像素并像如上那樣對每一個所設(shè)置的目標像素 重復(fù)執(zhí)行步驟S21至步驟S31中的循環(huán)處理之后,在步驟S31中確定對所有 像素的處理被完成,并且完成ALTI單元81的處理。
除此而外,由于ALTI單元81是圖13中的成像模糊抑制處理器13的組 件,所以將圖27中的ALTI單元81的處理作為圖15中的步驟S4的處理的 一部分來執(zhí)行。
如上所述,校正量確定單元95執(zhí)行步驟S26至步驟S29中的處理。在以下,再參考圖24,在描述校正量確定單元95的詳細功能配置的示例的同時, 也將描述步驟S26至步驟S29中的處理的細節(jié)。
如圖24所示,校正量確定單元95配備有減法器101和102,以便執(zhí)行 圖27中的步驟S26中的上述候選對象確定處理。換句話說,由減法器101和 102構(gòu)成的候選對象確定單元121執(zhí)行步驟S26中的候選對象確定處理。
減法器101計算來自平均值計算器93的左像素的平均像素值La以及來 自DL單元9" (n/2)的目標像素的輸入像素值N之間的差分值(=La-N), 并將該差分值作為校正量的候選對象ADDL提供給乘法器110 。
除此而外,如后面所述的那樣,在校正量的候選對象ADDL被確定為校 正量ADD而不用進行調(diào)節(jié)(與調(diào)節(jié)量el相乘)的情況下,加法器96將才1 正量ADD ( =La-N )加到目標像素的輸入像素值N,并將產(chǎn)生的相加值(=La) 輸出到外部。即,在原樣地將校正量的候選對象ADDL (=La-N)用作校正量 ADD的情況下,目標像素的像素值被從原始像素值N校正(替換)為左像素 的平均像素值La。
減法器102計算來自平均值計算器94的右像素的平均像素值Ra以及來 自DL單元91- (n/2)的目標像素的輸入像素值N之間的差分值(=Ra-N), 并將該差分值作為校正量的候選對象ADDR提供給乘法器111 。
除此而外,如后面所述的那樣,在校正量的候選對象ADDR被確定為校 正量ADD而不用進行調(diào)節(jié)(與調(diào)節(jié)量c4相乘)的情況下,加法器96將校 正量ADD ( =Ra-N)加到目標像素的輸入像素值N,并將產(chǎn)生的相加值(=Ra) 輸出到外部。即,在原樣地將校正量的候選對象ADDR (=Ra-N)用作校JE' 量ADD的情況下,目標像素的像素值被從原始像素值N校正(替換)為右 像素的平均像素值Ra。
除此而外,如圖24所示,校正量確定單元95配備有從減法器103到調(diào) 節(jié)量值計算器109的組件以便執(zhí)行在圖27中的步驟S27中的調(diào)節(jié)量確定處 理。換句話說,由減法器103到調(diào)節(jié)量值計算器109構(gòu)成的調(diào)節(jié)量確定單元 122執(zhí)行步驟S27中的調(diào)節(jié)量確定處理。 '-
減法器103計算在來自平均值計算器92的目標像素的平均像素值Na與 來自平均值計算器93的左像素的平均像素值La之間的差分值(=Na-La)并 將該差分值提供給加法器105。
減法器104計算在來自平均值計算器92的目標像素的平均像素值Na與來自平均值計算器94的右像素的平均像素值Ra之間的差分值(-Na-Ra)并 將該差分值提供給加法器105。
加法器105計算減法器103和104的輸出信號的總和,并將計算結(jié)果輸 出到ABS單元106。
ABS單元106計算加法器105的輸出信號的絕對值b,并將絕對值b提 供給除法器108。
換句話說,在使用像素值作為垂直軸并使用水平方向上的像素位置作為 水平軸的平面上,在順序連接指示左像素的平均像素值La的第一點、指示目 標像素的平均像素值Na的第二點和指示右像素的平均像素值Ra的第三點的 線上的第二點上的二次微分值通過減法器103和104以及加法器105進行計 算。通過ABS單元106計算該二次微分值的絕對值b,并將其提供給除法器 108。因此,下面將從ABS單元106輸出的絕對值b稱為二次微分絕對值b。
在該平面上,連接指示左像素的平均像素值La的第一點和指示右像素的 平均像素值Ra的第三點的直線用作邊界線的情況下,二次微分絕對值b為指 示目標像素的平均像素值Na的第二點在垂直軸方向上離邊界線的距離的值。
結(jié)果,校正量確定單元95根據(jù)二次微分絕對值b的量值來調(diào)節(jié)校正量的 候選對象ADDL和ADDR的每一個值,并確定經(jīng)調(diào)節(jié)后的候選對象ADDL 和ADDR之一作為校正量ADD。即,加法器96將目標像素的輸入像素值N 與根據(jù)二次微分絕對值b的量值調(diào)節(jié)過的校正量ADD之間的相加值輸出作為 目標像素的輸出像素值。結(jié)果,可以使得加法器96的輸出信號(要處理的幀) 中的邊緣部分平緩。
然而,即使二次微分絕對值b相同,當左像素的平均像素值La和右像素 的平均像素值Ra之間的差的絕對值h,即上述平面上的垂直軸方向中的第一 和第三點之間的距離h (以下稱為高h)變化時,二次微分絕對值b的含義也 變化。具體地說,即使二次微分絕對值b相同,在量值比高h小得多的情況 下,換句話說,在通過將二次微分絕對值b除以高h獲得的商值(=b/h)小 的情況下,也可以確定在目標像素周圍出現(xiàn)噪聲的可能性高。另一方面,即 使二次微分絕對值b相同,在與高h相比量值不是小的情況下,換句話說, 在商值(=b/h)具有一定量值以上的情況下,也可以確定在目標像素周圍出 現(xiàn)噪聲的可能性低。
因此,如果根據(jù)二次微分絕對值b的量值簡單地調(diào)節(jié)候選對象ADDL和ADDR的值,則目標像素的輸入像素值N的^^正量ADD變成相同值,而不 管是否出現(xiàn)噪聲。出現(xiàn)新問題,使得可能不能恰當?shù)匦U繕讼袼氐妮斎胂?素值N。
然后,為了解決該新問題,該實施方式的校正量確定單元95的調(diào)節(jié)量確 定單元122配備有從減法器103至ABS單元106的組件,除此而外還有差絕 對值計算器107、除法器(b/h計算器)108以及調(diào)節(jié)量值計算器109。
差絕對值計算器107計算來自平均值計算器93的左像素的平均像素值 La與來自平均值計算器94的右像素的平均像素值Ra之間的差值,還計算該 差值的絕對值h ( h=|La-Na| ),即高h,并將高h提供給除法器108。
除法器108將來自ABS單元106的二次微分絕對值b除以來自差絕對值 計算器107的高h,并將商值(=b/h)提供給調(diào)節(jié)量值計算器109。即,商值 (=b/h )可以被說成是通過以高h規(guī)范化二次微分絕對值b所獲得的值。因 此,將商值(=b/h)稱為規(guī)范化二次微分絕對值(=b/h)。 '
調(diào)節(jié)量值計算器109基于來自除法器108的規(guī)范化二次微分值(=b/h )、 關(guān)于候選對象ADDL和ADDR計算調(diào)節(jié)量c,并將其提供給乘法器110和111 。
具體地說,例如,調(diào)節(jié)量值計算器109擁有(hold)由圖28中的曲線151 表達的特性的函數(shù),將來自除法器108的規(guī)范化二次微分值(=b/h)作為輸 入?yún)?shù)賦值給該函數(shù),并將該函數(shù)的輸出(圖28的輸出)作為調(diào)節(jié)量c提供 給乘法器110和111。
即,如容易從圖28的曲線151的形狀理解的那樣,當規(guī)范化二次微分值 (=b/h)小于預(yù)定值bl時,噪聲的可能性高,并且調(diào)節(jié)量c (輸出)變成零。 在這種情況下,如后面將描述的那樣,通過將候選對象ADDL和ADDR乘以 作為調(diào)節(jié)量c的零來調(diào)節(jié)候選對象ADDL和ADDR,使得候選對象ADDL和 ADDR都變成了零。因此,校正量ADD也變成零,并且不校正目標像素的 輸入像素值N。
此外,當規(guī)范化二次微分值(=b/h)超過預(yù)定值bl并且增加時,調(diào)節(jié)量 c(輸出)也逐漸增加。在這種情況下,如后面將描述的那樣,通過將候選對 象ADDL和ADDR都乘以小于1的調(diào)節(jié)量c來調(diào)節(jié)候選對象ADDL和ADDR, 使得候選對象ADDL和ADDR都變成小于原始值。因此,校正量ADD變成 小于原始值的候選對象ADDL和ADDR之一。目標像素的經(jīng);f交正像素值變成 大于左像素的平均像素值La或小于右像素的平均像素值Ra。
45此外,當規(guī)范化二次微分值(-b/h)變成預(yù)定值b2或者在那以后更大時, 調(diào)節(jié)量C(輸出)變成1。在這種情況下,如后面將描述的那樣,通過將候選
對象ADDL和ADDR都乘以作為調(diào)節(jié)量c的1來調(diào)節(jié)候選對象ADDL和 ADDR,使得候選對象ADDL和ADDR都保持原始值(即,不調(diào)節(jié))。因此, 校正量ADD變成保持為原始值的候選對象ADDL和ADDR之一。如上所述, 目標像素的經(jīng)校正像素值變成左像素的平均像素值La或右像素的平均像素 值Ra。
如上所述,在本實施方式中,使用規(guī)范化二次微分值(=b/h)作為參數(shù) 輸入到的、由圖28中的線151表達的特性的函數(shù)來確定調(diào)節(jié)量c。因此,通 過用調(diào)節(jié)量c來調(diào)節(jié)校正量ADD (為了精確起見,通過調(diào)節(jié)校正量的候選對 象ADDL和ADDR),可以使得加法器96的輸出信號(要處理的幀)中的邊 緣部分變平緩。具體地說,在相關(guān)技術(shù)的LTI中,通過硬開關(guān)的切換(像素 值的簡單替換)來校正目標像素的像素值。結(jié)果存在這樣的問題,即輸出信 號中的邊緣部分可能不能被變平緩。然而,通過采用該實施方式的ALTI單元 81,可以解決該問題。
將再次參考圖24來繼續(xù)校正量確定單元95的詳細描述。具體來說,校 正量確定單元95配備有乘法器110和111以便執(zhí)行圖27中的步驟S28中的 調(diào)節(jié)處理。換句話說,由乘法器110和111構(gòu)成的調(diào)節(jié)單元123執(zhí)行步驟S28 中的調(diào)節(jié)處理。
乘法器110將來自減法器101的候選對象ADDL乘以來自調(diào)節(jié)量值計算 器109的調(diào)節(jié)量c,并將產(chǎn)生的乘積值作為經(jīng)調(diào)節(jié)的候選對象ADDL提供給 判別器113。
乘法器111將來自減法器102的候選對象ADDR乘以來自調(diào)節(jié)量值計算 器109的調(diào)節(jié)量c,并將產(chǎn)生的乘積值作為經(jīng)調(diào)節(jié)的候選對象ADDR提供給 判別器113。
除此而外,校正量確定單元95還配備有固定值產(chǎn)生器112和判別器113, 以便執(zhí)行圖27中的步驟S29中的校正量選擇處理。換句話說,由固定值產(chǎn)生 器112和判別器113構(gòu)成的校正量選擇單元124執(zhí)行步驟S29中的校正量選 擇處理。
在該實施方式中,如圖24所示,固定值產(chǎn)生器112通常產(chǎn)生"0",并將 其提供給判別器113。將減法器103和104、加法器105、乘法器110和111以及固定值產(chǎn)生器 112的輸出信號提供給判別器113。判別器113使用減法器103和104以及加 法器105的輸出信號,基于預(yù)定選擇條件,選擇(確定)來自固定值產(chǎn)生器 112的"0"、來自乘法器110的經(jīng)校正的候選對象ADDL和來自乘法器111的 經(jīng)校正的候選對象ADDR中的預(yù)定一個作為校正量ADD,并將其提供給加 法器96。
具體地說,例如,在使用像素值作為垂直軸并且使用水平方向上的像素 位置作為水平軸的上述平面中,連接指示左像素的平均像素值La的第一點和 指示右像素的平均像素值Ra的第三點的直線被設(shè)置為邊界線。在邊界線的改 變方向是朝上方向并且指示目標像素的平均像素值Na的第二點處于邊界線 上邊的情況下,該實施方式的選擇條件被指定為將經(jīng)校正的候選對象ADDR 選擇為校正量ADD。相反,在邊界線的改變方向是朝上方向并且第二點處于 邊界線下邊的情況下,該實施方式的選擇條件被指定為將經(jīng)校正的候選對象 ADDL選擇為校正量ADD。
在這種情況下,判別器113可以基于減法器103和104以及加法器105 的輸出信號,辨識邊界線的改變方向和邊界線與第二點之間的位置關(guān)系。"
然后,例如,在判別器113基于減法器103和104以及加法器105的輸 出信號,辨識出邊界線的改變方向是朝上方向并且第二點處于邊界線上邊的 情況下,判別器H3選擇(確定)來自乘法器111的經(jīng)校正的候選對象ADDR 作為校正量ADD,并將其提供給加法器96。
另一方面,例如,在判別器113基于減法器i03和104以及加法器105 的輸出信號,辨識出邊界線的改變方向是朝上方向并且第二點處于邊界線下 邊的情況下,判別器113選擇(確定)來自乘法器IIO的經(jīng)校正的候選對象 ADDL作為校正量ADD,并將其提供給加法器96。
還假設(shè)在例如目標像素位于非邊緣部分的位置的情況下,0作為校正量 ADD的選擇被指定為該實施方式的選擇條件。在這種情況下,例如,當判別 器113辨識出減法器103和104以及加法器105的所有輸出信號幾乎都是零 時,即當左像素的平均像素值La、目標像素的輸入像素值N和右像素的平均 像素值Ra幾乎相同或相似時,判別器113辨識目標像素位于非邊緣部分的位 置,選擇(確定)來自固定像素值產(chǎn)生器112的"0"作為校正量ADD,并將 其提供給加法器96。如ALTI單元81的實施方式的那樣,上面已經(jīng)描述了具有圖24的功能配 置的ALTI單元81。只要可以執(zhí)行等價于上述處理序列的處理,任何功能配 置都可以用作ALTI單元81的功能配置。具體地說,例如,ALTI單元81可 以具有圖29中所示的功能配置。即,圖29示出ALTI單元81的不同于圖24 的詳細功能配置的示例。
在圖29的示例中,將ALTI單元81配置成具有掩蔽(masking )信號產(chǎn) 生器161、 LTI處理單元162和平均單元163。
掩蔽信號產(chǎn)生器161接收濾波器單元22的輸出信號作為自己的輸入信 號,并將構(gòu)成輸入信號中要處理的幀的每一個像素設(shè)置為目標像素。掩蔽信 號產(chǎn)生器161按與來自目標像素的行進速度的一半對應(yīng)的像素的數(shù)量,在目 標像素的左邊和右邊搜索像素,并對指示與行進速度對應(yīng)的像素的數(shù)量的像 素值的每個信號進行掩蔽處理(maskingprocess )。如上所述,目標像素的行 進速度從成像模糊特性檢測器12提供。經(jīng)掩蔽的信號被從掩蔽信號產(chǎn)生器 161提供給LTI處理單元162。
LTI處理單元162對每個經(jīng)掩蔽的信號進行LTI處理,并將產(chǎn)生的信號作 為輸出信號提供給平均單元163。
平均單元163平均在LTI處理單元162的輸出信號中、與在掩蔽信號產(chǎn) 生器161中的搜索次數(shù)對應(yīng)的數(shù)量的信號,并將產(chǎn)生的信號作為ALTI單元 81的輸出信號提供給外部的減法器82。
上面已經(jīng)參考圖24至圖29描述了在圖23中的成像模糊補償單元23中 的ALTI單元81的細節(jié)。
接下來,將參考圖30和圖31描述在圖23中的成像模糊補償單元23中 的增益控制器83的細節(jié)。
圖30示出增益控制器83的詳細功能配置的示例。圖31示出圖30中的 增益控制器83中的、后面將要描述的調(diào)節(jié)量確定單元171的特性。
在圖30的示例中,將增益控制器83配置成具有調(diào)節(jié)量確定單元171和 乘法器172。
調(diào)節(jié)量確定單元171擁有由圖31中的曲線181所表達的函數(shù),將成像模 糊特性檢測器12供給的目標像素中的行進速度作為輸入?yún)?shù)賦值給該函數(shù), 并且將該函數(shù)的輸出(圖31的輸出)作為調(diào)節(jié)量提供給乘法器172。換句話 說,調(diào)節(jié)量確定單元171具有由圖31中的曲線181所表達的特性。除了來自調(diào)節(jié)量確定單元171的調(diào)節(jié)量外,還將減法器82的輸出信號提
供給乘法器172。從圖23的功能配置可以明顯看出,在加法器84中,減法 器82的輸出信號是用于成像模糊補償單元23的、被加到目標像素的輸入像 素值的最終校正量的候選對象。具體地說,乘法器172將最終校正量的候選 對象乘以來自調(diào)節(jié)量確定單元171的調(diào)節(jié)量,并將產(chǎn)生的乘積值作為最終調(diào) 節(jié)量提供給加法器84。 -'
即,從圖31中的線181的形狀和成像模糊補償單元23的圖23的功能配 置容易理解的那樣,增益控制器83控制,以使得當行進速度低時ALTI單元 81的處理結(jié)果(以下稱為ALTI)對目標像素的像素值的最終校正量不發(fā)揮很 大影響。當行進速度低時,由于成像模糊引起的增益的惡化很小,并且足以 由圖17和圖20中的濾波器單元22增加被衰減的增益。即,足以輸出濾波器 單元22的輸出信號作為成像模糊補償單元23的最終輸出信號,而不用對輸 出信號執(zhí)行很多校正。
上面已經(jīng)參考圖17至圖31描述了圖13中的視頻信號處理器4B中的成 像模糊抑制處理器13的示例。
然而,成像模糊抑制處理器13的功能配置不限于圖17的示例,而可以 是各種變型。具體地說,例如,圖32和圖33示出本發(fā)明應(yīng)用到的成像模糊 抑制處理器13的功能配置的兩個示例,這兩個示例與圖17的示例不同。
在圖32的示例中,以類似于圖17的示例的方式,配置成像模糊抑制處 理器13具有高頻分量去除單元21、濾波器單元22和成像模糊補償單元23。
在圖32的示例中,也以類似于圖17的示例的方式,將內(nèi)插部分45的輸 出信號作為對成像模糊抑制處理器13的輸入信號提供給高頻分量去除單元
21。 成像模糊特性檢測器12的輸出信號被提供給濾波器單元22和成像模糊 補償單元23。
然而,在圖32的示例中,高頻分量去除單元21的輸出信號被提供給成 像模糊補償單元23。成像模糊補償單元23的輸出信號被提供給濾波器單元
22。 濾波器單元22的輸出信號被作為指示成像模糊抑制處理器13的最終處 理結(jié)果的輸出信號輸出到外部。
換句話說,在圖32的示例中,濾波器單元22和成像模糊補償單元23的 布置位置與圖17中的濾波器單元22和成像模糊補償單元23的布置位置是相 對的。即,濾波器單元22和成像模糊補償單元23的布置位置的順序(處理
49順序)不進行特殊限定。這些單元中的任何一個都可以布置在前面。
此外,在圖33的示例中,類似于圖17和圖32的示例,成像模糊抑制處 理器13配備有高頻分量去除單元21 、濾波器單元22和成像模糊補償單元23, 其除了這些功能塊外還配備有加法器24。
在圖33的示例中,也類似于圖17和圖32的示例,將內(nèi)插部分45的輸 出信號作為關(guān)于成像模糊抑制處理器13的輸入信號提供給高頻分量去除單 元21。此外,將成像模糊特性檢測器12的輸出信號提供給濾波器單元22和 成像模糊補償單元23中的每一個。
然而,在圖33的示例中,將高頻分量去除單元21的輸出信號提供給濾 波器單元22和成像模糊補償單元23中的每一個。濾波器單元22和成像模糊 補償單元23的輸出信號被提供給加法器24。加法器24將濾波器單元22的 輸出信號與成像模糊補償單元23的輸出信號相加,并將產(chǎn)生的相加信號作為 指示成像模糊抑制處理器13的最終處理結(jié)果的輸出信號輸出到外部。
換句話說,在圖17和圖32的示例中串行地排列濾波器單元22和成像沖莫 糊補償單元23,而在圖33的示例中并行地排列濾波器單元22和成像模糊補 償單元23。即,濾波器單元22和成像模糊補償單元23可以并行或串行地進 行排列。然而,如果濾波器單元22和成像模糊補償單元23兩者都使用線存 儲器(linememory),則通過如圖33的示例所示那樣并行地排列濾波器單元 22和成像模糊補償單元23,可以共享該線存儲器。結(jié)果,產(chǎn)生使得減小電路 規(guī)模(據(jù)線存儲器的量)的效果。
如上所述,在用圖像處理減小圖像捕獲(成像模糊)時的運動體的模糊 的時候,在常規(guī)技術(shù)中,不管靜止狀態(tài)和模糊量的程度如何,都統(tǒng)一地執(zhí)行 處理。相反,在本發(fā)明中,例如,通過利用成像模糊抑制處理器13,計算行 進矢量(行進速度),并根據(jù)運動圖像的狀態(tài)改變增強量。因此,可以減小模 糊而不會使得振鈴信號出現(xiàn)。此外,在相關(guān)技術(shù)的LTI中,以硬開關(guān)切換信 號,因此時常破壞被處理的圖像。然而,成像模糊抑制處理器13具有ALTI 單元81作為組件。因此,以軟件切換信號,結(jié)果可以抑制被處理的圖像的破 壞。
除此而外,在上述示例中,為了解釋的簡單,行進矢量的方向(行進方 向)是水平方向。然而,即使當行進方向是另一方向時,成像模糊抑制處理 器13也可以基本上執(zhí)行像上述處理序列那樣的類似處理。具體地說,不管行進方向如何,成像模糊抑制處理器13可以校正目標像素的像素值,以便抑制
成像模糊。具體地說,例如,圖24的功能配置中的ALTI單元81將使用目標 像素作為中心的行進方向上連續(xù)排列的n個像素的像素值以其排列順序輸入 DL單元91-1就足夠了 。也在其他功能塊中類似地執(zhí)行操作。
順便提一下,在上述示例中,在校正像素值的時候,成像;漠糊抑制處理 器13將行進速度(行進矢量的絕對值)用作參數(shù)。然而,除了行進速度,只 要參數(shù)示出成像模糊的特性,任何參數(shù)都可以被使用。
具體來說,例如,成像模糊抑制處理器13可以使用在捕獲要處理的運動 圖像的時候的攝像機的快門速度作為示出成像模糊的特性的參數(shù)。原因是, 例如,如圖34所示,當快門速度變化時,成像模糊的程度也僅僅變化圖中的 時間Ts的量。
具體地說,在圖34中,上圖示出快門速度是與幀速相同的1/30秒的情 況。下圖示出快門速度是快于幀速的(l/30-Ts)秒的情況。在圖34的兩個圖 中,水平軸表達時基(time base),而垂直軸表達快門開啟時間的比。例如, 快門開啟時間的比被表達為(Ts/Vs) xl00[%],其中快門速度是Va[秒](Va 是O或更大的任意值),快門處于開啟的第一時間的比被設(shè)置為0%,而從第 一時間經(jīng)過V[秒]之后并且快門關(guān)閉的第二時間的比被設(shè)置為100%,而從第 一時間到當前時間的時間被表達為Ta[秒](Ta是從0或更大到V或更小的任 意正值)。在這種情況下,在圖23的圖中的垂直軸中,與時基相接的值是 100[%],而最大值(每條直線上的最高值)是0[%]。即,快門開啟時間的比 朝著在圖34的圖中的垂直方向上的底部增加。
現(xiàn)在假設(shè),例如,攝像機上的一個檢測元件對應(yīng)于幀中的一個像素。在 這種情況下,如圖34的上圖所示,當快門速度為1/30秒時,快門處于開啟 的1/30秒中入射光的積分值被作為對應(yīng)像素的像素值從攝像機中的一個檢測 元件輸出。另一方面,當快門速度為(1/30-Ts)秒時,快門處于開啟的(l/30-Ts) 秒中入射光的積分值被作為對應(yīng)像素的像素值從攝像機中的 一個檢測元件輸 出。
即,快門速度對應(yīng)于檢測元件中的光累積時間(曝光時間)。因此,例如, 當穿過預(yù)定元件的運動對象存在于真實空間時,不同于與對象對應(yīng)的光的光, 例如,以1/30秒的快門速度入射在檢測元件上的背景的光僅僅大于以 (l/30-Ts)秒的快門速度入射在檢測元件上的背景的光時間Ts[秒]的量。在
511/30秒的快門速度下從一個檢測元件中輸出的混合在像素值中與對象不同的
背景等的光累積值的比,高于在(l/30-Ts)秒的快門速度下從一個檢測元件 中輸出的混合在像素值中與對象不同的背景等的光累積值的比。因此,成像 模糊的程度增加。
上述總結(jié)如下。快門速度變得越低,圖像模糊的程度變得越高。即,因 此可以說快門速度表達了成像模糊的特性。因此,快門速度可以用作表達成 像模糊的特性以及行進速度的參數(shù)。
除此而外,在快門速度用作示出成#^莫糊的特性的參數(shù)的情況下,例如, 圖13中的成像模糊特性檢測器12可以通過分析添加到內(nèi)插部分45等供給的 運動圖像(數(shù)據(jù))的首標信息來檢測每一幀的快門速度,并將快門速度作為 表達成像模糊的特性的參數(shù)提供給成像模糊抑制處理器13。成像模糊抑制處 理器13可以恰當?shù)乩缤ㄟ^使用快門速度代替行進速度執(zhí)行該處理序列,來 校正每個像素值。在使用快門速度的情況下的成像模糊抑制處理器13的功能 配置基本上可以與使用行進速度的情況下的成像模糊抑制處理器13的功能 配置相同。即,參考圖17至圖31描述的成像模糊抑制處理器13通過使用快 門速度作為參數(shù)值執(zhí)行該處理序列,來恰當?shù)匦U總€像素值。
上面已經(jīng)作為該實施方式的視頻信號處理器的示例描述了具有圖13所 示的配置的視頻信號處理器4B。該實施方式的視頻信號處理器不限于圖13 的示例,而是可以具有其他各種配置。
具體來說,例如,圖35至圖38中的每一個都是根據(jù)該實施方式的改進 示例的視頻信號處理器的 一部分的塊圖。
例如,與圖13的視頻信號處理器4B類似,圖35的視頻信號處理器被配 置成具有內(nèi)插部分45、成像模糊特性檢測器12和成像模糊抑制處理器13'。'
然而,在圖35的視頻信號處理器中,成像模糊抑制處理器13的校正處 理的對象是被輸入到視頻信號處理器中的運動圖像,即,其經(jīng)歷內(nèi)插部分45 的高幀速轉(zhuǎn)換處理之前的運動圖像。結(jié)果,成像模糊特性檢測器12檢測示出 在內(nèi)插部分45的高幀速轉(zhuǎn)換處理之前的運動圖像中的成像模糊的特性的參 數(shù)的值,并將檢測結(jié)果提供給成像模糊抑制處理器13。
因此,作為圖35的視頻信號處理器的圖像處理,依次執(zhí)行圖15中的圖 像處理中的步驟S1、步驟S3、步驟S4、步驟S2和步驟S5中的處理。
除此而外,例如,與圖13的視頻信號處理器4B和圖35的視頻信號處理器類似,圖36的視頻信號處理器被配置成具有內(nèi)插部分45、成像模糊特性-檢測器12和成像模糊抑制處理器13。 .
在圖36的視頻信號處理器中,成像模糊抑制處理器13的校正處理的對 象是通過像在圖13的視頻信號處理器4B那樣對輸入運動圖像執(zhí)行內(nèi)插部分 45的高幀速轉(zhuǎn)換處理所獲得的運動圖像。結(jié)果,成像模糊抑制處理器13對 經(jīng)歷了高幀速轉(zhuǎn)換處理的運動圖像執(zhí)行校正處理。
然而,在圖36的視頻信號處理器中的成像模糊特性檢測器12檢測示出 輸入運動圖像(即在內(nèi)插部分45的高幀速轉(zhuǎn)換處理之前的運動圖像)中的成 像模糊的特性的參數(shù),并將檢測結(jié)果提供給成像模糊抑制處理器13。即,圖 36的視頻信號處理器的成像模糊抑制處理器13使用在高幀速轉(zhuǎn)換處理之前 的運動圖像中檢測到的參數(shù)的值校正每個像素值。
因此,作為圖36的視頻信號處理器的圖像處理,依次執(zhí)行在類似于圖 15的圖像處理流程中的步驟的流程中所執(zhí)行的處理,即,步驟S1、步驟S2、 步驟S3、步驟S4和步驟S5中的處理。然而,在步驟S3中的處理是這樣的 處理"從高幀速轉(zhuǎn)換處理之前的運動圖像,即,構(gòu)成由步驟S1中的處理輸 入的運動圖像的每一 幀,檢測示出成像模糊的特性的參數(shù)的值"。
與圖35和圖36的視頻信號處理器相反,圖37和圖38中的每一個視頻 信號處理器都被配置成具有內(nèi)插部分45和成像模糊抑制處理器13,但不包 括成像模糊特性檢測器12作為組件。
具體地說,如圖37和圖38所示,在另一視頻信號處理器211 (如在附' 圖中所描述的那樣,以下稱為圖像信號產(chǎn)生設(shè)備211)中與成像模糊特性檢 測器12—起提供疊加單元221。輸入圖像信號產(chǎn)生設(shè)備211的運動圖像被提 供給成像模糊特性檢測器12和疊加單元221。成像模糊特性檢測器12從運 動圖像中檢測表達成像模糊的特性的參數(shù)的值,并將其提供給疊加單元221。 疊加單元221將指示成像模糊的特性的參數(shù)的值疊加到運動圖像上,并輸出 產(chǎn)生的信號。
因此,從圖像信號產(chǎn)生設(shè)備211向圖37的視頻信號處理器和圖38的視 頻信號處理器提供表達成像模糊的特性的參數(shù)的值疊加到的運動圖像(信 號)。
然后,在圖37的視頻信號處理器中,成像模糊抑制處理器13將表達成 像模糊的特性的參數(shù)的值與運動圖像相互分離,并關(guān)于構(gòu)成所分離出的運動圖像的每個幀,基于所分離出的表達成像模糊的特性的參數(shù)的值,來校正每 個像素值。
接下來,內(nèi)插部分45對經(jīng)成像模糊抑制處理器13校正過的運動圖像執(zhí)
行高幀速轉(zhuǎn)換處理,并將產(chǎn)生的運動圖像(即,被轉(zhuǎn)換成高幀速并被校正過 的運動圖像)輸出。
因此,作為圖37的視頻信號處理器的圖像處理,依次執(zhí)行圖15中的圖 像處理中的步驟S1、步驟S4、步驟S2和步驟S5中的處理。
相反,例如,在圖38的視頻信號處理器中,內(nèi)插部分45將表達成像模 糊的特性的參數(shù)的值與運動圖像相互分離,并對所分離出的運動圖像執(zhí)行高 幀速轉(zhuǎn)換處理,并將產(chǎn)生的運動圖像(即被轉(zhuǎn)換成高幀速的運動圖像)提供 給成像模糊抑制處理器13。此時,由內(nèi)插部分45所分離出的示出成像模糊 的特性的參數(shù)的值也被提供給成像模糊抑制處理器13 。
接下來,成像模糊抑制處理器13關(guān)于構(gòu)成轉(zhuǎn)換到高幀速的運動圖像的每 個幀,基于表達成像模糊的特性的參數(shù)的值,來校正每個像素值,并輸出產(chǎn) 生的運動圖像(即校正并轉(zhuǎn)換成高幀速的運動圖像)。
順便提一下,在關(guān)于成像模糊抑制處理器13的上述描述中,為了解釋的 簡單,行進方向(行進矢量的方向)是水平方向。因此,將水平方向上鄰近 目標像素的像素用作用于對目標像素執(zhí)行上述各種處理(諸如濾波和校正) 的情況的像素。除此而外,使用預(yù)定方向上鄰近目標像素的像素的處理將被 稱為預(yù)定方向上的處理。即,上述示例涉及水平方向上的處理。
然而,如上所述,兩維平面上的任何方向可以是行進方向。自然,成像 模糊抑制處理器13可以以同樣的方式執(zhí)行在兩維平面上的作為行進方向的 任何方向(諸如垂直方向)上的各種處理。然而,為了執(zhí)行行進方向是垂直 方向的情況下的處理(或者行進方向是斜方向的情況下的處理,即垂直方向 上的處理與水平方向上的處理的組合處理),成像模糊抑制處理器13必須采 用例如圖39的配置代替圖17的配置、圖40的配置代替圖32的配置以及圖 41的配置代替圖33的配置。
即,圖39至圖41示出本發(fā)明要應(yīng)用到的成像模糊抑制處理器13的功能 配置的三個示例,它們不同于上述示例。
在圖39、圖40和圖41中,與圖17、圖32和圖33相同的附圖標記^皮指 定到對應(yīng)的部分(塊)。它們的描述將是相同,因此不用重復(fù)。在圖39的成像模糊抑制處理器13中,為了在圖17的示例的配置中啟動 垂直方向上的處理,進一步在濾波器單元22的前級(ante stage)上配備線存 儲器261-1,并在成像模糊補償單元23的前級上配備線存儲器261-2。
類似地,在圖40的成像模糊抑制處理器13中,為了在圖32的示例的配 置中啟動垂直方向上的處理,進一步在成像模糊補償單元23的前級上配備線 存儲器261-1,而在濾波器單元22的前級上配備線存儲器261-2。
另一方面,在圖41的成像模糊抑制處理器13中,為了在圖33的示例的 配置中啟動垂直方向上的處理,進一步在成像模糊補償單元23和濾波器單元 22的前級上僅配備一個公共線存儲器261。
如上所述,通過采用圖41的示例中的成像模糊抑制處理器13,與采用 圖39或圖40的配置示例的情況相比,可以減少線存儲器的數(shù)量,而不會惡 化圖像模糊抑制的效果。即,通過采用圖41的示例的配置作為成像模糊抑制 處理器13的配置,與采用圖39或圖40的配置示例的情況相比,可以減小成 像模糊抑制處理器13的電路規(guī)模,而且可以減小圖13的視頻信號處理器4B 的電路規(guī)模。
除此而外,在該實施方式中,例如,像在圖42所示的視頻信號處理器 4C中一樣,從解碼器47輸出的內(nèi)插位置參數(shù)Relpos可以不僅被提供給內(nèi)插 器453,而且還提供給成像模糊抑制處理器13。在這樣的配置中,成像模糊 抑制處理器13可以根據(jù)每個內(nèi)插幀中更接近于原始幀的視頻圖像的內(nèi)插位 置的距離來改變由內(nèi)插部分45設(shè)置的、成像模糊抑制處理的處理量。因此, 減少成像模糊的程度可以根據(jù)內(nèi)插幀的排列的不均勻性(顫抖的強度)進行 改變。通過精細地調(diào)節(jié)顯示圖像中的保持模糊的抑制的程度以及成像模糊的 抑制的程度,可以改善觀看電影等的時候的畫面質(zhì)量。
在各種實施方式中執(zhí)行的高幀速轉(zhuǎn)換處理中,輸入視頻信號的第 一幀速 (幀頻)與輸出視頻信號的第二幀速(幀頻)的組合不被特別地限定,而可 以是任何組合。具體地說,例如,采用60 (或30) [Hz]作為輸入視頻信號的 第一幀速,而可以采用120[Hz]作為輸出視頻信號的第二幀速。例如,采用 60 (或30) [Hz]作為輸入視頻信號的第一幀速,而可以采用240[Hz]作為輸出 視頻信號的第二幀速。例如,采用對應(yīng)于PAL (逐行倒相)系統(tǒng)的50[Hz]作 為輸入視頻信號的第一幀速,而可以采用100[Hz]或200[Hz]作為輸出視頻信 號的第二幀速。例如,采用對應(yīng)于電視電影的48[Hz]作為輸入視頻信號的第一幀速,而可以采用等于或高于48[Hz]的預(yù)定頻率作為輸出視頻信號的第二 幀速。
除此而外,通過對從現(xiàn)有電視系統(tǒng)等產(chǎn)生的輸入視頻信號執(zhí)行在各個實
施方式下的高幀速轉(zhuǎn)換處理,可以高級別(high grade )顯示現(xiàn)有內(nèi)容。 [第三實施方式]
現(xiàn)在描述本發(fā)明的第三實施方式。
圖43示出根據(jù)該實施方式的視頻信號處理器(視頻信號處理器4D)的 配置的示例。除此而外,相同的標記指示與前述實施方式中的組件相同的組 件,并且將不重復(fù)它們的描述。
視頻信號處理器4D通過向第二實施方式中描述的視頻信號處理器4B進 一步提供超速處理器10而獲得,并在考慮到運動矢量檢測器44中的運動矢 量mv的檢測中的可靠性的情況下,執(zhí)行內(nèi)插部分45、成像模糊抑制處理器 13和超速處理器10 (overdriverprocessor)中的處理。除此而外,在也在成 像模糊特性檢測器12中檢測運動矢量的情況下,可以考慮運動矢量的檢測的 可靠性。在該實施方式中,下面將描述成像模糊抑制處理器13和超速處理器 10使用運動矢量檢測器44檢測到的運動矢量mv執(zhí)行視頻信號處理的情況。
超速處理器10利用運動矢量檢測器44檢測到的運動矢量mv,對從成像 模糊抑制處理器13供給的視頻信號執(zhí)行超速驅(qū)動處理。具體地說,超速處理 器10使得超速驅(qū)動處理的處理量隨運動矢量mv增加而增加,并使得超速驅(qū) 動處理的處理量隨運動矢量mv減少而減少。通過這樣的超速驅(qū)動處理,可 以抑制顯示圖像中的運動模糊和保持模糊。
這里,參考圖45和圖46,詳細地描述運動矢量mv的檢測中的可靠性。 圖44和圖45示出運動矢量mv的檢測中的存在/不存在(MC 0N/0FF信號) 與可靠性之間的關(guān)系的示例。
在圖44,在MC ON/OFF信號的值為"0" ( ON:可以卩險測運動矢量的情 況)并且不改變的情況下以及該值從"l" (OFF:檢測不到任何運動矢量的情 況,諸如該值在運動矢量的搜索范圍(塊匹配范圍)之外的情況)改變到"0" 的情況下,可靠性的值增加到"P (之前值)+Y (改變量)"。另一方面,MC ON/OFF信號的值從"O,,改變到'T,的情況下以及該值為"l"并且不改變的情況 下,可靠性的值降低到"P-Y"。
利用該配置,例如,如圖45所示,在MC ON/OFF信號的值為"0"的時
56間段期間,可靠性從0%逐漸增加到100%。另一方面,在MC ON/OFF信號 的值為'T,的時間段期間,可靠性從100%逐漸降低到0%。
通過考慮運動矢量mv的檢測中的可靠性,在內(nèi)插部分45、成像沖莫糊抑 制處理器13和超速處理器10中,設(shè)置成使得視頻信號處理的處理量隨著可 靠性的增加而增加,而另一方面,視頻信號處理的處理量隨著可靠性的減小 而減小。
具體地說,超速處理器IO設(shè)置以使得隨著可靠性的增加,超速處理 _ (overdriveprocess)的處理量增加,而另一方面,隨著可靠性的減小,超ii 處理的處理量也減小。同時,也可以根據(jù)內(nèi)插位置朝向由內(nèi)插部分45設(shè)置在 每個內(nèi)插幀中的、更接近的原始幀的視頻圖像的距離來改變超速處理的處理 量(以根據(jù)內(nèi)插幀的位置的非均勻(顫動的強度)改變減小運動模糊和保持 模糊的降低程度),并且還在考慮到可靠性的情況下執(zhí)行超速處理。
此外,成像模糊抑制處理器13設(shè)置使得成像模糊抑制處理的處理量隨著 可靠性增加而增加,而另一方面,成像模糊抑制處理的處理量隨著可靠性減 小而減小。例如,與在第二實施方式中的圖42中所示的視頻信號處理器4C 一樣,成像模糊抑制處理的處理量可以根據(jù)內(nèi)插位置朝向由內(nèi)插部分45設(shè)置 的內(nèi)插幀中更接近的原始幀的視頻圖像的距離來改變(根據(jù)內(nèi)插幀的位置的 非均勻(顫動的強度)改變減小成像模糊的程度),此外,還考慮到可靠性來 執(zhí)行成像模糊抑制處理。
此外,在考慮到運動矢量mv的檢測中的可靠性的情況下,內(nèi)插部分45 改變設(shè)置內(nèi)插位置朝向每個內(nèi)插幀中更接近的原始幀的視頻圖像的距離。從 而,可以在考慮到運動矢量mv的檢測中的可靠性下,改變內(nèi)插幀的位置的 非均勻(顫動的強度)。
同時,在通過相加通過在沿時基彼此相鄰的原始幀之間使用運動補償代 替內(nèi)插部分45內(nèi)插原始幀的視頻圖像而獲得的M個內(nèi)插幀(M是1或大于 1的整數(shù))轉(zhuǎn)換視頻信號的幀速的情況下,例如,可以如圖46(在3: 2折疊 信號的情況下)和圖47 (在24Hz電影源信號的情況下)所示那樣執(zhí)行考慮 到可靠性的幀速轉(zhuǎn)換處理。
具體地說,可以設(shè)置成使得隨著可靠性增加,幀速轉(zhuǎn)換時與運動矢量 MV1至MV3相乘的增益增加,而另一方面,隨著可靠性減小,幀速轉(zhuǎn)換時 與運動矢量MV1至MV3相乘的增益減小。以這樣的方式,在該實施方式中,在考慮到借助運動矢量檢測器44的運
動矢量mv的檢測中的可靠性下,執(zhí)行內(nèi)插部分45、成像模糊抑制處理器13 和超速處理器10中的視頻信號處理。被設(shè)置成使得隨著可靠性增加,視頻信 號處理的處理量增加,而另一方面,隨著可靠性減小,視頻信號處理的處理 量減小。結(jié)果,在使用運動矢量執(zhí)行視頻信號處理的情況下,即使當運動矢 量位于運動矢量搜索范圍(塊匹配范圍)之外,也可以執(zhí)行根據(jù)運動矢量的 檢測精度的視頻信號處理。因此,在執(zhí)行預(yù)定視頻信號處理的時候,可以抑 制由于運動矢量檢測精度而引起的畫面質(zhì)量的惡化。 [第四實施方式]
現(xiàn)在描述本發(fā)明的第四實施方式。
圖48示出根據(jù)該實施方式的圖像顯示裝置(液晶顯示器7)的配置的示 例。此外,相同的標記指示與前述實施方式中的組件相同的組件,并且將不 重復(fù)它們的描述。
液晶顯示器7基于經(jīng)歷了在第一至第三實施方式中所述的視頻信號處理 器4 (或視頻信號處理器4A至4D中的任何一個)中的視頻信號處理的視頻 信號顯示視頻圖像,為保持型顯示設(shè)備。具體地說,液晶顯示器7具有視頻 信號處理器4 (4A至4D)、液晶顯示板70、背光驅(qū)動單元71、背光72、定 時控制器73、選通驅(qū)動器74和數(shù)據(jù)驅(qū)動器75。 ''
背光72是向液晶顯示板70發(fā)光的光源,例如包括CCFL (冷陰極熒光 燈)和LED (發(fā)光二極管)。
液晶顯示板70基于視頻信號調(diào)制來自背光72的輻射光。液晶顯示板70 包括透射型液晶層(未示出)、夾液晶層的一對襯底(未示出的TFT襯底和 相反電極襯底)以及在與液晶層相反的面上層疊在TFT襯底和相對電極襯底 中每一個上的極化板(未示出)。
數(shù)據(jù)驅(qū)動器75基于視頻信號向液晶顯示板2中的每個像素電極提供驅(qū)動 電壓。選通驅(qū)動器74以線順序沿未示出的水平掃描線驅(qū)動液晶顯示板2中的 像素電極。定時控制器73基于從視頻信號處理器4 ( 4A至4D )供給的視頻 信號控制數(shù)據(jù)驅(qū)動器75和選通驅(qū)動器74。背光驅(qū)動單元71根據(jù)提供給視頻 信號處理器4 (4A至4D)的視頻信號控制背光72的開啟和關(guān)閉操作(對背 光72執(zhí)4于開啟驅(qū)動)。
將該實施方式的液晶顯示器7構(gòu)造成根據(jù)原始幀中的視頻信號本體(substance )和用戶觀看環(huán)境的亮度之一來執(zhí)行將黑顯示區(qū)域插入液晶顯示 板2的顯示屏幕的黑插入處理。具體地說,例如,當原始幀中的視頻信號為 影院信號(電影信號)時,執(zhí)行用于將黑顯示區(qū)域插入液晶顯示板2的顯示 屏幕的黑插入處理。更具體地說,背光驅(qū)動單元71在背光72的開啟和關(guān)閉 之間切換,以便執(zhí)行將黑顯示區(qū)域插入液晶顯示板2的顯示屏幕的處理。此 外,例如,背光驅(qū)動單元71利用包括在EPG (電子節(jié)目指南)的原始幀的目 錄信息或者基于原始幀的幀速,確定原始幀中的視頻信號是否為影院信號。
像如下那樣執(zhí)行黑插入方法。例如,如圖49 (A)和圖49 (B)那樣, 基于幀單元執(zhí)行黑插入處理。如圖50 (A)和圖50 (B)那樣,以由原始幀 中的預(yù)定數(shù)量的水平掃描線構(gòu)成的黑插入線單元執(zhí)行黑插入處理。例如,如 圖51 (A)和圖51 (B)所示,基于黑插入線單元和幀單元的組合執(zhí)行黑插 入處理。在圖49至圖51 (以及后面描述的圖52至圖55)中,(A)示出液 晶顯示板2 ( LCD )中的視頻圖像的本體(原始幀A至C和內(nèi)插幀A,至C,), 而(B)示出背光72的發(fā)光狀態(tài)(light-on state )。圖中的水平軸示出時間。
在圖49所示的基于幀單元的黑插入處理的情況下,整個幀發(fā)光或不發(fā) 光,以便保持改善效果增加。在圖50所示的基于黑插入線單元的黑插入處理 的情況下,可以通過設(shè)置將在后面描述的黑插入比來調(diào)節(jié)顯示亮度,并且?guī)?速不實地增加。結(jié)果,與基于幀單元的情況下相比,很少見到閃爍。在圖51 所示的幀單元和黑插入線單元的組合的情況下,運動圖像響應(yīng)變成最高。
除此而外,在包括如圖50和圖51所示的基于黑插入線單元的黑插入處 理的情況下,可以以相互遠離的多條黑插入線執(zhí)行黑插入處理。以這樣的配 置,便于下面描述的黑插入比和顯示亮度的調(diào)節(jié)。
此外,例如,如圖52至圖55所示,當執(zhí)行黑插入處理時,背光驅(qū)動單 元71可以執(zhí)行切換驅(qū)動,以便整個顯示屏幕中黑顯示區(qū)域的面積比(=黑插 入比)可以通過改變黑插入線的厚度(構(gòu)成黑插入線的水平掃描線的數(shù)量) 而變化。以這樣的配置,產(chǎn)生減小保持模糊的效果并調(diào)節(jié)顯示亮度。
此外,背光驅(qū)動單元71可以執(zhí)行切換驅(qū)動,以便執(zhí)行黑插入處理時改變 黑顯示區(qū)域的亮度。以這樣的配置,當減小保持模糊時,可以調(diào)節(jié)顯示亮度。 而且,可以改變黑插入比和黑顯示區(qū)域的亮度兩者。
除此而外,在使得黑插入比和黑顯示區(qū)域的亮度中至少 一個可變的情況 下,可以以多個階段改變黑插入比和黑顯示區(qū)域的亮度,也可以連續(xù)改變。在進行這樣的改變的情況下,便于保持模糊的減小和顯示亮度的調(diào)節(jié)。
以這樣的方式,在該實施方式中,根據(jù)原始幀中的視頻信號的本體和用 戶觀看環(huán)境的亮度中至少之一來執(zhí)行插入黑顯示區(qū)域到液晶板2中的顯示屏 幕的黑插入處理。因此,可以根據(jù)環(huán)境減小保持模糊。
除此而外,例如,如圖56所示,根據(jù)原始幀中的亮度直方圖分布,可以 確定是否執(zhí)行黑插入處理,并且可以改變黑顯示區(qū)域的亮度。以這樣的配置, 調(diào)節(jié)變成可能。例如,確定以這樣的情況下執(zhí)行黑插入處理,以使得顯示亮 度的增加在黑圖像中不明顯。通過增加黑插入比或降低黑顯示區(qū)域的亮度, 減小保持模糊的效果優(yōu)先。
此外,根據(jù)由運動矢量檢測器44等所檢測到原始幀中的運動矢量的量
值,可以改變黑插入比和黑顯示區(qū)域的亮度。以這樣的配置,例如,在使得 視頻圖像的運動大的情況下,可以通過增加黑插入比或降低黑顯示區(qū)域的亮 度來執(zhí)行諸如顫動的抑制之類的調(diào)節(jié)。
此外,例如,與圖57所示的液晶顯示器7A—樣,通過提供用于檢測用 戶觀看環(huán)境的亮度的亮度檢測器76 (例如由亮度傳感器構(gòu)造)等,可以如上 所述地確定是否執(zhí)行黑插入處理或者可以根據(jù)用戶觀看環(huán)境的所檢測到的亮 度改變黑插入比和黑顯示區(qū)域的亮度。以這樣的配置,存在這樣的情況顯 示亮度的降低不明顯依賴于觀看環(huán)境的亮度(例如,在觀看環(huán)境是黑狀態(tài)的 情況下)。在這種情況下,可以通過確定是否執(zhí)行黑插入處理或者增加黑插入 比或降低黑顯示區(qū)域的亮度,來執(zhí)行對減小保持模糊的效果放置優(yōu)先權(quán)的調(diào)
節(jié)
除此而外,在提供亮度檢測器76的情況下,例如,根據(jù)用戶觀看環(huán)境中 被檢測到的亮度,可以改變成像模糊抑制處理器13的成像模糊抑制處理的處 理量以及由內(nèi)插部分45在每個內(nèi)插幀中設(shè)置更鄰近于更接近的原始幀的視 頻圖像的內(nèi)插位置的程度。在改變成像模糊抑制處理器13的成像模糊抑制處 理的處理量的情況下,存在這樣的情況成像模糊不明顯依賴于觀看環(huán)境的 亮度(例如,在觀看環(huán)境是黑狀態(tài)的情況下)。在這種情況下,可以執(zhí)行降低 成像模糊抑制處理的處理量的調(diào)節(jié)。在改變由內(nèi)插部分45在每個內(nèi)插幀中設(shè) 置更鄰近于更接近的原始幀的視頻圖像的內(nèi)插位置的程度的情況下,當顫動 不明顯依賴于觀看環(huán)境的亮度(例如,在觀看環(huán)境是黑狀態(tài)的情況下),通過 設(shè)置鄰近于原始幀的內(nèi)插位置,留下顫動。以這種方式,實現(xiàn)創(chuàng)建電影特有的真實感的調(diào)節(jié)。
除此而外,已經(jīng)在保持型圖像顯示裝置為液晶顯示器而且通過背光驅(qū),7、 電路71的開關(guān)驅(qū)動執(zhí)行黑插入處理(閃爍處理)的情況下描述了該實施方式。
例如,在顯示設(shè)備為發(fā)光顯示設(shè)備(諸如有機EL顯示設(shè)備)而不是液晶顯
執(zhí)行黑插入處理的黑插入處理器(未示出)并且利用該黑插入處理器執(zhí)行視 頻信號處理來執(zhí)行黑插入處理。
同時,在該實施方式中,例如通過提供預(yù)定操作部件(設(shè)置部件),可以 通過用戶操作設(shè)置是否執(zhí)行黑插入處理、黑插入比的變化、黑顯示區(qū)域中的 亮度變化等。
此外,該實施方式中的視頻信號處理器不限于在第一至第三實施方式中
描述的視頻信號處理器4 (或視頻信號處理器4A至4D中的任何一個)。其它 視頻信號處理器也可以被釆用,只要它對沿時基的多個原始幀執(zhí)行預(yù)定視頻 信號處理。
此外,可以以硬件或軟件執(zhí)行在第一至第四實施方式中描述的處理序別 (或一部分處理)。
在這種情況下,在第一至第四實施方式中描述的視頻信號處理器4以及 4A至4D、背光驅(qū)動單元71和定時控制器73全部或它們的一部分(例如, 成像模糊抑制處理器13等)可以由例如圖58所示的計算機構(gòu)造。
在圖58中,CPU (中央處理單元)301根據(jù)記錄在ROM (只讀存儲器) 302上的程序或從存儲器308裝載到RAM (隨機存取存儲器)303的程序。 在RAM 303中,還適當?shù)卮鎯PU301執(zhí)行各種處理所需的數(shù)據(jù)等。
CPU 301 、 ROM 302和RAM 303經(jīng)由總線304相互連接。輸入/輸出接 口 305也連接到總線304。
包括鍵盤、鼠標等的輸入單元306、輸入顯示器之類的輸出單元307、有 硬盤等構(gòu)造而成的存儲器308以及包括調(diào)制解調(diào)器、終端適配器等的通信單 元309連接到輸入/輸出接口 305。通信單元309經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)與其 他裝置進行通信處理。
按照需要,驅(qū)動器310也連接到輸入/輸出接口 305。適當?shù)卦谳斎?輸出 接口 305上安裝諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器之類的可拆卸記錄 介質(zhì)311。按照需要,在存儲器308中安裝從可拆卸記錄介質(zhì)311讀取的計算
示器的情況下,機程序。
在由硬件執(zhí)行處理序列的情況下,構(gòu)成軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)安 裝到例如能夠通過安裝各種程序來執(zhí)行各種功能的以專用硬件組裝的計算才;l 或通用個人計算等。 '
包括這樣的程序的記錄介質(zhì)不限于諸如磁盤(包括軟盤)、光盤(包括
CD-ROM (只讀光盤存儲器))和DVD (數(shù)字多功能盤)、磁光盤(包括MD (微型盤)或半導(dǎo)體存儲器)之類的可拆卸記錄介質(zhì)(封裝介質(zhì))311??梢?是以預(yù)先組裝在設(shè)備主體中的狀態(tài)提供給用戶的、其中記錄了程序的ROM 302、包括在存儲器308的硬盤等。
同時,在說明書中,顯然,描述記錄在記錄介質(zhì)上的程序的步驟不僅包 括以時間順序執(zhí)行的處理,也包括不總是以時間順序而是并行或獨立4丸行的 處理。
此外,如上所述,在該說明書中,系統(tǒng)指的是由多個處理設(shè)備和處理器 構(gòu)造而成的整體設(shè)備。
此外,在前面的實施方式和改進的示例中描述過的配置等不限于上述組 合,而可以是任意組合。
權(quán)利要求
1、一種圖像顯示裝置,其特征在于包括視頻信號處理部件,用于對沿時基的多個原始幀執(zhí)行預(yù)定視頻信號處理以改善畫面質(zhì)量;以及顯示部件,用于基于經(jīng)歷了該視頻信號處理的視頻信號顯示視頻圖像,其中,該顯示部件是保持型顯示部件,并且根據(jù)原始幀中的視頻信號的本體和用戶觀看環(huán)境的亮度中至少之一,執(zhí)行將黑顯示區(qū)域插入該顯示部件中的顯示屏幕的黑插入處理。
2、 根據(jù)權(quán)利要求1的圖像顯示裝置,其特征在于該顯示部件具有 光源;以及液晶顯示板,用于基于該原始幀中的該視頻信號調(diào)制來自該光源的光。
3、 根據(jù)權(quán)利要求2的圖像顯示裝置,其特征在于進一步包括光源驅(qū)動部 件,用于執(zhí)行在該光源的開啟和關(guān)閉之間的切換驅(qū)動,以便在該液晶顯示板 中的該顯示屏幕上執(zhí)行該黑插入處理。
4、 根據(jù)權(quán)利要求3的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行該 切換驅(qū)動,以便當對該原始幀執(zhí)行該黑插入處理時該黑區(qū)域與整個顯示屏幕 的面積比(=黑插入比)可變。
5、 根據(jù)權(quán)利要求4的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行該 切換驅(qū)動,以便該黑插入比以多個級別改變。
6、 根據(jù)權(quán)利要求4的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行該 切換驅(qū)動,以便該黑插入比連續(xù)改變。
7、 根據(jù)權(quán)利要求4至6之一的圖像顯示裝置,其特征在于進一步包括設(shè) 置部件,用于允許用戶改變該黑插入比。
8、 根據(jù)權(quán)利要求4至7之一的圖像顯示裝置,其特征在于該光源驅(qū)動部 件執(zhí)行該切換驅(qū)動,以便該黑插入比根據(jù)原始幀中的亮度直方圖分布改變。
9、 根據(jù)權(quán)利要求4至8之一的圖像顯示裝置,其特征在于該光源驅(qū)動部 件執(zhí)行該切換驅(qū)動,以便該黑插入比根據(jù)用戶觀看環(huán)境的亮度改變。
10、 根據(jù)權(quán)利要求4至9之一的圖像顯示裝置,其特征在于該光源驅(qū)動 部件執(zhí)行該切換驅(qū)動,以便該黑插入比根據(jù)原始幀中的運動矢量的量值改變。
11、 根據(jù)權(quán)利要求4至IO之一的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行該切換驅(qū)動,以便該黑顯示區(qū)域的亮度也可變。
12、 根據(jù)權(quán)利要求3的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行 該切換驅(qū)動,以便當對該原始幀執(zhí)行該黑插入處理時該黑顯示區(qū)域的亮度可變
13、 根據(jù)權(quán)利要求12的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行 該切換驅(qū)動,以便該黑顯示區(qū)域的亮度以多個級別變化。
14、 根據(jù)權(quán)利要求12的圖像顯示裝置,其特征在于該光源驅(qū)動部件執(zhí)行 該切換驅(qū)動,以便該黑顯示區(qū)域的亮度連續(xù)變化。
15、 根據(jù)權(quán)利要求12至14之一的圖像顯示裝置,其特征在于進一步包 括設(shè)置部件,用于允許用戶改變該黑顯示區(qū)域的亮度。
16、 根據(jù)權(quán)利要求12至15之一的圖像顯示裝置,其特征在于該光源驅(qū) 動部件執(zhí)行該切換驅(qū)動,以便該黑顯示區(qū)域的亮度根據(jù)原始幀中的亮度直方 圖分布改變。
17、 根據(jù)權(quán)利要求12至16之一的圖像顯示裝置,其特征在于該光源驅(qū) 動部件執(zhí)行該切換驅(qū)動,以便該黑顯示區(qū)域的亮度根據(jù)用戶觀看環(huán)境的亮度 改變。
18、 根據(jù)權(quán)利要求12至17之一的圖像顯示裝置,其特征在于該光源驅(qū) 動部件執(zhí)行該切換驅(qū)動,以便該黑顯示區(qū)域的亮度根據(jù)原始幀中的運動矢量 的量值改變。
19、 根據(jù)權(quán)利要求3至18之一的圖像顯示裝置,其特征在于該光源驅(qū)動 部件執(zhí)行該切換驅(qū)動,以便按幀執(zhí)行該黑插入處理。
20、 根據(jù)權(quán)利要求3至18之一的圖像顯示裝置,其特征在于該光源驅(qū)動 部件執(zhí)行該切換驅(qū)動,以便按黑插入線單元執(zhí)行該黑插入處理,該單元由該 原始幀中的預(yù)定數(shù)量的水平掃描線組成。
21、 根據(jù)權(quán)利要求20的圖像顯示裝置,其特征在于該顯示部件或該視頻 信號處理部件執(zhí)行該切換驅(qū)動,以便按黑插入線單元和幀執(zhí)行該黑插入處理。
22、 根據(jù)權(quán)利要求20的圖像顯示裝置,其特征在于該顯示部件或該視頻 信號處理部件執(zhí)行該切換驅(qū)動,以便通過插入相互遠離的多條黑插入線來執(zhí) 行該黑插入處理。
23、 根據(jù)權(quán)利要求2至22之一的圖像顯示裝置,其特征在于該光源包括 LED。
24、 根據(jù)權(quán)利要求1的圖像顯示裝置,其特征在于該視頻信號處理部件 包括黑插入處理部件,用于對該原始幀的視頻信號執(zhí)行黑插入處理。
25、 根據(jù)權(quán)利要求1至24之一的圖像顯示裝置,其特征在于該視頻信號 處理部件包括幀速轉(zhuǎn)換部件,用于通過將M個內(nèi)插幀添加到沿時基彼此相鄰 的原始幀之間來轉(zhuǎn)換視頻信號的幀速,該內(nèi)插幀是利用運動補償而從該原始 幀的視頻圖像中獲得的,而該M是1或更大的整數(shù)。
26、 根據(jù)權(quán)利要求1至24之一的圖像顯示裝置,其特征在于該視頻信號 處理部件包括內(nèi)插位置設(shè)置部件,用于通過將N個內(nèi)插幀添加到沿時基彼此 相鄰的原始幀之間來轉(zhuǎn)換視頻信號的幀速,該N個內(nèi)插幀是利用運動補償而 從該原始幀的視頻圖像中獲得的,以便將該N個內(nèi)插幀中的視頻圖像的內(nèi)插 位置設(shè)置到非等分位置的、更接近于原始幀中最近的視頻圖像的被偏離的位 置,該等分位置是通過等分沿時基的前原始幀與后原始幀之間的視頻圖像運 動的量值為(N+l)部分而獲得的,而該N是整數(shù)2或更大。
27、 根據(jù)權(quán)利要求1至26之一的圖像顯示裝置,其特征在于進一步包括 設(shè)置部件,用于允許用戶執(zhí)行該黑插入處理。
28、 根據(jù)權(quán)利要求1至27之一的圖像顯示裝置,其特征在于當該視頻信 號為影院信號時執(zhí)行黑插入處理。
29、 根據(jù)權(quán)利要求28的圖像顯示裝置,其特征在于利用原始幀的目錄信 息確定原始幀中的視頻信號是否為影院信號,該目錄信息被包括在電子節(jié)目 指南EPG中。
30、 根據(jù)權(quán)利要求28的圖像顯示裝置,其特征在于基于該原始幀的幀速 確定原始幀中的視頻信號是否為影院信號。
31、 根據(jù)權(quán)利要求1至27之一的圖像顯示裝置,其特征在于根據(jù)該原始 幀中的亮度直方圖分布執(zhí)行該黑插入處理。
全文摘要
提供能夠響應(yīng)環(huán)境改善保持模糊的圖像顯示裝置。該圖像顯示裝置被配置成執(zhí)行黑插入處理,該黑插入處理被執(zhí)行來根據(jù)原始幀中視頻信號的內(nèi)容和用戶觀看環(huán)境的亮度中至少之一將黑顯示區(qū)域插入液晶顯示板(2)的顯示屏幕。具體地說,例如,當原始幀中的視頻信號為影院信號(電影信號)時,執(zhí)行該黑插入處理,以將黑顯示區(qū)域插入液晶顯示板(2)的顯示屏幕。更具體地說,例如,背光驅(qū)動單元(71)執(zhí)行切換驅(qū)動,以開啟或關(guān)閉背光源(72),以便執(zhí)行將黑顯示區(qū)域插入液晶顯示板(2)的顯示屏幕上的黑插入處理。
文檔編號H04N5/44GK101543064SQ200880000258
公開日2009年9月23日 申請日期2008年2月20日 優(yōu)先權(quán)日2007年2月20日
發(fā)明者宮崎慎一郎, 村上一郎, 亨 西 申請人:索尼株式會社