專利名稱：產(chǎn)生并顯示在空間上偏移的子幀的制作方法
相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)涉及于2002年8月7日提交的美國(guó)專利申請(qǐng)序號(hào)10/213,555題目為“IMAGE DISPLAY SYSTEM AND METHOD”；于2002年9月11日提交的美國(guó)專利申請(qǐng)序號(hào)10/242,195題目為“IMAGE DISPLAYSYSTEM AND METHOD”；于2002年9月11日提交的美國(guó)專利申請(qǐng)序號(hào)10/242,545題目為“IMAGE DISPLAY SYSTEM ANDMETHOD”；于2003年7月31日提交的美國(guó)專利申請(qǐng)序號(hào)10/631,681題目為“GENERATING AND DISPLAYING SPATIALLY OFFSETSUB-FRAMES”；于2003年7月31日提交的美國(guó)專利申請(qǐng)序號(hào)10/632,042題目為“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES”；于2003年9月26日提交的美國(guó)專利申請(qǐng)序號(hào)10/672,845題目為“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”；于2003年9月26日提交的美國(guó)專利申請(qǐng)序號(hào)10/672,544題目為“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2003年10月30日提交的美國(guó)專利申請(qǐng)序號(hào)10/697,605題目為“GENERATINGAND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON ADIAMOND GRID”；于2003年10月30日提交的美國(guó)專利申請(qǐng)序號(hào)10/696,888題目為“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS”；于2002年10月30日提交的美國(guó)專利申請(qǐng)序號(hào)10/697,830題目為“IMAGEDISPLAY SYSTEM AND METHOD”；于2003年12月31日提交的美國(guó)專利申請(qǐng)與10/750,591題目為“DISPLAYING SPATIALLYOFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SETOF DEFECTIVE DISPLAY PIXELS”；于2004年1月30日提交的美國(guó)專利申請(qǐng)序號(hào)10/768,621題目為“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年1月30日提交的美國(guó)專利申請(qǐng)序號(hào)10/768,215題目為“GENERATINGAND DISPLAYING SUB-FRAMES AT SPATIALLY OFFSETPOSITIONS ON A CIRCLE”；于2004年4月8日提交的美國(guó)專利申請(qǐng)序號(hào)10/821,135題目為“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”；于2004年4月8日提交的美國(guó)專利申請(qǐng)序號(hào)10/821,130題目為“GENERATING ANDDISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年4月8日提交的美國(guó)專利申請(qǐng)序號(hào)10/820,952題目為“GENERATINGAND DISPLAYING SPATIALLY OFFSET SUB-FRAMES”；于2004年6月9日提交的美國(guó)專利申請(qǐng)序號(hào)10/864,125概要號(hào)200401412-1且題目為“GENERATING AND DISPLAYING SPATIALLY OFFSETSUB-FRAMES”；于2004年6月15日提交的美國(guó)專利申請(qǐng)序號(hào)10/868,719題目為“GENERATING AND DISPLAYING SPATIALLYOFFSET SUB-FRAMES”以及于2004年6月15日提交的美國(guó)專利申請(qǐng)序號(hào)10/868,638題目為“GENERATING AND DISPLAYINGSPATIALLY OFFSET SUB-FRAMES”。上述美國(guó)專利申請(qǐng)中的每個(gè)被轉(zhuǎn)讓給本發(fā)明的受讓人，并且在此通過(guò)引用加以結(jié)合以供參考。
背景技術(shù)：
用于顯示圖像的常規(guī)系統(tǒng)或設(shè)備(諸如顯示器、投影儀或其它成像系統(tǒng))通過(guò)尋址在水平行和垂直列中所布置的單個(gè)畫面元素或像素的陣列來(lái)生成所顯示的圖像。所顯示圖像的分辨率被定義為用于形成所顯示圖像的單個(gè)像素的水平行和垂直列的數(shù)目。所顯示圖像的分辨率受顯示設(shè)備本身的分辨率以及圖像數(shù)據(jù)的分辨率的影響，所述圖像數(shù)據(jù)是由所述顯示設(shè)備所處理并用來(lái)生成所顯示圖像的。
典型地，為了增加所顯示圖像的分辨率，必須增加顯示設(shè)備的分辨率以及用于生成所顯示圖像的圖像數(shù)據(jù)的分辨率。然而，增加顯示設(shè)備的分辨率增加了顯示設(shè)備的成本和復(fù)雜度。另外，可能無(wú)法獲得和/或可能難于產(chǎn)生較高分辨率的圖像數(shù)據(jù)。


發(fā)明內(nèi)容
本發(fā)明的一種形式提供了一種用于利用顯示設(shè)備來(lái)顯示圖像的方法。所述方法包括產(chǎn)生對(duì)應(yīng)于所述圖像的圖像數(shù)據(jù)的第一子幀和第二子幀，其中包括使用與來(lái)自所述圖像數(shù)據(jù)的第一多個(gè)梯度(gradient)相關(guān)聯(lián)的第一銳化系數(shù)來(lái)計(jì)算所述第一子幀中的第一子幀像素值，并且在第一位置顯示所述第一子幀和在第二位置顯示所述第二子幀之間交替，所述第二位置在空間上偏離所述第一位置。



圖1是圖示依照本發(fā)明一個(gè)實(shí)施例的圖像顯示系統(tǒng)的框圖。
圖2A-2C是圖示依照本發(fā)明一個(gè)實(shí)施例的兩個(gè)子幀的顯示的示意圖。
圖3A-3E是圖示依照本發(fā)明一個(gè)實(shí)施例的四個(gè)子幀的顯示的示意圖。
圖4A-4E是圖示依照本發(fā)明一個(gè)實(shí)施例的利用圖像顯示系統(tǒng)來(lái)顯示像素的示意圖。
圖5是圖示依照本發(fā)明一個(gè)實(shí)施例的使用最鄰近算法來(lái)從原始的高分辨率圖像產(chǎn)生低分辨率子幀的圖。
圖6是圖示依照本發(fā)明一個(gè)實(shí)施例的使用雙線性算法來(lái)從原始的高分辨率圖像產(chǎn)生低分辨率子幀的圖。
圖7是圖示依照本發(fā)明一個(gè)實(shí)施例的用于產(chǎn)生模擬高分辨率圖像的系統(tǒng)的框圖。
圖8是圖示依照本發(fā)明一個(gè)實(shí)施例的用于根據(jù)可分離的上采樣來(lái)產(chǎn)生模擬的高分辨率圖像以用于二位置處理的系統(tǒng)的框圖。
圖9是圖示依照本發(fā)明一個(gè)實(shí)施例的用于根據(jù)不可分離的上采樣來(lái)產(chǎn)生模擬的高分辨率圖像以用于二位置處理的系統(tǒng)的框圖。
圖10是圖示依照本發(fā)明一個(gè)實(shí)施例的用于產(chǎn)生模擬的高分辨率圖像以用于四位置處理的系統(tǒng)的框圖。
圖11是圖示依照本發(fā)明一個(gè)實(shí)施例的把模擬的高分辨率圖像和所需高分辨率圖像相比較的框圖。
圖12是圖示依照本發(fā)明一個(gè)實(shí)施例的在上采樣子幀的頻域中的影響的圖。
圖13是圖示依照本發(fā)明一個(gè)實(shí)施例的在上采樣的子幀的移位的頻域中的影響的圖。
圖14是圖示依照本發(fā)明一個(gè)實(shí)施例的上采樣的圖像中像素的影響區(qū)域的圖。
圖15是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生初始模擬的高分辨率圖像的圖。
圖16是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生校正數(shù)據(jù)的圖。
圖17是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生更新的子幀的圖。
圖18是圖示依照本發(fā)明另一實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生校正數(shù)據(jù)的圖。
圖19是圖示依照本發(fā)明一個(gè)實(shí)施例的產(chǎn)生噪聲降低而分辨率增強(qiáng)的子幀的框圖。
圖20A-20B是圖示用于估算梯度的過(guò)濾器的圖。
圖21是圖示依照本發(fā)明一個(gè)實(shí)施例的產(chǎn)生噪聲降低而分辨率增強(qiáng)的子幀的方法的流程圖。
圖22是圖示依照本發(fā)明一個(gè)實(shí)施例的通過(guò)調(diào)節(jié)銳化系數(shù)來(lái)產(chǎn)生子幀的方法的流程圖。

具體實(shí)施例方式 在下面對(duì)優(yōu)選實(shí)施方式的詳細(xì)描述中，參考作為其一部分的附圖，并且其中借助插圖示出了可以實(shí)施本發(fā)明的具體實(shí)施例。應(yīng)當(dāng)理解的是，可以利用其它實(shí)施例，并且可以在不脫離本發(fā)明范圍的情況下進(jìn)行結(jié)構(gòu)或邏輯上的改變。因此，以下詳細(xì)說(shuō)明不應(yīng)當(dāng)被認(rèn)為是限制意義上的，并且本發(fā)明的范圍是通過(guò)所附的權(quán)利要求而限定的。
I.子幀的空間和時(shí)間移位 一些顯示系統(tǒng)(例如一些數(shù)字光投射器)可能沒(méi)有足夠的分辨率來(lái)顯示某些高分辨率圖像。這種系統(tǒng)可以被配置為通過(guò)顯示在空間和時(shí)間上移位(shift)的較低分辨率圖像來(lái)向人眼呈現(xiàn)更高分辨率的圖像。所述較低分辨率圖像被稱作子幀。子幀產(chǎn)生的問(wèn)題(將由本發(fā)明的實(shí)施例解決)是確定所述子幀的適當(dāng)值，使得所顯示的子幀表面上接近于從其導(dǎo)出子幀的高分辨率圖像在直接顯示的情況下會(huì)呈現(xiàn)出的那個(gè)樣子。
在上面所引用的美國(guó)專利申請(qǐng)中，描述了通過(guò)時(shí)間和空間移位子幀來(lái)提供增強(qiáng)分辨率的表現(xiàn)的顯示系統(tǒng)的一個(gè)實(shí)施例，并且在下面參考圖1-4E對(duì)其進(jìn)行概括。
圖1是圖示依照本發(fā)明一個(gè)實(shí)施例的圖像顯示系統(tǒng)10的框圖。圖像顯示系統(tǒng)10促進(jìn)和方便對(duì)圖像12的處理來(lái)創(chuàng)建顯示的圖像14。圖像12被定義為包括任何圖畫、圖形和/或文本字符、符號(hào)、插圖和/或其它信息表示。圖像12例如由圖像數(shù)據(jù)16來(lái)表示。圖像數(shù)據(jù)16包括圖像12的單個(gè)畫面元素或像素。雖然只有一個(gè)圖像被圖示并描述為由圖像顯示系統(tǒng)10來(lái)處理，然而應(yīng)當(dāng)理解的是，可以由圖像顯示系統(tǒng)10處理并顯示多個(gè)圖像或圖像序列。
在一個(gè)實(shí)施例中，圖像顯示系統(tǒng)10包括幀速率轉(zhuǎn)換部件20和圖像幀緩沖器22、圖像處理部件24和顯示設(shè)備26。如下所述，幀速率轉(zhuǎn)換部件20和圖像幀緩沖器22接收并緩沖圖像12的圖像數(shù)據(jù)16來(lái)創(chuàng)建圖像12的圖像幀28。圖像處理部件24處理圖像幀28來(lái)定義圖像幀28的一個(gè)或多個(gè)圖像子幀30，并且顯示設(shè)備26在時(shí)間和空間上顯示圖像子幀30來(lái)生成所顯示的圖像14。
包括幀速率轉(zhuǎn)換部件20和/或圖像處理部件24的圖像顯示系統(tǒng)10包括硬件、軟件、固件或其組合。在一個(gè)實(shí)施例中，包括幀速率轉(zhuǎn)換部件20和/或圖像處理部件24的圖像顯示系統(tǒng)10的一個(gè)或多個(gè)組件包括于計(jì)算機(jī)、計(jì)算機(jī)服務(wù)器或其它基于微處理器的系統(tǒng)中，所述系統(tǒng)能夠執(zhí)行邏輯運(yùn)算序列。另外，處理可以遍及系統(tǒng)而分布，所述系統(tǒng)具有在分離系統(tǒng)組件中實(shí)現(xiàn)的多個(gè)單獨(dú)部分。
圖像數(shù)據(jù)16可以包括數(shù)字圖像數(shù)據(jù)161或模擬圖像數(shù)據(jù)162。為了處理模擬圖像數(shù)據(jù)162，圖像顯示系統(tǒng)10包括模擬到數(shù)字(analog-to-digital A/D)轉(zhuǎn)換器32。如此，A/D轉(zhuǎn)換器32把模擬圖像數(shù)據(jù)162轉(zhuǎn)換為數(shù)字形式以供后續(xù)處理。從而，圖像顯示系統(tǒng)10可以接收并處理圖像12的數(shù)字圖像數(shù)據(jù)161和/或模擬圖像數(shù)據(jù)162。
幀速率轉(zhuǎn)換部件20接收?qǐng)D像12的圖像數(shù)據(jù)16并且把圖像數(shù)據(jù)16緩沖或存儲(chǔ)在圖像幀緩沖器22中。更具體地說(shuō)，幀速率轉(zhuǎn)換部件20接收用于表示圖像12的單獨(dú)線(line)或場(chǎng)(field)的圖像數(shù)據(jù)16，并且把圖像數(shù)據(jù)16緩沖到圖像幀緩沖器22中來(lái)創(chuàng)建圖像12的圖像幀28。圖像幀緩沖器22通過(guò)接收并存儲(chǔ)圖像幀28的所有圖像數(shù)據(jù)來(lái)緩沖圖像數(shù)據(jù)16，并且?guī)俾兽D(zhuǎn)換部件20通過(guò)隨后從圖像幀緩沖器22獲取或提取圖像幀28的所有圖像數(shù)據(jù)來(lái)創(chuàng)建圖像幀28。如此，圖像幀28被定義為包括表示整個(gè)圖像12的圖像數(shù)據(jù)16的多個(gè)單獨(dú)線或場(chǎng)。從而，圖像幀28包括表示圖像12的單個(gè)像素的多個(gè)列和多個(gè)行。
幀速率轉(zhuǎn)換部件20和圖像幀緩沖器22可以接收并處理圖像數(shù)據(jù)16作為逐行的圖像數(shù)據(jù)和/或隔行的圖像數(shù)據(jù)。利用逐行的圖像數(shù)據(jù)，幀速率轉(zhuǎn)換部件20和圖像幀緩沖器22接收并存儲(chǔ)圖像12的圖像數(shù)據(jù)16的順序場(chǎng)。從而，幀速率轉(zhuǎn)換部件20通過(guò)獲取圖像12的圖像數(shù)據(jù)16的順序場(chǎng)來(lái)創(chuàng)建圖像幀28。利用隔行的圖像數(shù)據(jù)，幀速率轉(zhuǎn)換部件20和圖像幀緩沖器22接收并存儲(chǔ)圖像12的圖像數(shù)據(jù)16的奇數(shù)場(chǎng)和偶數(shù)場(chǎng)。例如，圖像數(shù)據(jù)16的所有奇數(shù)場(chǎng)被接收并存儲(chǔ)，并且圖像數(shù)據(jù)16的所有偶數(shù)場(chǎng)被接收并存儲(chǔ)。如此，幀速率轉(zhuǎn)換部件20通過(guò)獲取圖像12的圖像數(shù)據(jù)16的奇數(shù)和偶數(shù)場(chǎng)對(duì)圖像數(shù)據(jù)16進(jìn)行解交錯(cuò)(de-interlaces)并且創(chuàng)建圖像幀28。
圖像幀緩沖器22包括用于存儲(chǔ)各自圖像12的一個(gè)或多個(gè)圖像幀28的圖像數(shù)據(jù)16的存儲(chǔ)器。從而，圖像幀緩沖器22構(gòu)成一個(gè)或多個(gè)圖像幀28的數(shù)據(jù)庫(kù)。圖像幀緩沖器22的例子包括非易失性存儲(chǔ)器(例如，硬盤驅(qū)動(dòng)器或其它持久性存儲(chǔ)設(shè)備)并且可以包括易失性存儲(chǔ)器(例如，隨機(jī)存取存儲(chǔ)器(RAM))。
通過(guò)在幀速率轉(zhuǎn)換部件20接收?qǐng)D像數(shù)據(jù)16并且利用圖像幀緩沖器22緩沖圖像數(shù)據(jù)16，可以把圖像數(shù)據(jù)16的輸入計(jì)時(shí)與顯示設(shè)備26的計(jì)時(shí)要求相分離。更具體地說(shuō)，由于用于圖像幀28的圖像數(shù)據(jù)16由圖像幀緩沖器22接收并存儲(chǔ)，所以圖像數(shù)據(jù)16無(wú)論如何都能夠作為輸入而被接收。如此，圖像幀28的幀速率可以被轉(zhuǎn)換為顯示設(shè)備26的計(jì)時(shí)要求。從而，可以以顯示設(shè)備26的幀速率從圖像幀緩沖器22中提取圖像幀28的圖像數(shù)據(jù)16。
在一個(gè)實(shí)施例中，圖像處理部件24包括分辨率調(diào)整部件34和子幀產(chǎn)生部件36。如下所述，分辨率調(diào)整部件34接收用于圖像幀28的圖像數(shù)據(jù)16并且調(diào)節(jié)圖像數(shù)據(jù)16的分辨率，以便在顯示設(shè)備26上顯示，并且子幀產(chǎn)生部件36產(chǎn)生圖像幀28的多個(gè)圖像子幀30。更具體地說(shuō)，圖像處理部件24以原始分辨率接收用于圖像幀28的圖像數(shù)據(jù)16并且對(duì)圖像數(shù)據(jù)16進(jìn)行處理，以便使圖像數(shù)據(jù)16的分辨率增加、減少和/或保持不變。據(jù)此，利用圖像處理部件24，圖像顯示系統(tǒng)10能夠接收并顯示分辨率變化的圖像數(shù)據(jù)16。
子幀產(chǎn)生部件36接收并處理用于圖像幀28的圖像數(shù)據(jù)16，來(lái)定義圖像幀28的多個(gè)圖像子幀30。如果分辨率調(diào)整部件34已經(jīng)調(diào)節(jié)了圖像數(shù)據(jù)16的分辨率，則子幀產(chǎn)生部件36以所調(diào)整的分辨率接收?qǐng)D像數(shù)據(jù)16。圖像數(shù)據(jù)16的所調(diào)整的分辨率可以被增加、減小或與用于圖像幀28的圖像數(shù)據(jù)16的原始分辨率相同。子幀產(chǎn)生部件36產(chǎn)生圖像子幀30，所述圖像子幀30具有與顯示設(shè)備26的分辨率相匹配的分辨率。圖像子幀30是等同于圖像幀28的每個(gè)區(qū)域。子幀30均包括表示圖像12的圖像數(shù)據(jù)16的子集的單個(gè)像素的多個(gè)列和多個(gè)行，并且具有與顯示設(shè)備26的分辨率相匹配的分辨率。
每個(gè)圖像子幀30包括圖像幀28的像素的矩陣或陣列。圖像子幀30在空間上彼此偏離，使得每個(gè)圖像子幀30包括不同的像素和/或像素部分。如此，如下所述，圖像子幀30彼此相互偏離一垂直距離和/或水平距離。
顯示設(shè)備26從圖像處理部件24接收?qǐng)D像子幀30，并且順序地顯示圖像子幀30來(lái)創(chuàng)建所顯示的圖像14。更具體地說(shuō)，因?yàn)閳D像子幀30在空間上彼此偏離，所以顯示設(shè)備26依照?qǐng)D像子幀30的空間偏移在不同的位置上顯示圖像子幀30，如下所述。如此，顯示設(shè)備26在顯示圖像幀28的圖像子幀30之間進(jìn)行交替來(lái)創(chuàng)建所顯示的圖像14。據(jù)此，顯示設(shè)備26一次顯示圖像幀28的整個(gè)子幀30。
在一個(gè)實(shí)施例中，顯示設(shè)備26執(zhí)行顯示每個(gè)圖像幀28的圖像子幀30的一個(gè)周期。顯示設(shè)備26顯示圖像子幀30從而在空間和時(shí)間上彼此偏離。在一個(gè)實(shí)施例中，顯示設(shè)備26在光學(xué)上操縱圖像子幀30來(lái)創(chuàng)建所顯示的圖像14。如此，顯示設(shè)備26的單個(gè)像素被編址到多個(gè)位置。
在一個(gè)實(shí)施例中，顯示設(shè)備26包括圖像移位器38。圖像移位器38在空間上改變或偏移由顯示設(shè)備26顯示的圖像子幀30的位置。更具體地說(shuō)，如下所述，圖像移位器38改變圖像子幀30的顯示位置來(lái)生成所顯示的圖像14。
在一個(gè)實(shí)施例中，顯示設(shè)備26包括用于調(diào)制入射光的光調(diào)制器。所述光調(diào)制器例如包括多個(gè)微鏡像器件，所述多個(gè)微鏡像器件被安排以形成微鏡像器件陣列。如此，每個(gè)微鏡像器件構(gòu)成顯示設(shè)備26的一個(gè)單元或像素。顯示設(shè)備26可以形成顯示器、投影儀或其它成像系統(tǒng)的一部分。
在一個(gè)實(shí)施例中，圖像顯示系統(tǒng)10包括計(jì)時(shí)發(fā)生器40。計(jì)時(shí)發(fā)生器40例如與幀速率轉(zhuǎn)換部件20、包括分辨率調(diào)整部件34和子幀產(chǎn)生部件36的圖像處理部件24、以及包括圖像移位器38的顯示設(shè)備26通信。如此，計(jì)時(shí)發(fā)生器40使得緩沖并轉(zhuǎn)換圖像數(shù)據(jù)16以創(chuàng)建圖像幀28、處理圖像幀28以調(diào)節(jié)圖像數(shù)據(jù)16的分辨率并且產(chǎn)生圖像子幀30，以及定位并顯示圖像子幀30以生成所顯示圖像14同步。據(jù)此，計(jì)時(shí)發(fā)生器40控制圖像顯示系統(tǒng)10的計(jì)時(shí)，使得圖像12的完整子幀被顯示設(shè)備26在時(shí)間和空間上顯示為所顯示的圖像14。
在一個(gè)實(shí)施例中，如圖2A和2B中所圖示，圖像處理部件24為圖像幀28定義了兩個(gè)圖像子幀30。更具體地說(shuō)，圖像處理部件24為圖像幀28定義了第一子幀301和第二子幀302。如此，第一子幀301和第二子幀302均包括圖像數(shù)據(jù)16的單個(gè)像素18的多個(gè)列和多個(gè)行。從而，第一子幀301和第二子幀302均構(gòu)成圖像數(shù)據(jù)16的子集的圖像數(shù)據(jù)陣列或像素矩陣。
在一個(gè)實(shí)施例中，如圖2B中所圖示，第二子幀302相距第一子幀301偏離垂直距離50和水平距離52。如此，第二子幀302在空間上相距第一子幀301偏離預(yù)定距離。在一個(gè)說(shuō)明性實(shí)施例中，垂直距離50和水平距離52均近似為二分之一個(gè)像素。
如圖2C中所圖示，顯示設(shè)備26在第一位置中顯示第一子幀301和第二位置中顯示第二子幀302之間交替，所述第二位置在空間上偏離所述第一位置。更具體地說(shuō)，顯示設(shè)備26把第二子幀302的顯示相對(duì)于第一子幀301的顯示移位垂直距離50和水平距離52。如此，第一子幀301的像素與第二子幀302的像素重疊。在一個(gè)實(shí)施例中，對(duì)于圖像幀28，顯示設(shè)備26執(zhí)行在第一位置中顯示第一子幀301并且在第二位置中顯示第二子幀302的一個(gè)周期。從而，相對(duì)于第一子幀301在空間和時(shí)間上顯示第二子幀302。依照這種方式顯示兩個(gè)在時(shí)間和空間上移位的子幀，在此可以被稱作二位置處理。
在另一實(shí)施例中，如圖3A和3D中所圖示，圖像處理部件24為圖像幀28定義了四個(gè)圖像子幀30。更具體地說(shuō)，圖像處理部件24為圖像幀28定義了第一子幀301、第二子幀302、第三子幀303和第四子幀304。如此，第一子幀301，第二子幀302、第三子幀303和第四子幀304均包括圖像數(shù)據(jù)16的單個(gè)像素18的多個(gè)列和多個(gè)行。
在一個(gè)實(shí)施例中，如圖3B-3D中所圖示，第二子幀302相距第一子幀301偏離垂直距離50和水平距離52，第三子幀303相距第一子幀301偏離水平距離54，并且第四子幀304相距第一子幀301偏離垂直距離56。如此，第二子幀302、第三子幀303和第四子幀304均在空間上彼此偏離，并且在空間上相距第一子幀301偏離預(yù)定距離。在一個(gè)說(shuō)明性實(shí)施例中，垂直距離50、水平距離52、水平距離54和垂直距離56均近似為二分之一個(gè)像素。
如圖3E示意性所示，顯示設(shè)備26在第一位置P1中顯示第一子幀301、在空間上偏離所述第一位置的第二位置P2中顯示第二子幀302、在空間上偏離所述第一位置的第三位置P3中顯示第三子幀303以及在空間上偏離所述第一位置的第四位置P4中顯示第四子幀304之間交替。更具體地說(shuō)，顯示設(shè)備26相對(duì)于第一子幀301把第二子幀302、第三子幀303和第四子幀304的顯示移位各自預(yù)定的距離。如此，第一子幀301、第二子幀302、第三子幀303和第四子幀304的像素彼此重疊。
在一個(gè)實(shí)施例中，對(duì)于圖像幀28，顯示設(shè)備26執(zhí)行在第一位置中顯示第一子幀301、在第二位置中顯示第二子幀302、在第三位置中顯示第三子幀303以及在四位置中顯示第四子幀304的一個(gè)周期。從而，在空間和時(shí)間上相對(duì)于彼此并且相對(duì)于第一子幀301來(lái)顯示第二子幀302、第三子幀303和第四子幀304。依照這種方式顯示四個(gè)在時(shí)間和空間上移位的子幀，在此可以被稱作四位置處理。
圖4A-4E圖示了用于完成在第一位置中顯示來(lái)自第一子幀301的像素181、在第二位置中顯示來(lái)自第二子幀302的像素182、在第三位置中顯示來(lái)自第三子幀303的像素183以及在第四位置中顯示來(lái)自第四子幀304的像素184的一個(gè)周期的一個(gè)實(shí)施例。更具體地說(shuō)，圖4A圖示了在第一位置中顯示來(lái)自第一子幀301的像素181，圖4B圖示了在第二位置中顯示來(lái)自第二子幀302的像素182(所述第一位置由短劃線圖示)，圖4C圖示了在第三位置中顯示來(lái)自第三子幀303的像素183(所述第一位置和第二位置由短劃線圖示)，圖4D圖示了在第四位置中顯示來(lái)自第四子幀304的像素184(第一位置、第二位置和第三位置由短劃線圖示)，并且圖4E圖示了在第一位置中顯示來(lái)自第一子幀301的像素181(第二位置、第三位置和第四位置由短劃線圖示)。
子幀產(chǎn)生部件36(圖1)根據(jù)圖像幀28中的圖像數(shù)據(jù)來(lái)產(chǎn)生子幀30。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，由子幀產(chǎn)生部件36所執(zhí)行的功能可以用硬件、軟件、固件或其任意組合來(lái)實(shí)現(xiàn)。所述實(shí)現(xiàn)可以經(jīng)由微處理器、可編程邏輯器件或狀態(tài)機(jī)。本發(fā)明的組件可以存在于一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)上的軟件中。如這里所用的術(shù)語(yǔ)計(jì)算機(jī)可讀介質(zhì)被定義為包括任何種類的存儲(chǔ)器(易失性或非易失性)，諸如軟盤、硬盤、CD-ROM、閃速存儲(chǔ)器、只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器。
在本發(fā)明的一種形式中，子幀30具有比圖像幀28更低的分辨率。從而，子幀30在此還被稱為低分辨率圖像30，并且圖像幀28在此還被稱為高分辨率圖像28。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，這里依照比較方式來(lái)使用術(shù)語(yǔ)低分辨率和高分辨率，而不局限于任何特定的最小或最大的像素?cái)?shù)目。在一個(gè)實(shí)施例中，子幀產(chǎn)生部件36被配置成根據(jù)五種算法之一來(lái)產(chǎn)生子幀30。這五種算法在此可以被稱作為(1)最近鄰；(2)雙線性；(3)空間域；(4)頻域；和(5)自適應(yīng)多遍歷。
依照本發(fā)明一個(gè)形式的最近鄰算法和雙線性算法，通過(guò)對(duì)來(lái)自高分辨率圖像28的像素進(jìn)行組合來(lái)產(chǎn)生子幀30。依照本發(fā)明一個(gè)形式的空間域算法和頻域算法，根據(jù)使全局誤差量度最小化來(lái)產(chǎn)生子幀30，所述全局誤差量度表示在模擬的高分辨率圖像和想要的高分辨率圖像28之間的差異。依照本發(fā)明一個(gè)形式的自適應(yīng)多遍歷算法根據(jù)局部誤差量度的最小化來(lái)產(chǎn)生子幀30。在一個(gè)實(shí)施例中，子幀產(chǎn)生部件36包括用于存儲(chǔ)子幀值和高分辨率圖像值之間的關(guān)系的存儲(chǔ)器，其中所述關(guān)系基于高分辨率圖像值和模擬的高分辨率圖像之間的誤差量度最小化，所述模擬的高分辨率圖像為子幀值的函數(shù)。下面將參考圖5-18描述這五種算法中的每個(gè)實(shí)施例。
II.最近鄰 圖5是圖示依照本發(fā)明一個(gè)實(shí)施例的使用最近鄰算法從原始的高分辨率圖像28來(lái)產(chǎn)生低分辨率子幀30A和30B(被總稱為子幀30)的圖。在所圖示的實(shí)施例中，高分辨率圖像28包括用于總共十六個(gè)像素H1-H16的四列和四行像素。在最近鄰算法的一個(gè)實(shí)施例中，第一子幀30A是通過(guò)在高分辨率圖像28的第一行中每隔一個(gè)獲取像素，跳過(guò)高分辨率圖像28的第二行，在所述高分辨率圖像28的第三行中每隔一個(gè)獲取像素，并且遍及所述高分辨率圖像28重復(fù)此過(guò)程產(chǎn)生的。從而，如圖5所示，子幀30A的第一行包括像素H1和H3，并且子幀30A的第二行包括像素H9和H11。依照本發(fā)明的一種形式，依照與第一子幀30A相同的方式來(lái)產(chǎn)生第二子幀30B，但是所述過(guò)程在像素H6開始，即從第一像素H1下移一行并且移過(guò)一列。從而，如圖5所示，子幀30B的第一行包括像素H6和H8，并且子幀30B的第二行包括像素H14和H16。
在一個(gè)實(shí)施例中，利用具有三個(gè)過(guò)濾系數(shù)“0”和第四過(guò)濾系數(shù)“1”的2×2過(guò)濾器來(lái)執(zhí)行最近鄰算法，以便從高分辨率圖像產(chǎn)生像素值的加權(quán)和。使用如上所述的二位置處理來(lái)顯示子幀30A和30B，呈現(xiàn)出較高分辨率的圖像。最近鄰算法還適用于四位置處理，并且不局限于具有在圖5中所示出的像素?cái)?shù)目的圖像。
III.雙線性 圖6是圖示依照本發(fā)明一個(gè)實(shí)施例的使用雙線性算法從原始的高分辨率圖像28來(lái)產(chǎn)生低分辨率子幀30C和30D(被總稱子幀30)的示圖。在所圖示的實(shí)施例中，高分辨率圖像28包括用于總共十六個(gè)像素H1-H16的四列和四行像素。子幀30C包括用于總共四個(gè)像素L1-L4的兩列和兩行像素。并且子幀30D包括用于總共四個(gè)像素L5-L8的兩列和兩行像素。
在一個(gè)實(shí)施例中，基于下列方程式I-VIII從圖像28的像素值H1-H16來(lái)產(chǎn)生子幀30C和30D中的像素L1-L8的值 方程式I Ll＝(4H1+2H2+2H5)/8 方程式II L2＝(4H3+2H4+2H7)/8 方程式III L3＝(4H9+2H10+2H13)/8 方程式IV L4＝(4H11+2H12+2H15)/8 方程式V L5＝(4H6+2H2+2H5)/8 方程式VI L6＝(4H8+2H4+2H7)/8 方程式VII L7＝(4H14+2H10+2H13)/8 方程式VIII L8＝(4H16+2H12+2H15)/8 從以上方程式I-VIII中可以看出，子幀30C中的像素L1-L4的值分別主要受像素H1、H3、H9和H11的值影響，原因在于像素H1、H3、H9和H11的值被乘以四。但是，子幀30C中的像素L1-L4的值還受對(duì)角鄰近的像素H1、H3、H9和H11的值的影響。類似地，子幀30D中的像素L5-L8的值分別主要受像素H6、H8、H14和H16的值影響，原因在于像素H6、H8、H14和H16的值被乘以四。但是，子幀30D中像素l5-L8的值還受對(duì)角鄰近的像素H6、H8、H14和H16的值的影響。
在一個(gè)實(shí)施例中，利用具有一個(gè)過(guò)濾系數(shù)“0”和三個(gè)具有非零值(例如，4、2和2)過(guò)濾系數(shù)的2×2過(guò)濾器來(lái)執(zhí)行雙線性算法，來(lái)從高分辨率圖像產(chǎn)生像素值的加權(quán)和。在另一實(shí)施例中，使用其它值作為過(guò)濾系數(shù)。使用如上所述的二位置處理來(lái)顯示子幀30C和30D，使較高分辨率的圖像得以呈現(xiàn)。雙線性算法還適用于四位置處理，并且不局限于具有在圖6中所示出的像素?cái)?shù)目的圖像。
依照最近鄰和雙線性算法的一種形式，如上所述，根據(jù)來(lái)自原始高分辨率圖像的像素值的線性組合來(lái)產(chǎn)生子幀30。在另一實(shí)施例中，根據(jù)來(lái)自原始高分辨率圖像的像素值的非線性組合來(lái)產(chǎn)生子幀30。例如，如果原始高分辨率圖像被伽馬校正，那么在一個(gè)實(shí)施例中使用適當(dāng)?shù)姆蔷€性組合來(lái)消除伽馬曲線的影響。
IV.用于產(chǎn)生模擬高分辨率圖像的系統(tǒng) 圖7-10圖示了產(chǎn)生模擬高分辨率圖像的系統(tǒng)。根據(jù)這些系統(tǒng)，開發(fā)了用于產(chǎn)生子幀的空間域、頻域和自適應(yīng)多遍歷算法，如下面進(jìn)一步的詳細(xì)描述。
圖7是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)兩個(gè)4×4像素低分辨率子幀30E產(chǎn)生模擬高分辨率圖像412的系統(tǒng)400的框圖。系統(tǒng)400包括上采樣級(jí)402、移位級(jí)404、卷積級(jí)406和求和級(jí)410。子幀30E由上采樣級(jí)402根據(jù)采樣矩陣M進(jìn)行上采樣，由此產(chǎn)生上采樣圖像。上采樣的圖像由移位級(jí)404根據(jù)空間移位矩陣S進(jìn)行移位，由此產(chǎn)生移位的上采樣圖像。所移位的上采樣圖像在卷積級(jí)406利用內(nèi)插過(guò)濾器來(lái)卷積，由此產(chǎn)生成塊的圖像408。在所圖示的實(shí)施例中，所述內(nèi)插過(guò)濾器是具有過(guò)濾系數(shù)“1”的2×2過(guò)濾器，并且卷積的中心是2×2矩陣中的左上位置。所述內(nèi)插過(guò)濾器在高分辨率網(wǎng)格上模擬低分辨率子幀的疊加。擴(kuò)展低分辨率子幀像素?cái)?shù)據(jù)，使得可以在所述高分辨率網(wǎng)格上表示所述子幀。所述內(nèi)插過(guò)濾器填充由上采樣所生成的丟失像素?cái)?shù)據(jù)。成塊的(blocked)圖像408由求和塊410加權(quán)并求和，來(lái)產(chǎn)生8×8像素的模擬的高分辨率圖像412。
圖8是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)兩個(gè)4×4像素低分辨率子幀30F和30G的可分離的上采樣使用二位置處理來(lái)產(chǎn)生模擬的高分辨率圖像512的系統(tǒng)500的框圖。系統(tǒng)500包括上采樣級(jí)502和514、移位級(jí)518、卷積級(jí)506和522、求和級(jí)508和相乘級(jí)510。子幀30F由上采樣級(jí)502按照系數(shù)2進(jìn)行上采樣，由此產(chǎn)生8×8像素上采樣的圖像504。上采樣圖像504中的深色像素表示來(lái)自子幀30F的十六個(gè)像素，并且上采樣圖像504中的淺色像素表示零值。子幀30G由上采樣級(jí)514按照系數(shù)2進(jìn)行上采樣，由此產(chǎn)生8×8像素上采樣的圖像516。上采樣圖像516中的深色像素表示來(lái)自子幀30G的十六個(gè)像素，并且上采樣圖像516中的淺色像素表示零值。在一個(gè)實(shí)施例中，上采樣級(jí)502和514分別使用對(duì)角線采樣矩陣對(duì)子幀30F和30G進(jìn)行上采樣。
上采樣圖像516由移位級(jí)518根據(jù)空間移位矩陣S進(jìn)行移位，由此產(chǎn)生移位的上采樣圖像520。在所圖示的實(shí)施例中，移位級(jí)518執(zhí)行一個(gè)像素的對(duì)角線移位。分別在卷積級(jí)506和522利用內(nèi)插過(guò)濾器對(duì)圖像504和520進(jìn)行卷積，由此產(chǎn)生成塊的圖像。在所圖示的實(shí)施例中，在卷積級(jí)506和522的內(nèi)插過(guò)濾器是具有過(guò)濾系數(shù)“1”的2×2過(guò)濾器，并且卷積的中心是2×2矩陣中的左上位置。在卷積級(jí)506和522所產(chǎn)生的成塊圖像由求和塊508進(jìn)行求和，并且在相乘級(jí)510乘以系數(shù)0.5，來(lái)產(chǎn)生8×8像素的模擬高分辨率圖像512。圖像數(shù)據(jù)在相乘級(jí)510乘以系數(shù)0.5，這是因?yàn)樵谝粋€(gè)實(shí)施例中，在每個(gè)分配給彩色的周期中僅在半個(gè)時(shí)隙顯示每個(gè)子幀30F和30G。在另一實(shí)施例中，不是在相乘級(jí)510乘以系數(shù)0.5，而是以系數(shù)0.5降低處于級(jí)506和522的內(nèi)插過(guò)濾器的過(guò)濾系數(shù)。
在如圖8所示并在上面描述的一個(gè)實(shí)施例中，低分辨率子幀數(shù)據(jù)由兩個(gè)獨(dú)立的子幀30F和30G來(lái)表示，其根據(jù)對(duì)角線采樣矩陣分離地進(jìn)行上采樣(即，可分的上采樣)。在如下面參考圖9所描述的另一實(shí)施例中，低分辨率子幀數(shù)據(jù)由單個(gè)子幀來(lái)表示，其根據(jù)非對(duì)角線采樣矩陣進(jìn)行上采樣(即，不可分的上采樣)。
圖9是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)8×4像素的低分辨率子幀30H的不可分上采樣產(chǎn)生用于二位置處理的模擬高分辨率圖像610的系統(tǒng)600的框圖。系統(tǒng)600包括五點(diǎn)形上采樣級(jí)602、卷積級(jí)606和相乘級(jí)608。子幀30H由五點(diǎn)形上采樣級(jí)602根據(jù)五點(diǎn)形采樣矩陣Q進(jìn)行上采樣，由此產(chǎn)生上采樣圖像604。在上采樣圖像604中的深色像素表示來(lái)自子幀30H的三十二個(gè)像素，并且上采樣圖像604中的淺色像素表示零值。子幀30H包括用于二位置處理的兩個(gè)4×4像素子幀的像素?cái)?shù)據(jù)。上采樣圖像604的第一、第三、第五和第七行中的深色像素表示第一個(gè)4×4像素子幀的像素，并且上采樣圖像604的第二、第四、第六和第八行中的深色像素表示第二個(gè)4×4像素子幀的像素。
在卷積級(jí)606利用內(nèi)插過(guò)濾器對(duì)上采樣圖像604進(jìn)行卷積，由此產(chǎn)生成塊的圖像。在所圖示的實(shí)施例中，所述內(nèi)插過(guò)濾器是具有過(guò)濾系數(shù)“1”的2×2過(guò)濾器，并且卷積的中心是2×2矩陣中的左上位置。由卷積級(jí)606所產(chǎn)生的成塊圖像在相乘級(jí)608乘以系數(shù)0.5，來(lái)產(chǎn)生8×8像素模擬高分辨率圖像610。
圖10是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)子幀301產(chǎn)生用于四位置處理的模擬高分辨率圖像的系統(tǒng)700的框圖。在圖10所圖示的實(shí)施例中，子幀30I是8×8像素陣列。子幀301包括用于四位置處理的四個(gè)4×4像素子幀的像素?cái)?shù)據(jù)。像素A1-A16表示第一4×4像素子幀的像素，像素B1-B16表示第二4×4像素子幀的像素，像素C1-C16表示第三4×4像素子幀的像素，并且像素D1-D16表示第四4×4像素子幀的像素。
在卷積級(jí)702利用內(nèi)插過(guò)濾器對(duì)子幀30I進(jìn)行卷積，由此產(chǎn)生成塊的圖像。在所圖示的實(shí)施例中，所述內(nèi)插過(guò)濾器是具有過(guò)濾系數(shù)“1”的2×2過(guò)濾器，并且卷積的中心是2×2矩陣中的左上位置。由卷積級(jí)702所產(chǎn)生的成塊圖像在相乘級(jí)704乘以系數(shù)0.25，來(lái)產(chǎn)生8×8像素模擬的高分辨率圖像706。圖像數(shù)據(jù)在相乘級(jí)704乘以系數(shù)0.25，這是因?yàn)樵谝粋€(gè)實(shí)施例中，在每個(gè)被分配給彩色的周期中僅在四分之一時(shí)隙顯示由子幀30I所表示的四個(gè)子幀中的每一個(gè)。在另一實(shí)施例中，不是在相乘級(jí)704乘以系數(shù)0.25，而是相應(yīng)地降低所述內(nèi)插過(guò)濾器的過(guò)濾系數(shù)。
V.根據(jù)誤差最小化產(chǎn)生子幀 如上所述，系統(tǒng)400、500、600和700分別根據(jù)低分辨率子幀來(lái)產(chǎn)生模擬高分辨率圖像412、512、610和706。如果子幀是最優(yōu)的，那么模擬的高分辨率圖像將盡可能地接近于原始的高分辨率圖像28?？梢允褂酶鱾€(gè)誤差量度來(lái)確定模擬的高分辨率圖像有多么接近原始的高分辨率圖像，所述誤差包括均方誤差、加權(quán)均方誤差以及其它誤差。
圖11是圖示依照本發(fā)明一個(gè)實(shí)施例的把模擬的高分辨率圖像412/512/610/706和所想要的高分辨率圖像28進(jìn)行比較的框圖。在減法級(jí)802逐像素地從高分辨率圖像28中減去模擬的高分辨率圖像412、512、610或706。在一個(gè)實(shí)施例中，由人類視覺(jué)系統(tǒng)(human visual system，HVS)加權(quán)過(guò)濾器(W)804對(duì)所產(chǎn)生的誤差圖像數(shù)據(jù)進(jìn)行過(guò)濾。依照本發(fā)明的一個(gè)形式，HVS加權(quán)過(guò)濾器804根據(jù)人類視覺(jué)系統(tǒng)的特性對(duì)所述誤差圖像數(shù)據(jù)進(jìn)行過(guò)濾。在一個(gè)實(shí)施例中，HVS加權(quán)過(guò)濾器804降低或消除高頻率誤差。然后在級(jí)806確定所過(guò)濾數(shù)據(jù)的均方誤差，來(lái)提供模擬的高分辨率圖像412、512、610或706是多么接近于所想要的高分辨率圖像28的量度。
在一個(gè)實(shí)施例中，在誤差價(jià)值方程式中數(shù)學(xué)表示系統(tǒng)400、500、600和700，所述方程式用于測(cè)量模擬的高分辨率圖像412、512、610或706和原始的高分辨率圖像28之間的差異。通過(guò)對(duì)子幀數(shù)據(jù)求解誤差代價(jià)方程式來(lái)標(biāo)識(shí)最優(yōu)的子幀，所述誤差代價(jià)方程式提供了模擬高分辨率圖像和想要的高分辨率圖像之間的最小誤差。在一個(gè)實(shí)施例中，在空間域和頻域中獲得全局最優(yōu)解，并且使用自適應(yīng)多遍歷算法來(lái)獲得局部最優(yōu)解。下面參考圖12-18進(jìn)一步詳細(xì)描述空間域、頻域和自適應(yīng)多遍歷算法。
VI.空間域 以圖9所示的系統(tǒng)600為背景描述用于依照一個(gè)實(shí)施例來(lái)產(chǎn)生最優(yōu)子幀的空間域解。圖9所示的系統(tǒng)600可以由下列方程式IX在誤差代價(jià)函數(shù)中數(shù)學(xué)表示 方程式IX 其中 l*Q＝子幀30H的最優(yōu)低分辨率數(shù)據(jù)； J＝將要最小化的誤差代價(jià)函數(shù)； n和k＝標(biāo)識(shí)圖像604和610的高分辨率像素位置的下標(biāo)； lQ(k)＝來(lái)自在位置k的上采樣圖像604的圖像數(shù)據(jù)； f(n-k)＝在位置n-k的內(nèi)插過(guò)濾器的過(guò)濾系數(shù)；和 h(n)＝在位置n的所需高分辨率圖像28的圖像數(shù)據(jù)。
在方程式IX中“l(fā)Q(k)f(n-k)”的求和表示在系統(tǒng)600中的級(jí)606所執(zhí)行的上采樣圖像604和內(nèi)插過(guò)濾器f的卷積。過(guò)濾操作通過(guò)對(duì)上采樣圖像604的每個(gè)像素基本上使2×2內(nèi)插過(guò)濾器的右下方像素滑動(dòng)而執(zhí)行。2×2內(nèi)插過(guò)濾器窗口內(nèi)的上采樣圖像604的四個(gè)像素被乘以相應(yīng)的過(guò)濾系數(shù)(即，在所圖示的實(shí)施例中“1”)。對(duì)四個(gè)乘法的結(jié)果求和，并且用四個(gè)乘法結(jié)果的和來(lái)代替對(duì)應(yīng)于內(nèi)插過(guò)濾器的右下方位置的、上采樣圖像604的像素值。從卷積值lQ(k)f(n-k)減去來(lái)自高分辨率圖像28的高分辨率數(shù)據(jù)h(n)來(lái)提供誤差值。對(duì)所有高分辨率像素位置上均方誤差的求和提供了一種使誤差最小化的方法。
最優(yōu)的空間域解可以通過(guò)取方程式IX相對(duì)于每個(gè)低分辨率像素的導(dǎo)數(shù)，并且如下列方程式X所示把它設(shè)置為零來(lái)獲得 方程式X 其中Θ＝五點(diǎn)形格點(diǎn)的集合 從而，從方程式X中可以看出，只在五點(diǎn)形格點(diǎn)集合取導(dǎo)數(shù)，所述五點(diǎn)形格點(diǎn)對(duì)應(yīng)于圖9的上采樣圖像604中的深色像素。把用于方程式IX中所給出的J的方程式插入到方程式X中，并且如方程式X中所規(guī)定的那樣進(jìn)行取導(dǎo)數(shù)，產(chǎn)生下列方程式XI 方程式XI 方程式XI中的符號(hào)Cff表示內(nèi)插過(guò)濾器f的自相關(guān)系數(shù)，如下列方程式XII所定義 方程式XII 如下列方程式XIII所示，方程式XI可以被轉(zhuǎn)換成向量形式 方程式XIII 其中 Cff＝內(nèi)插過(guò)濾器f的自相關(guān)系數(shù)的矩陣。
l*Q＝表示子幀30H的未知圖像數(shù)據(jù)以及“不關(guān)心”數(shù)據(jù)(即，對(duì)應(yīng)于上采樣圖像604中淺色像素的圖像數(shù)據(jù))的向量； hf＝表示模擬的高分辨率圖像610使用內(nèi)插過(guò)濾器f的經(jīng)過(guò)濾的版本的向量。
刪除對(duì)應(yīng)于“不關(guān)心”數(shù)據(jù)(即，不處于五點(diǎn)形格點(diǎn)Θ集合中的數(shù)據(jù))的行和列，產(chǎn)生下列方程式XIV 方程式XIV 其中

＝只表示子幀30H的未知圖像數(shù)據(jù)的向量。
上述方程式XIV是表示稀疏線性方程系統(tǒng)的稀疏非托普利茨系統(tǒng)(non-Toeplitz system)。由于自相關(guān)系數(shù)的矩陣是已知的，并且表示模擬高分辨率圖像610的經(jīng)過(guò)濾的版本的向量是已知的，所以可以求解方程式XIV來(lái)確定子幀30H的最優(yōu)圖像數(shù)據(jù)。在一個(gè)實(shí)施例中，子幀產(chǎn)生部件36被配置成求解方程式XIV來(lái)產(chǎn)生子幀30。
VII.頻域 以圖8所示的系統(tǒng)600為背景描述了依照一個(gè)實(shí)施例來(lái)產(chǎn)生最優(yōu)子幀30的頻域解。在描述所述頻域解之前，參考圖12和13描述了快速傅里葉變換(fast fourier transform，F(xiàn)FT)的幾個(gè)適用于所述頻域解的屬性。
圖12是圖示依照本發(fā)明一個(gè)實(shí)施例的4×4像素子幀30J的上采樣的頻域中的影響的圖。如圖12所示，由上采樣級(jí)902按照系數(shù)二對(duì)子幀30J進(jìn)行上采樣，來(lái)產(chǎn)生8×8像素的上采樣圖像904。上采樣圖像904中的深色像素表示來(lái)自子幀30J的十六個(gè)像素，并且上采樣圖像904中的淺色像素表示零值。對(duì)子幀30J進(jìn)行FFT產(chǎn)生圖像(L)906。對(duì)上采樣圖像904進(jìn)行FFT產(chǎn)生圖像(LU)908。圖像(LU)908包括四個(gè)4×4像素部分，它們是圖像部分(L1)910A、圖像部分(L2)910B、圖像部分(L3)910C和圖像部分(L4)910D。如圖12所示，圖像部分910A-910D均與圖像906相同(即，L1＝L2＝L3＝L4＝L)。
圖13是圖示依照本發(fā)明一個(gè)實(shí)施例的8×8像素上采樣子幀904的移位的頻域中影響的圖。如圖13所示，由移位級(jí)1002對(duì)上采樣子幀904進(jìn)行移位，來(lái)產(chǎn)生所移位的圖像1004。對(duì)上采樣子幀904進(jìn)行FFT產(chǎn)生圖像(LU)1006。對(duì)移位圖像1004進(jìn)行FFT產(chǎn)生圖像(LUS)1008。圖像(LUS)1008包括四個(gè)4×4像素部分，它們是圖像部分(LS1)1010A、圖像部分(LS2)1010B、圖像部分(LS3)1010C和圖像部分(LS4)1010D。如圖13所示，圖像1008與乘以復(fù)指數(shù)W的圖像1006相同，(即，LUS＝W·LU)，其中“·”標(biāo)示逐點(diǎn)相乘。復(fù)指數(shù)W的值由下列方程式XV給出 方程式XV 其中 k1＝FFT域中的行坐標(biāo)； k2＝FFT域中的列坐標(biāo)； M＝圖像中的列數(shù)；和 N＝圖像中的行數(shù)。
圖8所示的系統(tǒng)500可以在誤差代價(jià)函數(shù)中由下列方程式XVI數(shù)學(xué)表示 方程式XVI
其中 (L*A，L*B)＝分別表示圖8所示的子幀30F和30G的最優(yōu)FFT的向量； J＝將要最小化的誤差代價(jià)函數(shù)； i＝用于標(biāo)識(shí)求過(guò)平均的FFT塊的下標(biāo)(例如，對(duì)于圖12中的圖像908來(lái)說(shuō)，求平均四個(gè)塊，i＝1對(duì)應(yīng)于塊910A，i＝2對(duì)應(yīng)于塊910B，i＝3對(duì)應(yīng)于塊910C3并且i＝4對(duì)應(yīng)于塊910D)； F＝表示內(nèi)插過(guò)濾器f的FFT的矩陣； LA＝表示圖8所示的子幀30F的FFT的向量； LB＝表示圖8所示的子幀30G的FFT的向量； W＝表示由方程式XV所給出的復(fù)系數(shù)的FFT的矩陣； H＝表示所想要的高分辨率圖像28的FFT的向量。
方程式XVI中的上標(biāo)“H”表示厄密共軛(Hermitian)(即，XH是X的厄密共軛)。方程式XVI中字母上的“帽子”表明那些字母代表對(duì)角矩陣，如在下面方程式XVII中所定義 方程式XVII
相對(duì)于LA的復(fù)共軛取方程式XVI的導(dǎo)數(shù)并且把它設(shè)置為等于零，產(chǎn)生下列方程式XVIII 方程XVIII
相對(duì)于LB的復(fù)共軛取方程式XVI的導(dǎo)數(shù)并且把它設(shè)置為等于零，產(chǎn)生下列方程式XIX 方程式XIX
方程式XVIII和XIX中字母上的單杠表明那些字母表示復(fù)共軛(即，表示A的復(fù)共軛)。
對(duì)方程式XVIII和XIX求解LA和LB，產(chǎn)生下列方程式XX和XXI。
方程式XX
方程式XXI
可以使用偽逆過(guò)濾在頻域中實(shí)現(xiàn)方程式XX和XXI。在一個(gè)實(shí)施例中，子幀產(chǎn)生部件36被配置成根據(jù)方程式XX和XXI來(lái)產(chǎn)生子幀30。
VIII.自適應(yīng)多道 依照一個(gè)實(shí)施例產(chǎn)生子幀30的自適應(yīng)多遍歷算法使用過(guò)去誤差來(lái)更新對(duì)子幀數(shù)據(jù)的估計(jì)，并且提供了快速會(huì)聚和低存儲(chǔ)器要求。以圖9所示的系統(tǒng)600為背景描述了依照一個(gè)實(shí)施例的自適應(yīng)多遍歷解。圖9所示的系統(tǒng)600可以在誤差代價(jià)函數(shù)中由下列方程式XXII數(shù)學(xué)表示 方程式XXII 其中 n＝標(biāo)識(shí)當(dāng)前迭代的指數(shù)； J(n)(n)＝在迭代n的誤差代價(jià)函數(shù)； e(n)(n)＝誤差代價(jià)函數(shù)J(n)(n)的平方根； n和k＝在圖像604和610中標(biāo)識(shí)高分辨率像素位置的指數(shù)； lQ(n)(k)＝來(lái)自在位置k的上采樣圖像604的圖像數(shù)據(jù)； f(n-k)＝在位置n-k的內(nèi)插過(guò)濾器的過(guò)濾系數(shù)；和 h(n)＝在位置n的所需高分辨率圖像28的圖像數(shù)據(jù)。
從方程式XXII中可以看出，不是如上面方程式IX所示的那樣通過(guò)對(duì)整個(gè)高分辨率圖像求和來(lái)使全局空間域最小化，而是使作為n的函數(shù)的局部空間域誤差最小化。
在一個(gè)實(shí)施例中，使用最小均方(least mean squares，LMS)算法來(lái)確定所述更新，其表示于下列方程式XXIII中 方程式XXIII 其中 Θ＝五點(diǎn)形格點(diǎn)集合(即，圖9的上采樣圖像604中的深色像素)；和 α＝銳化系數(shù)。
取方程式XXII的導(dǎo)數(shù)提供了方程式XXIII中的導(dǎo)數(shù)值，所述值在下列方程式XXIV中給出 方程式XXIV 在一個(gè)實(shí)施例中，使用“影響區(qū)域”上的平均梯度的塊LMS算法被用來(lái)執(zhí)行更新，如由下列方程式XXV所示 方程式XXV 其中 Ω＝影響范圍 圖14是圖示依照本發(fā)明一個(gè)實(shí)施例的上采樣圖像1100中的像素的影響區(qū)域(Ω)1106和1108的圖。圖像1100的像素1102對(duì)應(yīng)于第一子幀的像素，并且圖像1100的像素1104對(duì)應(yīng)于第二子幀的像素。包括2×2像素陣列(其中像素1102處于所述2×2陣列的左上角)的區(qū)域1106是像素1102的影響區(qū)域。類似地，包括2×2像素陣列(其中像素1104處于所述2×2陣列的左上角)的區(qū)域1108是像素1104的影響區(qū)域。
圖15是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法產(chǎn)生初始的模擬高分辨率圖像1208的圖。根據(jù)原始的高分辨率圖像28來(lái)產(chǎn)生初始的低分辨率子幀組30k-1和30L-1。在所圖示的實(shí)施例中，初始的子幀組30K-1和30L-1是使用上面參考圖5所描述的最近鄰算法的實(shí)施例產(chǎn)生的。對(duì)子幀30K-1和30L-1上采樣，來(lái)產(chǎn)生上采樣的圖像1202。利用內(nèi)插過(guò)濾器1204對(duì)上采樣的圖像1202進(jìn)行卷積，由此產(chǎn)生成塊的圖像，所述成塊的圖像接著被乘以系數(shù)0.5來(lái)產(chǎn)生模擬的高分辨率圖像1208。在所圖示的實(shí)施例中，內(nèi)插過(guò)濾器1204是具有過(guò)濾系數(shù)“1”的2×2過(guò)濾器，并且卷積的中心是2×2矩陣中的左上位置。內(nèi)插過(guò)濾器1204的右下方像素1206被定位在圖像1202中的每個(gè)像素上方，來(lái)確定該像素位置的成塊值。如圖15所示，內(nèi)插過(guò)濾器1204的右下方像素1206被定位在圖像1202的第三行和第四列中的像素的上方，其中所述像素具有值“0”。通過(guò)把過(guò)濾系數(shù)乘以過(guò)濾器1204的窗口內(nèi)的像素值并且相加結(jié)果，來(lái)確定該像素位置的成塊值。亂幀(out-of-frame)值被認(rèn)為是“0”。對(duì)于所圖示的實(shí)施例來(lái)說(shuō)，圖像1202的第三行和第四列中的像素的成塊值由下列方程式XXVI給出。
方程式XXVI (1×0)+(1×5)+(1×5)+(1×0)-10 接著，方程式XXVI中的值被乘以系數(shù)0.5，并且所述結(jié)果(即，5)是初始的模擬高分辨率圖像1208中第三行和第四列中像素1210的像素值。
產(chǎn)生的初始模擬高分辨率圖像1208之后，產(chǎn)生校正數(shù)據(jù)。圖16是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生校正數(shù)據(jù)的圖。如圖16所示，從原始的高分辨率圖像28中減去初始的模擬高分辨率圖像1208來(lái)產(chǎn)生誤差圖像1302。通過(guò)對(duì)誤差圖像1302中的2×2像素塊進(jìn)行平均來(lái)產(chǎn)生校正子幀1312和1314。例如，誤差圖像1302的第一列和第一行中的像素1308具有影響區(qū)域1304。對(duì)影響區(qū)域1304內(nèi)的像素值進(jìn)行平均來(lái)產(chǎn)生第一校正值(即，0.75)。所述第一校正值被用來(lái)校正子幀1312的第一列和第一行中的像素。類似地，誤差圖像1302的第二列和第二行中的像素1310具有影響區(qū)域1306。對(duì)影響區(qū)域1306內(nèi)的像素值進(jìn)行平均來(lái)產(chǎn)生第二校正值(即，0.75)。所述第二校正值被用來(lái)校正子幀1314的第一列和第一行中的像素。
通過(guò)基本上使所示的影響區(qū)域框1304向右滑動(dòng)兩列，并且對(duì)框1304內(nèi)的那四個(gè)像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1312的第一行和第二列中的校正值(即，1.38)。通過(guò)基本上使所示的影響區(qū)域框1304向下滑動(dòng)兩行，并且對(duì)框1304內(nèi)的那四個(gè)像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1312的第二行和第一列中的校正值(即，0.50)。通過(guò)基本上使所示的影響區(qū)域框1304向右滑動(dòng)兩列并向下滑動(dòng)兩行，并且對(duì)框1304內(nèi)的那四個(gè)像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1312的第二行和第二列中的校正值(即，0.75)。
通過(guò)基本上使所示的影響區(qū)域框1306向右滑動(dòng)兩列，并且對(duì)框1306內(nèi)的那些像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1314的第一行和第二列中的校正值(即，0.00)。亂幀值被認(rèn)為是“0”。通過(guò)基本上使所示的影響區(qū)域框1306向下滑動(dòng)兩行，并且對(duì)框1306內(nèi)的那些像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1314的第二行和第一列中的校正值(即，0.38)。通過(guò)基本上使所示的影響區(qū)域框1306向右滑動(dòng)兩列并向下滑動(dòng)兩行，并且對(duì)框1306內(nèi)的那四個(gè)像素進(jìn)行平均，來(lái)產(chǎn)生校正子幀1314的第二行和第二列中的校正值(即，0.00)。
校正子幀1312和1314被用來(lái)產(chǎn)生更新的子幀。圖17是圖示依照本發(fā)明一個(gè)實(shí)施例的根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生所更新的子幀30K-2和30L-2的圖。如圖17所示，通過(guò)把校正子幀1312乘以銳化系數(shù)α并且加上初始子幀30K-1來(lái)產(chǎn)生更新的子幀30K-2。通過(guò)把校正子幀1314乘以銳化系數(shù)α并且加上初始子幀30L-1來(lái)產(chǎn)生更新的子幀30L-2。在所圖示的實(shí)施例中，所述銳化系數(shù)α等于0.8。
在一個(gè)實(shí)施例中，更新的子幀30K-2和30L-2被用于在自適應(yīng)多遍歷算法的下次迭代中產(chǎn)生進(jìn)一步更新的子幀?？梢詧?zhí)行任何所想要的次數(shù)的迭代。在多次迭代之后，使用自適應(yīng)多遍歷算法所產(chǎn)生的子幀值會(huì)聚到最優(yōu)值。在一個(gè)實(shí)施例中，子幀產(chǎn)生部件36被配置成根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生子幀30。
上面參考圖15-17所描述的自適應(yīng)多遍歷算法的實(shí)施例是用于二位置處理的。對(duì)于四位置處理來(lái)說(shuō)，方程式XXIV變?yōu)橄铝蟹匠淌絏XVII 方程式XXVII 其中l(wèi)(n)＝四個(gè)子幀30的低分辨率數(shù)據(jù)； 并且方程式XXIII變?yōu)橄铝蟹匠淌絏XVIII 方程式XXVIII 對(duì)于四位置處理來(lái)說(shuō)，存在四個(gè)子幀，因此低分辨率數(shù)據(jù)的量與高分辨率數(shù)據(jù)的量相同。每個(gè)高分辨率網(wǎng)格點(diǎn)貢獻(xiàn)一個(gè)誤差，并且如上面方程式XXV中所表示，不必對(duì)梯度更新進(jìn)行平均。更確切地講，給定位置的誤差直接給出了更新。
如上所述，在一個(gè)實(shí)施例中，自適應(yīng)多遍歷算法使用最小均方(LMS)技術(shù)來(lái)產(chǎn)生校正數(shù)據(jù)。在另一實(shí)施例中，自適應(yīng)多遍歷算法使用凸集(projection on a convex set，POCS)投射技術(shù)來(lái)產(chǎn)生校正數(shù)據(jù)。以圖9所示的系統(tǒng)600為背景描述了依照一個(gè)實(shí)施例基于POCS技術(shù)的自適應(yīng)多遍歷解。圖9所示的系統(tǒng)600可以由下列方程式XXIX在誤差代價(jià)函數(shù)中數(shù)學(xué)表示 方程式XXIX 其中 e(n)＝誤差代價(jià)函數(shù)； n和k＝標(biāo)識(shí)高分辨率像素位置的指數(shù)； lQ(k)＝來(lái)自在位置k的上采樣圖像604的圖像數(shù)據(jù)； f(n-k)＝在位置n-k的內(nèi)插過(guò)濾器的過(guò)濾系數(shù)；和 h(n)＝在位置n的所想要的高分辨率圖像28的圖像數(shù)據(jù)。
POCS技術(shù)的約束集由下列方程式XXX所定義 方程式XXX 其中 C(n)＝包括來(lái)自上采樣圖像604的所有子幀數(shù)據(jù)的約束集，所述上采樣圖像604由參數(shù)η來(lái)劃界；和 η＝誤差幅度界限約束。
當(dāng)前迭代的子幀像素值根據(jù)下列方程式XXXI來(lái)確定 方程式XXXI 其中 n＝標(biāo)識(shí)當(dāng)前迭代的指數(shù)； λ＝松弛參數(shù)；和 ||f||＝內(nèi)插過(guò)濾器系數(shù)的范數(shù)。
方程式XXXI中的符號(hào)n*表示其中誤差最大的影響區(qū)域中的位置Ω，并且由下列方程式XXXII來(lái)定義 方程式XXXII n*＝argmax{n∈Ω|e(n)|} 圖18是圖示依照本發(fā)明一個(gè)實(shí)施例的使用POCS技術(shù)根據(jù)自適應(yīng)多遍歷算法來(lái)產(chǎn)生校正數(shù)據(jù)的圖。在一個(gè)實(shí)施例中，依照與上面參考圖15所描述的相同方式來(lái)產(chǎn)生初始的模擬高分辨率圖像1208，并且從原始的高分辨率圖像28中減去初始的模擬高分辨率圖像1208來(lái)產(chǎn)生誤差圖像1302。然后使用上面的方程式XXXI來(lái)根據(jù)誤差圖像1302中的數(shù)據(jù)產(chǎn)生更新的子幀30K-3和30L-3。對(duì)于所示的實(shí)施例，假定方程式XXXI中的松弛參數(shù)λ等于0.5，并且誤差幅度界限約束η等于1。
利用POCS技術(shù)，不是如上面參考圖16所述的那樣對(duì)影響區(qū)域內(nèi)的像素值進(jìn)行平均來(lái)確定校正值，而是標(biāo)識(shí)出影響區(qū)域內(nèi)的最大誤差e(n*)。然后，根據(jù)方程式XXXI使用適當(dāng)?shù)墓絹?lái)產(chǎn)生更新的像素值，所述公式取決于所述影響區(qū)域內(nèi)的最大誤差e(n*)是大于1、小于1還是等于1(這是由于對(duì)于此例子來(lái)說(shuō)，η＝1)。
例如，誤差圖像1302的第一列和第一行中的像素具有影響區(qū)域1304。此影響區(qū)域1304內(nèi)的最大誤差是1(即，e(n*)＝1)。參照方程式XXXI，對(duì)于其中e(n*)＝1的情況來(lái)說(shuō)，更新的像素值等于此像素的先前值。參照?qǐng)D15，子幀30K-1的第一列和第一行中像素的先前值為2，所以此像素在更新的子幀30K-3中保持具有值2。誤差圖像1302的第二列和第二行中的像素具有影響區(qū)域1306。此影響區(qū)域1306內(nèi)的最大誤差是1.5(即，e(n*)＝1.5)。參照方程式XXXI，對(duì)于其中e(n*)＞1的情況來(lái)說(shuō)，更新的像素值等于此像素先前值的一半，加上量(e(n*)-1)的一半，結(jié)果等于1.25。參照?qǐng)D15，子幀30L-1的第一列和第一行中像素的先前值為2，所以此像素更新的值在更新的子幀30L-3中為1.25。
基本上依照與上面參考圖16所描述的相同方式，在誤差圖像1302周圍移動(dòng)影響區(qū)域框1302和1304，來(lái)根據(jù)方程式XXXI在更新的子幀30K-3和30L-3中產(chǎn)生其余的更新值。
IX.使用梯度的噪聲降低和分辨率增強(qiáng) 圖像數(shù)據(jù)16可以由圖像顯示系統(tǒng)10使用相對(duì)有噪聲的源信號(hào)來(lái)接收，由此使圖像幀28包括噪聲。在根據(jù)圖像幀28產(chǎn)生子幀30中，在使模擬圖像和圖像幀28之間的誤差最小化的過(guò)程中可以反映來(lái)自圖像數(shù)據(jù)16的任何噪聲。結(jié)果，子幀30也可以包括所述噪聲。
為了努力使子幀30中的任何噪聲最小化，在子幀30的產(chǎn)生期間使誤差最小化的過(guò)程中，圖像處理部件24對(duì)于子幀30中的每個(gè)子幀像素值調(diào)節(jié)銳化系數(shù)α的值(在上面的方程式XXV中所示出)。對(duì)于每個(gè)子幀像素值，圖像處理部件24使用影響區(qū)域中的一組多標(biāo)度(multi-scale)梯度的平均值來(lái)調(diào)節(jié)銳化系數(shù)值。圖像處理部件24通過(guò)使用多標(biāo)度梯度估算器并且使跨過(guò)標(biāo)度的梯度估算相關(guān)，來(lái)產(chǎn)生所述多標(biāo)度梯度以檢測(cè)圖像幀28中跨過(guò)多個(gè)標(biāo)度的的邊緣，以計(jì)算所述多標(biāo)度梯度。圖像處理部件24根據(jù)所述多標(biāo)度梯度為子幀30中的每個(gè)子幀像素值調(diào)節(jié)銳化系數(shù)。通過(guò)調(diào)節(jié)銳化系數(shù)值，可以在子幀30的產(chǎn)生中使圖像幀28的有噪聲區(qū)域平滑。另外，在子幀30的產(chǎn)生中，可以使圖像幀28的邊緣區(qū)域(也被稱為高對(duì)比度區(qū)域)銳化。
如上所述，使用影響區(qū)域上的平均梯度的塊LMS算法被用來(lái)執(zhí)行更新，如方程式XXV所示?？紤]到噪聲在子幀30的產(chǎn)生中的影響，方程式XXV的導(dǎo)數(shù)值包括表示無(wú)噪圖像的項(xiàng)h(n)和表示噪聲的項(xiàng)Ψ(n)，如方程式XXXIII所示。
方程式XXXIII 據(jù)此，可以使用項(xiàng)Δnoise在誤差項(xiàng)中表示噪聲在方程式XXV的塊LMS算法中的影響，如方程式XXXIV所示。
方程式XXXIV 使用方程式XXXIV，圖像處理部件24通過(guò)把銳化系數(shù)α調(diào)節(jié)到對(duì)于子幀30的有噪聲區(qū)域來(lái)說(shuō)相對(duì)較低的值，來(lái)平滑在誤差最小化過(guò)程中所反映的噪聲。圖像處理部件24還通過(guò)把銳化系數(shù)α調(diào)節(jié)到相對(duì)較高值來(lái)銳化或增強(qiáng)子幀30的邊緣區(qū)域。在無(wú)噪聲并且不包括邊緣的子幀30的區(qū)域中，圖像處理部件24把銳化系數(shù)α調(diào)節(jié)到相對(duì)適度的值。通過(guò)調(diào)節(jié)銳化系數(shù)α，圖像處理系統(tǒng)可以在子幀30產(chǎn)生中有效地降低噪聲并且增強(qiáng)分辨率。
圖19是圖示產(chǎn)生噪聲降低而分辨率增強(qiáng)的子幀30的框圖。在圖19中，圖像處理部件24包括梯度估算器模塊1402和相關(guān)模塊1404。梯度估算器模塊1402和相關(guān)模塊1404均包括軟件、硬件、固件或其組合，并且可以被包括作為能夠執(zhí)行邏輯運(yùn)算序列或執(zhí)行軟件或固件指令的計(jì)算機(jī)、計(jì)算機(jī)服務(wù)器或其它基于處理器的系統(tǒng)的一部分。
梯度估算器模塊1402對(duì)圖像幀28中的像素值組估算多個(gè)標(biāo)度處的梯度。在一個(gè)實(shí)施例中，梯度估算器模塊1402包括過(guò)濾器，所述過(guò)濾器被配置成使用不同標(biāo)度來(lái)估算x和y方向上梯度。過(guò)濾器hxsmall和hysmall分別使用相對(duì)較小的標(biāo)度(例如1/1024)來(lái)估算在x和y方向上的梯度。過(guò)濾器hxlarge和hylarge分別使用相對(duì)較大的標(biāo)度(例如1/2048)來(lái)為每個(gè)方向估算在x和y方向上的梯度。在圖20A和20B中所示的曲線圖分別圖示過(guò)濾器hxsmall和hxlarge的示例性幅度響應(yīng)。過(guò)濾器hxsmall、hysmall、hxlarge和hylarge分別為來(lái)自子幀30的每組子幀像素值生成梯度估算exsmall、eysmall、exlarge和eylarge。對(duì)于來(lái)自子幀30的每組子幀像素值，梯度估算器模塊1402向相關(guān)模塊1404提供來(lái)自每個(gè)過(guò)濾器的梯度估算。
相關(guān)模塊1404使跨過(guò)標(biāo)度的梯度估算相關(guān)，以便為來(lái)自圖像幀28的每組像素值產(chǎn)生多標(biāo)度梯度估算。為了使跨過(guò)標(biāo)度的梯度估算相關(guān)，相關(guān)模塊1404分別使用方程式XXXV和方程式XXXVI為x和y方向計(jì)算有效梯度估算。
方程式XXXV 方程式XXXVI 在方程式XXXV和方程式XXXVI中，大標(biāo)度梯度比小標(biāo)度梯度被更重地加權(quán)，來(lái)抑制小標(biāo)度噪聲。
根據(jù)方程式XXXV和方程式XXXVI使用x和y方向的有效梯度估算，相關(guān)模塊1404使用方程式XXXVII來(lái)計(jì)算多標(biāo)度梯度eeff(n)。
方程式XXXVII 使用來(lái)自方程式XXXVII的多標(biāo)度梯度，相關(guān)模塊1404通過(guò)使用方程式XXXVIII和方程式XXXIX對(duì)在子幀像素值的各自影響區(qū)域中的多標(biāo)度梯度進(jìn)行平均，來(lái)為子幀30的每個(gè)子幀像素值計(jì)算銳化系數(shù)。
方程式XXXVIII 其中β1和β2＝參數(shù)設(shè)置； Ω＝影響范圍。
方程式XXXIX 其中amin和amax＝最小和最大銳化系數(shù)值。
在一個(gè)實(shí)施例中，β1是0.75，β2是0.2，αmin是-0.5，并且amax＝2.0。在其它實(shí)施例中，可以使用其它參數(shù)設(shè)置和最小和最大銳化系數(shù)值。特別地，可以針對(duì)特定的顯示設(shè)備26，調(diào)諧參數(shù)設(shè)置和最小和最大銳化系數(shù)值。
圖21是圖示使用自適應(yīng)多遍歷算法來(lái)產(chǎn)生噪聲降低而分辨率增強(qiáng)的子幀的方法的流程圖。在圖21中，如在塊1502中所表明的，圖像處理部件24接收來(lái)自圖像幀28的像素值。如在塊1504中所表明的，圖像處理部件24使用至少兩個(gè)標(biāo)度來(lái)估算像素值中的梯度。如在塊1506中所表明的，圖像處理部件24使來(lái)自標(biāo)度的梯度相關(guān)，來(lái)產(chǎn)生多標(biāo)度梯度。如在塊1508中所表明的，圖像處理部件24使用多標(biāo)度梯度來(lái)調(diào)節(jié)與來(lái)自子幀30的每個(gè)子幀像素值相關(guān)聯(lián)的銳化系數(shù)。如在塊1510中所表明的，圖像處理部件24使用銳化系數(shù)來(lái)計(jì)算子幀像素值。
圖22是圖示通過(guò)調(diào)節(jié)在計(jì)算子幀像素值中所使用的銳化系數(shù)來(lái)產(chǎn)生子幀的方法的流程圖。在圖22中，如在塊1602中所表明的，由圖像處理部件24確定圖像幀28中的像素值組是否與初始子幀的邊緣區(qū)域相關(guān)聯(lián)。如果像素值組與邊緣區(qū)域相關(guān)聯(lián)，那么圖像處理部件24把子幀30中相應(yīng)的子幀像素值的銳化系數(shù)設(shè)置為相對(duì)較高值，如在塊1604中所表明的。如果像素值組不與邊緣區(qū)域相關(guān)聯(lián)，那么由圖像處理部件24確定所述像素值組是否與平滑區(qū)域相關(guān)聯(lián)，如在塊1606中所表明的。如果像素值組與平滑區(qū)域相關(guān)聯(lián)，那么圖像處理部件24把子幀30中相應(yīng)的子幀像素值的銳化系數(shù)設(shè)置為相對(duì)較低值，如在塊1608中所表明的。如果像素值組不與平滑區(qū)域相關(guān)聯(lián)，那么圖像處理部件24把子幀30中相應(yīng)的子幀像素值的銳化系數(shù)設(shè)置為相對(duì)適度的值，如在塊1610中所表明的。
盡管為了描述優(yōu)選實(shí)施例，已經(jīng)在此圖示并描述了具體實(shí)施例，然而本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，在不脫離本發(fā)明范圍的情況下，可以用各種候選方式和/或等效實(shí)現(xiàn)方式來(lái)代替所示出并描述的具體實(shí)施例。那些機(jī)械、電子機(jī)械、電和計(jì)算機(jī)領(lǐng)域內(nèi)的技術(shù)人員易于理解的是，可以在各種實(shí)施例中實(shí)現(xiàn)本發(fā)明。本申請(qǐng)旨在覆蓋這里所論述的優(yōu)選實(shí)施例的任何修改或變化。因此，其意圖顯然是，本發(fā)明僅僅由下列權(quán)利要求及其等效物來(lái)限定。
權(quán)利要求
1.一種利用顯示設(shè)備(26)顯示圖像(14)的方法，所述方法包括
產(chǎn)生對(duì)應(yīng)于所述圖像的圖像數(shù)據(jù)(16)的第一子幀(30)和第二子幀(30)，其中產(chǎn)生第一子幀包括使用第一銳化系數(shù)來(lái)計(jì)算所述第一子幀中的第一子幀像素值，所述第一銳化系數(shù)與來(lái)自所述圖像數(shù)據(jù)的第一多個(gè)梯度相關(guān)聯(lián)；并且
在第一位置中顯示第一子幀(301)和在空間上偏離所述第一位置的第二位置中顯示所述第二子幀(302)之間交替。
2.如權(quán)利要求1所述的方法，其中第一多個(gè)梯度中的每個(gè)包括多標(biāo)度梯度。
3.如權(quán)利要求2所述的方法，進(jìn)一步包括
使用第一多個(gè)梯度的平均值來(lái)產(chǎn)生第一銳化系數(shù)。
4.如權(quán)利要求1所述的方法，其中產(chǎn)生第一子幀包括使用第一銳化系數(shù)和誤差項(xiàng)來(lái)計(jì)算第一子幀中的第一子幀像素值。
5.如權(quán)利要求4所述的方法，其中所述誤差項(xiàng)包括在所述圖像數(shù)據(jù)和模擬的圖像之間的差異。
6.如權(quán)利要求1所述的方法，其中第一銳化系數(shù)被配置成對(duì)包括第一子幀像素值的第一子幀的區(qū)域進(jìn)行銳化。
7.如權(quán)利要求1所述的方法，其中第一銳化系數(shù)被配置成對(duì)包括第一子幀像素值的第一子幀的區(qū)域進(jìn)行平滑。
8.如權(quán)利要求1所述的方法，其中產(chǎn)生第二子幀包括使用第二銳化系數(shù)來(lái)計(jì)算第二子幀中的第一子幀像素值，第二銳化系數(shù)與來(lái)自所述圖像數(shù)據(jù)的第二多個(gè)梯度相關(guān)聯(lián)。
9.如權(quán)利要求1所述的方法，進(jìn)一步包括
產(chǎn)生對(duì)應(yīng)于所述圖像數(shù)據(jù)的第三子幀(30)和第四子幀(30)；并且
其中在顯示第一子幀和顯示第二子幀之間交替進(jìn)一步包括在第一位置中顯示第一子幀、在第二位置中顯示第二子幀、在空間上偏離第一位置和第二位置的第三位置(303)中顯示第三子幀、以及在空間上偏離第一位置、第二位置和第三位置的第四位置(304)中顯示第四子幀之間交替。
10.一種用于顯示圖像(14)的系統(tǒng)(10)，所述系統(tǒng)包括
圖像處理部件(24)，所述圖像處理部件被配置成通過(guò)向第一和第二子幀中的每個(gè)子幀像素值的誤差項(xiàng)應(yīng)用與多個(gè)梯度相關(guān)聯(lián)的銳化系數(shù)，來(lái)產(chǎn)生對(duì)應(yīng)于所述圖像的圖像數(shù)據(jù)(16)的第一和第二子幀(30)；和
顯示設(shè)備(26)，所述顯示設(shè)備適于交替地在第一位置中顯示第一子幀(301)和在空間上偏離第一位置的第二位置中顯示所述第二子幀(302)。
全文摘要
提供了一種用于利用顯示設(shè)備(26)來(lái)顯示圖像(14)的方法。所述方法包括產(chǎn)生對(duì)應(yīng)于所述圖像的圖像數(shù)據(jù)(16)的第一子幀(301)和第二子幀(302)，包括使用第一銳化系數(shù)來(lái)計(jì)算第一子幀中的第一子幀像素值，第一銳化系數(shù)與來(lái)自所述圖像數(shù)據(jù)的第一多個(gè)梯度相關(guān)聯(lián)；并且在第一位置中顯示所述第一子幀(301)和在空間上偏離第一位置的第二位置中顯示第二子幀(302)之間交替。
文檔編號(hào)G06T5/50GK101103375SQ200580046898
公開日2008年1月9日 申請(qǐng)日期2005年11月18日 優(yōu)先權(quán)日2004年11月19日
發(fā)明者N·達(dá)梅拉-文卡塔 申請(qǐng)人:惠普開發(fā)有限公司