專利名稱：利用稀疏變換的圖像/視頻質(zhì)量增強和超分辨率的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像/視頻信號處理。更具體地說，本發(fā)明涉及增強圖像/視 頻信號的質(zhì)量，和/或提高圖像/視頻信號的空間分辨率。
背景技術(shù)：
目前，圖像和視頻信號處理廣泛用在許多應(yīng)用中。常常需要特定分辨率的圖像或 視頻，然而只能獲得較低分辨率的圖像或視頻。在這種情況下，使用多種方法來利用較低分 辨率版本的圖像創(chuàng)建較高分辨率的圖像。這些現(xiàn)有方法包括對較低分辨率圖像或視頻應(yīng)用 線性或簡單的非線性插值濾波器。使用線性或非線性插值濾波器的例子包括比如在Gonzalez &ffoods, "Digital Image I^rocessing”(Pearson Education (第二版))中說明的雙線性插值濾波器；在ITU-T Recommendation H. 264 & IS0/IEC14496-10(MPEG_4)AVC，"Advanced Video Coding for Generic Audiovisual Services”，版本3 :2005年中說明的線性插值濾波器；和在Vatis & Ostermann,"Locally Adaptive Non-Separable Interpolation Filter for H. 264/AVC，，， IEEE ICIP，2006年10月中說明的不可分插值濾波器。不過，這三種技術(shù)中的每一個可適用 于具有平滑變化的像素值的圖像/視頻幀。這是因為這三種技術(shù)是利用平滑圖像模型得到 的，并且濾波器一般局限于低通濾波器。從而，它們并不適用于許多類型的區(qū)域，比如傾斜 邊緣、紋理等。此外，至少就ITU-T Recommendation H.洸4及Vatis & Ostermann來說，這 兩種技術(shù)只適用于其中使用被移動小部分像素的先前的一幀或多幀來預(yù)測當(dāng)前幀的視頻 壓縮應(yīng)用。另外，存在非常簡單的基于變換的方法，用于提高圖像/視頻的分辨率，不過需 要大量的迭代。在 Guleryuz, “Predicting Wavelet Coefficients Over Edges Using Estimates Based on Nonlinear Approximants”，Proc. Data Compression Conference， 2004年4月中說明了一個這樣的例子。不過，這種技術(shù)局限于并不適用于傾斜邊緣和紋理的具有各種簡化的塊變化，并 且涉及基本方法的多次迭代以獲得良好的質(zhì)量，從而復(fù)雜性驚人地昂貴。

發(fā)明內(nèi)容
這里公開一種用于質(zhì)量增強/超分辨率技術(shù)的方法和設(shè)備。在一個實施例中，所 述方法包括接收第一分辨率的第一版本的媒體，和利用至少一種變換和自適應(yīng)閾值化，創(chuàng) 建第二分辨率的第二版本的媒體，所述第二分辨率高于或等于第一分辨率。


根據(jù)下面給出的詳細(xì)說明，以及根據(jù)本發(fā)明的各個實施例的附圖，將更充分地理 解本發(fā)明，不過，所述各個實施例不應(yīng)被理解成把本發(fā)明局限于具體實施例，相反只是為了 說明和理解。
圖IA是進(jìn)行媒體的質(zhì)量增強/超分辨率的處理的一個實施例的流程圖。圖IB是系統(tǒng)的方框圖，圖解說明質(zhì)量增強/超分辨率技術(shù)的一個實施例對于壓縮 視頻的應(yīng)用情形。圖IC是系統(tǒng)的方框圖，圖解說明質(zhì)量增強/超分辨率技術(shù)的一個實施例對于非壓 縮視頻的應(yīng)用情形。圖2是增強質(zhì)量和/或提高分辨率的處理的一個實施例的流程圖。圖3是上采樣處理的一個實施例的流程圖。圖4A-4M圖解說明與子幀類型庫對應(yīng)的遮罩(mask)的例子。圖5表示當(dāng)按光柵掃描順序?qū)ο袼鼐幪枙r在像素I處的例證子幀Zi。圖6是子幀選擇處理的一個實施例的流程圖。圖7是子幀的變換選擇處理的一個實施例的流程圖。圖8是閾值化變換系數(shù)的閾值化處理的一個實施例的流程圖。圖9圖解說明單調(diào)遞減的階梯函數(shù)。圖10是組合子幀以形成幀的處理的一個實施例的流程圖。圖11是數(shù)據(jù)一致性操作的一個實施例的數(shù)據(jù)流圖。圖12是例證的計算機系統(tǒng)的方框圖。圖13A-E圖解說明所選像素的樣本子集。
具體實施例方式說明增強視頻和/或圖像的質(zhì)量的增強技術(shù)。在一個實施例中，該技術(shù)還起分別 產(chǎn)生與低分辨率輸入圖像和/或視頻對應(yīng)的高分辨率圖像和/或視頻的超分辨率技術(shù)的作 用。在一個實施例中，這是通過對低分辨率和/或視頻中的每個像素位置增加多個像素位 置來實現(xiàn)的。為了本文的目的，增加的像素位置已知為插值位置，來自低分辨率圖像的位置 已知為原始位置。在下面的說明中，陳述了眾多的細(xì)節(jié)，以更徹底地說明本發(fā)明。不過，對本領(lǐng)域的 技術(shù)人員來說，顯然可在沒有這些具體細(xì)節(jié)的情況下實踐本發(fā)明。在其它情況下，以方框圖 的形式而非詳細(xì)地表示了公知的結(jié)構(gòu)和設(shè)備，以避免模糊本發(fā)明。下面的詳細(xì)說明的一些 部分是按照對于計算機存儲器內(nèi)的數(shù)據(jù)比特的算法和運算的符號表示給出的。這些算法說 明和表示是數(shù)據(jù)處理領(lǐng)域內(nèi)的技術(shù)人員用于向本領(lǐng)域的其他技術(shù)人員最有效地傳達(dá)其工 作的實質(zhì)的手段。算法在這里并且通常被認(rèn)為是產(chǎn)生希望結(jié)果的自相一致的一系列步驟。 所述步驟是要求物理量的物理處理的步驟。這些物理量通常(不過并非必須)表現(xiàn)為能夠 被保存、傳送、組合、比較和以其它方式操縱的電信號或磁信號的形式。已表明有時便利的 是把這些信號稱為比特、值、元素、符號、字符、項、數(shù)字等，主要是因為常用。不過，應(yīng)記住 所有這些和類似術(shù)語都與適當(dāng)?shù)奈锢砹筷P(guān)聯(lián)，并且僅僅是應(yīng)用于這些物理量的便利標(biāo)記。 除非另有明確說明，像根據(jù)下面的論述顯然的那樣，否則要認(rèn)識到在整個說明中，利用諸如 “處理”或“計算”或“運算”或“確定”或“顯示”之類術(shù)語的論述指的是操縱并把表示成計 算機系統(tǒng)的寄存器和存儲器內(nèi)的物理(電子)量的數(shù)據(jù)變換成類似地表示成計算機系統(tǒng)存 儲器或寄存器或者其它這樣的信息存儲設(shè)備、傳輸或顯示設(shè)備內(nèi)的物理量的其它數(shù)據(jù)的計 算機系統(tǒng)，或類似的電子計算設(shè)備的動作和處理。
本發(fā)明還涉及執(zhí)行這里的操作的設(shè)備。該設(shè)備可以是為所需用途專門構(gòu)成的，或 者它可包括由保存在計算機中的計算機程序有選擇地啟動或重新配置的通用計算機。這樣 的計算機程序可被保存在計算機可讀存儲介質(zhì)中，比如(但不限于)任何種類的磁盤，包括 軟盤、光盤、CD-ROM和磁光盤、只讀存儲器(ROM)、隨機存取存儲器(RAM)、EPROM、EEPROM、磁 卡或光卡，或者適合于保存電子指令的任何種類的介質(zhì)，并且每種都與計算機系統(tǒng)總線耦 接。這里給出的算法和顯示并不固有地涉及任何特殊的計算機或其它設(shè)備。各種通用 系統(tǒng)可以和按照這里的教的程序一起使用，或者可證明便利的是構(gòu)成更專門的設(shè)備來執(zhí)行 所需要的方法步驟。各種各樣的這些系統(tǒng)的所需結(jié)構(gòu)將從下面的說明中顯現(xiàn)出來。另外， 并未參照任何特殊的編程語言說明本發(fā)明。要認(rèn)識到可以使用各種編程語言來實現(xiàn)這里說 明的本發(fā)明的教導(dǎo)。機器可讀介質(zhì)包括以機器(例如，計算機)可讀的形式保存或傳送信息的任何機 構(gòu)。例如，機器可讀介質(zhì)包括只讀存儲器(ROM)；隨機存取存儲器(RAM)；磁盤存儲介質(zhì)；光 學(xué)存儲介質(zhì)；閃速存儲設(shè)備；電、光、聲或其它形式的傳播信號(例如，載波、紅外信號、數(shù)字 信號等)；等等。鍵公開了媒體(例如，圖像、視頻等)的快速和高性能質(zhì)量增強和/或超分辨率技 術(shù)。這些技術(shù)允許由低質(zhì)量、低分辨率的圖像和視頻呈現(xiàn)高質(zhì)量和高分辨率(如果需要的 話)的媒體(例如，圖像、視頻等)。在一個實施例中，這些技術(shù)使得能夠?qū)崿F(xiàn)視頻序列的高 質(zhì)量超分辨率重構(gòu)(縮放)。在一個實施例中，作為一種超分辨率技術(shù)，利用翹曲變換和自適應(yīng)閾值化，產(chǎn)生更 高分辨率的媒體。對翹曲變換來說，變換被翹曲，以對準(zhǔn)邊緣，導(dǎo)致對方向性邊緣和角落的 稀疏表示。與現(xiàn)有技術(shù)相比，翹曲變換的使用導(dǎo)致沿方向性邊緣和角落的銳度增大。在一 個實施例中，根據(jù)局部邊緣方向，選擇翹曲變換，以呈現(xiàn)最高質(zhì)量的輸出視頻?？稍诿總€像 素獨立地，或者對于像素的塊一起，發(fā)生這種選擇。例證的塊大小為2X2、3X3、4X4、2X4、 4X2 等。空間自適應(yīng)閾值的使用使得能夠按照局部信號統(tǒng)計量實現(xiàn)閾值的調(diào)制，這允許借 助僅兩次迭代，就獲得很高的質(zhì)量。與需要10次迭代來獲得相似質(zhì)量的某些現(xiàn)有技術(shù)相 比，迭代次數(shù)要少得多。圖IA是進(jìn)行媒體的質(zhì)量增強/超分辨率重構(gòu)的處理的一個實施例的流程圖。該 處理由處理邏輯執(zhí)行，所述處理邏輯包括硬件(電路、專用邏輯等)，軟件(比如運行于通用 計算機系統(tǒng)或?qū)Ｓ脵C器上的軟件)，或者硬件和軟件的組合。參見圖1A，通過處理邏輯接收第一分辨率的第一版本的媒體(例如，圖像、視頻 等)，開始所述處理(處理方框130)。在接收第一版本的媒體之后，處理邏輯利用至少一次 翹曲變換和自適應(yīng)閾值化，創(chuàng)建第二分辨率的第二版本的媒體，所述第二分辨率高于或等 于第一分辨率(處理方框131)。在一個實施例中，作為迭代處理的結(jié)果創(chuàng)建第二版本的媒體。在一個實施例中，所 述迭代處理只經(jīng)過兩次迭代。在一個實施例中，通過對子幀應(yīng)用所述至少一次翹曲變換(例如，2D可分離DCT)以創(chuàng)建變換系數(shù)，進(jìn)行第二版本的媒體的創(chuàng)建。在一個實施例中，所述方法包括在通過上采 樣第一版本的媒體而產(chǎn)生的圖像中自適應(yīng)地選擇子幀，以致對子幀應(yīng)用翹曲變換以產(chǎn)生變 換系數(shù)包括對圖像中的每個所選子幀應(yīng)用變換。在一個實施例中，在圖像中的每個像素處 自適應(yīng)地選擇子幀。在一個實施例中，自適應(yīng)閾值化包括空間自適應(yīng)閾值的應(yīng)用，創(chuàng)建第二 版本的媒體包括計算自適應(yīng)閾值，并利用自適應(yīng)閾值，閾值化變換系數(shù)。在一個實施例中，超分辨率技術(shù)包括選擇2-D濾波器，并利用2-D濾波器上采樣輸 入的圖像/視頻幀；選擇起始于上采樣幀的任意像素處的子幀，和在上采樣幀中的每個像 素處，形成子幀并對該子幀應(yīng)用像素自適應(yīng)翹曲變換；得到每個子幀的細(xì)節(jié)保持自適應(yīng)閾 值，利用硬閾值化(例如，如果變換系數(shù)的量值小于閾值，那么設(shè)為0)或者諸如軟閾值化之 類的其它方法，閾值化該子幀的變換系數(shù)，和對閾值化的變換系數(shù)應(yīng)用逆變換以形成處理 后的子幀；對處理后的子幀進(jìn)行組合操作，以獲得上采樣幀的更好估計；和可選地對上采 樣幀進(jìn)行校正操作，以實現(xiàn)上采樣幀和輸入幀之間的數(shù)據(jù)一致性。這些操作構(gòu)成一次迭代， 并產(chǎn)生超分辨率估計。在一個實施例中，重復(fù)從子幀選擇到校正的操作，以進(jìn)一步改進(jìn)超分 辨率估計。在一個實施例中，質(zhì)量增強技術(shù)包括選擇起始于輸入圖像/視頻幀的任意像素處 的子幀，在輸入幀中的每個像素處，形成子幀并對該子幀應(yīng)用像素自適應(yīng)翹曲變換；得到每 個子幀的細(xì)節(jié)保持自適應(yīng)閾值，利用硬閾值化(例如，如果變換系數(shù)的量值小于閾值，那么 設(shè)為0)或者諸如軟閾值化之類的其它方法，閾值化該子幀的變換系數(shù)，和對閾值化的變換 系數(shù)應(yīng)用逆變換，以形成處理后的子幀；對處理后的子幀進(jìn)行組合操作，以獲得增強質(zhì)量版 本的輸入幀。這些操作構(gòu)成一次迭代，并產(chǎn)生增強質(zhì)量估計。在一個實施例中，重復(fù)整個處 理，以進(jìn)一步提高質(zhì)量。在一個實施例中，這里說明的技術(shù)使分辨率提高任意倍數(shù)。即，超分辨率技術(shù)的 使用并不局限于分辨率的整數(shù)倍(例如2X，3X等)提高。超分辨率技術(shù)可把分辨率提高 任意倍數(shù)(例如，1.2乂，1.5乂，2.6乂等)。在一個實施例中，在借助或不借助邊信息(side information)的幫助下，這里說明的技術(shù)被應(yīng)用于壓縮/非壓縮圖像/視頻信號。圖IB是 系統(tǒng)的方框圖，圖解說明這里說明的技術(shù)的一個實施例對于壓縮視頻的應(yīng)用情形。每個方 框可包括硬件(電路、專用邏輯等)，軟件(比如運行于通用計算機系統(tǒng)或?qū)Ｓ脵C器上的軟 件)，或者硬件和軟件的組合。參見圖1B，低分辨率(LR)照相機101捕獲低分辨率圖像/視 頻，所述低分辨率圖像/視頻被發(fā)給視頻/圖像編碼器102，以便壓縮。利用通信平臺103 在空間和/或時間中傳送編碼視頻，并且編碼視頻被發(fā)給視頻/圖像解碼器104，以便解壓 縮。解碼的視頻113被發(fā)給超分辨率發(fā)生器和/或視頻質(zhì)量增強器105，以便進(jìn)行這里說明 的處理。超分辨率發(fā)生器和/或視頻質(zhì)量增強器105的輸出被發(fā)給諸如LR顯示器106或高 分辨率(HR)顯示器107之類的顯示器。在一個實施例中，LR照相機101和編碼器102發(fā)送 照相機邊信息110和編碼器邊信息111(表示成虛線)，照相機邊信息110和編碼器邊信息 111被組合以形成可被超分辨率發(fā)生器和/或視頻質(zhì)量增強器105使用的邊信息112。邊 信息可由任意的參數(shù)(例如，關(guān)于LR照相機101的信息(例如，透鏡種類)，量化步長等)， 或者對于質(zhì)量增強和超分辨率技術(shù)的選擇/模式?jīng)Q定組成。例如，某一邊信息可幫助確定 應(yīng)使用哪種插值技術(shù)。邊信息可包括默認(rèn)設(shè)置。按照這種方式，邊信息允許這里說明的技 術(shù)被定義成不同的設(shè)置。在一個實施例中，邊信息是代表不同選擇的值的向量。用信號通知邊信息的一種簡單方式如下令OP表示代表邊信息的向量。利用該向量中的兩個元素用
可按照各種方式選擇上采樣濾波器，以反轉(zhuǎn)由下采樣操作或者由于輸入設(shè)備的物 理限制造成的低通濾波。在輸入設(shè)備是照相機的情況下，這些物理限制可包括(但不限于) 自然分辨率、光學(xué)聚焦和快門速度。在一個實施例中，這種低通濾波被模擬成任意有限抽頭 濾波器或者模擬成小波濾波器的LL頻帶，比如Daubechies或Le Gall小波。在一個實施 例中，低通濾波器被模擬成Daubechies 7/9小波，對應(yīng)的逆小波濾波器被用于獲得幀y。注 意本發(fā)明的實施例并不局限于利用這些方法得到的上采樣濾波器?？梢允褂媚軌蛱岣邎D像 /視頻的分辨率的模塊，包括(但不限于)任何上采樣濾波器，比如雙線性、雙三次和H. 264 插值濾波器。定義低通濾波器和/或上采樣濾波器的參數(shù)可被包括在邊信息(例如邊信息112， 邊信息121等)中。在一個實施例中，當(dāng)?shù)屯V波器被模擬成小波濾波器(LL頻帶)時，上采樣濾波器 是逆小波濾波器，當(dāng)?shù)屯V波器被模擬成任意有限抽頭濾波器時，上采樣濾波器是就原始 幀和通過使原始幀連續(xù)通過低通濾波器和上采樣濾波器而獲得的幀之間的MSE來說最佳 的維納(Wiener)濾波器。在一個實施例中，最佳的濾波器取決于原始幀，并且是利用邊信 息，對每個像素獨立地用信號通知的。在一個實施例中，利用逆小波濾波器或者像素自適應(yīng)維納濾波器對輸入幀χ進(jìn)行 上采樣和濾波，從而獲得幀y。圖3是上采樣處理的一個實施例的流程圖。該處理由處理邏 輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等)，軟件(比如運行于通用計算機系統(tǒng) 或?qū)Ｓ脵C器上的軟件)，或者硬件和軟件的組合。參見圖3，通過利用低通濾波器的參數(shù)，處理邏輯確定低通濾波器是否被模擬成小 波濾波器的LL頻帶(處理方框301)。這使處理邏輯可以把低通濾波器分類成小波濾波器， 或者不分類成小波濾波器。如果處理邏輯確定低通濾波器是小波濾波器，那么處理邏輯用上采樣器311對輸入幀χ進(jìn)行上采樣，并對輸入幀χ應(yīng)用逆小波濾波器，從而獲得幀y (處理 方框30 。如果處理邏輯確定低通濾波器不是小波濾波器，那么處理邏輯用上采樣器310 對輸入幀χ進(jìn)行上采樣，并對輸入幀χ應(yīng)用像素自適應(yīng)維納濾波器，以獲得幀y (處理方框 302)。子幀選擇處理在完成上采樣處理并且獲得幀y之后，開始圖2的處理方框202的子幀選擇處理。 子幀類型S被定義成M2Xl整數(shù)值向量。為了本文的目的，M可以是大于0的任意整數(shù)。 {S1, S2, S3，...}是子幀類型庫。對于其中像素按光柵掃描順序被編號的幀y中的每個所選像素i來說，從所述子幀類型庫中選擇子幀類型Si，并將向量？1形成為凡，其中 T是所有元素都等于ι的M2Xl向量。在一個實施例中，對未被選擇的像素來說，Pi是零向 量。稱為子幀的M2Xl向量Zi是用在與？1的元素對應(yīng)的位置處的幀y的像素值形成的。像 素i被稱為子幀Zi的中心點。圖5表示當(dāng)按光柵掃描順序?qū)ο袼鼐幪枙r，在像素i處的例 證子幀Zi。參見圖5，通過按照光柵掃描順序從“1”開始對像素編號，發(fā)生像素的光柵掃描 排序。子幀被表示成以像素i為中心點。子幀被組織成稱為翹曲行的M個向量。第一翹曲 行具有按1 M的順序的子幀元素1 M ；第二翹曲行具有元素(M+1) 2M ；等等。在一 個實施例中，M等于4，子幀類型庫對應(yīng)于在圖4A-4M中圖解說明的一組遮罩(mask)。參見 圖4A-4M，就該子幀庫來說，遮罩對應(yīng)于如用箭頭所示的不同方向。這里，把圖4A中的遮罩 稱為規(guī)則遮罩，因為它對應(yīng)于規(guī)則的水平或垂直方向。其它遮罩被稱為方向性遮罩，因為它 們對應(yīng)于非平凡(non-trivial)方向。遮罩中的像素(‘a(chǎn)' 'p')的差分位置(Ω) 被定義為Ω =Cc+WXCK，其中W是幀y的寬度。Cc是為了到達(dá)關(guān)心的當(dāng)前像素的列，需要 從像素'a'的列開始向右水平移動的列數(shù)。Ck是為了到達(dá)關(guān)心的當(dāng)前像素的行，需要從 像素'a'的行開始向下垂直移動的行數(shù)。例如，就圖4H中的遮罩來說，像素'c'具有Cc = -ldnCK = 2。與遮罩對應(yīng)的子幀類型是包含該遮罩中從'a'排序到'ρ'的像素的 差分位置的向量。在一個實施例中，通過選擇總是對應(yīng)于規(guī)則遮罩的子幀類型，進(jìn)行像素的子幀類 型的選擇。在另一個實施例中，對于每個選擇的像素，(1)通過關(guān)于每個子幀類型，估計在形 成的子幀內(nèi)的2-D DCT, (2)通過關(guān)于給定的閾值T，選擇使量值大于T的非零變換系數(shù)的 數(shù)目最小化的子幀類型，進(jìn)行像素的子幀類型的選擇。在又一個實施例中，通過關(guān)于每個選 擇的像素，選擇使在所有翹曲行內(nèi)平均的像素值的翹曲行方差最小化的子幀類型，進(jìn)行像 素的子幀類型的選擇。在再一個實施例中，通過對于KXL像素的塊，使每個像素對子幀類 型進(jìn)行投票(根據(jù)使在所有翹曲行內(nèi)平均的像素值的翹曲行方差最小化的子幀類型)，并 選擇對于KXL塊中的所有像素而言具有最多票數(shù)的子幀類型，進(jìn)行像素的子幀類型的選 擇，其中K和L可以是大于0的整數(shù)。在一個實施例中，K和L都被設(shè)定為4。在再一個實 施例中，通過對于每個像素形成KXL像素的塊，并通過對該像素塊使用前述投票方案選擇 子幀類型，進(jìn)行像素的子幀類型的選擇。在每種情況下，選擇的子幀類型被用于當(dāng)前像素。 從而，通過把這些測量的統(tǒng)計量之一用于每個遮罩，進(jìn)行子幀的選擇。注意，可以使用除圖4A-4M中的遮罩之外的遮罩。圖6是子幀選擇處理的一個實施例的流程圖。該處理由處理邏輯執(zhí)行，所述處理 邏輯可包括硬件(電路、專用邏輯等)，軟件(比如運行于通用計算機系統(tǒng)或?qū)Ｓ脵C器上的軟件)，或者硬件和軟件的組合。參見圖6，通過處理邏輯接收幀y并確定子幀是否是像素自適應(yīng)的，開始該處理 (處理方框601)。如果子幀不是像素自適應(yīng)的，那么處理邏輯為所有像素選擇規(guī)則子幀類 型(處理方框60 。如果子幀y的子幀是像素自適應(yīng)的，那么對于每個像素，處理邏輯標(biāo)記 使翹曲行方差最小化的子幀類型(處理方框60 。這是利用如上所述的子幀類型庫(620) 實現(xiàn)的。從而，對于每個像素，標(biāo)記子幀類型庫之中的使翹曲行方差最小化的子幀類型。隨后，處理邏輯確定選擇是否是基于塊的(處理方框604)。如果處理邏輯確定選 擇是基于塊的，那么處理邏輯計數(shù)每個塊中的標(biāo)記每種子幀類型的像素的數(shù)目(處理方框 606)，并且對于塊中的所有像素，處理邏輯選擇由該塊中的最多像素標(biāo)記的子幀類型(處 理方框607)。換句話說，如果選擇是基于塊的，那么對于該塊中的所有像素，選擇由塊中的 最多像素標(biāo)記的子幀類型。如果處理邏輯確定選擇不是基于塊的，那么對于每個像素，處理 邏輯選擇由該像素標(biāo)記的子幀類型(處理方框60 。換句話說，每個像素選擇它自己標(biāo)記 的子幀類型。每個像素的子幀類型的選擇可以是邊信息的一部分。變換選擇和應(yīng)用在選擇子幀Zi之后，利用像素自適應(yīng)翹曲變換Hi,子幀Zi被變換成Cli。這里該變 換被稱為“翹曲”變換，因為變換基的支持物(support)已被翹曲，以匹配子幀類型。由于除 了子幀類型的選擇可因像素而異之外，以不同像素為中心點的子幀可使用不同的變換，因 此該變換被認(rèn)為是像素自適應(yīng)的。在一個實施例中，從變換庫(例如可分離2-D Hadamard, 可分離DCT，不可分DCT，2-D Gabor小波，可操縱金字塔，2-D方向小波，曲波和輪廓波)中 選擇變換印。應(yīng)注意在被翹曲之后，可分離變換變成不可分離。選擇可以是事先固定的，或 者可以自適應(yīng)于以不同像素為中心點的不同子幀。在一個實施例中，在自適應(yīng)的情況下，選 擇的變換是絕對值大于主閾值〒的系數(shù)的數(shù)目最少的一種變換。在一個實施例中，變換的選 擇是邊信息的一部分。圖7中圖解說明了子幀的變換選擇處理的一個實施例的流程圖。參見圖7，該處理由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯 等)，軟件(比如運行于通用計算機系統(tǒng)或?qū)Ｓ脵C器上的軟件)，或者硬件和軟件的組合。通 過處理邏輯測試變換是否是像素自適應(yīng)的，開始該處理(處理方框701)?？赏ㄟ^查閱列表， 進(jìn)行所述測試。在一個實施例中，所述列表可以是變換是非自適應(yīng)變換的列表。在另一個 實施例中，可以將所述列表作為邊信息的一部分用信號通知。如果處理邏輯確定變換是非 像素自適應(yīng)的，那么處理邏輯選擇2-D標(biāo)準(zhǔn)正交可分離DCT用作所述變換，并通過把該變換 應(yīng)用于子幀Zi，產(chǎn)生變換系數(shù)Cli (處理方框70 。如果處理邏輯確定變換是像素自適應(yīng)的， 那么對于變換庫{Η1，!!2，....}中的每種變換tf (處理方框70 ，處理邏輯利用下面的公式 計算變換系數(shù)&Clj = HjXzp變換系數(shù)dj對應(yīng)于變換Hj。隨后，對于每個j，處理邏輯計數(shù)⑴中的絕對值大于主閾值f的系數(shù)的數(shù)目(處理 方框70 ，并從變換庫中選擇具有最小計數(shù)Hk的變換，把變換Hi設(shè)定成等于對應(yīng)于最小計 數(shù)(Hk)的變換，隨后把系數(shù)Cli設(shè)定成等于變換系數(shù)dk(處理方框706)。閾值化
作為在選擇變換之后發(fā)生的閾值化處理的一部分，在一個實施例中，對變換系 數(shù)Cii應(yīng)用細(xì)節(jié)保持自適應(yīng)閾值 ，以獲得是。這里把閾值 稱為細(xì)節(jié)保持，因為其值是適應(yīng)的，以致圖像/視頻幀中的高頻細(xì)節(jié)被保持。通過利用主閾值〒，變換系數(shù)Cii也被閾值化，以獲得$可按照各種方式進(jìn)行閾值化操作。在一個實施例中，利用硬閾值化，進(jìn)行閾值化操作。在另一個實施例中，利用軟閾值化，進(jìn)行閾值化操作。硬閾值化操作被定義為
權(quán)利要求
1.一種方法，包括接收第一分辨率的第一版本的媒體；和利用至少一種變換和自適應(yīng)閾值化，創(chuàng)建第二分辨率的第二版本的媒體，所述第二分 辨率高于或等于第一分辨率。
2.按照權(quán)利要求1所述的方法，其中創(chuàng)建第二版本的媒體包括 對子幀應(yīng)用至少一種翹曲變換，以創(chuàng)建變換系數(shù)。
3.按照權(quán)利要求2所述的方法，其中所述至少一種翹曲變換包括2-D可分離DCT或2-D Hadamard 變換。
4.按照權(quán)利要求2所述的方法，還包括在通過上采樣第一版本的媒體而創(chuàng)建的圖像中 自適應(yīng)地選擇子幀，并且其中對子幀應(yīng)用所述至少一種翹曲變換以創(chuàng)建變換系數(shù)包括對圖 像中的每個所選子幀應(yīng)用變換。
5.按照權(quán)利要求4所述的方法，其中子幀是在圖像中的每個像素處自適應(yīng)選擇的。
6.按照權(quán)利要求4所述的方法，其中所述至少一種翹曲變換包括2-D可分離DCT或2-D Hadamard 變換。
7.按照權(quán)利要求1所述的方法，其中所述至少一種變換包括2-D可分離DCT或2-D Hadamard 變換。
8.按照權(quán)利要求1所述的方法，其中自適應(yīng)閾值化包括空間自適應(yīng)閾值的應(yīng)用。
9.按照權(quán)利要求1所述的方法，其中創(chuàng)建第二版本的媒體包括 計算自適應(yīng)閾值；和利用所述自適應(yīng)閾值，使變換系數(shù)閾值化。
10.按照權(quán)利要求1所述的方法，其中創(chuàng)建第二版本的媒體包括 上采樣第一版本的媒體，以創(chuàng)建上采樣圖像；利用用于每個子幀的變換，變換上采樣圖像中的子幀； 利用自適應(yīng)閾值，使用于每個變換子幀的變換系數(shù)閾值化； 逆變換閾值化的變換系數(shù)，以在像素域中形成處理后的子幀； 組合處理后的子幀，以創(chuàng)建新幀；和 對新幀應(yīng)用數(shù)據(jù)一致性操作。
11.按照權(quán)利要求10所述的方法，其中所述變換包括2-D可分離DCT或2-DHadamard變換。
12.按照權(quán)利要求11所述的方法，還包括在每個像素處把子幀設(shè)定成是規(guī)則的。
13.按照權(quán)利要求10所述的方法，還包括在每個像素處把子幀設(shè)定成是規(guī)則的。
14.按照權(quán)利要求10所述的方法，還包括自適應(yīng)選擇用于每個子幀的變換。
15.按照權(quán)利要求10所述的方法，還包括在上采樣圖像中的每個像素處自適應(yīng)地選擇 子幀。
16.按照權(quán)利要求15所述的方法，其中變換上采樣圖像中的子幀包括對所選子幀應(yīng)用 變換，其中所述變換包括2-D可分離DCT或2-DHadamard變換。
17.按照權(quán)利要求10所述的方法，還包括計算一個或多個自適應(yīng)閾值，其中利用自適 應(yīng)閾值使用于每個變換子幀的變換系數(shù)閾值化包括用所述一個或多個自適應(yīng)閾值之一使 用于每個變換子幀的變換系數(shù)閾值化。
18.按照權(quán)利要求17所述的方法，還包括自適應(yīng)地選擇在每個像素處選擇的子幀的變換。
19.按照權(quán)利要求10所述的方法，還包括自適應(yīng)地選擇在每個像素處選擇的子幀的變換。
20.按照權(quán)利要求10所述的方法，還包括發(fā)送邊信息。
21.按照權(quán)利要求1所述的方法，還包括迭代地重復(fù)用于創(chuàng)建第二版本的媒體的操作， 以便創(chuàng)建第三版本的媒體。
22.按照權(quán)利要求1所述的方法，其中創(chuàng)建第二版本的媒體包括 上采樣第一版本的媒體；對上采樣圖像中的每個像素，自適應(yīng)選擇子幀；利用變換，變換每個選擇的子幀，其中所述變換包括2-D可分離DCT或2-D Hadamard 變換；閾值化變換系數(shù)；逆變換閾值化的變換系數(shù)，以在像素域中形成處理后的子幀； 組合處理后的子幀，以創(chuàng)建新幀；和對新幀應(yīng)用數(shù)據(jù)一致性操作，以致創(chuàng)建分辨率比第一版本的媒體高的第二版本的媒體。
23.按照權(quán)利要求22所述的方法，其中第一版本的媒體是由照相機產(chǎn)生的。
24.按照權(quán)利要求22所述的方法，其中所述變換是翹曲變換。
25.按照權(quán)利要求1所述的方法，其中在視頻解碼器中產(chǎn)生第一分辨率的第一版本的 媒體，作為視頻解碼器中的后處理操作的一部分，執(zhí)行第二版本的媒體的創(chuàng)建。
26.按照權(quán)利要求1所述的方法，其中在視頻解碼器中產(chǎn)生第一分辨率的第一版本的 媒體，第二版本的媒體的創(chuàng)建部分地由視頻解碼器中的環(huán)路濾波器執(zhí)行。
27.按照權(quán)利要求1所述的方法，其中響應(yīng)在無線通信系統(tǒng)中傳送第一版本的媒體，所 述第一版本的媒體被移動設(shè)備接收，還包括把第二版本的媒體發(fā)給高分辨率顯示器，以便 在所述高分辨率顯示器上顯示。
28.按照權(quán)利要求27所述的方法，其中移動設(shè)備創(chuàng)建第二版本的媒體，并把第二版本 的媒體發(fā)給高分辨率顯示器。
29.按照權(quán)利要求27所述的方法，其中移動設(shè)備把第一版本的媒體發(fā)給停放站，所述 停放站創(chuàng)建第二版本的媒體，并把第二版本的媒體發(fā)給高分辨率顯示器。
30.按照權(quán)利要求1所述的方法，其中第一版本的媒體是終端通過網(wǎng)絡(luò)接收的視頻，所 述終端創(chuàng)建第二版本的媒體，以便在所述終端上顯示。
31.一種方法，包括利用用于每個子幀的變換，變換圖像中的子幀； 用自適應(yīng)閾值，使用于每個變換子幀的變換系數(shù)閾值化； 逆變換閾值化的變換系數(shù)，以在像素域中形成處理后的子幀； 組合處理后的子幀，以創(chuàng)建新幀。
32.按照權(quán)利要求31所述的方法，其中所述變換是翹曲變換。
33.按照權(quán)利要求31所述的方法，還包括上采樣第一分辨率的第一版本的媒體，以創(chuàng)建圖像。
34.按照權(quán)利要求33所述的方法，還包括 對新幀應(yīng)用數(shù)據(jù)一致性操作。
35.按照權(quán)利要求31所述的方法，還包括在每個像素處把子幀設(shè)定成規(guī)則的。
36.按照權(quán)利要求31所述的方法，還包括自適應(yīng)地選擇用于每個子幀的變換。
37.按照權(quán)利要求31所述的方法，還包括在上采樣圖像中的每個像素處自適應(yīng)地選擇 子幀。
38.按照權(quán)利要求37所述的方法，其中變換上采樣圖像中的子幀包括對所選子幀應(yīng)用 2-D可分離DCT或2-D Hadamard變換。
39.按照權(quán)利要求31所述的方法，還包括計算一個或多個自適應(yīng)閾值，其中利用自適 應(yīng)閾值使用于每個變換子幀的變換系數(shù)閾值化包括用所述一個或多個自適應(yīng)閾值之一使 用于每個變換子幀的變換系數(shù)閾值化。
40.按照權(quán)利要求39所述的方法，還包括自適應(yīng)地選擇用于每個像素處選擇的子幀的 變換。
41.按照權(quán)利要求31所述的方法，還包括自適應(yīng)地選擇用于每個像素處選擇的子幀的變換。
42.按照權(quán)利要求31所述的方法，還包括發(fā)送邊信息。
43.一種方法，包括利用變換，變換每個所選子幀，其中所述變換包括2-D可分離DCT或2-D Hadamard變換；利用非自適應(yīng)閾值，使變換系數(shù)閾值化；逆變換閾值化的變換系數(shù)，以在像素域中形成處理后的子幀；組合處理后的子幀，以創(chuàng)建新幀。
44.按照權(quán)利要求43所述的方法，還包括 上采樣第一版本的媒體；和對上采樣圖像中的每個像素，自適應(yīng)地選擇子幀。
45.按照權(quán)利要求43所述的方法，還包括 對新幀應(yīng)用數(shù)據(jù)一致性操作。
46.按照權(quán)利要求43所述的方法，其中在視頻解碼器中產(chǎn)生所述每個所選子幀，作為 視頻解碼器中的后處理操作的一部分，執(zhí)行新幀的創(chuàng)建。
47.按照權(quán)利要求43所述的方法，其中在視頻解碼器中產(chǎn)生所述每個所選子幀，新幀 的創(chuàng)建部分地由視頻解碼器中的環(huán)路濾波器執(zhí)行。
48.按照權(quán)利要求43所述的方法，其中響應(yīng)在無線通信系統(tǒng)中傳送所述每個所選子 幀，所述每個所選子幀被移動設(shè)備接收，還包括把新幀發(fā)給高分辨率顯示器，以便在所述高 分辨率顯示器上顯示。
49.按照權(quán)利要求48所述的方法，其中移動設(shè)備創(chuàng)建新幀，并把新幀發(fā)給高分辨率顯 不器。
50.按照權(quán)利要求48所述的方法，其中移動設(shè)備把所述每個所選子幀發(fā)給停放站，停 放站創(chuàng)建新幀，并把新幀發(fā)給高分辨率顯示器。
51.按照權(quán)利要求43所述的方法，其中所述每個所選子幀是終端通過網(wǎng)絡(luò)接收的視頻 的一部分，所述終端創(chuàng)建新幀，以便在所述終端上顯示。
52.—種具有其中保存指令的一個或多個計算機可讀存儲介質(zhì)的制造產(chǎn)品，當(dāng)被系統(tǒng) 執(zhí)行時，所述指令使系統(tǒng)執(zhí)行包括下述步驟的方法接收第一分辨率的第一版本的媒體；和利用至少一種變換和自適應(yīng)閾值化，創(chuàng)建第二分辨率的第二版本的媒體，所述第二分 辨率高于或等于第一分辨率。
53.按照權(quán)利要求52所述的制造產(chǎn)品，其中創(chuàng)建第二版本的媒體包括對子幀應(yīng)用變 換，以創(chuàng)建變換系數(shù)，其中所述變換包括2-D可分離DCT或2-D Hadamard變換。
54.按照權(quán)利要求53所述的制造產(chǎn)品，其中所述方法還包括在通過上采樣第一版本的 媒體而創(chuàng)建的圖像中，自適應(yīng)地選擇子幀，并且其中對子幀應(yīng)用至少一種翹曲變換以創(chuàng)建 變換系數(shù)包括對圖像中的每個所選子幀應(yīng)用變換，其中所述變換包括2-D可分離DCT或2-D Hadamard 變換。
55.按照權(quán)利要求M所述的制造產(chǎn)品，其中所述子幀是在圖像中的每個像素處自適應(yīng) 選擇的。
56.按照權(quán)利要求52所述的制造產(chǎn)品，其中自適應(yīng)閾值包括空間自適應(yīng)閾值。
57.按照權(quán)利要求52所述的制造產(chǎn)品，其中創(chuàng)建第二版本的媒體包括計算自適應(yīng)閾值；和利用所述自適應(yīng)閾值，使變換系數(shù)閾值化。
全文摘要
這里公開一種用于質(zhì)量增強/超分辨率技術(shù)的方法和設(shè)備。在一個實施例中，所述方法包括接收第一分辨率的第一版本的媒體，和利用至少一種變換和自適應(yīng)閾值化來創(chuàng)建第二分辨率的第二版本的媒體，所述第二分辨率高于或等于第一分辨率。
文檔編號G06T3/40GK102047287SQ200880129582
公開日2011年5月4日 申請日期2008年8月14日 優(yōu)先權(quán)日2008年6月17日
發(fā)明者O·G·居萊爾于茨, R·吉萬拉爾, S·卡紐姆里 申請人:株式會社Ntt都科摩