專利名稱：空間優(yōu)化的紋理映射的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及圖像處理，并且尤其涉及圖像中的信息內(nèi)容均衡化，從而圖像更能抵抗縮小尺寸失真(downsizing distortion)。
背景技術(shù)：
紋理圖像是一種以低成本增強(qiáng)多邊形網(wǎng)格的真實(shí)感的簡(jiǎn)單而有效的方法。當(dāng)前多數(shù)硬件圖形加速器都提供有存儲(chǔ)器高速緩存以便存儲(chǔ)紋理圖像。在該高速緩存內(nèi)的圖像可以被圖形處理單元(GPU)通過高帶寬連接訪問，從而提高了幀速率。然而，高速緩存的大小受其成本的限制，特別是在商業(yè)的面向游戲的圖形板卡和游戲控制臺(tái)中更是這樣。由于不是應(yīng)用使用的所有紋理都能夠在同一時(shí)刻駐留在存儲(chǔ)器內(nèi)，所以需要使用復(fù)雜的存儲(chǔ)器管理算法。在高端應(yīng)用諸如飛行模擬器中，有大量的高速緩存可以使用，而所使用的紋理總數(shù)也成比例地增加了，所以需要同樣仔細(xì)地分配紋理存儲(chǔ)空間。
圖像壓縮可以減輕紋理存儲(chǔ)空間有限的問題。然而，為了獲得交互式的幀速率，壓縮的紋理必須在著色(rendering)的同時(shí)被即時(shí)地(on the fly)解碼，這需要特殊的硬件。為了最好地使用當(dāng)今傳統(tǒng)的圖形板卡上的紋理存儲(chǔ)空間，有幾位作者已經(jīng)在研究不需借助復(fù)雜的編碼而縮小存儲(chǔ)紋理圖像所需的空間的問題。
除了包括重復(fù)圖案的簡(jiǎn)單紋理之外，在圖像上細(xì)節(jié)一般不是均勻分布的。例如，采用3D掃描系統(tǒng)所得到的模型通常以包含大量背景象素的圖像作為紋理。人和角色的面部在諸如眼睛和嘴等區(qū)域需要高分辨率的細(xì)節(jié)，而其它區(qū)域的外貌可以用每單位區(qū)域內(nèi)相對(duì)較少的象素捕捉。

發(fā)明內(nèi)容
本發(fā)明通過采用一種優(yōu)化紋理圖像所使用的空間的技術(shù)解決上述的限制。在本發(fā)明的一個(gè)實(shí)現(xiàn)中，圖像的頻率成分被均勻地分布在圖像上。換言之，圖像在高頻區(qū)域被拉伸而在低頻區(qū)域被壓縮。紋理坐標(biāo)被以類似的方式重新映射以便將圖像失真考慮在內(nèi)。然后可以較低的速率再采樣(收縮)得到的圖像，而在包圍著高頻成分的區(qū)域內(nèi)具有最小的細(xì)節(jié)損失?；蛘?，可以以均勻的視覺保真度損失更主動(dòng)地對(duì)圖像在其各區(qū)域上進(jìn)行二次采樣。只有紋理圖像和紋理坐標(biāo)受到該優(yōu)化處理的影響。模型幾何形狀和其連接性都不會(huì)改變。經(jīng)過優(yōu)化的較小的圖像使用較少的紋理存儲(chǔ)空間，而無需使用專用的硬件通過通用的圖形硬件中可以得到的紋理映射功能，可以自動(dòng)地執(zhí)行它的“解壓縮”。
因此，本發(fā)明的一個(gè)方面涉及一種用于根據(jù)輸入圖像中單元圖像區(qū)域內(nèi)信息的重要性，調(diào)整該單元區(qū)域的方法。該方法包括一個(gè)用于獲得重要性映像的獲得操作。所述的重要性映像劃出了輸入圖像中的較高重要性區(qū)域和較低重要性區(qū)域。然后一個(gè)扭曲操作對(duì)輸入圖像進(jìn)行扭曲以便根據(jù)重要性映像產(chǎn)生扭曲圖像，從而擴(kuò)展較高重要性區(qū)域并且壓縮較低重要性區(qū)域。
本發(fā)明的另一方面是一種用于保持輸入圖像中的重要信息的系統(tǒng)。所述的輸入圖像包括與之相關(guān)聯(lián)的輸入紋理坐標(biāo)映射，并且該系統(tǒng)包括一個(gè)圖像接收器和一個(gè)圖像扭曲器。圖像接收器被配置為用于接收輸入圖像。圖像扭曲器耦合于一個(gè)重要性映像，并且被配置為產(chǎn)生扭曲圖像，從而在該扭曲圖像中擴(kuò)展輸入圖像中較高重要性區(qū)域，并且在該扭曲圖像中壓縮輸入圖像中較低重要性區(qū)域。重要性映像被配置為劃出輸入圖像中的較高重要性區(qū)域和較低重要性區(qū)域。
本發(fā)明的另一方面是一種計(jì)算機(jī)程序產(chǎn)品，其具有計(jì)算機(jī)可讀的程序代碼，所述代碼用于根據(jù)輸入圖像中單元圖像區(qū)域內(nèi)的信息重要性調(diào)整該單元區(qū)域。所述計(jì)算機(jī)可讀的程序代碼被配置為獲得一個(gè)重要性映像，并且根據(jù)該重要性映像對(duì)輸入圖像進(jìn)行扭曲，從而擴(kuò)展較高重要性的區(qū)域并且壓縮較低重要性的區(qū)域。
通過下面結(jié)合附圖對(duì)本發(fā)明的各種實(shí)施例的更具體的說明，可以明了本發(fā)明的上述和其它的特征、用途和優(yōu)點(diǎn)。


圖1A給出了本發(fā)明使用的一個(gè)示例性的輸入圖像。
圖1B給出了一個(gè)劃出了較重要和較不重要區(qū)域的輸入圖像。
圖1C給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)示例性的扭曲圖像。
圖1D給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)示例性的縮小的扭曲圖像。
圖1E給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)示例性的恢復(fù)圖像。
圖2給出了本發(fā)明所構(gòu)思的系統(tǒng)執(zhí)行的操作的示例性流程圖。
圖3給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)示例性系統(tǒng)。
圖4A給出了本發(fā)明所使用的一個(gè)示例性輸入圖像。
圖4B給出了帶有均勻網(wǎng)格的一個(gè)示例性輸入圖像。
圖4C給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)示例性重要性映像。
圖4D給出了本發(fā)明所構(gòu)思的一個(gè)示例性松弛網(wǎng)格。
圖4E給出了本發(fā)明的一個(gè)實(shí)施例所構(gòu)思的一個(gè)扭曲圖像。
圖5給出了本發(fā)明所構(gòu)思的一個(gè)示例性的小波包擴(kuò)展(wavelet packetexpansion)變換處理。
圖6A給出了本發(fā)明所構(gòu)思的一個(gè)示例性的輸入圖像。
圖6B給出了本發(fā)明所構(gòu)思的示例性的輸入圖像坐標(biāo)。
圖6C給出了本發(fā)明所構(gòu)思的一個(gè)示例性的扭曲圖像。
圖6D給出了本發(fā)明所構(gòu)思的示例性的扭曲坐標(biāo)。
圖6E給出了本發(fā)明所構(gòu)思的一個(gè)示例性圖像模型。
圖6F給出了本發(fā)明所構(gòu)思的一個(gè)示例性的涂繪的圖像模型。
圖7A-7D給出了在沒有使用本發(fā)明構(gòu)思的優(yōu)化處理的情況下映射到一個(gè)三維模型上的圖像紋理。
圖8A-8D給出了在使用了本發(fā)明構(gòu)思的優(yōu)化處理的情況下映射到一個(gè)三維模型上的圖像紋理。
圖9A給出了本發(fā)明所構(gòu)思的一個(gè)示例性的男像柱飾(atlas)圖像。
圖9B給出了本發(fā)明所構(gòu)思的一個(gè)示例性的經(jīng)過扭曲的男像柱飾圖像。
圖9C給出了一個(gè)已呈現(xiàn)的三維模型。
圖9D給出了使用初始的男像柱飾圖像和扭曲后的男像柱飾圖像的二次采樣誤差圖。
具體實(shí)施例方式
如下面詳細(xì)說明的，本發(fā)明有益地優(yōu)化了圖像所使用的空間。重要的圖像信息被拉伸以覆蓋更多的圖像區(qū)域，而較不重要的信息被壓縮。因此，產(chǎn)生了作為結(jié)果的扭曲后的圖像，從而在整個(gè)圖像上每個(gè)單元區(qū)域的信息重要性比率大體上是不變的。此處參考圖1-9說明本發(fā)明。當(dāng)參考這些圖時(shí)，所有圖中給出的相同的結(jié)構(gòu)和元素被以相同的標(biāo)號(hào)指示。
在圖1A中，給出了適合于根據(jù)本發(fā)明的一個(gè)實(shí)施例進(jìn)行處理的示例性圖像102。圖像102可以是任意的圖像類型，并且可以使用本領(lǐng)域的技術(shù)人員已知的各種技術(shù)來編碼。例如，圖像102可以被壓縮的、被解壓縮的、黑白的、具有灰度級(jí)的或是彩色的。此外，圖像102可以存儲(chǔ)于計(jì)算機(jī)存儲(chǔ)器內(nèi)，或者可以通過計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行傳輸。因此，圖像102通常消耗一些系統(tǒng)資源，諸如存儲(chǔ)器空間或網(wǎng)絡(luò)帶寬。
在圖1B中，給出了圖像102，該圖像具有被劃出的較重要的和較不重要的區(qū)域。例如，可以指定包括有顯著的面部特征的圖像區(qū)域比沒有這些特征的區(qū)域更重要。因此，對(duì)于一個(gè)應(yīng)用來說，眼部區(qū)域104和嘴部區(qū)域106可以被指定為是圖像102中較重要的區(qū)域。相反地，背景區(qū)域108可以被指定為是圖像102中較不重要的區(qū)域。如下面詳細(xì)說明的，本發(fā)明使用重要性映像來區(qū)分圖像102中的較重要的區(qū)域和較不重要的區(qū)域。
本發(fā)明力圖減少圖像102所消耗的系統(tǒng)資源的數(shù)量，而同時(shí)最小化被指定為重要的區(qū)域內(nèi)的圖像細(xì)節(jié)的損失量。為了達(dá)到這個(gè)目的，本發(fā)明對(duì)圖像102進(jìn)行了扭曲，從而根據(jù)重要性映像擴(kuò)展重要的圖像區(qū)域并且壓縮較不重要的圖像區(qū)域。然后，減小扭曲后的整個(gè)圖像的尺寸，因此它將消耗較少的系統(tǒng)資源。隨后，當(dāng)使用該圖像時(shí)，對(duì)已減小的扭曲后的圖像進(jìn)行擴(kuò)展并且進(jìn)行反扭曲。
在圖1C中，給出了本發(fā)明構(gòu)思的扭曲后的圖像110。在扭曲后的圖象110中，在重要性映像中被指定為較重要的區(qū)域被擴(kuò)展了，而被指定為較不重要的區(qū)域被壓縮了。因此，在扭曲后的圖像110中眼部區(qū)域112和嘴部區(qū)域114比初始圖像102中相應(yīng)的眼部區(qū)域104和嘴部區(qū)域106大。此外，扭曲后的圖像110中的背景區(qū)域116比初始圖像102中的背景區(qū)域108小。應(yīng)當(dāng)注意，扭曲后的圖像110的畫布(canvas)的大小與初始圖像102的畫布大小是相同的。
在圖1D中，給出了較小的扭曲后的圖像112。較小的扭曲后的圖像112與初始圖像102相比使用較少的系統(tǒng)資源。本發(fā)明被構(gòu)思為可以使用本領(lǐng)域的技術(shù)人員已知的任意能夠減少由扭曲后的圖像110所消耗的系統(tǒng)資源的圖像處理方法。一般地，本發(fā)明使用的處理方法是有損的壓縮方案，例如，圖像縮小尺寸、離散余弦變換(discrete cosine transformation)或是這些壓縮技術(shù)的組合。
在圖1E中，給出了恢復(fù)的圖像114?；謴?fù)的圖像114是由對(duì)較小的扭曲后的圖像112進(jìn)行圖像壓縮反轉(zhuǎn)和扭曲反轉(zhuǎn)而產(chǎn)生的。因?yàn)樵谂で蟮膱D像112中較重要的區(qū)域被擴(kuò)展了，所以它們?cè)趬嚎s階段經(jīng)受了較少的信息損失。因此，當(dāng)圖像114被恢復(fù)時(shí)，在較重要的區(qū)域內(nèi)保持了更多的圖像細(xì)節(jié)。應(yīng)當(dāng)注意，恢復(fù)后的圖像114可以不必占據(jù)與初始圖像102相同的畫布大小。例如，恢復(fù)后的圖像可以被用于在一個(gè)三維模型上進(jìn)行紋理涂繪，并且可以因此被轉(zhuǎn)換以便顯示在呈現(xiàn)的表面上。
圖2中給出了在本發(fā)明所構(gòu)思的系統(tǒng)內(nèi)所執(zhí)行的操作的流程圖。應(yīng)當(dāng)注意，給出的邏輯操作可以被實(shí)現(xiàn)為(1)在計(jì)算系統(tǒng)上運(yùn)行的一系列計(jì)算機(jī)執(zhí)行的步驟和/或(2)計(jì)算系統(tǒng)中互連的機(jī)器模塊。所述實(shí)現(xiàn)與做出的選擇有關(guān)，所述的選擇取決于實(shí)現(xiàn)本發(fā)明的系統(tǒng)所需的性能。因此，此處說明的組成本發(fā)明的實(shí)施例的邏輯操作被可選擇地稱為操作、步驟或模塊。
所述處理從接收操作202開始。在這個(gè)操作中，由系統(tǒng)輸入一個(gè)圖像。如上所述，該圖像可以是任意的類型，并且可以使用本領(lǐng)域已知的各種方法編碼。在本發(fā)明的一個(gè)實(shí)施例中，該圖像是用于涂繪在計(jì)算機(jī)圖像應(yīng)用中形成三維模型的多邊形的紋理圖像。一般地，紋理圖像包括圖像空間中的一組紋理坐標(biāo)，其允許將圖像變換到該模型表面。在接收操作202完成之后，控制被傳遞給產(chǎn)生操作204。
在產(chǎn)生操作204中，為圖像產(chǎn)生重要性映像。這個(gè)操作包括從用戶或圖像開發(fā)包接收所述的重要性映像?？蛇x擇地，如下面詳細(xì)說明的，系統(tǒng)可以處理該圖像并且自動(dòng)產(chǎn)生重要性映像。在產(chǎn)生操作204完成之后，控制被傳遞給扭曲操作206。
在扭曲操作206中，根據(jù)重要性映像扭曲該圖像，從而圖像中較重要的區(qū)域被放大，而較不重要的區(qū)域被縮小。在本發(fā)明的一個(gè)實(shí)施例中，如下面詳細(xì)說明的，使用了一種網(wǎng)格松弛算法對(duì)圖像進(jìn)行再采樣。在扭曲操作206完成之后，控制被傳遞給收縮操作208。
在收縮操作208中，扭曲后的圖像所需的系統(tǒng)資源的數(shù)量被減少。該操作可能需要收縮圖像尺寸，在圖像上使用壓縮算法或執(zhí)行本領(lǐng)域的技術(shù)人員已知的其它這類過程。一旦收縮操作208完成了，就可以將扭曲后的圖像存儲(chǔ)在計(jì)算機(jī)的圖像存儲(chǔ)器中，或在通信鏈路諸如加速圖形端口(AGP)上進(jìn)行傳輸。當(dāng)要再次顯示扭曲后的圖像時(shí)，控制被傳遞給反扭曲操作210。
在反扭曲操作210中，扭曲后的圖像被轉(zhuǎn)換回沒有失真的圖像。這個(gè)操作一般地涉及解除前面所執(zhí)行的收縮和扭曲操作208、206。在本發(fā)明的一個(gè)實(shí)施例中，如下面詳細(xì)說明的，反扭曲操作210包括在多邊形網(wǎng)格上進(jìn)行圖像變換以便形成圖像的三維圖形呈現(xiàn)。一旦完成了反扭曲操作210，該過程就結(jié)束了。
在圖3中給出了本發(fā)明構(gòu)思的示例性系統(tǒng)302。根據(jù)本發(fā)明，形成系統(tǒng)302的模塊可以是嵌入計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)可讀的程序代碼。作為例子而不是限制，計(jì)算機(jī)可讀的介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括用于存儲(chǔ)信息，諸如計(jì)算機(jī)可讀的指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的以任何方法或技術(shù)實(shí)現(xiàn)的易失的和非易失的、可移動(dòng)的和不可移動(dòng)的介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但是不限于，RAM、ROM、EEPROM、快閃存儲(chǔ)器或其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能光盤(DVD)或其它光學(xué)存儲(chǔ)裝置、磁帶盒、磁帶、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)設(shè)備，或任意其它能夠用于存儲(chǔ)所需信息并且可由管理代理訪問的介質(zhì)。通信介質(zhì)通常在調(diào)制的數(shù)據(jù)信號(hào)，諸如載波或其它傳輸機(jī)制中嵌入計(jì)算機(jī)可讀的指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，并且包括任意的信息傳遞介質(zhì)。術(shù)語(yǔ)“調(diào)制的數(shù)據(jù)信號(hào)”的含義是這樣的信號(hào)，其一個(gè)或多個(gè)特征被以如此的方式設(shè)置或改變，以至于在該信號(hào)內(nèi)編碼了信息。作為例子而不是限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接連線連接的有線介質(zhì)，以及諸如聲音、射頻、紅外線以及其它的無線介質(zhì)。上面所述的任意的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
系統(tǒng)302包括圖像接收器304，它被配置為接收一個(gè)輸入圖像102。為了參考，圖4A中給出了一個(gè)示例性的輸入圖像102。回到圖3，圖像接收器304連接于網(wǎng)格產(chǎn)生器306。網(wǎng)格產(chǎn)生器被配置為在輸入圖像102上定義一均勻的網(wǎng)格。圖4B給出了帶有示例性均勻網(wǎng)格的輸入圖像102。可以構(gòu)想使得網(wǎng)格的行數(shù)和列數(shù)可適應(yīng)于輸入圖像102。在本發(fā)明的一個(gè)實(shí)施例中，可以根據(jù)拉普拉斯平滑過程的收斂狀態(tài)反復(fù)地細(xì)化網(wǎng)格的分辨率(在下面有詳細(xì)的說明)。在這種方法中，起初使網(wǎng)格分辨率低，但是隨著網(wǎng)格松弛迭代逐漸地增加。因此，網(wǎng)格中頂點(diǎn)的數(shù)目可以取決于圖像尺寸、顏色和/或其它圖像屬性。在本發(fā)明的一個(gè)特定實(shí)施例中，系統(tǒng)用戶可以交互地指定網(wǎng)格的精度，并且因此直接地影響下面說明的扭曲過程的精度。
返回圖3，網(wǎng)格產(chǎn)生器306連接于網(wǎng)格松弛模塊308。網(wǎng)格松弛模塊308根據(jù)一重要性映像對(duì)均勻圖像網(wǎng)格進(jìn)行松弛處理，以便產(chǎn)生松弛的網(wǎng)格。如上所述，可以由用戶指定重要性映像310，或是由系統(tǒng)302產(chǎn)生重要性映像312。在用戶提供重要性映像310的情況下，重要性映像310可以是另一圖像，其中每個(gè)象素位置指明了相應(yīng)的圖像象素的重要性。由用戶傳遞重要性映像310的可能性使得能夠?qū)D像102執(zhí)行特定的轉(zhuǎn)換。
可選擇地，連接于圖像接收器304的圖像評(píng)估器314可以被配置為產(chǎn)生重要性映像312。在本發(fā)明的一個(gè)實(shí)施例中，使用了小波包擴(kuò)展變換分析輸入圖像102的頻率成分，從而產(chǎn)生重要性映像312。這個(gè)變換將圖像分解為一組表明了頻率子帶特征的系數(shù)。
現(xiàn)在參考圖5，其給出了本發(fā)明所構(gòu)想的小波包擴(kuò)展變換處理。該處理使用了多級(jí)的方法為輸入圖像102中的每個(gè)象素分配一個(gè)重要性值。該處理包括分類循環(huán)502、504、506，以便將每個(gè)象素分類到兩個(gè)重要性類中。分類循環(huán)502、504、506的每次迭代都將圖像的重要性類數(shù)目加倍。因此，在分類循環(huán)502、504、506的第一次迭代之后，圖像102的每個(gè)象素被分類到兩個(gè)重要性類中的一個(gè)內(nèi)。在分類循環(huán)502、504、506的第二次迭代之后，每個(gè)象素被分類到四個(gè)重要性類中的一個(gè)內(nèi)，并且以此類推。重復(fù)該分類循環(huán)直到在決定操作506中滿足了一個(gè)活動(dòng)準(zhǔn)則為止。
該處理中的分類操作502接收輸入圖像102，并且將每個(gè)象素分類到低頻(LF)類或高頻(HF)類。一般地，高頻區(qū)域包括邊緣和小的細(xì)節(jié)，而低頻區(qū)域包括強(qiáng)度上的低的變化。為了準(zhǔn)確地檢測(cè)頻率改變，對(duì)輸入圖像102執(zhí)行了多尺度分析(multiscale analysis)。因此，通過尋找細(xì)節(jié)系數(shù)矩陣中的局部最大值，可以有效地檢測(cè)到邊緣。這些值被稱為小波最大值(wavelet maxima)。
因此，在分類操作502中，檢測(cè)每個(gè)象素I(u，v)，以在包圍著相應(yīng)的小波系數(shù)的區(qū)域內(nèi)尋找小波最大值的存在。如果存在這樣的最大值，則這種存在就被以M(u，v)記錄在頻率映像中。小波包變換允許在多個(gè)尺度(即，頻率)上發(fā)現(xiàn)最大值，這導(dǎo)致了將圖像分類到頻率區(qū)域。
在分類操作502的第一次迭代之后，將圖像變換為一組低通系數(shù)(描述在0和π/2之間的頻率)，以及三組細(xì)節(jié)系數(shù)(表示π/2和π之間的頻率)。對(duì)于每組細(xì)節(jié)系數(shù)，利用根據(jù)相應(yīng)子帶的方差估計(jì)出的閾值測(cè)量小波最大值。因此，在分類循環(huán)502、504、506的第一次迭代之后，象素被分為兩組，并且結(jié)果被存儲(chǔ)在如下定義的矩陣M1(u，v)中 在分類操作502的第二次迭代之后，每個(gè)子帶被再次分為兩個(gè)半頻帶。因此，M1(u，v)被細(xì)化了；通過在相應(yīng)的細(xì)節(jié)矩陣中尋找小波最大值，將每個(gè)先前的個(gè)體分類。因此，新的矩陣M2(u，v)定義為 在測(cè)量操作504中，進(jìn)行活動(dòng)測(cè)量以確定分類循環(huán)502、504、506的另一次迭代是否是必要的。活動(dòng)測(cè)量可以基于各種度量準(zhǔn)則，包括重要性類的數(shù)目、分類的精度、提供給用戶的預(yù)定計(jì)算資源、輸入圖像102中的數(shù)量信息的大小或是這些活動(dòng)測(cè)量的任意組合。在決定操作506中，如果活動(dòng)測(cè)量沒有達(dá)到一個(gè)閾值級(jí)，控制返回到分類操作502。如果活動(dòng)測(cè)量達(dá)到了該閾值級(jí)，則輸出重要性映像312，并結(jié)束變換。在圖4C中，給出了由小波包擴(kuò)展變換產(chǎn)生的一個(gè)示例性的重要性映像312。
返回到圖3，根據(jù)重要性映像310或312所指示的，網(wǎng)格松弛模塊308使用一松弛算法在輸入圖像102的比較重要的區(qū)域中集中網(wǎng)格頂點(diǎn)，并且在輸入圖像的較不重要的區(qū)域中分散網(wǎng)格頂點(diǎn)。例如，圖4D給出了具有根據(jù)圖4C的重要性映像的松弛網(wǎng)格的輸入圖像。如圖4D中所示，該松弛網(wǎng)格的頂點(diǎn)在包括較多細(xì)節(jié)的區(qū)域中是集中的，并且在包含較少細(xì)節(jié)的區(qū)域中是分散的。
在本發(fā)明的一個(gè)實(shí)施例中，使用拉普拉斯平滑過程，以便在圖像上均勻地分布信息，根據(jù)重要性映像拉伸或收縮區(qū)域。尤其是，網(wǎng)格松弛模塊308通過最小化能量函數(shù)(energy funtion)對(duì)均勻網(wǎng)格進(jìn)行松弛，該能量函數(shù)為Eσ(v)=Σe=(i,j)σ(vi)σ(vj)|vi-vj|2]]>這個(gè)松弛過程將頂點(diǎn)移動(dòng)到新的位置，從而由一條網(wǎng)格邊e＝(i，j)連接的兩個(gè)頂點(diǎn)vi和vj之間的距離|vi-vj|與該邊中點(diǎn)處的頻率映像σ近似地成反比。松弛過程是一個(gè)連續(xù)的近似過程，其中通過將一個(gè)位移添加到相應(yīng)的當(dāng)前位置vIn上，確定頂點(diǎn)vin+1的新位置。位移向量是利用下式計(jì)算的δU(v)i=Σj∈i*uij(vj-vi)-{Σj∈i*uij|vi-vj|2}▿σ(vi)2σ(vi)]]>其中i*是通過一條網(wǎng)格邊連接到i的網(wǎng)格頂點(diǎn)索引(vertex index)的集合，并且ui=Σj∈i*σ(vj)uij=σ(vj)/ui]]>單元方塊的四個(gè)角(它們相應(yīng)于該網(wǎng)格的四個(gè)頂點(diǎn))被約束為不能移動(dòng)，并且其它邊界頂點(diǎn)被約束為僅能沿著它們的支撐直線邊界段移動(dòng)。結(jié)果是受約束的位移向量δ(vn)i，它們隨后被用于當(dāng)前頂點(diǎn)位置，vin+1=vin+δ(vn)i---i=1,...,N]]>
返回到圖3，在網(wǎng)格松弛模塊308中獲得的松弛網(wǎng)格被圖像扭曲器316用于對(duì)輸入圖像進(jìn)行再采樣，由此生成扭曲后的圖像110。由圖像扭曲器316執(zhí)行的再采樣處理包括使用松弛網(wǎng)格(其位于輸入圖像域中)查詢扭曲后的圖像110中的每個(gè)象素在輸入圖像102中的位置。所返回的位置被用于獲取一個(gè)顏色強(qiáng)度，然后該顏色強(qiáng)度被復(fù)制到扭曲后的圖像110的開始位置。為扭曲后的圖像110中的每個(gè)象素重復(fù)這些步驟，如圖4E中所示。
本發(fā)明在使用紋理映射的圖形系統(tǒng)中是特別有益的。在這種系統(tǒng)中，二維紋理圖像與被用于涂繪三維模型的紋理坐標(biāo)相關(guān)聯(lián)?，F(xiàn)代圖形加速器一般能夠使用所提供的紋理坐標(biāo)自動(dòng)地將紋理圖像轉(zhuǎn)換(或紋理映射)到模型上。
因此，返回到圖3，與輸入圖像102相關(guān)聯(lián)的一組輸入紋理坐標(biāo)318也被圖像扭曲器316以與對(duì)輸入圖像102相同的方式進(jìn)行扭曲。特別是，輸入紋理坐標(biāo)318中的每個(gè)坐標(biāo)被扭曲到由松弛網(wǎng)格所規(guī)定的新的扭曲后的坐標(biāo)。結(jié)果是相應(yīng)于扭曲后的圖像110的一組輸出紋理坐標(biāo)320。
例如，在圖6A-6F中，給出了說明本發(fā)明所構(gòu)思的紋理映射系統(tǒng)的圖像。紋理映射系統(tǒng)包括輸入圖像102和該輸入圖像域內(nèi)的一組輸入圖像坐標(biāo)318。輸入圖像坐標(biāo)318相應(yīng)于三維模型602的坐標(biāo)，其中在該三維模型602上將涂繪該輸入圖像102。因此，輸入圖像102被映射到該模型602上，生成涂繪的三維圖像604。如所提及的，大多數(shù)現(xiàn)代的圖形加速器被配置為當(dāng)提供了輸入圖像102和輸入紋理坐標(biāo)318時(shí)，自動(dòng)地將紋理映射到三維模型602上。
在本發(fā)明的一個(gè)實(shí)施例中，輸入圖像102和輸入坐標(biāo)318兩者都根據(jù)松弛網(wǎng)格進(jìn)行扭曲，由此生成扭曲后的圖像110和扭曲后的坐標(biāo)320。因?yàn)樵撔┳鴺?biāo)是與該圖像一道扭曲的，所以當(dāng)利用扭曲后的圖像110和扭曲后的坐標(biāo)320涂繪模型602時(shí)，三維圖像604上出現(xiàn)很少失真或沒有出現(xiàn)失真。因此，扭曲后的圖像110被具有紋理映射功能的現(xiàn)代圖形加速器自動(dòng)地“反扭曲”了。因此本發(fā)明可以被用于壓縮圖像，而同時(shí)通過利用現(xiàn)有的圖形加速器技術(shù)反扭曲這些處理過的圖像來保持它們的細(xì)節(jié)。
為了更好地說明本發(fā)明的優(yōu)點(diǎn)，現(xiàn)在參考圖7A-7D以及圖8A-8D。在圖7A-7D中，在沒有使用本發(fā)明所構(gòu)思的優(yōu)化處理的情況下，將一個(gè)圖像紋理映射到三維模型。在圖8A-8D中，在使用本發(fā)明所構(gòu)思的優(yōu)化處理的情況下，將一個(gè)圖像紋理映射到該三維模型。圖7A和8A給出了使用初始(未縮小的)圖像的紋理映射。圖7B和8B給出了將圖像縮小到初始圖像的30％之后的紋理映射。圖7C和8C給出了將圖像縮小到初始圖像的20％之后的紋理映射。圖7D和8D給出了將圖像縮小到初始圖像的10％之后的紋理映射。比較兩組圖，顯然，沒有優(yōu)化的紋理更能明顯看到象素化的矯作物，特別是在30％和20％的初始圖像上。甚至在10％的初始大小上，優(yōu)化的圖像也保持了一些沒有出現(xiàn)在未優(yōu)化版本中高頻細(xì)節(jié)。
在圖9A中，給出了花園守護(hù)神(garden gnome)的紋理男像柱飾圖像。該男像柱飾圖像被用于對(duì)一個(gè)從各種角度觀看的三維模型進(jìn)行紋理映射。在圖9B中，給出了根據(jù)本發(fā)明對(duì)初始男像柱飾圖像進(jìn)行了扭曲。初始男像柱飾圖像和扭曲后的男像柱飾圖像都被用于呈現(xiàn)圖9C中所示的三維圖像。然后在這兩個(gè)已呈現(xiàn)的圖像上以各種圖像壓縮因子執(zhí)行圖像失真分析，并且在圖9D中將該分析結(jié)果用曲線圖表示出來。橫軸以初始圖像的比例的形式表示再采樣圖像的尺寸。從右至左，紋理被逐漸收縮。縱軸表示對(duì)數(shù)標(biāo)度上的誤差。因此，在圖9D中給出了在使用和不使用本發(fā)明的優(yōu)化處理的情況下由再采樣該圖像所引入的誤差。如圖所示，除了很小(小于10％)的收縮因子之外，對(duì)于基本上所有的圖像大小而言，優(yōu)化圖像都產(chǎn)生了較小的誤差。
為了說明和描述的目的已經(jīng)給出了前面對(duì)本發(fā)明的描述。這并不意味著是窮舉性的或者是限定到所公開的精確形式，而是根據(jù)以上的講述可以進(jìn)行其它修改和改變。例如，本發(fā)明可以使用可替代的消息序列選擇最佳發(fā)送和接收節(jié)點(diǎn)。因此為了最好地解釋本發(fā)明的原理及其實(shí)際應(yīng)用而選擇并說明了所公開的實(shí)施例，由此能夠使本領(lǐng)域技術(shù)人員最好地在適于所構(gòu)思的特定用途的各種實(shí)施例和各種修改中使用本發(fā)明。所意欲的是，所附權(quán)利要求被解釋為包括除了現(xiàn)有技術(shù)所限定的范圍之外的、本發(fā)明其它可替換的實(shí)施例。
權(quán)利要求
1.一種用于根據(jù)輸入圖像內(nèi)單元圖像區(qū)域內(nèi)的信息重要性調(diào)整該單元圖像區(qū)域的方法，該方法包括獲得重要性映像，該重要性映像劃出了輸入圖像中較高重要性的區(qū)域和較低重要性的區(qū)域；以及根據(jù)重要性映像扭曲輸入圖像以便生成扭曲后的圖像，從而擴(kuò)展較高重要性的區(qū)域而壓縮較低重要性的區(qū)域。
2.根據(jù)權(quán)利要求1的方法，其中扭曲輸入圖像包括這樣扭曲輸入圖像，從而在整個(gè)圖像上每單元區(qū)域的信息重要性比率大體上是不變的。
3.根據(jù)權(quán)利要求1的方法，還包括扭曲與輸入圖像相關(guān)的紋理坐標(biāo)的位置以便獲得反向扭曲功能。
4.根據(jù)權(quán)利要求1的方法，還包括產(chǎn)生所述的重要性映像。
5.根據(jù)權(quán)利要求4的方法，其中產(chǎn)生重要性映像包括測(cè)量輸入圖像中的局部頻率分量。
6.根據(jù)權(quán)利要求5的方法，其中測(cè)量局部頻率分量包括將輸入圖像的每個(gè)單元區(qū)域分類到一對(duì)活動(dòng)類；以及重復(fù)該分類操作直到達(dá)到了一個(gè)活動(dòng)測(cè)量準(zhǔn)則為止。
7.根據(jù)權(quán)利要求1的方法，還包括根據(jù)重要性映像對(duì)均勻網(wǎng)格進(jìn)行松弛，以形成松弛網(wǎng)格，從而收縮較高重要性區(qū)域內(nèi)的網(wǎng)格頂點(diǎn)，并且擴(kuò)展較低重要性區(qū)域內(nèi)的網(wǎng)格頂點(diǎn)。
8.根據(jù)權(quán)利要求7的方法，其中扭曲輸入圖像包括使用松弛網(wǎng)格將一種變換應(yīng)用到每個(gè)單元區(qū)域，以便為輸入圖像內(nèi)單元區(qū)域的每個(gè)位置計(jì)算在輸入圖像中的新的位置。
9.根據(jù)權(quán)利要求1的方法，還包括收縮扭曲后的圖像。
10.根據(jù)權(quán)利要求1的方法，還包括對(duì)扭曲后的圖像進(jìn)行反扭曲。
11.一種用于保持輸入圖像中的重要信息的系統(tǒng)，輸入圖像具有與其相關(guān)聯(lián)的輸入紋理坐標(biāo)映射，所述系統(tǒng)包括圖像接收器，被配置為接收輸入圖像；以及耦合于一個(gè)重要性映像的圖像扭曲器，圖像扭曲器被配置為產(chǎn)生扭曲后的圖像，從而在扭曲后的圖像中對(duì)輸入圖像中較高重要性的區(qū)域進(jìn)行了擴(kuò)展，而在扭曲后的圖像中對(duì)輸入圖像中較低重要性的區(qū)域進(jìn)行了壓縮，并且其中重要性映像被配置為劃出輸入圖像中較高重要性區(qū)域和較低重要性區(qū)域。
12.根據(jù)權(quán)利要求11的系統(tǒng)，其中圖像扭曲器還被配置為產(chǎn)生扭曲后的紋理坐標(biāo)映射，其中該扭曲后的紋理坐標(biāo)映射包括輸入紋理坐標(biāo)映射的變換，以便獲得反向扭曲功能。
13.根據(jù)權(quán)利要求11的系統(tǒng)，還包括耦合于圖像接收器的圖像評(píng)估器，該圖像評(píng)估器被配置為產(chǎn)生重要性映像。
14.根據(jù)權(quán)利要求11的系統(tǒng)，還包括耦合于圖像接收器的網(wǎng)格產(chǎn)生器，網(wǎng)格產(chǎn)生器被配置為在輸入圖像中定義均勻網(wǎng)格；以及耦合于網(wǎng)格產(chǎn)生器的網(wǎng)格松弛模塊，網(wǎng)格松弛模塊被配置為根據(jù)重要性映像松弛均勻圖像網(wǎng)格并生成松弛網(wǎng)格。
15.一種被包含在有形介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品，包括耦合于有形介質(zhì)的計(jì)算機(jī)可讀程序代碼，所述的程序代碼用于根據(jù)輸入圖像內(nèi)單元圖像區(qū)域內(nèi)的信息重要性調(diào)整該單元圖像區(qū)域，所述的計(jì)算機(jī)可讀程序代碼被配置為使該程序執(zhí)行如下步驟獲得重要性映像，重要性映像劃出了輸入圖像中較高重要性區(qū)域和較低重要性區(qū)域；以及根據(jù)重要性映像扭曲輸入圖像以便生成扭曲后的圖像，從而擴(kuò)展較高重要性的區(qū)域，而收縮較低重要性的區(qū)域。
16.根據(jù)權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算機(jī)可讀程序代碼扭曲輸入圖像包括對(duì)輸入圖像這樣進(jìn)行扭曲，從而在整個(gè)圖像上每單元區(qū)域的信息重要性比率大體上是不變的。
17.根據(jù)權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，還包括對(duì)與輸入圖像相關(guān)聯(lián)的紋理坐標(biāo)的位置進(jìn)行扭曲、以便獲得反向扭曲功能的計(jì)算機(jī)可讀程序代碼。
18.根據(jù)權(quán)利要求1的計(jì)算機(jī)程序產(chǎn)品，還包括用于產(chǎn)生重要性映像的計(jì)算機(jī)可讀程序代碼。
19.根據(jù)權(quán)利要求18的計(jì)算機(jī)程序產(chǎn)品，其中用于產(chǎn)生重要性映像的計(jì)算機(jī)可讀程序代碼包括用于在輸入圖像中測(cè)量局部頻率分量的計(jì)算機(jī)可讀程序代碼。
20.根據(jù)權(quán)利要求19的計(jì)算機(jī)程序產(chǎn)品，其中用于測(cè)量局部頻率分量的計(jì)算機(jī)可讀程序代碼包括用于將輸入圖像的每個(gè)單元區(qū)域分類到一對(duì)活動(dòng)類的計(jì)算機(jī)可讀程序代碼；以及用于重復(fù)分類操作直到達(dá)到活動(dòng)測(cè)量準(zhǔn)則時(shí)為止的計(jì)算機(jī)可讀程序代碼。
21.根據(jù)權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，還包括用于根據(jù)重要性映像松弛均勻網(wǎng)格以便形成松弛網(wǎng)格的計(jì)算機(jī)可讀程序代碼，從而收縮較高重要性的區(qū)域內(nèi)的網(wǎng)格頂點(diǎn)，而擴(kuò)展較低重要性的區(qū)域內(nèi)的網(wǎng)格頂點(diǎn)。
22.根據(jù)權(quán)利要求21的計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算機(jī)可讀程序代碼扭曲輸入圖像包括對(duì)每個(gè)單元區(qū)域使用松弛網(wǎng)格應(yīng)用一種變換，以便為輸入圖像內(nèi)單元區(qū)域的每個(gè)位置計(jì)算其在輸入圖像中的新的位置。
23.根據(jù)權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，還包括用于壓縮扭曲后的圖像的計(jì)算機(jī)可讀程序代碼。
24.根據(jù)權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，還包括用于對(duì)扭曲后的圖像進(jìn)行反扭曲的計(jì)算機(jī)可讀程序代碼。
全文摘要
公開了用于根據(jù)輸入圖像內(nèi)單元圖像區(qū)域內(nèi)的信息重要性調(diào)整該單元圖像區(qū)域的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。圖像接收器(304)被配置為接收輸入圖像(102)。圖像扭曲器(316)耦合于重要性映像(310)，并且被配置為產(chǎn)生扭曲后的圖像(110)，從而在扭曲后的圖像(110)中擴(kuò)展了輸入圖像中較高重要性的區(qū)域，而在扭曲后的圖像(110)中壓縮了輸入圖像內(nèi)較低重要性的區(qū)域。重要性映像(310)被配置為劃出輸入圖像(102)中較高重要性區(qū)域和較低重要性區(qū)域。還能夠以相似的方式扭曲紋理坐標(biāo)(318)。因此，具有紋理映射能力的現(xiàn)有圖形調(diào)整器可以對(duì)圖像自動(dòng)地進(jìn)行反扭曲。
文檔編號(hào)G06T15/04GK1630876SQ03803702
公開日2005年6月22日 申請(qǐng)日期2003年2月10日 優(yōu)先權(quán)日2002年2月12日
發(fā)明者L·巴爾梅利, F·貝爾納迪尼, G·陶賓 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司