用于豐富深度圖的內(nèi)容的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及深度圖的領(lǐng)域，更具體地，設(shè)及豐富深度圖的內(nèi)容。還可W在計算機(jī)生 成圖像（CGI或3D-CGI)的上下文中理解本發(fā)明。
【背景技術(shù)】
[0002] 根據(jù)現(xiàn)有技術(shù)，已知將深度圖與表示場景的圖像相關(guān)聯(lián)，該圖像是表示虛擬場景 的合成圖像或由攝像機(jī)拍攝的真實(shí)場景的圖像。還已知使用包括在深度圖中的深度信息來 執(zhí)行可視性測試，即，根據(jù)攝像機(jī)視場確定場景的哪個片段被場景的另一片段遮擋。深度圖 通常與N行M列元素的陣列（也稱作像素或紋理像素）相對應(yīng)，單個深度信息與深度圖的每 個元素相關(guān)聯(lián)。當(dāng)確定場景的第一片段是否被場景的第二片段遮擋（或處于陰影中）時，深 度圖的有限分辨率導(dǎo)致一些近似，其中場景相對攝像機(jī)視場的深度被存儲在深度圖的元素 (也被稱作像素或紋理像素）中。得到的混疊是被稱作偏差混疊。尤其當(dāng)從與深度圖相關(guān) 聯(lián)的攝像機(jī)視場觀看時第一和第二片段屬于場景對象的同一表面時，可能發(fā)生該種混疊。
[0003] 為了至少部分地克服該種偏差混疊偽象，已知使用偏差值，其中使得當(dāng)片段到與 深度圖相關(guān)聯(lián)的攝像機(jī)視場的距離大于存儲在與該片段相關(guān)聯(lián)的深度圖元素中的深度加 上所述偏差時，認(rèn)為該片段被遮擋或處于陰影中。然而，引入偏差值可能導(dǎo)致被稱作陰影懸 空（peter-panning)偽象的另一混疊。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的該些缺點(diǎn)中的至少一個。
[0005] 更具體地，本發(fā)明的目的在于W比現(xiàn)有技術(shù)更好的精度確定與深度圖的一個或多 個元素相關(guān)聯(lián)的深度信息。
[0006] 本發(fā)明設(shè)及一種用于豐富與深度圖的第一元素相關(guān)聯(lián)的內(nèi)容的方法，所述深度圖 根據(jù)視點(diǎn)與場景相關(guān)聯(lián)。此后，所述方法包括如下步驟；確定對所述第一元素在深度圖空間 內(nèi)的深度變化加W表示的至少第一信息。
[0007] 根據(jù)特定特性，根據(jù)與第一元素相關(guān)聯(lián)的深度信息W及與至少第二元素相關(guān)聯(lián)的 深度信息確定所述至少第一信息，其中所述第一元素和所述至少第二元素屬于場景投影到 深度圖內(nèi)的同一表面元素。
[000引有利地，第一元素和至少第二元素是相鄰的。
[0009] 根據(jù)特定特性，通過計算第一元素和至少第二元素之間的深度差與第一元素和至 少第二元素之間的距離的比值，來確定至少第一信息。
[0010] 有利地，根據(jù)場景投影到與深度圖相關(guān)聯(lián)的攝像機(jī)視場空間內(nèi)的表面元素的方 程，確定所述至少第一信息，所述投影的表面元素包括所述第一元素。
[0011] 根據(jù)另一特性，將所述至少第一信息表示為對第一元素的深度變化加W表示的傾 角形式。
[0012] 有利地，用奇幕函數(shù)對被表示為傾角形式的所述至少第一信息進(jìn)行編碼。
[0013] 根據(jù)特定特性，針對深度圖空間的每個維度確定一個第一信息。
[0014] 根據(jù)另一特性，所述方法還包括W下步驟：存儲與深度圖中的第一元素相關(guān)聯(lián)的 至少第一信息。
[0015] 有利地，與第一元素相關(guān)聯(lián)的內(nèi)容包括對視點(diǎn)和場景片段之間的深度加W表示的 第二信息，所述片段與沿穿過第一元素的觀看方向距離所述視點(diǎn)最近的可視片段相對應(yīng)。
[0016] 本發(fā)明還設(shè)及一種配置用于豐富與深度圖的第一元素相關(guān)聯(lián)的內(nèi)容的設(shè)備，其中 深度圖根據(jù)視點(diǎn)與場景相關(guān)聯(lián)，所述設(shè)備包括：至少一個處理器，配置為用于確定對第一元 素在深度圖空間內(nèi)的深度變化加W表示的至少第一信息。
[0017] 有利地，所述至少一個處理器是圖形處理單元（GPU)。
[0018] 根據(jù)特定特性，根據(jù)與第一元素相關(guān)聯(lián)的深度信息W及與至少第二元素相關(guān)聯(lián)的 深度信息確定所述至少第一信息，其中所述第一元素和所述至少第二元素屬于場景投影到 深度圖內(nèi)的同一表面元素。
[0019] 根據(jù)另一特性，所述至少一個處理器還配置用于將所述至少第一信息表示為表示 所述第一元素的深度變化的傾角（slopeangle)形式，W及用于用奇幕函數(shù)對被表示為傾 角形式的所述至少第一信息進(jìn)行編碼。
[0020] 本發(fā)明還設(shè)及一種包括程序指令代碼的計算機(jī)程序產(chǎn)品，其中由至少一個處理器 執(zhí)行所述程序指令代碼W便當(dāng)在計算機(jī)上執(zhí)行所述程序時，執(zhí)行用于豐富與深度圖的第一 元素相關(guān)聯(lián)的內(nèi)容的方法。
【附圖說明】
[0021] 當(dāng)參考附圖閱讀W下描述時，將更好地理解本發(fā)明，了解其它具體特征和優(yōu)點(diǎn)，附 圖中：
[0022] 圖1示出了根據(jù)現(xiàn)有技術(shù)與場景相關(guān)聯(lián)的圖像和深度圖；
[0023] 圖2示出了根據(jù)本發(fā)明特定實(shí)施例圖1的深度圖的一部分；
[0024] 圖3A、3B和4示出了根據(jù)本發(fā)明兩個特性實(shí)施例投影到圖1的深度圖上的圖1場 景的表面元素的投影；
[0025] 圖5示出了根據(jù)本發(fā)明特定實(shí)施例存儲在圖1深度圖的元素內(nèi)的深度信息；
[0026] 圖6A和6B示出了根據(jù)本發(fā)明特性實(shí)施例對包括在圖1的深度圖中的深度信息進(jìn) 行編碼；
[0027] 圖7示意地示出了根據(jù)本發(fā)明的特性實(shí)施例的設(shè)備，該設(shè)備執(zhí)行用于豐富圖1中 的深度圖的內(nèi)容的方法；
[002引圖8示出了根據(jù)本發(fā)明特定實(shí)施例的用于豐富圖1的深度圖的內(nèi)容的方法。【具體實(shí)施方式】
[0029] 參考用于豐富深度圖的第一元素的內(nèi)容的方法的特定實(shí)施例來描述本發(fā)明。有利 地，深度圖與L行M列元素的陣列相對應(yīng)，并且與在一個或多個圖像中呈現(xiàn)出的場景相關(guān) 聯(lián)，其中L和M是大于0的整數(shù)。例如，深度圖所包括的元素數(shù)目與場景中圖像的像素數(shù)目 相對應(yīng)。有利地，用一個或更多個第一信息來豐富深度圖，其中第一信息表示第一元素在深 度圖空間中的深度變化。
[0030] 因此，附加第一信息使得能夠根據(jù)需要檢索與第一元素的任意點(diǎn)相關(guān)聯(lián)的深度， 然而在根據(jù)現(xiàn)有技術(shù)的深度圖中，與深度圖的元素的任意點(diǎn)相關(guān)聯(lián)的深度是相同的，并且 與和第一元素（或其中屯、）相關(guān)聯(lián)的場景中最近的可視片段的深度相對應(yīng)。
[0031] 圖1示出了根據(jù)特定非限制性的實(shí)施例在圖像11中呈現(xiàn)的場景1與關(guān)聯(lián)深度圖 10。圖像11表示從給定視點(diǎn)（也稱作攝像機(jī)視場，圖1未示出）觀看到的場景1，根據(jù)另一 視點(diǎn)1〇〇(即，另一攝像機(jī)視場）產(chǎn)生深度圖。該場景例如與虛擬場景相對應(yīng)，并包括若干 虛擬對象，例如，第一對象12和第二對象13。根據(jù)本領(lǐng)域技術(shù)人員公知的任意方法對對象 12和13進(jìn)行建模，例如通過多邊形建模（其中用多邊形集（網(wǎng)格元素）同化所述模型，由 構(gòu)成多邊形的最高點(diǎn)（summit)和邊緣的列表來限定每個多邊形）、NURBS(非均勻有理B樣 條）型曲線建模（其中通過經(jīng)由控制頂點(diǎn)產(chǎn)生的曲線集限定該模型）、通過細(xì)分表面來進(jìn)行 建模。虛擬對象應(yīng)理解為構(gòu)成真實(shí)環(huán)境/真實(shí)場景（例如，地面、房屋或前院、人、車、樹，也 就是說構(gòu)成諸如房屋、街道、城鎮(zhèn)、鄉(xiāng)村等的一部分的環(huán)境的任何元素）的對象（真實(shí)或虛 構(gòu)的）的任何虛擬表示（通過建模獲得的）或假想元素。場景1的每個對象12、13的特征 在于覆蓋該對象的表面，每個對象的表面具有它專有的反射特性（與該表面沿一個或若干 方向反射的入射光的比例相對應(yīng)）。
[0032] 深度圖10包括n個元素101. . .lOp' . . .lOn，n是大于0的整數(shù)，并定義深度圖 10的分辨率，例如分辨率等于512巧12像素、1024x1024像素或4096x4096像素。有利地， 深度信息與深度圖10的每個元素相關(guān)聯(lián)。該種深度信息與沿穿過深度圖元素的觀看方向 視點(diǎn)100和場景1的最近可視片段之間的距離相對應(yīng)，該種深度圖的元素與該場景的最近 的可視片段相關(guān)聯(lián)。W元素lOp'為例，與該元素lOp'相關(guān)聯(lián)的深度信息與沿著觀看方向 lOOp'視點(diǎn)100和場景1的片段P' 121之間的距離相對應(yīng)，觀看方向lOOp'起點(diǎn)為視點(diǎn)100 并穿過元素lOp'(有利地，穿過元素lOp'的中屯、）。片段P' 121與當(dāng)從視點(diǎn)100開始時 場景和觀看方向loop'相交的第一元素相對應(yīng)。深度信息與深度圖的對應(yīng)元素的中屯、相關(guān) 聯(lián)。有利地，對深度圖10的元素內(nèi)的深度變化加W表示的第一信息還與深度圖的每個元素 相關(guān)聯(lián)，如圖2到4所述地確定所述第一信息。
[0033] 圖像11包括m個像素111. .. 1Ip. .. 1Im，m是大于0的整數(shù)并定義了圖像11的分 辨率。有利地，m與n不同，例如，n大于m或m大于n(深度圖的分辨率例如為512巧12像 素、1024x1024像素或4096x4096像素，而圖像11的分辨率例如為1024巧68像素、1280x720 像素或1920x1200像素）。根據(jù)變型，m等于n，深度圖10和圖像11二者具有相同的分辨 率。有利地，屬性與圖像11的每個像素相關(guān)聯(lián)，例如，屬性包括與圖像的像素相關(guān)聯(lián)的場景 的片段顏色信息（例如，RGB信息）和/或半透明特性。有利地，片段與和場景1的點(diǎn)相關(guān)