所公開的主題涉及用于利用注視點(diǎn)網(wǎng)格渲染沉浸式視頻內(nèi)容的方法、系統(tǒng)和介質(zhì)。更具體地說，所公開的主題可以將視頻內(nèi)容作為紋理應(yīng)用于注視點(diǎn)網(wǎng)格，該注視點(diǎn)網(wǎng)格通過犧牲視頻的周邊部分中的像素密度來增加視頻的中央部分中的像素密度。

背景技術(shù)：

1、許多用戶喜歡在沉浸式環(huán)境中觀看視頻內(nèi)容，如虛擬現(xiàn)實(shí)內(nèi)容、增強(qiáng)現(xiàn)實(shí)內(nèi)容、三維內(nèi)容、180度內(nèi)容或360度內(nèi)容，這些可以為觀看者提供沉浸式體驗(yàn)。例如，虛擬現(xiàn)實(shí)系統(tǒng)可以為用戶生成沉浸式虛擬現(xiàn)實(shí)環(huán)境，其中用戶可以與一個(gè)或多個(gè)虛擬對象交互。在更具體的示例中，可以使用諸如虛擬現(xiàn)實(shí)頭載式設(shè)備或頭戴式顯示設(shè)備的設(shè)備來提供沉浸式虛擬現(xiàn)實(shí)環(huán)境。在另一示例中，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以為用戶生成沉浸式增強(qiáng)現(xiàn)實(shí)環(huán)境，其中計(jì)算機(jī)生成的內(nèi)容（例如，一個(gè)或多個(gè)圖像）可以疊加在用戶的當(dāng)前視圖上（例如，使用移動設(shè)備的相機(jī)）。

2、沉浸式視頻內(nèi)容經(jīng)常通過將視頻內(nèi)容應(yīng)用到網(wǎng)格例如魚眼網(wǎng)格或三維等矩形網(wǎng)格來渲染，這使得視頻內(nèi)容被渲染成就像是填充球體的一部分而不是看起來平坦。然而，渲染沉浸式視頻內(nèi)容同時(shí)優(yōu)化此類內(nèi)容的視頻品質(zhì)是一項(xiàng)困難且資源密集的任務(wù)。

3、因此，希望提供用于利用注視點(diǎn)網(wǎng)格渲染沉浸式視頻內(nèi)容的新方法、系統(tǒng)和介質(zhì)。

技術(shù)實(shí)現(xiàn)思路

1、提供了利用注視點(diǎn)網(wǎng)格渲染沉浸式視頻內(nèi)容的方法、系統(tǒng)和介質(zhì)。

2、根據(jù)所公開主題的一些實(shí)施例，提供了一種用于生成沉浸式視頻內(nèi)容的方法，該方法包括：接收視頻內(nèi)容項(xiàng)；使用硬件處理器確定視頻內(nèi)容項(xiàng)是否滿足至少一個(gè)準(zhǔn)則；響應(yīng)于確定視頻內(nèi)容項(xiàng)滿足至少一個(gè)準(zhǔn)則，使用硬件處理器根據(jù)注視點(diǎn)比率參數(shù)生成視頻內(nèi)容項(xiàng)的幀被投影在其上的注視點(diǎn)網(wǎng)格，其中注視點(diǎn)網(wǎng)格具有非均勻位置映射，與視頻內(nèi)容項(xiàng)的每一幀的周邊部分相比，非均勻位置映射增加了視頻內(nèi)容項(xiàng)的每一幀的中央部分中的像素密度；以及以包括所生成的注視點(diǎn)網(wǎng)格的文件格式存儲視頻內(nèi)容項(xiàng)，其中通過將視頻內(nèi)容項(xiàng)作為紋理應(yīng)用于所生成的注視點(diǎn)網(wǎng)格來渲染沉浸式視頻內(nèi)容。

3、在一些實(shí)施例中，至少一個(gè)準(zhǔn)則包括確定所接收的視頻內(nèi)容項(xiàng)是否與特定文件格式相關(guān)聯(lián)。在一些實(shí)施例中，特定文件格式包括使用具有180度視場的定向立體投影的vr180文件格式。

4、在一些實(shí)施例中，至少一個(gè)準(zhǔn)則包括確定所接收的視頻內(nèi)容項(xiàng)是包括立體內(nèi)容還是單視場內(nèi)容，并且方法還包括響應(yīng)于確定所接收的視頻內(nèi)容項(xiàng)包括立體內(nèi)容而生成注視點(diǎn)網(wǎng)格。

5、在一些實(shí)施例中，至少一個(gè)準(zhǔn)則包括確定所接收的視頻內(nèi)容項(xiàng)是靜態(tài)視頻還是動態(tài)視頻，靜態(tài)視頻包括當(dāng)捕獲視頻內(nèi)容時(shí)相機(jī)基本上沒有移動的視頻內(nèi)容，動態(tài)視頻包括相機(jī)運(yùn)動元數(shù)據(jù)軌道，并且方法還包括響應(yīng)于確定所接收的視頻內(nèi)容項(xiàng)是靜態(tài)視頻而生成注視點(diǎn)網(wǎng)格。

6、在一些實(shí)施例中，至少一個(gè)準(zhǔn)則包括確定所接收的視頻內(nèi)容項(xiàng)是否與特定類型的輸入網(wǎng)格相關(guān)聯(lián)，并且方法還包括響應(yīng)于確定所接收的視頻內(nèi)容項(xiàng)與裁剪的等矩形網(wǎng)格相關(guān)聯(lián)而生成注視點(diǎn)網(wǎng)格。在一些實(shí)施例中，通過使用多項(xiàng)式擬合函數(shù)使裁剪的等矩形網(wǎng)格的二維uv映射變形來生成注視點(diǎn)網(wǎng)格。

7、在一些實(shí)施例中，該方法還包括基于第一注視點(diǎn)比率參數(shù)生成第一注視點(diǎn)網(wǎng)格，以及基于第二注視點(diǎn)比率參數(shù)生成第二注視點(diǎn)網(wǎng)格。

8、在一些實(shí)施例中，響應(yīng)于確定接收的視頻內(nèi)容項(xiàng)從第一像素分辨率以下采樣比被下采樣到第二像素分辨率，并且視頻內(nèi)容項(xiàng)的每一幀的中央部分處的改善比對應(yīng)于下采樣比，生成注視點(diǎn)網(wǎng)格。

9、在一些實(shí)施例中，該方法還包括響應(yīng)于從用戶設(shè)備接收到對視頻內(nèi)容項(xiàng)的請求，將視頻內(nèi)容和生成的注視點(diǎn)網(wǎng)格發(fā)送到用戶設(shè)備。

10、根據(jù)所公開主題的一些實(shí)施例，提供了一種用于生成沉浸式視頻內(nèi)容的系統(tǒng)，該系統(tǒng)包括存儲器和硬件處理器，當(dāng)執(zhí)行被存儲在存儲器中的計(jì)算機(jī)可執(zhí)行指令時(shí)，硬件處理器被配置為：接收視頻內(nèi)容項(xiàng)；確定視頻內(nèi)容項(xiàng)是否滿足至少一個(gè)準(zhǔn)則；響應(yīng)于確定視頻內(nèi)容項(xiàng)滿足至少一個(gè)準(zhǔn)則根據(jù)注視點(diǎn)比率參數(shù)生成視頻內(nèi)容項(xiàng)的幀被投影在其上的注視點(diǎn)網(wǎng)格，其中注視點(diǎn)網(wǎng)格具有非均勻位置映射，與視頻內(nèi)容項(xiàng)的每一幀的周邊部分相比，非均勻位置映射增加了視頻內(nèi)容項(xiàng)的每一幀的中央部分中的像素密度；以及以包括所生成的注視點(diǎn)網(wǎng)格的文件格式存儲視頻內(nèi)容項(xiàng)，其中通過將視頻內(nèi)容項(xiàng)作為紋理應(yīng)用于所生成的注視點(diǎn)網(wǎng)格來渲染沉浸式視頻內(nèi)容。

11、根據(jù)所公開主題的一些實(shí)施例，提供了一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包含計(jì)算機(jī)可執(zhí)行指令，當(dāng)由處理器執(zhí)行時(shí)，計(jì)算機(jī)可執(zhí)行指令使處理器實(shí)現(xiàn)用于與沉浸式視頻內(nèi)容交互的方法，該方法包括：接收視頻內(nèi)容項(xiàng)；確定視頻內(nèi)容項(xiàng)是否滿足至少一個(gè)準(zhǔn)則；響應(yīng)于確定視頻內(nèi)容項(xiàng)滿足至少一個(gè)準(zhǔn)則根據(jù)注視點(diǎn)比率參數(shù)生成視頻內(nèi)容項(xiàng)的幀被投影在其上的注視點(diǎn)網(wǎng)格，其中注視點(diǎn)網(wǎng)格具有非均勻位置映射，與視頻內(nèi)容項(xiàng)的每一幀的周邊部分相比，非均勻位置映射增加了視頻內(nèi)容項(xiàng)的每一幀的中央部分中的像素密度；以及以包括所生成的注視點(diǎn)網(wǎng)格的文件格式存儲視頻內(nèi)容項(xiàng)，其中通過將視頻內(nèi)容項(xiàng)作為紋理應(yīng)用于所生成的注視點(diǎn)網(wǎng)格來渲染沉浸式視頻內(nèi)容。

12、根據(jù)所公開主題的一些實(shí)施例，提供了一種用于生成沉浸式視頻內(nèi)容的系統(tǒng)，該系統(tǒng)包括：用于接收視頻內(nèi)容項(xiàng)的裝置；用于確定視頻內(nèi)容項(xiàng)是否滿足至少一個(gè)準(zhǔn)則的裝置；用于響應(yīng)于確定視頻內(nèi)容項(xiàng)滿足至少一個(gè)準(zhǔn)則而根據(jù)注視點(diǎn)比率參數(shù)生成視頻內(nèi)容項(xiàng)的幀被投影在其上的注視點(diǎn)網(wǎng)格的裝置，其中注視點(diǎn)網(wǎng)格具有與視頻內(nèi)容項(xiàng)的每一幀的周邊部分相比增加視頻內(nèi)容項(xiàng)的每一幀的中央部分中的像素密度的非均勻位置映射；以及用于以包括所生成的注視點(diǎn)網(wǎng)格的文件格式存儲視頻內(nèi)容項(xiàng)的裝置，其中通過將視頻內(nèi)容項(xiàng)作為紋理應(yīng)用于所生成的注視點(diǎn)網(wǎng)格來渲染沉浸式視頻內(nèi)容。

技術(shù)特征：

1.一種用于生成沉浸式視頻內(nèi)容的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，通過使用多項(xiàng)式擬合函數(shù)使裁剪的等矩形網(wǎng)格的二維uv映射變形來生成所述注視點(diǎn)網(wǎng)格。

3.根據(jù)權(quán)利要求1所述的方法，其中，通過基于第一注視點(diǎn)比率參數(shù)生成第一注視點(diǎn)網(wǎng)格以及基于第二注視點(diǎn)比率參數(shù)生成第二注視點(diǎn)網(wǎng)格來生成所述注視點(diǎn)網(wǎng)格。

4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：在生成所述注視點(diǎn)網(wǎng)格之前，確定所述視頻內(nèi)容項(xiàng)被以下采樣比從第一像素分辨率下采樣到第二像素分辨率，并且其中，在所述視頻內(nèi)容項(xiàng)的每一幀的中央部分處的改善比與所述下采樣比相對應(yīng)。

5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：確定所接收的視頻內(nèi)容項(xiàng)是否與特定文件格式相關(guān)聯(lián)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述特定文件格式包括使用具有180度視場的定向立體投影的vr180文件格式。

7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：在生成所述注視點(diǎn)網(wǎng)格之前，確定所接收的視頻內(nèi)容項(xiàng)是靜態(tài)視頻還是動態(tài)視頻，其中，所述靜態(tài)視頻包括當(dāng)捕獲視頻內(nèi)容時(shí)相機(jī)基本上沒有移動的視頻內(nèi)容，其中，所述動態(tài)視頻包括相機(jī)運(yùn)動元數(shù)據(jù)軌道。

8.根據(jù)權(quán)利要求1所述的方法，還包括響應(yīng)于從用戶設(shè)備接收到對所述視頻內(nèi)容項(xiàng)的請求，將所述視頻內(nèi)容項(xiàng)和所生成的注視點(diǎn)網(wǎng)格發(fā)送到所述用戶設(shè)備。

9.一種用于生成沉浸式視頻內(nèi)容的系統(tǒng)，所述系統(tǒng)包括：

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，通過使用多項(xiàng)式擬合函數(shù)使裁剪的等矩形網(wǎng)格的二維uv映射變形來生成所述注視點(diǎn)網(wǎng)格。

11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為：在生成所述注視點(diǎn)網(wǎng)格之前，確定所述視頻內(nèi)容項(xiàng)被以下采樣比從第一像素分辨率下采樣到第二像素分辨率，并且其中，在所述視頻內(nèi)容項(xiàng)的每一幀的中央部分處的改善比與所述下采樣比相對應(yīng)。

12.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為確定所接收的視頻內(nèi)容項(xiàng)是否與特定文件格式相關(guān)聯(lián)。

13.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為：在生成所述注視點(diǎn)網(wǎng)格之前，確定所接收的視頻內(nèi)容項(xiàng)是靜態(tài)視頻還是動態(tài)視頻，其中，所述靜態(tài)視頻包括當(dāng)捕獲視頻內(nèi)容時(shí)相機(jī)基本上沒有移動的視頻內(nèi)容，其中，所述動態(tài)視頻包括相機(jī)運(yùn)動元數(shù)據(jù)軌道。

14.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為：響應(yīng)于從用戶設(shè)備接收到對所述視頻內(nèi)容項(xiàng)的請求，將所述視頻內(nèi)容項(xiàng)和所生成的注視點(diǎn)網(wǎng)格發(fā)送到所述用戶設(shè)備。

15.一種用于生成沉浸式視頻內(nèi)容的系統(tǒng)，所述系統(tǒng)包括：

16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述硬件處理器進(jìn)一步被配置為確定所接收的視頻內(nèi)容項(xiàng)是否與特定文件格式相關(guān)聯(lián)。

17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述特定文件格式包括使用具有180度視場的定向立體投影的vr180文件格式。

18.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述硬件處理器進(jìn)一步被配置為確定所接收的視頻內(nèi)容項(xiàng)是靜態(tài)視頻還是動態(tài)視頻，其中，所述靜態(tài)視頻包括當(dāng)捕獲視頻內(nèi)容時(shí)相機(jī)基本上沒有移動的視頻內(nèi)容，其中，所述動態(tài)視頻包括相機(jī)運(yùn)動元數(shù)據(jù)軌道，并且其中，在確定所接收的視頻內(nèi)容項(xiàng)是所述靜態(tài)視頻時(shí)生成所述注視點(diǎn)網(wǎng)格。

19.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述硬件處理器進(jìn)一步被配置為：響應(yīng)于從用戶設(shè)備接收到對所述視頻內(nèi)容項(xiàng)的請求，將所述視頻內(nèi)容項(xiàng)和所生成的注視點(diǎn)網(wǎng)格發(fā)送到所述用戶設(shè)備。

20.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，通過使用多項(xiàng)式擬合函數(shù)使裁剪的等矩形網(wǎng)格的二維uv映射變形來生成所述注視點(diǎn)網(wǎng)格。

技術(shù)總結(jié)
本發(fā)明涉及利用注視點(diǎn)網(wǎng)格渲染沉浸式視頻內(nèi)容的方法、系統(tǒng)和介質(zhì)。在一些實(shí)施例中，該方法包括：接收視頻內(nèi)容項(xiàng)；使用硬件處理器確定視頻內(nèi)容項(xiàng)是否滿足至少一個(gè)準(zhǔn)則；響應(yīng)于確定視頻內(nèi)容項(xiàng)滿足至少一個(gè)準(zhǔn)則，使用硬件處理器，根據(jù)注視點(diǎn)比率參數(shù)生成視頻內(nèi)容項(xiàng)的幀被投影在其上的注視點(diǎn)網(wǎng)格，其中注視點(diǎn)網(wǎng)格具有非均勻位置映射，與視頻內(nèi)容項(xiàng)的每一幀的周邊部分相比，非均勻位置映射增加了視頻內(nèi)容項(xiàng)的每一幀的中央部分中的像素密度；以及以包括所生成的注視點(diǎn)網(wǎng)格的文件格式存儲視頻內(nèi)容項(xiàng)，其中通過將視頻內(nèi)容項(xiàng)作為紋理應(yīng)用于所生成的注視點(diǎn)網(wǎng)格來渲染沉浸式視頻內(nèi)容。

技術(shù)研發(fā)人員：萬明·吳,塞繆爾·克瓦倫,伊萬·雅娜拉,鄔昶暢
受保護(hù)的技術(shù)使用者：谷歌有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2