本申請(qǐng)涉及圖形處理領(lǐng)域，并且更具體地，涉及一種圖形處理方法、處理器和虛擬現(xiàn)實(shí)系統(tǒng)。

背景技術(shù)：

當(dāng)前生成虛擬現(xiàn)實(shí)(virtualreality，vr)場(chǎng)景的一種主流技術(shù)是三維(threedimensional，3d)建模技術(shù)。3d建模技術(shù)生成vr場(chǎng)景主要是根據(jù)3d模型制作vr場(chǎng)景。在某些vr游戲產(chǎn)品中，vr場(chǎng)景主要是采用3d建模技術(shù)結(jié)合實(shí)時(shí)渲染技術(shù)完成的。用戶以vr頭戴式顯示設(shè)備，例如vr眼鏡或vr頭盔等，作為觀察媒體，融入到vr場(chǎng)景中，與vr場(chǎng)景中的人物或其他物體進(jìn)行交互，從而得到真實(shí)的空間感受。最常見(jiàn)的例如過(guò)山車(chē)vr場(chǎng)景等。當(dāng)前的3d建模技術(shù)在處理vr場(chǎng)景中的物體上雖然已經(jīng)能夠達(dá)到比較逼真的效果，但是還遠(yuǎn)遠(yuǎn)達(dá)不到用戶要求。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)?zhí)峁┮环N圖形處理方法、處理器和虛擬現(xiàn)實(shí)系統(tǒng)，能夠真實(shí)的展現(xiàn)實(shí)景物體，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

第一方面，提供了一種圖形處理方法，包括：獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，所述多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面；根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面；其中，所述左眼畫(huà)面和所述右眼畫(huà)面顯示在虛擬現(xiàn)實(shí)vr顯示器上時(shí)形成vr場(chǎng)景，所述vr場(chǎng)景中包括所述目標(biāo)三維模型的圖像和所述目標(biāo)視頻的圖像。

第一方面的圖形處理方法，根據(jù)用戶的左右眼的位置信息，確定目標(biāo)三維模型并且根據(jù)預(yù)先拍攝的多個(gè)視頻確定目標(biāo)視頻，通過(guò)實(shí)時(shí)渲染的方式渲染技術(shù)分別渲染左眼畫(huà)面和右眼畫(huà)面，從而顯示vr場(chǎng)景，其中，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像，該目標(biāo)視頻可以真實(shí)的展現(xiàn)實(shí)景，在保持整個(gè)vr場(chǎng)景可交互性的基礎(chǔ)上，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面，包括：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面，包括：根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

應(yīng)理解，廣告板面片在左眼畫(huà)面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)左眼位置信息來(lái)計(jì)算；廣告板面片在右眼畫(huà)面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)右眼位置信息來(lái)計(jì)算。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述多個(gè)視頻是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。

應(yīng)理解，透明處理可以是基于阿爾法(alpha)透明技術(shù)的處理。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)物體為人物。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的用戶當(dāng)前的姿態(tài)信息確定的。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運(yùn)動(dòng)感知信息和腦信號(hào)信息中的至少一種。

第二方面，提供了一種處理器，包括獲取模塊、計(jì)算模塊和渲染模塊，所述獲取模塊用于獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；所述計(jì)算模塊用于根據(jù)所述獲取模塊獲取的所述左眼位置信息和所述右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型；所述計(jì)算模塊還用于根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，所述多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻；所述渲染模塊用于根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面；所述渲染模塊還用于根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面；其中，所述左眼畫(huà)面和所述右眼畫(huà)面顯示在虛擬現(xiàn)實(shí)vr顯示器上時(shí)形成vr場(chǎng)景，所述vr場(chǎng)景中包括所述目標(biāo)三維模型的圖像和所述目標(biāo)視頻的圖像。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述渲染模塊具體用于：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述計(jì)算模塊根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述計(jì)算模塊根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述多個(gè)視頻是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)物體為人物。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述獲取模塊獲取的所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的所述用戶當(dāng)前的姿態(tài)信息確定的。

在第二方面的一種可能的實(shí)現(xiàn)方式中，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運(yùn)動(dòng)感知信息和腦信號(hào)信息中的至少一種。

應(yīng)理解，所述處理器可以包括中央處理器cpu和圖形處理器gpu中的至少一種。計(jì)算模塊的功能可以對(duì)應(yīng)cpu，渲染模塊的功能可以對(duì)應(yīng)gpu。gpu可以存在于顯卡中，又稱(chēng)顯示核心、視覺(jué)處理器或顯示芯片。

第二方面及相應(yīng)的實(shí)現(xiàn)方式所能獲得的效果與第一方面及相應(yīng)的實(shí)現(xiàn)方式所能獲得的效果對(duì)應(yīng)，此處不再一一贅述。

第三方面，提供了一種圖形處理方法，其特征在于，包括：收集用戶當(dāng)前的姿態(tài)信息；根據(jù)所述姿態(tài)信息，得到所述用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，所述多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面；根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面；顯示所述左眼畫(huà)面和所述右眼畫(huà)面，其中，所述左眼畫(huà)面和所述右眼畫(huà)面顯示時(shí)形成vr場(chǎng)景，所述vr場(chǎng)景中包括所述目標(biāo)三維模型的圖像和所述目標(biāo)視頻的圖像。

第三方面的圖形處理方法，收集用戶的姿態(tài)信息來(lái)確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標(biāo)三維模型并且根據(jù)預(yù)先拍攝的多個(gè)視頻確定目標(biāo)視頻，通過(guò)實(shí)時(shí)渲染的方式渲染技術(shù)分別渲染左眼畫(huà)面和右眼畫(huà)面，從而顯示vr場(chǎng)景，其中，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像，該目標(biāo)視頻可以真實(shí)的展現(xiàn)實(shí)景，在保持整個(gè)vr場(chǎng)景可交互性的基礎(chǔ)上，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面，包括：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面，包括：根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述多個(gè)視頻是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)物體為人物。

在第三方面的一種可能的實(shí)現(xiàn)方式中，所述收集用戶當(dāng)前的姿態(tài)信息，包括：收集所述用戶當(dāng)前的頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運(yùn)動(dòng)感知信息和腦信號(hào)信息中的至少一種。

第四方面，提供了一種虛擬現(xiàn)實(shí)vr系統(tǒng)，包括姿態(tài)收集裝置、處理裝置和顯示裝置：所述姿態(tài)收集裝置用于：收集用戶當(dāng)前的姿態(tài)信息；所述處理裝置用于：根據(jù)所述姿態(tài)信息，得到所述用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，所述多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面；根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面；所述顯示裝置用于顯示所述左眼畫(huà)面和所述右眼畫(huà)面，其中，所述左眼畫(huà)面和所述右眼畫(huà)面顯示時(shí)形成vr場(chǎng)景，所述vr場(chǎng)景中包括所述目標(biāo)三維模型的圖像和所述目標(biāo)視頻的圖像。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述處理裝置根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面，包括：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述處理裝置根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面，包括：根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述處理裝置根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述處理裝置根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述多個(gè)視頻是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)物體為人物。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述姿態(tài)收集裝置具體用于：收集所述用戶當(dāng)前的頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運(yùn)動(dòng)感知信息和腦信號(hào)信息中的至少一種。

在第四方面的一種可能的實(shí)現(xiàn)方式中，所述處理裝置包括中央處理器cpu和圖形處理器gpu中的至少一種。

第五方面提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行第一方面或第一方面的任一種可能的實(shí)現(xiàn)方式所述的方法。

第六方面提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行第三方面或第三方面的任一種可能的實(shí)現(xiàn)方式所述的方法。

第七方面提供一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)運(yùn)行所述計(jì)算機(jī)程序產(chǎn)品的所述指時(shí)，所述計(jì)算機(jī)執(zhí)行第一方面或第一方面的任一種可能的實(shí)現(xiàn)方式所述的方法。

第八方面提供一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)運(yùn)行所述計(jì)算機(jī)程序產(chǎn)品的所述指時(shí)，所述計(jì)算機(jī)執(zhí)行第三方面或第三方面的任一種可能的實(shí)現(xiàn)方式所述的方法。

第二方面至第八方面及相應(yīng)的實(shí)現(xiàn)方式所能獲得的效果與第一方面及相應(yīng)的實(shí)現(xiàn)方式所能獲得的效果對(duì)應(yīng)，此處不再一一贅述。

附圖說(shuō)明

圖1是全景視頻中的視頻幀的示意圖。

圖2是3d建模技術(shù)和全景視頻拍攝技術(shù)分別生成的vr場(chǎng)景的對(duì)比示意圖。

圖3是本發(fā)明一個(gè)實(shí)施例的圖形處理方法的示意性流程圖。

圖4是本發(fā)明一個(gè)實(shí)施例的需要呈現(xiàn)的場(chǎng)景的示意圖。

圖5是本發(fā)明一個(gè)實(shí)施例的進(jìn)行預(yù)先拍攝的場(chǎng)景的示意圖。

圖6是本發(fā)明一個(gè)實(shí)施例的在不同拍攝位置得到的視頻的示意圖。

圖7是本發(fā)明一個(gè)實(shí)施例的確定目標(biāo)視頻的示意圖。

圖8是本發(fā)明一個(gè)實(shí)施例的呈現(xiàn)目標(biāo)視頻的示意圖。

圖9是本發(fā)明一個(gè)實(shí)施例的處理器的示意性框圖。

圖10是本發(fā)明一個(gè)實(shí)施例的虛擬現(xiàn)實(shí)系統(tǒng)的示意圖。

圖11是本發(fā)明另一個(gè)實(shí)施例的虛擬現(xiàn)實(shí)系統(tǒng)的示意圖。

具體實(shí)施方式

下面將結(jié)合附圖，對(duì)本申請(qǐng)中的技術(shù)方案進(jìn)行描述。

下面介紹生成vr場(chǎng)景的另一種技術(shù)，即采用全景視頻拍攝技術(shù)生成vr場(chǎng)景。全景視頻又稱(chēng)為360度立體(stereo)視頻，其與普通視頻類(lèi)似，只是全景視頻包括了拍攝點(diǎn)的全方位信息。圖1是全景視頻中的視頻幀的示意圖。全景視頻拍攝技術(shù)生成vr場(chǎng)景是通過(guò)專(zhuān)業(yè)的全景視頻拍攝設(shè)備及拍攝團(tuán)隊(duì)完成vr場(chǎng)景的全景視頻的拍攝，然后將全景視頻轉(zhuǎn)換成vr場(chǎng)景。由于全景視頻是預(yù)先拍攝的，因此對(duì)于通過(guò)全景視頻拍攝技術(shù)生成的vr場(chǎng)景，用戶只能變化眼睛的朝向來(lái)觀看視頻，不可能融入vr場(chǎng)景中，與vr場(chǎng)景中的人物或其他物體進(jìn)行交互。同時(shí)，由于全景視頻包括全方位信息，所以全景視頻文件一般非常龐大，生成的vr場(chǎng)景的文件也很龐大。

圖2是3d建模技術(shù)和全景視頻拍攝技術(shù)分別生成的vr場(chǎng)景的對(duì)比示意圖。如圖2所示，3d建模技術(shù)生成的vr場(chǎng)景的圖像為數(shù)字型的可互動(dòng)的圖像，需要通過(guò)實(shí)時(shí)渲染技術(shù)來(lái)實(shí)現(xiàn)；而全景視頻拍攝技術(shù)生成的vr場(chǎng)景則為實(shí)景動(dòng)畫(huà)，不需要通過(guò)實(shí)時(shí)渲染技術(shù)實(shí)現(xiàn)。3d建模技術(shù)生成的vr場(chǎng)景機(jī)動(dòng)性較好，其提供一種沉浸式的場(chǎng)景體驗(yàn)，用戶可以在場(chǎng)景中四處走動(dòng)；而全景視頻拍攝技術(shù)生成的vr場(chǎng)景則限于導(dǎo)演所拍攝的場(chǎng)景，用戶可以從鏡頭的位置出發(fā)，獲得360度觀看角度，但是不可以在場(chǎng)景中四處走動(dòng)。3d建模技術(shù)生成的vr場(chǎng)景以用戶活動(dòng)為時(shí)間軸，vr場(chǎng)景可以通過(guò)一系列的用戶活動(dòng)進(jìn)行播放，用戶還可以體驗(yàn)自主探索出的新的vr場(chǎng)景；全景視頻拍攝技術(shù)生成的vr場(chǎng)景則以導(dǎo)演鏡頭移動(dòng)為時(shí)間軸，vr場(chǎng)景按照導(dǎo)演拍攝順序播放。3d建模技術(shù)生成的vr場(chǎng)景的播放平臺(tái)通常需要vr頭戴式顯示設(shè)備(簡(jiǎn)稱(chēng)為vr頭顯設(shè)備)，例如vr眼鏡或vr頭盔等，vr頭顯設(shè)備可以連接pc或移動(dòng)設(shè)備等；全景視頻拍攝技術(shù)生成的vr場(chǎng)景的播放平臺(tái)則通常為包括全景視頻播放器的計(jì)算設(shè)備或平臺(tái)，包括pc、移動(dòng)設(shè)備、youtube平臺(tái)等。3d建模技術(shù)生成的vr場(chǎng)景講故事模式是用戶觸發(fā)劇情，導(dǎo)演不會(huì)在已構(gòu)建的場(chǎng)景中控制用戶的物理位置，需引導(dǎo)、激發(fā)用戶順著故事發(fā)展方向去觸發(fā)后續(xù)劇情；全景視頻拍攝技術(shù)生成的vr場(chǎng)景講故事模式是導(dǎo)演控制鏡頭的物理移動(dòng)，來(lái)觸發(fā)劇情，以吸引用戶的注意力來(lái)觀看。

由此可見(jiàn)，3d建模技術(shù)生成vr場(chǎng)景主要是根據(jù)3d模型制作vr場(chǎng)景，用戶可以融入vr場(chǎng)景中，與vr場(chǎng)景中的人物或其他物體進(jìn)行交互。然而，當(dāng)前的3d建模技術(shù)在處理物體時(shí)得到的逼真程度，遠(yuǎn)遠(yuǎn)達(dá)不到用戶要求。全景視頻拍攝技術(shù)制作的vr場(chǎng)景，用戶不能與vr場(chǎng)景中的人物或其他物體進(jìn)行交互，并且生成的vr場(chǎng)景的文件巨大?；谝陨霞夹g(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種圖形處理方法、處理器和vr系統(tǒng)。

應(yīng)理解，本發(fā)明各實(shí)施例的方法和設(shè)備應(yīng)用于vr場(chǎng)景領(lǐng)域，例如，可以應(yīng)用于vr游戲領(lǐng)域，還可以應(yīng)用于其他的可交互場(chǎng)景，例如可交互的vr電影，可交互的vr演唱會(huì)等，本發(fā)明各實(shí)施例對(duì)此不作限定。

在詳細(xì)說(shuō)明本發(fā)明實(shí)施例的圖形處理方法之前，首先介紹本發(fā)明各實(shí)施例涉及的實(shí)時(shí)渲染技術(shù)。實(shí)時(shí)渲染技術(shù)的本質(zhì)是圖形數(shù)據(jù)的實(shí)時(shí)計(jì)算和輸出，其最大的特性是實(shí)時(shí)(realtime)性。當(dāng)前，個(gè)人電腦(personalcomputer，pc)、工作站、游戲機(jī)、移動(dòng)設(shè)備或vr系統(tǒng)等中的處理器每秒至少以24幀以上的速度進(jìn)行運(yùn)算。也就是說(shuō)，渲染一屏幕的圖像，至少也要在1/24秒以內(nèi)。而在實(shí)際的3d游戲中，每秒幀數(shù)要求則更高得多。正是由于實(shí)時(shí)渲染的實(shí)時(shí)性，才有可能實(shí)現(xiàn)3d游戲的連貫播放，以及實(shí)現(xiàn)3d游戲中用戶與游戲場(chǎng)景中的人物或其他物體進(jìn)行交互。

本發(fā)明各實(shí)施例涉及的實(shí)時(shí)渲染可以是通過(guò)中央處理器(centralprocessingunit，cpu)或圖形處理器(graphicsprocessingunit，gpu)實(shí)現(xiàn)的，本發(fā)明實(shí)施例對(duì)此不作限定。具體而言，gpu是一種專(zhuān)門(mén)用于實(shí)現(xiàn)圖像運(yùn)算工作的處理器，其可以存在于顯卡中，又稱(chēng)顯示核心、視覺(jué)處理器或顯示芯片。

圖3是本發(fā)明一個(gè)實(shí)施例的圖形處理方法300的示意性流程圖。該方法300由vr系統(tǒng)30執(zhí)行。其中，vr系統(tǒng)30可以包括姿態(tài)收集裝置32、處理裝置34和顯示裝置36。該方法300可以包括以下步驟。

s310，收集用戶當(dāng)前的姿態(tài)信息。應(yīng)理解，s310可以由姿態(tài)收集裝置32來(lái)執(zhí)行。

s320，根據(jù)姿態(tài)信息，得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

s330，根據(jù)左眼位置信息和右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型。

s340，根據(jù)左眼位置信息、右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻。

s350，根據(jù)左眼朝向信息、目標(biāo)三維模型和目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面。

s360，根據(jù)右眼朝向信息、目標(biāo)三維模型和目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面。

應(yīng)理解，s320至s360可以由處理裝置34來(lái)執(zhí)行。

s370，顯示左眼畫(huà)面和右眼畫(huà)面，其中，左眼畫(huà)面和右眼畫(huà)面顯示時(shí)形成vr場(chǎng)景，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像。

應(yīng)理解，s370可以由顯示裝置36來(lái)執(zhí)行。

本發(fā)明實(shí)施例的圖形處理方法，收集用戶的姿態(tài)信息來(lái)確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標(biāo)三維模型并且根據(jù)預(yù)先拍攝的多個(gè)視頻確定目標(biāo)視頻，通過(guò)實(shí)時(shí)渲染的方式渲染技術(shù)分別渲染左眼畫(huà)面和右眼畫(huà)面，從而顯示vr場(chǎng)景，其中，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像，該目標(biāo)視頻可以真實(shí)的展現(xiàn)實(shí)景，在保持整個(gè)vr場(chǎng)景可交互性的基礎(chǔ)上，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

應(yīng)理解，通常而言vr系統(tǒng)30包括vr頭顯設(shè)備，顯示裝置36可以集成在vr頭顯設(shè)備中。本發(fā)明實(shí)施例的處理裝置34和/或姿態(tài)收集裝置32可以集成在vr頭顯設(shè)備中，也可以獨(dú)立于vr頭顯設(shè)備單獨(dú)部署。姿態(tài)收集裝置32、處理裝置34和顯示裝置36之間可以通過(guò)有線通信也可以通過(guò)無(wú)線通信，本發(fā)明實(shí)施例對(duì)此不作限定。

下面具體描述本申請(qǐng)的圖形處理方法300的各個(gè)步驟以及vr系統(tǒng)30的各組件。

在本發(fā)明實(shí)施例中，s310，姿態(tài)收集裝置32收集用戶當(dāng)前的姿態(tài)信息。

姿態(tài)收集裝置32可以包括vr頭戴式顯示設(shè)備，例如vr眼鏡或vr頭盔中的傳感器。傳感器可以包括光敏傳感器，例如紅外傳感器、攝像頭等；傳感器還可以包括力敏傳感器，例如陀螺儀等；傳感器還可以包括磁敏傳感器，例如腦機(jī)接口等；傳感器還可以包括聲敏傳感器等，本發(fā)明實(shí)施例對(duì)傳感器的具體類(lèi)型不作限定。vr頭戴式顯示設(shè)備中的傳感器可以收集用戶當(dāng)前的頭部姿態(tài)信息、眼球跟蹤信息、皮膚感知信息、肌肉電刺激信息和腦信號(hào)信息中的至少一種。后續(xù)處理裝置34可以根據(jù)這些信息確定用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

在一個(gè)具體的例子中，在vr場(chǎng)景中，用戶的視角是指用戶的人眼視線方向在虛擬空間中的方位角，其中，包括人眼的位置和朝向。在虛擬空間中，用戶的視角可以隨用戶的頭部在現(xiàn)實(shí)空間中姿態(tài)的變化而變化。在一種具體的情況下，虛擬空間中用戶的視角的變化與現(xiàn)實(shí)空間中用戶的頭部姿態(tài)的變化同速且同方向。其中，用戶的視角又包括左眼視角和右眼視角，即包括用戶的左眼位置、右眼位置、左眼朝向和右眼朝向。

在該例子中，用戶佩戴的vr頭顯設(shè)備上的傳感器可以在用戶使用vr頭顯設(shè)備的過(guò)程中感測(cè)頭部的轉(zhuǎn)動(dòng)、移動(dòng)等運(yùn)動(dòng)及其姿態(tài)變化，并對(duì)各項(xiàng)運(yùn)動(dòng)進(jìn)行解算，得到相關(guān)的頭部姿態(tài)信息(例如運(yùn)動(dòng)的速度、角度等)，處理裝置34根據(jù)得到的頭部姿態(tài)信息就可以確定用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

姿態(tài)收集裝置32還可以包括定位器、操控手柄、體感手套、體感衣服，以及跑步機(jī)等動(dòng)感裝置等等，用于收集用戶的姿態(tài)信息，繼而由處理裝置34處理得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。其中，姿態(tài)收集裝置32可以通過(guò)操控手柄、體感手套、體感衣服和跑步機(jī)等收集用戶的四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、皮膚感知信息和運(yùn)動(dòng)感知信息等。

在一個(gè)具體的例子中，vr頭顯設(shè)備上可以設(shè)有一個(gè)或多個(gè)定位器，用于監(jiān)測(cè)用戶頭部位置(可以包括高度)、朝向等。此時(shí)，用戶在佩戴vr頭顯設(shè)備所在的現(xiàn)實(shí)空間中可以設(shè)有定位系統(tǒng)，該定位系統(tǒng)可以與用戶佩戴的vr頭顯設(shè)備上的一個(gè)或多個(gè)定位器進(jìn)行定位通信，確定用戶在此現(xiàn)實(shí)空間中的具體位置(可以包括高度)、朝向等姿態(tài)信息。然后。可以由處理裝置34將上述姿態(tài)信息轉(zhuǎn)換為用戶頭部在虛擬空間中的相關(guān)位置(可以包括高度)、朝向等信息。亦即，處理裝置34得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

應(yīng)理解，本發(fā)明實(shí)施例的左眼位置信息、右眼位置信息可以通過(guò)在坐標(biāo)系中的坐標(biāo)值來(lái)表示；左眼朝向信息和右眼朝向信息可以通過(guò)在坐標(biāo)系中的一個(gè)向量來(lái)表示，但本發(fā)明實(shí)施例對(duì)此不作限定。

還應(yīng)理解，姿態(tài)收集裝置32在收集到姿態(tài)信息后，需通過(guò)有線通信或無(wú)線通信，將姿態(tài)信息發(fā)送給處理裝置34，文中對(duì)此不進(jìn)行贅述。

還應(yīng)理解，本發(fā)明實(shí)施例還可以通過(guò)其他方式收集用戶的姿態(tài)信息，通過(guò)其他的方式來(lái)獲取和/或表示左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息，本發(fā)明實(shí)施例對(duì)具體的方式不作限定。

在vr場(chǎng)景的設(shè)計(jì)中，例如在vr場(chǎng)景的游戲設(shè)計(jì)中，一個(gè)位置被設(shè)計(jì)為對(duì)應(yīng)一個(gè)物體組。在一個(gè)具體的例子中，用戶的左眼位置le和右眼位置re分別對(duì)應(yīng)的物體如圖4所示。用戶的左眼位置對(duì)應(yīng)物體l41、物體43、物體44、物體46和人物42，用戶的右眼位置對(duì)應(yīng)物體r45、物體43、物體44、物體46和人物42。其中，該人物42是希望被改善其真實(shí)性的物體，為目標(biāo)物體。

具體地，確定用戶的左眼位置或右眼位置對(duì)應(yīng)的物體組中哪個(gè)物體是目標(biāo)物體，可以基于vr場(chǎng)景的設(shè)計(jì)。例如，每個(gè)場(chǎng)景或多個(gè)場(chǎng)景可以存在一個(gè)目標(biāo)物體列表，在生成vr場(chǎng)景時(shí)，根據(jù)目標(biāo)物體列表找到該目標(biāo)場(chǎng)景中的目標(biāo)物體。再如，在vr場(chǎng)景的游戲設(shè)計(jì)中規(guī)定，近景(距離用戶一定范圍內(nèi)的場(chǎng)景)處的人物是目標(biāo)物體，近景處除人物以外的其他物體不是目標(biāo)物體，遠(yuǎn)景(距離用戶一定范圍外的場(chǎng)景)處的所有物體均不是目標(biāo)物體，等等。確定場(chǎng)景中的目標(biāo)物體可以由處理裝置34來(lái)執(zhí)行，例如可以由處理裝置34中的cpu確定，本發(fā)明實(shí)施例對(duì)此不作限定。

應(yīng)理解，對(duì)于vr場(chǎng)景而言，其中除目標(biāo)物體以外的其他物體可以是預(yù)先通過(guò)3d建模生成3d模型，存儲(chǔ)在3d模型庫(kù)中。具體而言，圖4示出的物體l41、物體43、物體44、物體r45和物體46的3d模型均存儲(chǔ)在3d模型庫(kù)中。處理裝置34(例如處理裝置34中的cpu)得到左眼位置信息和右眼位置信息后，從3d模型庫(kù)中確定出目標(biāo)三維模型，即物體l41、物體43、物體44、物體r45和物體46的3d模型，以供后續(xù)渲染畫(huà)面使用。當(dāng)然，也可以通過(guò)其他方式確定目標(biāo)三維模型，本發(fā)明實(shí)施例對(duì)此不作限定。

對(duì)于vr場(chǎng)景中的目標(biāo)物體，例如圖4所示的vr場(chǎng)景中的人物42，則根據(jù)預(yù)先拍攝的多個(gè)視頻來(lái)生成。其中，該多個(gè)視頻是分別從不同的拍攝位置拍攝的包括目標(biāo)物體的視頻。

具體地，假設(shè)該目標(biāo)物體是人物42，則本發(fā)明實(shí)施例會(huì)從多個(gè)拍攝位置預(yù)先拍攝的關(guān)于該人物42的多個(gè)視頻。圖5示出了預(yù)先拍攝的場(chǎng)景的示意圖。如圖5所示，要拍攝的場(chǎng)景中包括人物42、物體52和物體54，要拍攝的場(chǎng)景盡量與最終顯示的vr場(chǎng)景的情況接近，以增加真實(shí)感。針對(duì)要拍攝的場(chǎng)景，可以在水平方向上放置多個(gè)拍攝設(shè)備，分別從拍攝位置c1、拍攝位置c2和拍攝位置c3進(jìn)行攝像，可以得到人物在不同拍攝位置的原始視頻如圖6所示。

應(yīng)理解，預(yù)先拍攝視頻時(shí)可以在距離目標(biāo)物體一定半徑的圓周上進(jìn)行拍攝。在該圓周上拍攝位置選取得越多越密集，從中選擇出與用戶的左眼位置或右眼位置相同或相近的概率也越大，最終選擇出的或者計(jì)算出的目標(biāo)視頻放到vr場(chǎng)景中的真實(shí)性也越高。

在本發(fā)明實(shí)施例中，多個(gè)視頻可以是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。具體地，可以將分別從3個(gè)拍攝位置所拍攝的3個(gè)視頻中將人物42與構(gòu)成背景的物體52和物體54進(jìn)行分離，就可以得到只包括人物42的3個(gè)視頻。3個(gè)視頻是在相同的時(shí)間進(jìn)行攝制的時(shí)間長(zhǎng)度也相同的視頻。

可選地，本發(fā)明實(shí)施例中，透明處理可以是基于阿爾法(alpha)透明技術(shù)的處理。具體而言，如果vr場(chǎng)景的3d環(huán)境中允許像素?fù)碛幸唤Malpha值，alpha值用來(lái)記載像素的透明度，這樣使得物體可以擁有不同的透明程度。本發(fā)明實(shí)施例中，可以將原始視頻中的目標(biāo)物體人物42處理為不透明的，構(gòu)成背景的物體52和物體54處理為透明的。

一種具體的方案中，s340根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，可以包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

應(yīng)理解，本發(fā)明各實(shí)施例中，左眼位置、右眼位置和拍攝位置在vr場(chǎng)景中可以統(tǒng)一表示為虛擬空間的坐標(biāo)，例如在x軸、y軸和z軸三軸坐標(biāo)系的坐標(biāo)或者球坐標(biāo)。左眼位置、右眼位置和拍攝位置也可以以其他形式表示，本發(fā)明實(shí)施例對(duì)此不作限定。

在本方案中，對(duì)左眼位置信息和右眼位置信息求平均值，得到平均位置。例如，以三軸坐標(biāo)系為例，左眼位置為(x1，y1，z1)，右眼位置為(x2，y2，z2)，則平均位置為((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)。從多個(gè)視頻中選出拍攝位置與平均位置最接近的視頻作為目標(biāo)視頻。

在多個(gè)拍攝位置是距離目標(biāo)物體一定半徑的圓周上的多個(gè)位置的情況下，目標(biāo)視頻的拍攝位置與平均位置最接近可以理解為目標(biāo)視頻的拍攝位置(xt，yt，zt)與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離需小于預(yù)設(shè)的閾值，即保證目標(biāo)視頻的拍攝位置與平均位置的距離足夠小。

在多個(gè)拍攝位置不在距離目標(biāo)物體一定半徑的圓周上的情況下，目標(biāo)視頻的拍攝位置與平均位置最接近可以理解為，平均位置與目標(biāo)物體構(gòu)成的線段與目標(biāo)視頻的拍攝位置與目標(biāo)物體構(gòu)成的線段之間的夾角是平均位置與目標(biāo)物體構(gòu)成的線段與所有拍攝位置與目標(biāo)物體構(gòu)成的線段之間的夾角中角度最小的。

另一種具體的方案中，s340根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，可以包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

在這個(gè)方案中，可以選取用戶的左眼和右眼平均位置的左右至少各一個(gè)拍攝位置，從多個(gè)視頻中選取出左右至少各一個(gè)拍攝位置拍攝的視頻，作為計(jì)算目標(biāo)視頻的參考。截取至少兩個(gè)視頻在同一時(shí)刻對(duì)應(yīng)的視頻幀進(jìn)行插值運(yùn)算，得到目標(biāo)視頻。

在多個(gè)拍攝位置是距離目標(biāo)物體一定半徑的圓周上的多個(gè)位置的情況下，從多個(gè)視頻中選取至少兩個(gè)視頻可以是選取與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離最小的至少兩個(gè)視頻。至少兩個(gè)視頻的拍攝位置至少有一個(gè)分布在平均位置的左側(cè)，并且至少有一個(gè)分布在平均位置的右側(cè)。

在多個(gè)拍攝位置不在距離目標(biāo)物體一定半徑的圓周上的情況下，從多個(gè)視頻中選取至少兩個(gè)視頻可以是，平均位置與目標(biāo)物體構(gòu)成的線段與至少兩個(gè)視頻的拍攝位置與目標(biāo)物體構(gòu)成的線段之間的夾角是平均位置與目標(biāo)物體構(gòu)成的線段與所有拍攝位置與目標(biāo)物體構(gòu)成的線段之間的夾角中角度最小的幾個(gè)。至少兩個(gè)視頻的拍攝位置至少有一個(gè)分布在平均位置的左側(cè)，并且至少有一個(gè)分布在平均位置的右側(cè)。

應(yīng)理解，在本發(fā)明實(shí)施例中，還可以根據(jù)其他的準(zhǔn)則選取作為參考的視頻，本發(fā)明實(shí)施例對(duì)戲不作限定。

還應(yīng)理解，在本發(fā)明實(shí)施例中，不同拍攝位置拍攝到的視頻代表著觀察目標(biāo)物體(例如，人物42)時(shí)的不同的觀察位置。換句話說(shuō)，圖6所示的3個(gè)視頻在同一物理時(shí)刻對(duì)應(yīng)的視頻幀，是在不同的觀察位置觀察時(shí)的圖像。3個(gè)拍攝角度分別可以對(duì)應(yīng)3個(gè)拍攝位置c1、c2和c3。

應(yīng)理解，在本發(fā)明實(shí)施例中，除了預(yù)先拍攝多個(gè)視頻以外，也可以采用從多個(gè)拍攝位置預(yù)先拍攝目標(biāo)物體的多組照片(或多組圖像)。根據(jù)左眼位置和右眼位置(或者平均位置)與多個(gè)拍攝位置的關(guān)系，從多組圖像中找到至少兩個(gè)拍攝位置對(duì)應(yīng)的至少兩張圖像，對(duì)至少兩張圖像進(jìn)行插值運(yùn)算，得到目標(biāo)圖像。具體的插值算法，會(huì)在下文中詳細(xì)描述。

圖7是本發(fā)明一個(gè)實(shí)施例的確定目標(biāo)視頻的示意圖。根據(jù)平均位置，從多個(gè)視頻中選取出至少兩個(gè)視頻，將至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)，根據(jù)平均位置和至少兩個(gè)視頻的拍攝位置，對(duì)至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到當(dāng)目標(biāo)視頻的具體過(guò)程可以如圖7所示。

用戶在觀察vr場(chǎng)景時(shí)，觀察位置可以發(fā)生變化，例如用戶在面向vr場(chǎng)景時(shí)，觀察位置可以沿左右方向移動(dòng)。3個(gè)拍攝位置分別為c1、c2和c3。c1、c2和c3可以通過(guò)三維直角坐標(biāo)系的坐標(biāo)值來(lái)表示，也可以通過(guò)球坐標(biāo)系的坐標(biāo)值表示，還可以通過(guò)其他方式表示，本發(fā)明實(shí)施例對(duì)此不作限定。根據(jù)用戶的左眼位置信息和右眼位置信息，可以確定用戶觀察時(shí)的平均位置cview。如圖7所示，平均位置cview在c1和c2之間。在確定目標(biāo)視頻時(shí)，因?yàn)槠骄恢胏view介于c1和c2之間，因此選取在拍攝位置c1和c2預(yù)先拍攝的視頻作為參考。在生成目標(biāo)視頻的視頻幀(圖像)時(shí)，同時(shí)取出c1和c2分別對(duì)應(yīng)的視頻在同一時(shí)刻對(duì)應(yīng)的視頻幀i1和i2，然后對(duì)兩個(gè)視頻幀i1和i2進(jìn)行插值，例如可以是線性插值。其中，插值的權(quán)重依據(jù)平均位置cview與c1和c2的距離而定。輸出的目標(biāo)視頻的視頻幀iout＝i1*(1-(c1-cview/c1-c2))+i2*(1-(c2-cview/c1-c2))。

應(yīng)理解，以上只討論了用戶的觀察位置沿左右方向移動(dòng)的情況，如果用戶的觀察位置前后移動(dòng)，因?yàn)槭窃趘r的3d場(chǎng)景中，所以觀察者看到的人物自然會(huì)呈現(xiàn)近大遠(yuǎn)小的效果，雖然在物理上顯示的角度也應(yīng)該有所變化，但是這種變化影響很小，一般用戶不會(huì)在意或者觀察到。此外，在一般的場(chǎng)景中，用戶只會(huì)前后左右移動(dòng)，很少會(huì)進(jìn)行在上下方向上進(jìn)行大范圍移動(dòng)，所以對(duì)于根據(jù)本發(fā)明實(shí)施例的方法確定的目標(biāo)視頻，用戶所產(chǎn)生的失真感覺(jué)也很小。

應(yīng)理解，本發(fā)明實(shí)施例以目標(biāo)物體為人物為例進(jìn)行說(shuō)明。當(dāng)然目標(biāo)物體也可以為要求真實(shí)性的動(dòng)物，甚至建筑物或植物等等，本發(fā)明實(shí)施例對(duì)此不作限定。

可選地，在本發(fā)明實(shí)施例中，s350根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面，可以包括：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；s360根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面，可以包括：根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

下面，結(jié)合圖8詳細(xì)說(shuō)明本發(fā)明實(shí)施例中渲染左眼畫(huà)面和右眼畫(huà)面的過(guò)程。如前文描述，處理裝置34(例如其中的cpu)在s330中已經(jīng)確定目標(biāo)三維模型，在s340中已經(jīng)確定目標(biāo)視頻。處理裝置34(例如其中的gpu)根據(jù)左眼朝向信息，確定應(yīng)呈現(xiàn)的左眼畫(huà)面；根據(jù)右眼朝向信息，確定應(yīng)呈現(xiàn)的右眼畫(huà)面。例如如圖4所示的場(chǎng)景中，根據(jù)左眼朝向信息(面向人物42)，確定左眼畫(huà)面中呈現(xiàn)物體l41、物體43、物體44和人物42；根據(jù)右眼朝向信息(面向人物42)，確定右眼畫(huà)面中呈現(xiàn)物體43、物體44、物體r45和人物42。

處理裝置34(例如其中的gpu)將目標(biāo)三維模型物體l41、物體43和物體44，渲染到左眼畫(huà)面l800的第一紋理82上，將所述目標(biāo)視頻渲染到左眼畫(huà)面l800的第二紋理84上；將目標(biāo)三維模型物體43、物體44和物體r45渲染到右眼畫(huà)面r800的第三紋理86上，將所述目標(biāo)視頻渲染到右眼畫(huà)面r800的第四紋理88上。

具體地，分別對(duì)于左眼畫(huà)面和右眼畫(huà)面，可以在畫(huà)面的目標(biāo)物體的位置設(shè)置廣告板(billboard)面片，在廣告板面片上呈現(xiàn)目標(biāo)視頻。廣告板技術(shù)是計(jì)算機(jī)圖形學(xué)領(lǐng)域中進(jìn)行快速繪制的一種方法。在類(lèi)似3d游戲這種對(duì)實(shí)時(shí)性要求較高的情況下，采取廣告板技術(shù)可以大大加快繪制的速度從而提高3d游戲畫(huà)面的流暢性。廣告板技術(shù)是在3d場(chǎng)景中，用2d來(lái)表示物體，讓該物體始終朝向用戶。

具體地，廣告板面片在左眼畫(huà)面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)左眼位置信息來(lái)計(jì)算；廣告板面片在右眼畫(huà)面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)右眼位置信息來(lái)計(jì)算。

實(shí)際上，由于vr場(chǎng)景是實(shí)時(shí)渲染的，在任一時(shí)刻，可以認(rèn)為是將前述通過(guò)插值得到的視頻幀呈現(xiàn)在目標(biāo)物體的位置上。在場(chǎng)景變化的一個(gè)連續(xù)時(shí)間段內(nèi)，可以等效為視頻在廣告板面片上進(jìn)行播放。

如圖8所示，在目標(biāo)物體對(duì)應(yīng)的位置設(shè)置廣告板面片，將視頻的每一幀作為貼圖紋理繪制到上述廣告板面片的貼圖，則視頻的每一幀會(huì)是一直是面對(duì)用戶的。

應(yīng)理解，在渲染左眼畫(huà)面和右眼畫(huà)面時(shí)，可以采用深度緩沖技術(shù)與廣告板技術(shù)結(jié)合。深度緩沖技術(shù)有助于目標(biāo)物體按遠(yuǎn)近距離與其他物體形成遮擋關(guān)系和大小比例關(guān)系。本發(fā)明實(shí)施例中，渲染目標(biāo)視頻還可以使用其他技術(shù)，本發(fā)明實(shí)施例對(duì)此不作限定。

還應(yīng)理解，本發(fā)明實(shí)施例還提供一種圖形處理方法，包括步驟s320至s360，方法由處理器執(zhí)行。

還應(yīng)理解，在本發(fā)明的各種實(shí)施例中，上述各過(guò)程的序號(hào)的大小并不意味著執(zhí)行順序的先后，各過(guò)程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對(duì)本發(fā)明實(shí)施例的實(shí)施過(guò)程構(gòu)成任何限定。

上文中結(jié)合圖1至圖8，詳細(xì)描述了根據(jù)本發(fā)明實(shí)施例的圖形處理方法。下面將結(jié)合圖9和圖10，詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的處理器和vr系統(tǒng)。

圖9是本發(fā)明一個(gè)實(shí)施例的處理器900的示意性框圖。處理器900可以對(duì)應(yīng)于前文所述的處理裝置34。如圖9所示，處理器900可以包括獲取模塊910、計(jì)算模塊920和渲染模塊930。

獲取模塊910用于獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

計(jì)算模塊920用于根據(jù)所述獲取模塊獲取的所述左眼位置信息和所述右眼位置信息，從三維模型庫(kù)中確定出目標(biāo)三維模型；計(jì)算模塊920還用于根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，其中，所述多個(gè)視頻是分別從不同的拍攝位置拍攝的視頻。

渲染模塊930用于根據(jù)左眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染左眼畫(huà)面；渲染模塊930還用于根據(jù)右眼朝向信息、所述目標(biāo)三維模型和所述目標(biāo)視頻，實(shí)時(shí)渲染右眼畫(huà)面；其中，所述左眼畫(huà)面和所述右眼畫(huà)面顯示在虛擬現(xiàn)實(shí)vr顯示器上時(shí)形成vr場(chǎng)景，所述vr場(chǎng)景中包括所述目標(biāo)三維模型的圖像和所述目標(biāo)視頻的圖像。

本發(fā)明實(shí)施例的圖形處理裝置，根據(jù)用戶的左右眼的位置信息，確定目標(biāo)三維模型并且根據(jù)預(yù)先拍攝的多個(gè)視頻確定目標(biāo)視頻，通過(guò)實(shí)時(shí)渲染的方式渲染技術(shù)分別渲染左眼畫(huà)面和右眼畫(huà)面，從而顯示vr場(chǎng)景，其中，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像，該目標(biāo)視頻可以真實(shí)的展現(xiàn)實(shí)景，在保持整個(gè)vr場(chǎng)景可交互性的基礎(chǔ)上，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

可選地，作為一個(gè)實(shí)施例，所述渲染模塊930具體可以用于：根據(jù)所述左眼朝向信息，將所述目標(biāo)三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標(biāo)視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；根據(jù)所述右眼朝向信息，將所述目標(biāo)三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標(biāo)視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

可選地，作為一個(gè)實(shí)施例，所述計(jì)算模塊920根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，可以包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出至少兩個(gè)視頻；將所述至少兩個(gè)視頻中每個(gè)視頻在相應(yīng)時(shí)刻對(duì)應(yīng)的視頻幀抽取出來(lái)；根據(jù)所述平均位置和所述至少兩個(gè)視頻的拍攝位置，對(duì)所述至少兩個(gè)視頻幀進(jìn)行插值運(yùn)算，得到所述當(dāng)目標(biāo)視頻。

可選地，作為一個(gè)實(shí)施例，所述計(jì)算模塊920根據(jù)所述左眼位置信息、所述右眼位置信息和預(yù)先拍攝的多個(gè)視頻，確定目標(biāo)視頻，可以包括：對(duì)所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個(gè)視頻中選取出所述目標(biāo)視頻，其中，所述目標(biāo)視頻的拍攝位置與所述平均位置的距離是所述多個(gè)視頻的所有的拍攝位置中與所述平均位置最接近的。

可選地，作為一個(gè)實(shí)施例，所述多個(gè)視頻是對(duì)原始視頻經(jīng)過(guò)透明處理后的僅包括目標(biāo)物體的視頻。

可選地，作為一個(gè)實(shí)施例，所述目標(biāo)物體為人物。

可選地，作為一個(gè)實(shí)施例，所述獲取模塊910獲取的所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的所述用戶當(dāng)前的姿態(tài)信息確定的。

可選地，作為一個(gè)實(shí)施例，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運(yùn)動(dòng)感知信息和腦信號(hào)信息中的至少一種。

應(yīng)理解，所述處理器900可以是cpu也可以是gpu。處理器900還可以既包括cpu的功能又包括gpu的功能，例如，獲取模塊910和計(jì)算模塊920的功能(s320至s340)由cpu執(zhí)行，渲染模塊930的功能(s350和s360)由gpu執(zhí)行，本發(fā)明實(shí)施例對(duì)此不作限定。

圖10示出的是本發(fā)明實(shí)施例的一種vr系統(tǒng)的示意圖。圖10所示的是一種vr頭盔1000，vr頭盔1000可以包括頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040。其中，頭部跟蹤器1010對(duì)應(yīng)于姿態(tài)收集裝置，cpu1020和gpu1030對(duì)應(yīng)于處理裝置，顯示器1040對(duì)應(yīng)于顯示裝置，此處對(duì)頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040的功能不再贅述。

應(yīng)理解，圖10示出的頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040集成在vr頭盔1000中。在vr頭盔1000外部還可以有其他的姿態(tài)收集裝置，收集用戶的姿態(tài)信息，發(fā)送給cpu1020進(jìn)行處理，本發(fā)明實(shí)施例對(duì)此不作限定。

圖11示出的是本發(fā)明實(shí)施例的另一種vr系統(tǒng)的示意圖。圖11所示的是一種vr眼鏡1110與主機(jī)1120構(gòu)成的vr系統(tǒng)，vr眼鏡1110可以包括角度感應(yīng)器1112、信號(hào)處理器1114、數(shù)據(jù)傳輸器1116和顯示器1118。其中，角度感應(yīng)器1112對(duì)應(yīng)于姿態(tài)收集裝置，主機(jī)1120中包括cpu和gpu對(duì)應(yīng)于處理裝置來(lái)計(jì)算并渲染畫(huà)面，顯示器1118對(duì)應(yīng)于顯示裝置。角度感應(yīng)器1112收集用戶的姿態(tài)信息，將姿態(tài)信息發(fā)送給主機(jī)1120進(jìn)行處理，主機(jī)1120計(jì)算并渲染左眼畫(huà)面和右眼畫(huà)面，并將左眼畫(huà)面和右眼畫(huà)面發(fā)送給顯示器1118進(jìn)行顯示。信號(hào)處理器1114和數(shù)據(jù)傳輸器1116主要用于vr眼鏡1110與主機(jī)1120之間的通信。

在vr眼鏡1110外部還可以有其他的姿態(tài)收集裝置，收集用戶的姿態(tài)信息，發(fā)送給主機(jī)1120進(jìn)行處理，本發(fā)明實(shí)施例對(duì)此不作限定。

本發(fā)明實(shí)施例的虛擬現(xiàn)實(shí)系統(tǒng)，收集用戶的姿態(tài)信息來(lái)確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標(biāo)三維模型并且根據(jù)預(yù)先拍攝的多個(gè)視頻確定目標(biāo)視頻，通過(guò)實(shí)時(shí)渲染的方式渲染技術(shù)分別渲染左眼畫(huà)面和右眼畫(huà)面，從而顯示vr場(chǎng)景，其中，vr場(chǎng)景中包括目標(biāo)三維模型的圖像和目標(biāo)視頻的圖像，該目標(biāo)視頻可以真實(shí)的展現(xiàn)實(shí)景，在保持整個(gè)vr場(chǎng)景可交互性的基礎(chǔ)上，為用戶提供真實(shí)的臨場(chǎng)感，從而能夠提升用戶體驗(yàn)。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行上述方法實(shí)施例的圖形處理方法。具體地，該計(jì)算機(jī)可以為上述vr系統(tǒng)或者為處理器。

本發(fā)明實(shí)施例還提供一種包括指令的計(jì)算機(jī)程序產(chǎn)品，其特征在于，當(dāng)計(jì)算機(jī)運(yùn)行所述計(jì)算機(jī)程序產(chǎn)品的所述指時(shí)，所述計(jì)算機(jī)執(zhí)行上述方法實(shí)施例的圖形處理方法。具體地，該計(jì)算機(jī)程序產(chǎn)品可以運(yùn)行于vr系統(tǒng)或者處理器中。

在上述實(shí)施例中，可以全部或部分地通過(guò)軟件、硬件、固件或者其任意組合來(lái)實(shí)現(xiàn)。當(dāng)使用軟件實(shí)現(xiàn)時(shí)，可以全部或部分地以計(jì)算機(jī)程序產(chǎn)品的形式實(shí)現(xiàn)。所述計(jì)算機(jī)程序產(chǎn)品包括一個(gè)或多個(gè)計(jì)算機(jī)指令。在計(jì)算機(jī)上加載和執(zhí)行所述計(jì)算機(jī)指令時(shí)，全部或部分地產(chǎn)生按照本申請(qǐng)實(shí)施例所述的流程或功能。所述計(jì)算機(jī)可以是通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、計(jì)算機(jī)網(wǎng)絡(luò)、或者其他可編程裝置。所述計(jì)算機(jī)指令可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，或者從一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)向另一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)傳輸，例如，所述計(jì)算機(jī)指令可以從一個(gè)網(wǎng)站站點(diǎn)、計(jì)算機(jī)、服務(wù)器或數(shù)據(jù)中心通過(guò)有線(例如同軸電纜、光纖、數(shù)字用戶線(digitalsubscriberline，dsl))或無(wú)線(例如紅外、無(wú)線、微波等)方式向另一個(gè)網(wǎng)站站點(diǎn)、計(jì)算機(jī)、服務(wù)器或數(shù)據(jù)中心進(jìn)行傳輸。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是計(jì)算機(jī)能夠存取的任何可用介質(zhì)或者是包含一個(gè)或多個(gè)可用介質(zhì)集成的服務(wù)器、數(shù)據(jù)中心等數(shù)據(jù)存儲(chǔ)設(shè)備。所述可用介質(zhì)可以是磁性介質(zhì)(例如，軟盤(pán)、硬盤(pán)、磁帶)、光介質(zhì)(例如，高密度數(shù)字視頻光盤(pán)(digitalvideodisc，dvd))、或者半導(dǎo)體介質(zhì)(例如，固態(tài)硬盤(pán)(solidstatedisk，ssd))等。

應(yīng)理解，本文中涉及的第一、第二以及各種數(shù)字編號(hào)僅為描述方便進(jìn)行的區(qū)分，并不用來(lái)限制本申請(qǐng)的范圍。

應(yīng)理解，本文中術(shù)語(yǔ)“和/或”，僅僅是一種描述關(guān)聯(lián)對(duì)象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，a和/或b，可以表示：?jiǎn)为?dú)存在a，同時(shí)存在a和b，單獨(dú)存在b這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對(duì)象是一種“或”的關(guān)系。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本申請(qǐng)的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的系統(tǒng)、裝置和單元的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過(guò)其他的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其他的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。

以上所述，僅為本申請(qǐng)的具體實(shí)施方式，但本申請(qǐng)的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本申請(qǐng)揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本申請(qǐng)的保護(hù)范圍之內(nèi)。因此，本申請(qǐng)的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。