本發(fā)明涉及音視頻錄制技術(shù)，尤指一種全景錄制、播放方法及裝置。

背景技術(shù)：

全景拍攝可以在拍攝位置拍攝左右上下360度的視頻，讓觀看者有一種身臨其境的感覺(jué)?，F(xiàn)有技術(shù)中，全景拍攝裝置通過(guò)兩個(gè)魚眼鏡頭或多個(gè)廣角鏡頭采集外界圖像，然后通過(guò)算法進(jìn)行拼接，形成全景視頻。

全景技術(shù)的目的是真實(shí)還原、真實(shí)寫照所拍攝的環(huán)境，為了觀看者能夠達(dá)到真正身臨其境的感覺(jué)，除了視頻全景拍攝外，聲音亦需要完整記錄并在播放時(shí)能夠還原，在播放時(shí)能夠根據(jù)觀看者的視角對(duì)應(yīng)調(diào)整聲音輸出。

現(xiàn)有全景相機(jī)等拍攝裝置存在以下缺陷：

1)相機(jī)裝置自帶的錄音功能，一般是按照傳統(tǒng)的單聲道或左右聲道方案進(jìn)行錄音。所錄制的聲音信號(hào)不能與拼接后的全景視頻準(zhǔn)確關(guān)聯(lián)，還原后的聲音與視頻存在較大的相位或位置誤差，最終的全景視頻中的聲音信號(hào)與實(shí)際場(chǎng)景的聲場(chǎng)不能準(zhǔn)確吻合，不能再現(xiàn)實(shí)際場(chǎng)景，導(dǎo)致觀看的用戶體驗(yàn)差；

2)全景相機(jī)本身不能記錄全景聲場(chǎng)，如果要記錄全景聲場(chǎng)，需要專業(yè)的外圍輔助裝置，專業(yè)的人員操作并進(jìn)行后期合成及專業(yè)處理(例如時(shí)間同步，個(gè)別音源特殊處理等等)，無(wú)法實(shí)現(xiàn)個(gè)人普通用戶簡(jiǎn)便使用。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種全景錄制、播放方法及裝置，能夠通過(guò)拍攝裝置簡(jiǎn)單、方便的實(shí)現(xiàn)全景聲場(chǎng)的錄制、播放。

為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種全景錄制方法，應(yīng)用于包含多個(gè)圖像采集單元的拍攝裝置中，所述拍攝裝置還包含多個(gè)音頻采集單元，所述方法包括：

通過(guò)所述多個(gè)圖像采集單元拍攝外界圖像得到多路廣角視頻數(shù)據(jù)，在拍攝圖像的同時(shí)，通過(guò)所述多個(gè)音頻采集單元采集外界聲音得到多路音頻數(shù)據(jù)；

將所述多路廣角視頻數(shù)據(jù)展開(kāi)并拼接融合為全景視頻；

根據(jù)每個(gè)音頻采集單元設(shè)置在所述拍攝裝置上的位置和所述多路音頻數(shù)據(jù)，生成與所述全景視頻對(duì)應(yīng)的全景聲場(chǎng)，所述全景聲場(chǎng)中包含所述多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

對(duì)所述全景視頻和所述全景聲場(chǎng)進(jìn)行編碼。

本發(fā)明還提供了一種全景播放方法，包括：

對(duì)全景視頻和對(duì)應(yīng)的全景聲場(chǎng)進(jìn)行解碼，其中，所述全景聲場(chǎng)是根據(jù)拍攝裝置上的每個(gè)音頻采集單元設(shè)置在所述拍攝裝置上的位置和每個(gè)音頻采集單元采集外界聲音得到的多路音頻數(shù)據(jù)所生成，所述拍攝裝置包含多個(gè)音頻采集單元，所述全景聲場(chǎng)中包含所述多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

播放所述全景視頻，在播放的過(guò)程中，識(shí)別人眼觀看的視頻區(qū)域，根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置；

根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，并分別在對(duì)應(yīng)的音頻播放器中播放所述左耳聲場(chǎng)信息和右耳聲場(chǎng)信息。

本發(fā)明還提供了一種全景錄制裝置，包括：多個(gè)圖像采集單元、多個(gè)音頻采集單元、圖像處理單元、音頻處理單元和音視頻編碼處理單元，其中：

所述圖像采集單元，用于拍攝外界圖像得到多路廣角視頻數(shù)據(jù)；

所述音頻采集單元，用于在所述圖像采集單元拍攝圖像的同時(shí)，采集外界聲音得到多路音頻數(shù)據(jù)；

所述圖像處理單元，用于將所述多路廣角視頻數(shù)據(jù)展開(kāi)并拼接融合為全景視頻；

所述音頻處理單元，用于根據(jù)每個(gè)音頻采集單元設(shè)置在所述拍攝裝置上的位置和所述多路音頻數(shù)據(jù)，生成與所述全景視頻對(duì)應(yīng)的全景聲場(chǎng)，所述全景聲場(chǎng)中包含所述多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

所述音視頻編碼處理單元，用于對(duì)所述全景視頻和所述全景聲場(chǎng)進(jìn)行編碼。

本發(fā)明還提供了一種全景播放裝置，包括：解碼單元、視頻播放單元、識(shí)別單元和音頻播放單元，其中：

所述解碼單元，用于對(duì)全景視頻和對(duì)應(yīng)的全景聲場(chǎng)進(jìn)行解碼，其中，所述全景聲場(chǎng)是根據(jù)拍攝裝置上的每個(gè)音頻采集單元設(shè)置在所述拍攝裝置上的位置和每個(gè)音頻采集單元采集外界聲音得到的多路音頻數(shù)據(jù)所生成，所述拍攝裝置包含多個(gè)音頻采集單元，所述全景聲場(chǎng)中包含所述多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

所述視頻播放單元，用于播放所述全景視頻；

所述識(shí)別單元，用于在所述視頻播放單元播放的過(guò)程中，識(shí)別人眼觀看的視頻區(qū)域，根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置；

所述音頻播放單元，用于根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，并分別在對(duì)應(yīng)的音頻播放器中播放所述左耳聲場(chǎng)信息和右耳聲場(chǎng)信息。

與現(xiàn)有技術(shù)相比，本申請(qǐng)包括通過(guò)多個(gè)圖像采集單元拍攝外界圖像得到多路廣角視頻數(shù)據(jù)，在拍攝圖像的同時(shí)，通過(guò)多個(gè)音頻采集單元采集外界聲音得到多路音頻數(shù)據(jù)；將多路廣角視頻數(shù)據(jù)展開(kāi)并拼接融合為全景視頻；根據(jù)每個(gè)音頻采集單元設(shè)置在拍攝裝置上的位置和多路音頻數(shù)據(jù)，生成與全景視頻對(duì)應(yīng)的全景聲場(chǎng)，全景聲場(chǎng)中包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；對(duì)全景視頻和全景聲場(chǎng)進(jìn)行編碼。本申請(qǐng)可以使用全景拍攝裝置直接輸出完整的全景音視頻文件，所錄制的全景視頻與全景聲場(chǎng)準(zhǔn)確關(guān)聯(lián)，與真實(shí)場(chǎng)景保持一致，聲音的位置、聲強(qiáng)與圖像相匹配，用戶沉浸感更強(qiáng)，且簡(jiǎn)單易操作。并且，不需要輔助外圍全景音頻錄音裝置；在播放時(shí)，也更容易進(jìn)行全景聲場(chǎng)與視頻的匹配，所還原的全景聲場(chǎng)和全景視頻保持完美對(duì)應(yīng)。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1為本申請(qǐng)的一實(shí)施例的全景錄制方法的流程圖；

圖2為本申請(qǐng)的另一實(shí)施例的全景錄制裝置的架構(gòu)圖；

圖3為本申請(qǐng)實(shí)施例的空間坐標(biāo)系的示意圖；

圖4為本申請(qǐng)實(shí)施例的鏡頭和麥克的位置示意圖；

圖5為本申請(qǐng)實(shí)施例的全景視頻的示意圖；

圖6為本申請(qǐng)的又一實(shí)施例的全景播放方法的流程圖；

圖7為本申請(qǐng)的又一實(shí)施例的全景播放裝置的架構(gòu)圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

在現(xiàn)有的全景錄制方法中，對(duì)于音頻是采用傳統(tǒng)的單聲道或左右聲道的方式錄制。通過(guò)單聲道或左右聲道的方式錄制的音頻不能與全景視頻準(zhǔn)確關(guān)聯(lián)，且在播放端，還原后的聲音與全景視頻與實(shí)際場(chǎng)景不能準(zhǔn)確吻合，用戶體驗(yàn)較差。如果想要獲得全景聲場(chǎng)，需要專業(yè)的輔助設(shè)備，并通過(guò)專業(yè)人員的后期制作，成本很高且操作復(fù)雜，對(duì)普通用戶無(wú)法適用。

針對(duì)上述問(wèn)題，本申請(qǐng)實(shí)施例提供的一種解決方案的主要原理是：在拍攝裝置(或稱全景拍攝裝置)上設(shè)置多個(gè)音頻采集單元，在拍攝裝置拍攝全景視頻的同時(shí)，通過(guò)多個(gè)音頻采集單元采集外界聲音，并根據(jù)每個(gè)音頻采集單元在拍攝裝置上的位置和采集的多路音頻數(shù)據(jù)生成全景聲場(chǎng)，生成的全景聲場(chǎng)與拼接融合后全景視頻相對(duì)應(yīng)，包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)。

由于本申請(qǐng)中是通過(guò)多個(gè)音頻采集單元在拍攝外界圖像的同時(shí)采集外界聲音，并以此為基礎(chǔ)，生成全景聲場(chǎng)，所獲得的全景聲場(chǎng)能夠與拼接后的全景視頻準(zhǔn)確關(guān)聯(lián)，并能夠真實(shí)反映實(shí)際錄制的場(chǎng)景，用戶體驗(yàn)較好。并且，無(wú)需投入額外的輔助設(shè)備，降低了錄制成本，也無(wú)需專業(yè)人員的后期制作，降低了錄制的復(fù)雜度，對(duì)普通用戶同樣適用。

以下結(jié)合附圖詳細(xì)說(shuō)明本申請(qǐng)各實(shí)施例提供的技術(shù)方案。

如圖1所示，本申請(qǐng)的一實(shí)施例提供的全景錄制方法，包括：

步驟101：通過(guò)多個(gè)圖像采集單元拍攝外界圖像得到多路廣角視頻數(shù)據(jù)，在拍攝圖像的同時(shí)，通過(guò)多個(gè)音頻采集單元采集外界聲音得到多路音頻數(shù)據(jù)；

步驟102：將多路廣角視頻數(shù)據(jù)展開(kāi)并拼接融合為全景視頻；

步驟103：根據(jù)每個(gè)音頻采集單元設(shè)置在拍攝裝置上的位置和多路音頻數(shù)據(jù)，生成與全景視頻對(duì)應(yīng)的全景聲場(chǎng)，全景聲場(chǎng)中包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

步驟104：對(duì)全景視頻和全景聲場(chǎng)進(jìn)行編碼。

如圖2所示，本申請(qǐng)的拍攝裝置包含拍攝全景視頻所需的n(n≥2)個(gè)圖像采集單元(每個(gè)圖像采集單元包含一廣角鏡頭和一圖像傳感器)，圖像處理單元，同時(shí)包含音頻聲場(chǎng)采集所需的m(m≥2)個(gè)音頻采集單元(如麥克風(fēng)、特制的全景麥克風(fēng))，音頻處理單元和音視頻編碼處理單元。

本申請(qǐng)的全景錄制方法應(yīng)用于拍攝設(shè)置中。在實(shí)際應(yīng)用中，為了獲得全景視頻，出現(xiàn)了全景拍攝裝置，如全景相機(jī)、全景攝像機(jī)等。這些全景拍攝裝置中包括至少兩個(gè)圖像采集單元，圖像采集單元包括一個(gè)廣角鏡頭(如魚眼鏡頭)和一個(gè)攝取由該廣角鏡頭形成的圖像的圖像傳感器。至少兩個(gè)圖像采集單元背向設(shè)置，保證采集到水平和垂直各360°的全景圖像。拍攝裝置通過(guò)將各圖像采集單元攝取的圖像結(jié)合在一起獲得立體角弧度為4π的圖像。

為了能夠通過(guò)拍攝裝置直接獲得全景聲場(chǎng)，需要在拍攝裝置上設(shè)置多個(gè)音頻采集單元。音頻采集單元可以采用音頻麥克。多個(gè)音頻麥克作為聲音采集部件，負(fù)責(zé)拍攝時(shí)拍攝裝置所在位置在不同方位的聲音的采集記錄。麥克分別朝向不同方向，麥克的具體數(shù)量不限，以能夠準(zhǔn)確記錄拍攝場(chǎng)景中的聲音為好。音頻處理單元將采集的音頻數(shù)據(jù)理后生成全景聲場(chǎng)。

為了得到全景視頻，拍攝裝置需要首先通過(guò)圖像采集單元拍攝外界圖像，得到多路廣角視頻數(shù)據(jù)。例如，在圖像采集單元采用魚眼鏡頭的情況下，拍攝后得到兩路魚眼視頻數(shù)據(jù)。兩圖像采集單元拍攝的圖像需保證有部分重疊區(qū)域。拍攝裝置接下來(lái)會(huì)對(duì)多路(如兩路)廣角視頻數(shù)據(jù)進(jìn)行拼接融合處理，得到全景視頻。

本申請(qǐng)中為了能夠通過(guò)拍攝裝置獲得全景聲場(chǎng)而不必借助于外部的輔助裝置，在拍攝裝置上設(shè)置了多個(gè)音頻采集單元。該多個(gè)音頻采集單元在圖像采集單元拍攝圖像的同時(shí)，同時(shí)采集當(dāng)前所拍攝場(chǎng)景中拍攝裝置所在位置的外界聲音，從而得到多路音頻數(shù)據(jù)。每一個(gè)音頻采集單元對(duì)應(yīng)一路音頻數(shù)據(jù)。拍攝裝置接下來(lái)會(huì)將上述多路音頻數(shù)據(jù)生成全景聲場(chǎng)。全景聲場(chǎng)是指，在環(huán)境中不同角度、位置的音源在不同的時(shí)間，發(fā)出不同的聲音，整個(gè)環(huán)境中各個(gè)音源的音頻數(shù)據(jù)和音頻信息共同構(gòu)成一個(gè)聲場(chǎng)。音頻信息包含音源的坐標(biāo)、朝向和聲音強(qiáng)度等。全景聲場(chǎng)與全景視頻相對(duì)應(yīng)。

多個(gè)圖像采集單元進(jìn)行視頻拍攝、捕捉全角度的圖像數(shù)據(jù)，得到多路廣角視頻數(shù)據(jù)后，圖像處理單元進(jìn)行對(duì)應(yīng)的圖像展開(kāi)、拼接融合處理，將采集的廣角視頻數(shù)據(jù)拼接為全景視頻。

為了將采集的廣角視頻數(shù)據(jù)拼接為全景視頻，需要以拍攝裝置所在的空間坐標(biāo)系建立成像模型。該空間坐標(biāo)系可以以拍攝裝置上的任意一點(diǎn)為圓心。如圖3所示，空間坐標(biāo)系以圓心O為坐標(biāo)原點(diǎn)；空間坐標(biāo)系包括X軸、Y軸和Z軸。為便于理解空間概念，在圖3中示出了半個(gè)單位球。這個(gè)空間坐標(biāo)系作為后續(xù)全景視頻拼接及全景聲場(chǎng)形成的參考基準(zhǔn)。

另外，拍攝裝置的多個(gè)鏡頭在拍攝裝置中的具體位置是固定的，此位置信息記錄在拍攝裝置中。如圖4所示，以圖中方體表示拍攝裝置(相機(jī))，在拍攝裝置的正面、背面以及底面各設(shè)置一個(gè)鏡頭(圖中未示出)，拍攝裝置中存儲(chǔ)有各個(gè)鏡頭的位置信息。拍攝裝置中還設(shè)置有加速度計(jì)及陀螺儀傳感器(Accelerometer&gyroscope Sensor)，該加速度計(jì)及陀螺儀傳感器在出廠時(shí)可以標(biāo)定相同的初始值。在拍攝裝置使用中，加速度計(jì)及陀螺儀傳感器能夠記錄拍攝裝置所處的相對(duì)位置。

拍攝裝置在多個(gè)圖像采集單元拍攝得到多路廣角視頻數(shù)據(jù)后，根據(jù)保存的上述每個(gè)鏡頭的位置信息、加速度計(jì)及陀螺儀傳感器的參數(shù)，以上述空間坐標(biāo)系為參考基準(zhǔn)，將多路廣角視頻數(shù)據(jù)拼接融合形成全景視頻。如圖5所示，拼接融合后得到全景視頻可以觀看到以拍攝裝置為中心的360的全景。

融合的方法如采用小波融合、加權(quán)平均融合等。例如，對(duì)雙鏡頭的拍照設(shè)備拍攝的兩路廣角視頻數(shù)據(jù)，對(duì)兩個(gè)展開(kāi)后的視頻圖像進(jìn)行重疊區(qū)域的融合處理，兩個(gè)視頻圖像經(jīng)融合后合二為一，形成拼接好的全景視頻圖像。

如上所述，要拍攝的場(chǎng)景中包含有多個(gè)不同音源，在場(chǎng)景中的不同位置聽(tīng)到的聲音也并不相同，構(gòu)建全景聲場(chǎng)的目的是與全景視頻相對(duì)應(yīng)，為用戶提供與其所觀看的視頻部分真實(shí)匹配的聲音，使用戶在視頻與聲音兩個(gè)維度均有身臨其境之感。用于采集外界聲音的多個(gè)麥克在拍攝裝置具體位置是固定的，為了生成全景聲場(chǎng)，在拍攝裝置中記錄每個(gè)麥克的位置信息。例如，請(qǐng)?jiān)俅螀⒖紙D4，以圖中方體表示拍攝裝置，在拍攝裝置的每個(gè)側(cè)面均設(shè)置一個(gè)麥克，麥克可以朝向不同的角度。

在多個(gè)音頻采集單元采集得到多路音頻數(shù)據(jù)后，拍攝裝置會(huì)根據(jù)上述每個(gè)麥克的位置信息和得到的多路音頻數(shù)據(jù)，生成全景聲場(chǎng)。全景聲場(chǎng)中包含了麥克能夠采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)。音頻信息包含音源的坐標(biāo)、朝向和音源聲音強(qiáng)度等信息。

錄音時(shí)由于不同麥克位置不同，聲源距離各個(gè)麥克不等距，造成聲音傳遞到不同麥克存在著時(shí)間差和相位差；各個(gè)麥克朝向亦有不同，同樣的聲音傳遞到不同麥克亦有強(qiáng)度差；即同樣一個(gè)聲源傳遞到不同麥克，存在不同的強(qiáng)度差、時(shí)間差和相位差，也就帶來(lái)了聲源相對(duì)相機(jī)的方位信息。

本申請(qǐng)中，拼接全景視頻和生成全景聲場(chǎng)實(shí)時(shí)、同步進(jìn)行，拍攝的多路廣角視頻數(shù)據(jù)實(shí)時(shí)拼接為全景視頻，采集的多路音頻數(shù)據(jù)實(shí)時(shí)生成全景視頻，且兩者同步進(jìn)行，并無(wú)邏輯上的先后關(guān)系。

在將多路廣角視頻數(shù)據(jù)拼接為全景視頻，將多路音頻數(shù)據(jù)生成全景聲場(chǎng)后，音視頻編碼處理單元可以將一一對(duì)應(yīng)后的全景視頻和全景聲場(chǎng)進(jìn)行編碼、存儲(chǔ)和傳輸?shù)取Ｒ驗(yàn)槿耙曨l和全景聲場(chǎng)基于同一坐標(biāo)系，故全景視頻和全景聲場(chǎng)可以做到準(zhǔn)確的一一對(duì)應(yīng)，編碼后的音視頻文件即自帶了全景聲場(chǎng)，使錄制的視頻與聲音能夠更真實(shí)的對(duì)應(yīng)，不需要單獨(dú)進(jìn)行時(shí)間同步，在播放時(shí)可以真實(shí)還原拍攝場(chǎng)景的音視頻信息，提高用戶的沉浸感和體驗(yàn)。

如圖6所示，本申請(qǐng)的另一實(shí)施例的全景播放方法，包括：

步驟601：對(duì)全景視頻和對(duì)應(yīng)的全景聲場(chǎng)進(jìn)行解碼，其中，全景聲場(chǎng)是根據(jù)拍攝裝置上的每個(gè)音頻采集單元設(shè)置在拍攝裝置上的位置和每個(gè)音頻采集單元采集外界聲音得到的多路音頻數(shù)據(jù)所生成，拍攝裝置包含多個(gè)音頻采集單元，全景聲場(chǎng)中包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

步驟602：播放全景視頻，在播放的過(guò)程中，識(shí)別人眼觀看的視頻區(qū)域，根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置；

步驟603：根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，并分別在對(duì)應(yīng)的音頻播放器中播放左耳聲場(chǎng)信息和右耳聲場(chǎng)信息。

本申請(qǐng)中為了獲得與拍攝的實(shí)際場(chǎng)景相一致的音視頻體驗(yàn)，在拍攝裝置上設(shè)置了多個(gè)音頻采集單元采集外界的聲音，并在拼接全景視頻的同時(shí)，根據(jù)麥克在拍攝裝置上的位置和采集得到的音頻數(shù)據(jù)生成全景聲場(chǎng)，并對(duì)全景視頻和全景聲場(chǎng)進(jìn)行編碼，得到音視頻文件。

在用戶選擇播放全景視頻和全景聲場(chǎng)時(shí)，需要先對(duì)全景視頻和相應(yīng)的全景聲場(chǎng)進(jìn)行解碼。在屏幕上播放全景視頻，用戶可以按照個(gè)人的喜好選擇不同的視角觀看。為了達(dá)到隨著視頻播放視角的變化，相應(yīng)的調(diào)整聲音效果的目的，在播放全景視頻的過(guò)程中，首先需要實(shí)時(shí)識(shí)別人眼觀看的視頻區(qū)域，根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置，以根據(jù)人耳的位置生成全景聲場(chǎng)在人耳位置的音頻數(shù)據(jù)。人頭模型的中心點(diǎn)與上述全景視頻和全景音頻基于的空間坐標(biāo)系的圓心重合。

本申請(qǐng)的全景播放方法可以應(yīng)用于拍攝裝置，也就是直接在拍攝裝置中進(jìn)行播放，也可以通過(guò)頭顯設(shè)備進(jìn)行播放。如果直接在拍攝裝置中進(jìn)行播放，可以根據(jù)顯示屏上顯示的圖像的坐標(biāo)確定人眼觀看的視頻區(qū)域；如果是通過(guò)頭顯設(shè)備進(jìn)行播放，則可由頭顯設(shè)備直接識(shí)別出人眼觀看的視頻區(qū)域。

人在觀看全景視頻時(shí)，相當(dāng)于處于全景視頻的球心位置，由球心向外看向球的內(nèi)壁，球心即拍攝時(shí)的相機(jī)位置；根據(jù)頭顯設(shè)備現(xiàn)有的頭部追蹤技術(shù)(6軸追蹤、九軸追蹤、眼動(dòng)追蹤等)，可以得出人在觀看全景視頻時(shí)人臉的具體朝向，在人頭模型的臉部朝向明確后，即可在人頭模型上根據(jù)人臉的朝向得到左、右兩只人耳的坐標(biāo)和兩耳朝向。

然后，根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，并分別在對(duì)應(yīng)的音頻播放器中播放所述左耳聲場(chǎng)信息和右耳聲場(chǎng)信息。左耳聲場(chǎng)信息和右耳聲場(chǎng)信息是聲場(chǎng)中各音源傳輸?shù)綄?duì)應(yīng)兩只耳朵所在位置的兩個(gè)不同聲場(chǎng)信息，分別對(duì)應(yīng)在左、右耳機(jī)中播放。

根據(jù)錄制時(shí)得到的全景聲場(chǎng)信息以及兩耳的位置、朝向，可分離出音床(靜態(tài)環(huán)境聲音)和多個(gè)聲音對(duì)象(可以準(zhǔn)確定位的動(dòng)態(tài)音頻內(nèi)容，即帶定位信息的動(dòng)態(tài)音頻內(nèi)容)，頭顯設(shè)備分別計(jì)算出音床傳遞到左耳所在位置的聲音強(qiáng)度，以及各聲音對(duì)象傳遞到左耳所在位置的聲音強(qiáng)度，根據(jù)計(jì)算出的聲音強(qiáng)度，采用音床和各聲音對(duì)象合成左耳聲場(chǎng)信息，作為播放設(shè)備的左聲道輸出；同理音床和各聲音對(duì)象傳遞到右耳生成右耳聲場(chǎng)信息，作為播放設(shè)備的右聲道輸出。

上述形成的左、右聲道輸出，可以真實(shí)還原用戶觀看時(shí)對(duì)應(yīng)場(chǎng)景中的聲音發(fā)生的位置，使用戶沉浸感更強(qiáng)。

請(qǐng)?jiān)俅螀⒖紙D2，本申請(qǐng)的全景錄制裝置，包括：多個(gè)圖像采集單元、多個(gè)音頻采集單元、圖像處理單元、音頻處理單元和音視頻編碼處理單元，其中：

圖像采集單元，用于拍攝外界圖像得到多路廣角視頻數(shù)據(jù)；

音頻采集單元，用于在圖像采集單元拍攝圖像的同時(shí)，采集外界聲音得到多路音頻數(shù)據(jù)；

圖像處理單元，用于將多路廣角視頻數(shù)據(jù)展開(kāi)并拼接融合為全景視頻；

音頻處理單元，用于根據(jù)每個(gè)音頻采集單元設(shè)置在拍攝裝置上的位置和多路音頻數(shù)據(jù)，生成與全景視頻對(duì)應(yīng)的全景聲場(chǎng)，全景聲場(chǎng)中包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

音視頻編碼處理單元，用于對(duì)全景視頻和全景聲場(chǎng)進(jìn)行編碼。

進(jìn)一步，音頻信息包含音源的坐標(biāo)、朝向和聲音強(qiáng)度。

如圖7所示，本申請(qǐng)的全景播放裝置，包括：解碼單元、視頻播放單元、識(shí)別單元和音頻播放單元，其中：

解碼單元，用于對(duì)全景視頻和對(duì)應(yīng)的全景聲場(chǎng)進(jìn)行解碼，其中，全景聲場(chǎng)是根據(jù)拍攝裝置上的每個(gè)音頻采集單元設(shè)置在拍攝裝置上的位置和每個(gè)音頻采集單元采集外界聲音得到的多路音頻數(shù)據(jù)所生成，拍攝裝置包含多個(gè)音頻采集單元，全景聲場(chǎng)中包含多個(gè)音頻采集單元采集到的每個(gè)音源的音頻信息和音頻數(shù)據(jù)；

視頻播放單元，用于播放全景視頻；

識(shí)別單元，用于在視頻播放單元播放的過(guò)程中，識(shí)別人眼觀看的視頻區(qū)域，根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置；

音頻播放單元，用于根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，并分別在對(duì)應(yīng)的音頻播放器中播放左耳聲場(chǎng)信息和右耳聲場(chǎng)信息。

進(jìn)一步，識(shí)別單元根據(jù)人眼觀看的視頻區(qū)域和人頭模型計(jì)算出人耳的位置，包括：

根據(jù)人眼觀看的視頻區(qū)域識(shí)別出在觀看全景視頻時(shí)人臉的朝向，在人頭模型上根據(jù)人臉的朝向得到左耳和右耳的坐標(biāo)和朝向。

進(jìn)一步，音頻播放單元根據(jù)全景聲場(chǎng)和人耳的位置生成左耳聲場(chǎng)信息和右耳聲場(chǎng)信息，包括：

根據(jù)全景聲場(chǎng)以及人耳的位置，分離出音床和多個(gè)聲音對(duì)象；

分別計(jì)算出音床傳遞到左、右耳所在位置的聲音強(qiáng)度，以及各聲音對(duì)象傳遞到左、右耳所在位置的聲音強(qiáng)度，根據(jù)音床和個(gè)聲音對(duì)象傳遞到左、右耳所在位置的聲音強(qiáng)度，采用音床和各聲音對(duì)象合成左、右耳聲場(chǎng)信息。

雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。