視頻處理的方法及裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種視頻處理的方法及裝置，其中，本發(fā)明的方法主要包括：獲取全景視頻；分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性，所述屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率；根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。與現(xiàn)有技術(shù)相比，本發(fā)明能夠?qū)崿F(xiàn)減少全景視頻占用存儲(chǔ)空間和流量的耗費(fèi)。
【專利說明】
視頻處理的方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種視頻處理的方法及裝置。
【背景技術(shù)】
[0002]隨著社會(huì)經(jīng)濟(jì)的發(fā)展，計(jì)算機(jī)已經(jīng)成為人們生活不可或缺的重要組成部分，而友好的人機(jī)交互也早就成為人們非常關(guān)心的課題。從早期的命令界面到圖形用戶界面再到多媒體界面，直到現(xiàn)在的虛擬現(xiàn)實(shí)。人機(jī)交互已經(jīng)發(fā)展到了一個(gè)新的領(lǐng)域。
[0003]虛擬現(xiàn)實(shí)(Virtual Reality，簡稱VR)是利用計(jì)算機(jī)圖形系統(tǒng)及各種現(xiàn)實(shí)控制等接口設(shè)備，在計(jì)算機(jī)上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。VR技術(shù)的實(shí)現(xiàn)需要有VR全景視頻、VR觀看設(shè)備等。其中VR全景視頻是采用全景相機(jī)對(duì)現(xiàn)場進(jìn)行360度無死角拍攝然后再經(jīng)過后期的制作、軟件合成的視頻，因此可以使用戶享受身臨其境的代入感。由于是360度無死角拍攝，并且由于對(duì)VR全景視頻的清晰度有一定的要求，因此得到的VR全景視頻文件數(shù)據(jù)通常較大，這樣VR全景視頻占有的存儲(chǔ)空間會(huì)較大，同樣傳輸所需耗費(fèi)的流量也較大，而VR全景視頻本身的這些特征給VR全景視頻的存儲(chǔ)和傳輸造成壓力。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種視頻處理的方法及裝置，用以解決現(xiàn)有VR全景視頻處理方法耗費(fèi)存儲(chǔ)空間和流量問題。
[0005]本發(fā)明實(shí)施例提供一種視頻處理的方法，所述方法包括:
[0006]獲取全景視頻；
[0007]分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性，所述屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率；
[0008]根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。
[0009]本發(fā)明實(shí)施例提供一種視頻處理的裝置，所述裝置包括:
[0010]獲取單元，用于獲取全景視頻；
[0011]判斷單元，用于分別判斷所述全景視頻全景中圖像包含的不同對(duì)象的屬性，所述屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率；
[0012]設(shè)置單元，用于根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。
[0013]本發(fā)明實(shí)施例提供的視頻處理的方法及裝置，能夠首先獲取全景視頻;然后，分別判斷該全景視頻中包含的全景圖像中包含的不同對(duì)象的屬性，該屬性用于標(biāo)識(shí)上述對(duì)象的核心度和運(yùn)動(dòng)頻率;最后，根據(jù)上述屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠根據(jù)全景視頻中包含的全景圖像中不同對(duì)象的核心度和運(yùn)動(dòng)速率設(shè)置不同的圖像質(zhì)量參數(shù)進(jìn)行編碼，這樣就可以進(jìn)一步針對(duì)根據(jù)全景圖像中對(duì)象的不同屬性需要選擇不同的圖像質(zhì)量參數(shù)，通常圖像質(zhì)量參數(shù)越高所占用的空間越大，而圖像質(zhì)量參數(shù)根據(jù)不同的對(duì)象動(dòng)態(tài)變化的視頻編碼方式在一定程度上可以在保證重要對(duì)象的圖像質(zhì)量的情況下減少整個(gè)全景視頻的存儲(chǔ)空間和以及傳輸時(shí)所需流量的大小。
【附圖說明】
[0014]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0015]圖1為本發(fā)明實(shí)施例提供的一種視頻處理的方法的流程圖；
[0016]圖2為本發(fā)明實(shí)施例提供的另一種視頻處理的方法的流程圖；
[0017]圖3為本發(fā)明實(shí)施例提供的一種視頻處理的裝置的組成框圖；
[0018]圖4為本發(fā)明實(shí)施例提供的另一種視頻處理的裝置的組成框圖。
【具體實(shí)施方式】
[0019]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0020]本發(fā)明實(shí)施例提供了一種視頻處理的方法，如圖1所示，該方法包括:
[0021]101、獲取全景視頻。
[0022]全景視頻指可以在拍攝角度左右上下360度的任意觀看動(dòng)態(tài)視頻，使我們有一種身臨其境的感覺，現(xiàn)在的VR技術(shù)使用的就是全景視頻。通常全景視頻是由多個(gè)攝像機(jī)拍攝的視頻進(jìn)行拼接得到的，拼接成成的一個(gè)全景圖像可能為立方體圖像或者球形圖像。本實(shí)施例中獲取的全景視頻可以為直接通過攝像機(jī)拍攝的視頻，直接拍攝得到的全景視頻是半成品，需要獲取之后使用軟件進(jìn)行拼接等處理;或者直接獲取經(jīng)過相關(guān)軟件處理得到的成型的全景視頻。
[0023]102、分別判斷全景視頻中全景圖像包含的不同對(duì)象的屬性。
[0024]由于現(xiàn)有網(wǎng)絡(luò)帶寬的限制，視頻較大數(shù)據(jù)的信號(hào)通常需要進(jìn)行較大的壓縮，因此視頻編碼的過程中涉及視頻的壓縮。而對(duì)于全景視頻來說，由于本身相對(duì)于傳統(tǒng)的視頻數(shù)據(jù)量更大，因此在保證一定的視頻質(zhì)量時(shí)，全景視頻數(shù)據(jù)的壓縮比例不能太大。然而全景視頻的數(shù)據(jù)量越大，在傳輸過程中占用的帶寬和流量也更大，對(duì)網(wǎng)絡(luò)的要求也就更高。但是對(duì)于大多數(shù)的全景視頻進(jìn)行分析，可以看到一個(gè)全景視頻中有效的信息少，大多數(shù)都是背景之類的非重要信息。因此本實(shí)施例考慮根據(jù)全景視頻中信息的重要程度來分別進(jìn)行編碼過程中的相關(guān)參數(shù)的不同設(shè)置。由上述的分析，因此需要首先對(duì)獲取的全景視頻中的信息進(jìn)行分析。具體的:
[0025]視頻都是由一個(gè)一個(gè)的圖像構(gòu)成的，分析全景視頻中包含的每個(gè)全景圖像或者關(guān)鍵幀全景圖像，具體的分析內(nèi)容為:判斷全景圖像中包含的不同對(duì)象的屬性，不同的對(duì)象通常指不同的場景或者不同的人或物等。比如一個(gè)全景圖像為“一個(gè)女孩在教室里跳舞”，那么這個(gè)圖像中包含的對(duì)象為“女孩”和“教室”兩個(gè)。本實(shí)施例中全景圖像中對(duì)象的屬性是用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率。還使用上述例子“一個(gè)女孩在教室里跳舞”兩個(gè)對(duì)象“女孩”和“教室”，女孩跳舞是圖像中核心的部分，而教室只是一個(gè)跳舞的背景，因此對(duì)象“女孩”的核心度比“教室”的核心度高；另外，對(duì)象“女孩”在整個(gè)視頻中是在跳舞，而作為“教室”的背景是始終保持不變的，因此兩個(gè)對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率也是不同的，“女孩”的運(yùn)動(dòng)頻率為正值，大于“教室”的運(yùn)動(dòng)頻率零值。需要說明的是不同對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)的頻率單獨(dú)在一個(gè)圖像中是無法確定的，通常是根據(jù)全景視頻中某一段視頻或是全部的全景視頻來判斷的。
[0026]103、根據(jù)屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)。
[0027]由步驟102確定全景圖像中包含的不同對(duì)象的屬性后，根據(jù)對(duì)應(yīng)的屬性設(shè)置不同對(duì)象對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用不同的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。具體的:核心度高和/或運(yùn)動(dòng)率大的對(duì)象，圖像質(zhì)量參數(shù)也會(huì)相應(yīng)的設(shè)置較大，而核心度和/或運(yùn)動(dòng)率小的對(duì)象，圖像質(zhì)量參數(shù)也會(huì)相應(yīng)的設(shè)置較小，圖像質(zhì)量參數(shù)越小通常對(duì)應(yīng)的編碼后的圖像數(shù)據(jù)占用的存儲(chǔ)空間和流量也會(huì)越小，實(shí)際的效果是在編碼的過程中根據(jù)不同的對(duì)象動(dòng)態(tài)地改變圖像質(zhì)量參數(shù)。由于用戶在觀看全景視頻時(shí)，通常只會(huì)關(guān)注核心度高或運(yùn)動(dòng)率高的對(duì)象，因此可以使最終呈現(xiàn)出的全景視頻效果為:保證了核心度高或運(yùn)動(dòng)率高的對(duì)象的圖像質(zhì)量，不影響用戶的觀看。同時(shí)也減少了全景視頻傳輸時(shí)占用的存儲(chǔ)空間和流量，解決了由于全景視頻數(shù)據(jù)量大造成的數(shù)據(jù)在網(wǎng)絡(luò)傳輸中遇到的困難。
[0028]需要說明的是，圖像質(zhì)量參數(shù)可以根據(jù)實(shí)際的需求設(shè)置不同的等級(jí)與不同的核心度和/或運(yùn)動(dòng)頻率進(jìn)行匹配。圖像質(zhì)量參數(shù)與核心和/或運(yùn)動(dòng)頻率不一定是--對(duì)應(yīng)的關(guān)系，可以將在某一范圍內(nèi)的核心度和/或運(yùn)動(dòng)頻率對(duì)應(yīng)同一個(gè)圖像質(zhì)量參數(shù)等級(jí)。
[0029]進(jìn)一步的，對(duì)于本實(shí)施例中的全景視頻主要作為VR設(shè)備的片源。
[0030]本發(fā)明實(shí)施例提供的視頻處理的方法，能夠首先獲取全景視頻;然后，分別判斷該全景視頻中包含的全景圖像中包含的不同對(duì)象的屬性，該屬性用于標(biāo)識(shí)上述對(duì)象的核心度和運(yùn)動(dòng)頻率;最后，根據(jù)上述屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠根據(jù)全景視頻中包含的全景圖像中不同對(duì)象的核心度和運(yùn)動(dòng)速率設(shè)置不同的圖像質(zhì)量參數(shù)進(jìn)行編碼，這樣就可以進(jìn)一步針對(duì)根據(jù)全景圖像中對(duì)象的不同屬性需要選擇不同的圖像質(zhì)量參數(shù)，通常圖像質(zhì)量參數(shù)越高所占用的空間越大，而圖像質(zhì)量參數(shù)根據(jù)不同的對(duì)象動(dòng)態(tài)變化的視頻編碼方式在一定程度上可以在保證重要對(duì)象的圖像質(zhì)量的情況下減少整個(gè)全景視頻的存儲(chǔ)空間和以及傳輸時(shí)所需流量的大小。
[0031]進(jìn)一步的，為了對(duì)圖1所示實(shí)施例的細(xì)化及擴(kuò)展，本發(fā)明實(shí)施例提供另一種視頻處理的方法，如圖2所示。
[0032]201、獲取全景視頻。
[0033]本步驟的實(shí)現(xiàn)方式與圖1步驟101中的實(shí)現(xiàn)方式相同，此處不再贅述。
[0034]202、將全景視頻中全景圖像分割為不同區(qū)域，不同區(qū)域?qū)?yīng)不同的對(duì)象。
[0035]獲取全景視頻后，為了將對(duì)應(yīng)的全景圖像中的不同重要程度的信息進(jìn)行區(qū)分，首先需要將全景圖像進(jìn)行分割，分割為不同的區(qū)域，分割時(shí)可以根據(jù)用戶輸入的坐標(biāo)點(diǎn)信息作為不同區(qū)域的分界點(diǎn)信息，進(jìn)而為全景圖像圈出不同的區(qū)域;或者根據(jù)用戶通過網(wǎng)格標(biāo)記的輸入方式獲取不同區(qū)域的分界點(diǎn)，進(jìn)而為全景圖像圈出不同的區(qū)域。進(jìn)行全景圖像區(qū)域分割時(shí)所依據(jù)的標(biāo)準(zhǔn)為不同的區(qū)域?qū)?yīng)不同的對(duì)象。需要說明的是不同重要程度的信息指的是不同的對(duì)象。
[0036]203、分別判斷全景視頻中全景圖像包含的不同對(duì)象的屬性。
[0037]本實(shí)施例中對(duì)象的屬性與圖1步驟102中屬性是一樣的，包括對(duì)象的核心度和運(yùn)動(dòng)頻率，對(duì)于判斷全景圖像中不同對(duì)象的屬性的方法具體包括以下兩種情況:
[0038]第一種情況，根據(jù)全景視頻對(duì)應(yīng)的屬性說明文件判斷對(duì)象的屬性，屬性說明文件中記錄有全景視頻中包含的所有對(duì)象的屬性信息。屬性說明文件是與全景視頻一樣是已知的，可以直接獲取。屬性說明文件是拍攝全景視頻的拍攝者在拍攝過程中對(duì)不同的對(duì)象的屬性進(jìn)行標(biāo)記和記錄生成的，同時(shí)也可以更加準(zhǔn)確地表達(dá)拍攝者拍攝的視頻想要表達(dá)的真正含義。屬性說明文件可以在獲取全景視頻時(shí)一并被獲取。因此只要確定全景圖像中包含的對(duì)象就可以在屬性說明文件中找到相對(duì)應(yīng)的屬性信息。
[0039]第二種情況，根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)評(píng)估不同對(duì)象的屬性。對(duì)于沒有屬性說明文件的全景視頻或者不想使用全景視頻對(duì)應(yīng)的屬性說明文件時(shí)，可以根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)對(duì)不同的對(duì)象進(jìn)行屬性的預(yù)估。其中預(yù)設(shè)標(biāo)準(zhǔn)中包括如何根據(jù)對(duì)象的運(yùn)動(dòng)或靜止的狀態(tài)來判斷運(yùn)動(dòng)頻率的規(guī)定、如何根據(jù)運(yùn)動(dòng)或靜止?fàn)顟B(tài)判斷對(duì)應(yīng)的不同的核心度的規(guī)定;如何根據(jù)對(duì)象在全景圖像中的位置確定對(duì)象的核心度的規(guī)定等多種規(guī)定。例如可以規(guī)定運(yùn)動(dòng)的對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率高且核心度高，靜止的對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率低、核心度低，處于全景圖像中心位置的對(duì)象的核心度高，處于全景圖像邊緣位置的對(duì)象的核心度低等。實(shí)際中可以根據(jù)不同的全景視頻以及包含的不同的全景圖像選擇預(yù)設(shè)標(biāo)準(zhǔn)中具體使用的規(guī)定，然后根據(jù)選擇的規(guī)定進(jìn)行不同對(duì)象的屬性評(píng)估。
[0040]上述兩種請(qǐng)況可以單獨(dú)使用，也可以進(jìn)行組合使用，具體的使用方式可以根據(jù)實(shí)際需要確定。
[0041]204、根據(jù)屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)。
[0042]本實(shí)施例中，圖像質(zhì)量參數(shù)主要包括碼率和幀率。碼率是指數(shù)據(jù)傳輸時(shí)單位時(shí)間內(nèi)傳送的數(shù)據(jù)的位數(shù)，通常的使用單位為kbp/s。碼率就是失真度，碼率越高，圖像被壓縮的比例越小，圖像越清晰;碼率越低，圖像被壓縮的比例越大，圖像越粗糙包含更多馬賽克。幀率是指I秒內(nèi)顯示的圖像幀數(shù)，幀率就是刷新率，幀率越大，呈現(xiàn)出的視頻畫面越流暢;幀率越小，呈現(xiàn)出的視頻畫面越有跳動(dòng)感。幀率和碼率都是影響圖像質(zhì)量的因素。具體的:
[0043]對(duì)于碼率的設(shè)置主要參考對(duì)象的核心度，碼率與核心度成正比，核心度越高，對(duì)應(yīng)設(shè)置的碼率越大，核心度較低的對(duì)象設(shè)置較低的碼率。碼率越大，圖像壓縮后的占用的空間越大;碼率越小，圖像壓縮后的占用的空間越小，因此即保證了全景圖像中核心度高即重要的對(duì)象的圖像質(zhì)量，也在一定程度上減小了全景圖像壓縮后的大小，從而減小存儲(chǔ)空間和流量。具體碼率與核心度之間的對(duì)應(yīng)關(guān)系需要提前設(shè)置。
[0044]對(duì)于幀率的設(shè)置主要參考對(duì)象的運(yùn)動(dòng)頻率，幀率與運(yùn)動(dòng)頻率成正比，運(yùn)動(dòng)頻率越高，對(duì)應(yīng)設(shè)置的幀率越大;運(yùn)動(dòng)頻率越低，對(duì)應(yīng)設(shè)置的幀率越小。幀率越大，壓縮后的圖像越流暢，尤其對(duì)于運(yùn)動(dòng)的對(duì)象;幀率越小，壓縮后的圖像的跳動(dòng)感越大，但是對(duì)應(yīng)運(yùn)動(dòng)頻率較小的對(duì)象，低的幀率就可以滿足對(duì)應(yīng)的對(duì)象的動(dòng)態(tài)效果。另外，幀率越大，對(duì)應(yīng)的單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)量也越大。因此，這樣就保證了運(yùn)動(dòng)頻率高的對(duì)象的流暢性，也可以在一定程度上減少一些數(shù)據(jù)的傳輸量，進(jìn)而減少對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)傳輸流量的需求量。具體幀率與運(yùn)動(dòng)頻率之間的對(duì)應(yīng)關(guān)系需要提前設(shè)置。
[0045]205、將圖像質(zhì)量參數(shù)與不同的對(duì)象之間的對(duì)應(yīng)關(guān)系保存到配置文件中。
[0046]由于全景視頻進(jìn)行編碼時(shí)是針對(duì)不同的全景圖像中的不同對(duì)象設(shè)置不同的圖像質(zhì)量參數(shù)進(jìn)行的，因此在視頻解碼時(shí)，需要依據(jù)編碼時(shí)的參數(shù)設(shè)置選擇合適的解碼器進(jìn)行解碼。因此需要將編碼時(shí)確定的不同對(duì)象對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行存儲(chǔ)到對(duì)應(yīng)的配置文件中，作為選擇解碼器的一項(xiàng)參考依據(jù)。
[0047]進(jìn)一步的，作為對(duì)上述圖1及圖2所示方法的實(shí)現(xiàn)，本發(fā)明實(shí)施例的另一個(gè)實(shí)施例還提供了一種視頻處理的裝置，如圖3所示，該裝置包括:獲取單元31、判斷單元32以及設(shè)置單元33。
[0048]獲取單元31，用于獲取全景視頻。
[0049]本實(shí)施例中獲取的全景視頻可以為直接通過攝像機(jī)拍攝的視頻，直接拍攝得到的全景視頻是半成品，需要獲取之后使用軟件進(jìn)行拼接等處理;或者直接獲取經(jīng)過相關(guān)軟件處理得到的成型的全景視頻。
[0050]判斷單元32，用于分別判斷全景視頻中全景圖像包含的不同對(duì)象的屬性，屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率。
[0051]視頻都是由一個(gè)一個(gè)的圖像構(gòu)成的，分析全景視頻中包含的每個(gè)全景圖像或者關(guān)鍵幀全景圖像，具體的分析內(nèi)容為:判斷全景圖像中包含的不同對(duì)象的屬性，不同的對(duì)象通常指不同的場景或者不同的人或物等。比如一個(gè)全景圖像為“一個(gè)女孩在教室里跳舞”，那么這個(gè)圖像中包含的對(duì)象為“女孩”和“教室”兩個(gè)。本實(shí)施例中全景圖像中對(duì)象的屬性是用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率。還使用上述例子“一個(gè)女孩在教室里跳舞”兩個(gè)對(duì)象“女孩”和“教室”，女孩跳舞是圖像中核心的部分，而教室只是一個(gè)跳舞的背景，因此對(duì)象“女孩”的核心度比“教室”的核心度高；另外，對(duì)象“女孩”在整個(gè)視頻中是在跳舞，而作為“教室”的背景是始終保持不變的，因此兩個(gè)對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率也是不同的，“女孩”的運(yùn)動(dòng)頻率為正值，大于“教室”的運(yùn)動(dòng)頻率零值。需要說明的是不同對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)的頻率單獨(dú)在一個(gè)圖像中是無法確定的，通常是根據(jù)全景視頻中某一段視頻或是全部的全景視頻來判斷的。
[0052]設(shè)置單元33，用于根據(jù)屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。
[0053]根據(jù)屬性設(shè)置不同對(duì)象對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用不同的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。具體的:核心度高和/或運(yùn)動(dòng)率大的對(duì)象，圖像質(zhì)量參數(shù)也會(huì)相應(yīng)的設(shè)置較大，而核心度和/或運(yùn)動(dòng)率小的對(duì)象，圖像質(zhì)量參數(shù)也會(huì)相應(yīng)的設(shè)置較小，圖像質(zhì)量參數(shù)越小通常對(duì)應(yīng)的編碼后的圖像數(shù)據(jù)占用的存儲(chǔ)空間和流量也會(huì)越小，實(shí)際的效果是在編碼的過程中根據(jù)不同的對(duì)象動(dòng)態(tài)地改變圖像質(zhì)量參數(shù)。由于用戶在觀看全景視頻時(shí)，通常只會(huì)關(guān)注核心度高或運(yùn)動(dòng)率高的對(duì)象，因此可以使最終呈現(xiàn)出的全景視頻效果為:保證了核心度高或運(yùn)動(dòng)率高的對(duì)象的圖像質(zhì)量，不影響用戶的觀看。同時(shí)也減少了全景視頻傳輸時(shí)占用的存儲(chǔ)空間和流量，解決了由于全景視頻數(shù)據(jù)量大造成的數(shù)據(jù)在網(wǎng)絡(luò)傳輸中遇到的困難。
[0054]需要說明的是，圖像質(zhì)量參數(shù)可以根據(jù)實(shí)際的需求設(shè)置不同的等級(jí)與不同的核心度和/或運(yùn)動(dòng)頻率進(jìn)行匹配。圖像質(zhì)量參數(shù)與核心和/或運(yùn)動(dòng)頻率不一定是--對(duì)應(yīng)的關(guān)系，可以將在某一范圍內(nèi)的核心度和/或運(yùn)動(dòng)頻率對(duì)應(yīng)同一個(gè)圖像質(zhì)量參數(shù)等級(jí)。
[0055]進(jìn)一步的，對(duì)于本實(shí)例中的全景視頻主要作為VR設(shè)備的片源。
[0056]進(jìn)一步的，如圖4所示，判斷單元32包括:
[0057]判斷模塊321，用于根據(jù)全景視頻對(duì)應(yīng)的屬性說明文件判斷對(duì)象的屬性，屬性說明文件中記錄有全景視頻中包含的所有對(duì)象的屬性信息；
[0058]根據(jù)全景視頻對(duì)應(yīng)的屬性說明文件判斷對(duì)象的屬性，屬性說明文件中記錄有全景視頻中包含的所有對(duì)象的屬性信息。屬性說明文件是與全景視頻一樣是已知的，可以直接獲取。屬性說明文件是拍攝全景視頻的拍攝者在拍攝過程中對(duì)不同的對(duì)象的屬性進(jìn)行標(biāo)記和記錄生成的，同時(shí)也可以更加準(zhǔn)確地表達(dá)拍攝者拍攝的視頻想要表達(dá)的真正含義。屬性說明文件可以在獲取全景視頻時(shí)一并被獲取。因此只要確定全景圖像中包含的對(duì)象就可以在屬性說明文件中找到相對(duì)應(yīng)的屬性信息。
[0059]評(píng)估模塊322，用于根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)評(píng)估不同對(duì)象的屬性。
[0060]根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)評(píng)估不同對(duì)象的屬性。對(duì)于沒有屬性說明文件的全景視頻或者不想使用全景視頻對(duì)應(yīng)的屬性說明文件時(shí)，可以根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)對(duì)不同的對(duì)象進(jìn)行屬性的預(yù)估。其中預(yù)設(shè)標(biāo)準(zhǔn)中包括如何根據(jù)對(duì)象的運(yùn)動(dòng)或靜止的狀態(tài)來判斷運(yùn)動(dòng)頻率的規(guī)定、如何根據(jù)運(yùn)動(dòng)或靜止?fàn)顟B(tài)判斷對(duì)應(yīng)的不同的核心度的規(guī)定;如何根據(jù)對(duì)象在全景圖像中的位置確定對(duì)象的核心度的規(guī)定等多種規(guī)定。例如可以規(guī)定運(yùn)動(dòng)的對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率高且核心度高，靜止的對(duì)象對(duì)應(yīng)的運(yùn)動(dòng)頻率低、核心度低，處于全景圖像中心位置的對(duì)象的核心度高，處于全景圖像邊緣位置的對(duì)象的核心度低等。實(shí)際中可以根據(jù)不同的全景視頻以及包含的不同的全景圖像選擇預(yù)設(shè)標(biāo)準(zhǔn)中具體使用的規(guī)定，然后根據(jù)選擇的規(guī)定進(jìn)行不同對(duì)象的屬性評(píng)估。
[0061 ] 進(jìn)一步的，圖像質(zhì)量參數(shù)包括碼率與幀率，如圖4所示，所述設(shè)置單元33，包括:
[0062]第一設(shè)置模塊331，用于為不同的對(duì)象設(shè)置與核心度對(duì)應(yīng)的碼率，碼率與核心度成正比；
[0063]對(duì)于碼率的設(shè)置主要參考對(duì)象的核心度，碼率與核心度成正比，核心度越高，對(duì)應(yīng)設(shè)置的碼率越大，核心度較低的對(duì)象設(shè)置較低的碼率。碼率越大，圖像壓縮后的占用的空間越大;碼率越小，圖像壓縮后的占用的空間越小，因此即保證了全景圖像中核心度高即重要的對(duì)象的圖像質(zhì)量，也在一定程度上減小了全景圖像壓縮后的大小，從而減小存儲(chǔ)空間和流量。具體碼率與核心度之間的對(duì)應(yīng)關(guān)系需要提前設(shè)置。
[0064]第二設(shè)置模塊332，用于為不同的對(duì)象設(shè)置與運(yùn)動(dòng)頻率對(duì)應(yīng)的幀率，幀率與運(yùn)動(dòng)頻率成正比。
[0065]對(duì)于幀率的設(shè)置主要參考對(duì)象的運(yùn)動(dòng)頻率，幀率與運(yùn)動(dòng)頻率成正比，運(yùn)動(dòng)頻率越高，對(duì)應(yīng)設(shè)置的幀率越大;運(yùn)動(dòng)頻率越低，對(duì)應(yīng)設(shè)置的幀率越小。幀率越大，壓縮后的圖像越流暢，尤其對(duì)于運(yùn)動(dòng)的對(duì)象;幀率越小，壓縮后的圖像的跳動(dòng)感越大，但是對(duì)應(yīng)運(yùn)動(dòng)頻率較小的對(duì)象，低的幀率就可以滿足對(duì)應(yīng)的對(duì)象的動(dòng)態(tài)效果。另外，幀率越大，對(duì)應(yīng)的單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)量也越大。因此，這樣就保證了運(yùn)動(dòng)頻率高的對(duì)象的流暢性，也可以在一定程度上減少一些數(shù)據(jù)的傳輸量，進(jìn)而減少對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)傳輸流量的需求量。具體幀率與運(yùn)動(dòng)頻率之間的對(duì)應(yīng)關(guān)系需要提前設(shè)置。
[ΟΟ??]進(jìn)一步的，如圖4所示，裝置進(jìn)一步包括:
[0067]保存單元34，用于將圖像質(zhì)量參數(shù)與不同的對(duì)象之間的對(duì)應(yīng)關(guān)系保存到配置文件中，以使圖像解碼時(shí)參考配置文件選擇解碼器。
[0068]由于全景視頻進(jìn)行編碼時(shí)是針對(duì)不同的全景圖像中的不同對(duì)象設(shè)置不同的圖像質(zhì)量參數(shù)進(jìn)行的，因此在視頻解碼時(shí)，需要依據(jù)編碼時(shí)的參數(shù)設(shè)置選擇合適的解碼器進(jìn)行解碼。因此需要將編碼時(shí)確定的不同對(duì)象對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行存儲(chǔ)到對(duì)應(yīng)的配置文件中，作為選擇解碼器的一項(xiàng)參考依據(jù)。
[0069I進(jìn)一步的，如圖4所示，裝置進(jìn)一步包括:
[0070]分割單元35，用于在分別判斷全景視頻中全景圖像包含的不同對(duì)象的屬性之前，將全景圖像分割為不同區(qū)域，不同區(qū)域?qū)?yīng)不同的對(duì)象。
[0071]獲取全景視頻后，為了將對(duì)應(yīng)的全景圖像中的不同重要程度的信息進(jìn)行區(qū)分，首先需要將全景圖像進(jìn)行分割，分割為不同的區(qū)域，分割時(shí)可以根據(jù)用戶輸入的坐標(biāo)點(diǎn)信息作為不同區(qū)域的分界點(diǎn)信息，進(jìn)而為全景圖像圈出不同的區(qū)域;或者根據(jù)用戶通過網(wǎng)格標(biāo)記的輸入方式獲取不同區(qū)域的分界點(diǎn)，進(jìn)而為全景圖像圈出不同的區(qū)域。進(jìn)行全景圖像區(qū)域分割時(shí)所依據(jù)的標(biāo)準(zhǔn)為不同的區(qū)域?qū)?yīng)不同的對(duì)象。需要說明的是不同重要程度的信息指的是不同的對(duì)象。
[0072]本發(fā)明實(shí)施例提供的視頻處理的裝置，能夠首先獲取全景視頻;然后，分別判斷該全景視頻中包含的全景圖像中包含的不同對(duì)象的屬性，該屬性用于標(biāo)識(shí)上述對(duì)象的核心度和運(yùn)動(dòng)頻率;最后，根據(jù)上述屬性為全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠根據(jù)全景視頻中包含的全景圖像中不同對(duì)象的核心度和運(yùn)動(dòng)速率設(shè)置不同的圖像質(zhì)量參數(shù)進(jìn)行編碼，這樣就可以進(jìn)一步針對(duì)根據(jù)全景圖像中對(duì)象的不同屬性需要選擇不同的圖像質(zhì)量參數(shù)，通常圖像質(zhì)量參數(shù)越高所占用的空間越大，而圖像質(zhì)量參數(shù)根據(jù)不同的對(duì)象動(dòng)態(tài)變化的視頻編碼方式在一定程度上可以在保證重要對(duì)象的圖像質(zhì)量的情況下減少整個(gè)全景視頻的存儲(chǔ)空間和以及傳輸時(shí)所需流量的大小。
[0073]需要說明的是，針對(duì)上述視頻處理的裝置，凡是本發(fā)明實(shí)施例中使用到的各個(gè)單元模塊的功能都可以通過硬件處理器(hardware processor)來實(shí)現(xiàn)。
[0074]此外，本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0075]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0076]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0077]最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種視頻處理的方法，其特征在于，所述方法包括: 獲取全景視頻； 分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性，所述屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率； 根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性，包括: 根據(jù)所述全景視頻對(duì)應(yīng)的屬性說明文件判斷對(duì)象的屬性，所述屬性說明文件中記錄有所述全景視頻中包含的所有對(duì)象的屬性信息;或者， 根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)評(píng)估不同對(duì)象的屬性。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像質(zhì)量參數(shù)包括碼率與幀率，所述根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，包括: 為不同的對(duì)象設(shè)置與所述核心度對(duì)應(yīng)的碼率，所述碼率與所述核心度成正比;和/或， 為不同的對(duì)象設(shè)置與所述運(yùn)動(dòng)頻率對(duì)應(yīng)的幀率，所述幀率與所述運(yùn)動(dòng)頻率成正比。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進(jìn)一步包括: 將所述圖像質(zhì)量參數(shù)與不同的對(duì)象之間的對(duì)應(yīng)關(guān)系保存到配置文件中，以使圖像解碼時(shí)參考所述配置文件選擇解碼器。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性之前，所述方法進(jìn)一步包括: 將所述全景圖像分割為不同區(qū)域，不同區(qū)域?qū)?yīng)不同的對(duì)象。6.一種視頻處理的裝置，其特征在于，所述裝置包括: 獲取單元，用于獲取全景視頻； 判斷單元，用于分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性，所述屬性用于標(biāo)識(shí)對(duì)象的核心度和運(yùn)動(dòng)頻率； 設(shè)置單元，用于根據(jù)所述屬性為所述全景圖像中不同的對(duì)象設(shè)置對(duì)應(yīng)的圖像質(zhì)量參數(shù)，以使用對(duì)應(yīng)的圖像質(zhì)量參數(shù)進(jìn)行圖像編碼。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述判斷單元包括: 判斷模塊，用于根據(jù)所述全景視頻對(duì)應(yīng)的屬性說明文件判斷對(duì)象的屬性，所述屬性說明文件中記錄有所述全景視頻中包含的所有對(duì)象的屬性信息； 評(píng)估模塊，用于根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)評(píng)估不同對(duì)象的屬性。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述圖像質(zhì)量參數(shù)包括碼率與幀率，所述設(shè)置單元，包括: 第一設(shè)置模塊，用于為不同的對(duì)象設(shè)置與所述核心度對(duì)應(yīng)的碼率，所述碼率與所述核心度成正比； 第二設(shè)置模塊，用于為不同的對(duì)象設(shè)置與所述運(yùn)動(dòng)頻率對(duì)應(yīng)的幀率，所述幀率與所述運(yùn)動(dòng)頻率成正比。9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置進(jìn)一步包括: 保存單元，用于將所述圖像質(zhì)量參數(shù)與不同的對(duì)象之間的對(duì)應(yīng)關(guān)系保存到配置文件中，以使圖像解碼時(shí)參考所述配置文件選擇解碼器。10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置進(jìn)一步包括: 分割單元，用于在所述分別判斷所述全景視頻中全景圖像包含的不同對(duì)象的屬性之前，將所述全景圖像分割為不同區(qū)域，不同區(qū)域?qū)?yīng)不同的對(duì)象。
【文檔編號(hào)】H04N19/136GK105872540SQ201610267106
【公開日】2016年8月17日
【申請(qǐng)日】2016年4月26日
【發(fā)明人】賈旭
【申請(qǐng)人】樂視控股（北京）有限公司, 樂視致新電子科技（天津）有限公司