圖像幀復(fù)用方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 描述的實(shí)施例涉及圖像處理過(guò)程，且尤其涉及將多個(gè)圖像幀編碼并解碼為減小數(shù) 量的復(fù)用幀。
【背景技術(shù)】
[0002] 任何現(xiàn)有的圖像數(shù)據(jù)傳輸或處理基礎(chǔ)設(shè)施通常具有有限的數(shù)據(jù)帶寬。該帶寬通常 足以服務(wù)于為該基礎(chǔ)設(shè)施被設(shè)計(jì)用于的功能（例如，以指定分辨率或質(zhì)量提供視頻）。然 而，一旦需要增強(qiáng)的或新的功能（例如，希望傳輸更高圖像質(zhì)量的視頻），通常需要升級(jí)或 更換該基礎(chǔ)設(shè)施。該升級(jí)或更換過(guò)程可涉及改變硬件、軟件和/或部件之間的網(wǎng)絡(luò)連接（特 別是如果對(duì)于新功能更高的數(shù)據(jù)帶寬是必要的，而系統(tǒng)的算法和協(xié)議保持不變的情況下）。
[0003] 例如，數(shù)字電影視頻通常以每秒24幀的幀速率（fps)提供，每一幀傳統(tǒng)上以已知 為2K(2048X1080或2. 2兆像素），或4K(4096X2160或8. 8兆像素）的分辨率提供。為了 在電影院中以該幀速率和分辨率顯示電影視頻，電影院通常包含具有足夠帶寬的基礎(chǔ)設(shè)施 以將電影視頻傳輸?shù)斤@示裝置（例如，投影儀）。
[0004] 攝像機(jī)技術(shù)的最新發(fā)展已經(jīng)允許以更高幀速率捕獲數(shù)字電影視頻（通常稱(chēng)HFR視 頻）。例如，這些視頻的幀速率可提供在指定空間分辨率的48fps、60fps或甚至120fps。針 對(duì)HFR視頻，大大增加了要傳輸?shù)斤@示裝置的數(shù)據(jù)量。
[0005] 隨著技術(shù)的發(fā)展，數(shù)字電影視頻可能開(kāi)始以高于2K和4K的圖像空間分辨率提供。 即使在現(xiàn)有的幀速率，這些校高分辨率視頻流也可能會(huì)增加傳輸?shù)斤@示裝置的數(shù)據(jù)量。
[0006] 而且，多視點(diǎn)視頻流正得到普及（例如，提供三維（3D)觀看體驗(yàn)的立體視頻流）。 這些類(lèi)型的視頻流比正常的單視點(diǎn)（例如，二維（2D))視頻流需要更高的傳輸帶寬。
[0007] 電影院的現(xiàn)有基礎(chǔ)設(shè)施可能無(wú)法提供足夠的帶寬，以將這些較新類(lèi)型的視頻流傳 輸?shù)斤@示裝置。升級(jí)現(xiàn)有的基礎(chǔ)設(shè)施，特別是硬件、軟件和/或系統(tǒng)連接帶寬是代價(jià)高的或 不可取的。因此，需要可選地改善編碼和解碼圖像流中的圖像幀的現(xiàn)有方法或系統(tǒng)，以允許 在現(xiàn)有的有限帶寬的基礎(chǔ)設(shè)施上傳輸新類(lèi)型視頻流的圖像幀。

【發(fā)明內(nèi)容】

[0008] 在一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種動(dòng)態(tài)幀打包方法，該方法包括：
[0009] 識(shí)別多個(gè)圖像幀；
[0010] 修改多個(gè)圖像幀中的每一幀以產(chǎn)生多個(gè)對(duì)應(yīng)的經(jīng)處理幀；
[0011] 產(chǎn)生掩碼數(shù)據(jù)（maskingdata)，該掩碼數(shù)據(jù)指示如何可以由多個(gè)經(jīng)處理幀中的一 個(gè)幀和多個(gè)經(jīng)處理幀中的另一個(gè)幀產(chǎn)生輸出幀，該輸出幀對(duì)應(yīng)于多個(gè)經(jīng)處理幀中的另一個(gè) 幀；和
[0012] 組合多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)以形成復(fù)用幀。
[0013] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種解碼復(fù)用幀的方法，該方法包 括：
[0014] 接收復(fù)用幀，該復(fù)用幀包括：
[0015] 多個(gè)經(jīng)處理的幀，和
[0016] 掩碼數(shù)據(jù)；
[0017] 解包復(fù)用幀以識(shí)別多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)；和
[0018] 由多個(gè)經(jīng)處理幀產(chǎn)生多個(gè)輸出幀，其中該產(chǎn)生包括通過(guò)將多個(gè)經(jīng)處理幀中的一個(gè) 幀與多個(gè)經(jīng)處理幀中的另一個(gè)幀根據(jù)掩碼數(shù)據(jù)組合在一起產(chǎn)生輸出幀，并且其中該輸出幀 對(duì)應(yīng)于多個(gè)經(jīng)處理幀中的另一個(gè)幀。
[0019] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種傳送復(fù)用幀的方法，該方法包 括：
[0020] 識(shí)別圖像幀流；
[0021] 從圖像幀流中選擇多個(gè)圖像幀；
[0022] 修改多個(gè)圖像幀中的每一幀以產(chǎn)生多個(gè)對(duì)應(yīng)的經(jīng)處理幀；
[0023] 產(chǎn)生掩碼數(shù)據(jù)，該掩碼數(shù)據(jù)指示如何可以由多個(gè)經(jīng)處理幀中的一個(gè)幀和多個(gè)經(jīng)處 理幀中的另一個(gè)幀產(chǎn)生輸出幀，該輸出幀對(duì)應(yīng)于多個(gè)經(jīng)處理幀中的另一個(gè)幀；和
[0024] 組合多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)以形成復(fù)用幀；
[0025] 壓縮復(fù)用幀以產(chǎn)生經(jīng)壓縮幀；和
[0026] 傳輸該經(jīng)壓縮幀。
[0027] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種顯示復(fù)用幀的方法，該方法包 括：
[0028] 接收經(jīng)壓縮幀；
[0029] 解壓縮該經(jīng)壓縮幀以產(chǎn)生復(fù)用幀，其中該復(fù)用幀包括：
[0030] 多個(gè)經(jīng)處理幀，和 [0031] 掩碼數(shù)據(jù)；
[0032] 解包復(fù)用幀以識(shí)別多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)；和
[0033] 由多個(gè)經(jīng)處理幀產(chǎn)生多個(gè)輸出幀，其中該產(chǎn)生包括通過(guò)將多個(gè)經(jīng)處理幀中的一個(gè) 幀與多個(gè)經(jīng)處理幀中的另一個(gè)幀根據(jù)掩碼數(shù)據(jù)組合在一起產(chǎn)生輸出幀，并且其中該輸出幀 對(duì)應(yīng)于多個(gè)經(jīng)處理幀中的另一個(gè)幀；和
[0034] 將多個(gè)輸出幀傳輸?shù)街辽僖粋€(gè)顯示裝置。
[0035] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種用于傳輸復(fù)用幀的系統(tǒng)，該系 統(tǒng)包括：
[0036] 接收模塊，其配置為接收多個(gè)圖像幀；
[0037] 編碼模塊，其配置為：
[0038] 修改多個(gè)圖像幀中的每一幀以產(chǎn)生多個(gè)對(duì)應(yīng)的經(jīng)處理幀；
[0039] 產(chǎn)生掩碼數(shù)據(jù)，該掩碼數(shù)據(jù)指示如何可以由多個(gè)經(jīng)處理幀中的一個(gè)幀和多個(gè)經(jīng)處 理幀中的另一個(gè)幀產(chǎn)生輸出幀，該輸出幀對(duì)應(yīng)于多個(gè)經(jīng)處理幀中的另一個(gè)幀；和
[0040] 組合多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)以形成復(fù)用幀；
[0041] 壓縮模塊，其配置為壓縮復(fù)用幀以產(chǎn)生經(jīng)壓縮幀；和
[0042] 通信模塊，其配置傳輸經(jīng)壓縮幀。
[0043] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種用于解碼用于顯示的復(fù)用幀的 系統(tǒng)，該系統(tǒng)包括：
[0044] 解壓縮模塊，其配置為解壓縮經(jīng)壓縮幀以恢復(fù)復(fù)用幀；和
[0045] 解碼模塊，其配置為：
[0046] 解包復(fù)用幀以識(shí)別多個(gè)經(jīng)處理幀和掩碼數(shù)據(jù)；和
[0047] 由多個(gè)經(jīng)處理幀產(chǎn)生多個(gè)輸出幀，其中該產(chǎn)生包括通過(guò)將多個(gè)經(jīng)處理幀中的一個(gè) 幀與多個(gè)經(jīng)處理幀中的另一個(gè)幀根據(jù)掩碼數(shù)據(jù)組合在一起產(chǎn)生輸出幀，其中該輸出幀對(duì)應(yīng) 于多個(gè)經(jīng)處理幀中的另一個(gè)幀。
[0048] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種產(chǎn)生嵌套復(fù)用幀的方法，該方 法包括：
[0049] 識(shí)別復(fù)用幀，該復(fù)用幀包括：對(duì)應(yīng)于第一圖像幀的第一經(jīng)處理幀，和對(duì)應(yīng)于第二圖 像幀的第二經(jīng)處理幀；
[0050] 識(shí)別第三圖像幀；
[0051] 修改復(fù)用幀和第三圖像幀，以分別產(chǎn)生對(duì)應(yīng)的經(jīng)處理復(fù)用幀和對(duì)應(yīng)的第三經(jīng)處理 幀；
[0052] 識(shí)別掩碼數(shù)據(jù)，該掩碼數(shù)據(jù)指示如何可以由第二經(jīng)處理幀和第三經(jīng)處理幀產(chǎn)生輸 出幀，該輸出幀對(duì)應(yīng)于第三圖像幀；和
[0053] 組合經(jīng)處理復(fù)用幀、第三經(jīng)處理幀和掩碼數(shù)據(jù)，以形成嵌套復(fù)用幀。
[0054] 在另一個(gè)方面中，本發(fā)明的一些實(shí)施例提供了一種解碼嵌套復(fù)用幀的方法，該方 法包括：
[0055] 接收嵌套復(fù)用幀，該嵌套復(fù)用幀包括：
[0056] 經(jīng)處理復(fù)用幀，其包括第一經(jīng)處理幀和第二經(jīng)處理幀，
[0057] 第三經(jīng)處理幀，和
[0058] 掩碼數(shù)據(jù)；
[0059] 解包嵌套復(fù)用幀以識(shí)別經(jīng)處理復(fù)用幀、第三經(jīng)處理幀和掩碼數(shù)據(jù)；
[0060] 解碼經(jīng)處理復(fù)用幀以識(shí)別第一經(jīng)處理幀和第二經(jīng)處理幀；和
[0061] 產(chǎn)生輸出幀，其中該產(chǎn)生包括將第二經(jīng)處理幀與第三經(jīng)處理幀根據(jù)掩碼數(shù)據(jù)組合 在一起，并且其中該輸出幀對(duì)應(yīng)于第三經(jīng)處理幀。
【附圖說(shuō)明】
[0062] 現(xiàn)在將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例，其中：
[0063] 圖1是示出根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的用于編碼和解碼復(fù)用圖像幀的系統(tǒng) 的框圖；
[0064]圖2是示出根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的、當(dāng)將多個(gè)圖像幀編碼成復(fù)用幀時(shí)執(zhí) 行的一系列動(dòng)作的流程圖；
[0065]圖3是在本公開(kāi)的至少一個(gè)實(shí)施例中的將圖像幀漸進(jìn)轉(zhuǎn)換成復(fù)用幀的示例；
[0066] 圖4是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的產(chǎn)生掩碼數(shù)據(jù)的示例；
[0067] 圖5是示出根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的、當(dāng)將解碼復(fù)用幀時(shí)執(zhí)行的一系列動(dòng) 作的流程圖；
[0068]圖6是在本公開(kāi)的至少一個(gè)實(shí)施例中的將復(fù)用幀轉(zhuǎn)換成多個(gè)輸出幀的示例；
[0069] 圖7是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的通過(guò)根據(jù)掩碼數(shù)據(jù)用兩個(gè)經(jīng)處理幀計(jì)算 而產(chǎn)生輸出幀的示例；
[0070] 圖8是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的將至少一個(gè)復(fù)用幀轉(zhuǎn)換成嵌套復(fù)用幀的 示例；
[0071] 圖9是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的將多視點(diǎn)圖像幀流轉(zhuǎn)換成復(fù)用圖像幀流 的示例，其中將不同視點(diǎn)的圖像幀編碼在一起；
[0072] 圖10是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的將多視點(diǎn)圖像幀流轉(zhuǎn)換成復(fù)用圖像幀流 的示例，其中將相同視點(diǎn)的連續(xù)圖像幀編碼在一起；
[0073] 圖11是根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的將單視點(diǎn)圖像幀流轉(zhuǎn)換成復(fù)用圖像幀流 的示例，其中將連續(xù)圖像幀編碼在一起的；和
[0074] 圖12是根據(jù)本公開(kāi)的實(shí)施例的打包的幀的另一實(shí)例布局的示例。
【具體實(shí)施方式】
[0075] 應(yīng)該意識(shí)到，為了提供對(duì)本文所描述的實(shí)施例的深入理解，將闡述許多具體的細(xì) 節(jié)。然而，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解，在沒(méi)有這些具體細(xì)節(jié)的情況下可以實(shí)施本文所 描述的實(shí)施例。在其他實(shí)例中，沒(méi)有詳細(xì)說(shuō)明公知的方法、程序和部件，以免使本文所描述 的實(shí)施例模糊不清。此外，本描述和圖不認(rèn)為以任何方式限制本文所描述的實(shí)施例的范圍， 而被認(rèn)為是僅描述本文所描述的各種實(shí)施例的實(shí)現(xiàn)。
[0076] 具體地，本文所描述的實(shí)施例涉及圖像處理領(lǐng)域，并提供了各種圖來(lái)說(shuō)明圖像數(shù) 據(jù)的轉(zhuǎn)換。應(yīng)該理解，圖不是按比例繪制的，提供圖僅是為了說(shuō)明目的。
[0077] 本文所描述的系統(tǒng)和方法的實(shí)施例可以在硬件或軟件、或者兩者的組合中實(shí)現(xiàn)。 然而，優(yōu)選地，這些實(shí)施例在可編程計(jì)算機(jī)上執(zhí)行的計(jì)算機(jī)程序中實(shí)現(xiàn)，每個(gè)可編程計(jì)算機(jī) 都包括至少一個(gè)處理器（例如，微處理器）、數(shù)據(jù)存儲(chǔ)系統(tǒng)（包括易失性和非易性存儲(chǔ)器和 /或存儲(chǔ)元件）、至少一個(gè)輸入裝置和至少一個(gè)輸出裝置。例如且不是限制性的，可編程計(jì) 算機(jī)（例如，圖1示出的各種裝置）可以是服務(wù)器計(jì)算機(jī)、主機(jī)（mainframe)、計(jì)算集群、個(gè) 人電腦、筆記本電腦、智能手機(jī)裝置和/或平板電腦。程序代碼被應(yīng)用于輸入數(shù)據(jù)，以執(zhí)行 本文所描述的功能并產(chǎn)生輸出信息。輸出信息以已知的方式被應(yīng)用于一個(gè)或多個(gè)輸出裝 置。
[0078] 每個(gè)程序優(yōu)選以高級(jí)過(guò)程式或面向?qū)ο缶幊毯?或與計(jì)算機(jī)系統(tǒng)通信腳本語(yǔ)言 實(shí)現(xiàn)。然而，如果需要，程序可以以匯編或機(jī)器語(yǔ)言實(shí)現(xiàn)。在任何情況下，語(yǔ)言可以是編譯 或解譯的語(yǔ)言。每個(gè)這樣計(jì)算機(jī)程序都優(yōu)選存儲(chǔ)在通用或?qū)Ｓ每删幊逃?jì)算機(jī)可讀的存儲(chǔ)介 質(zhì)或裝置（例如，ROM或磁/光盤(pán)）上，用于在計(jì)算機(jī)讀取存儲(chǔ)介質(zhì)或裝置時(shí)配置和操作計(jì) 算機(jī)以執(zhí)行本文所描述的程序。該主題系統(tǒng)也可被認(rèn)為是被實(shí)現(xiàn)為利用計(jì)算機(jī)程序配置的 計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中如此配置的存儲(chǔ)介質(zhì)使得計(jì)算機(jī)以特定和預(yù)定的方式操作以執(zhí) 行本文所描述的功能。
[0079] 此外，所描述的實(shí)施例的系統(tǒng)、過(guò)程和方法能夠被分布在包括計(jì)算機(jī)可讀介質(zhì)的 計(jì)算機(jī)程序產(chǎn)品中，其中計(jì)算機(jī)可讀介質(zhì)承載用于一個(gè)或多個(gè)處理器的計(jì)算機(jī)可用指令。 該介質(zhì)可以以各種形式提供，包括一個(gè)或多個(gè)磁盤(pán)、光盤(pán)、磁帶、芯片、有線傳輸、衛(wèi)星傳輸、 因特網(wǎng)