屏幕視頻的預測編碼的方法與系統(tǒng)的制作方法
【技術領域】
[0001]本揭露涉及一種屏幕視頻(screen video)的預測編碼的方法與系統(tǒng)。
【背景技術】
[0002]屏幕視頻內(nèi)容編碼(Screen Content Coding, SCC)常應用的服務如智能家庭、云端游戲、醫(yī)療等的關鍵技術。屏幕視頻內(nèi)容編碼技術是從各種裝置的屏幕提取畫面，在每單位時間(例如秒)提取多張構成連續(xù)畫面的視頻內(nèi)容后，將屏幕視頻內(nèi)容進行壓縮編碼的技術。無線多屏幕畫面內(nèi)容分享的產(chǎn)品如Media Link HD、All share Cast等,為此也訂定了屏幕鏡射(mirroring)服務的通信標準,如WiF1-顯示器的Miracast標準、點對點(peer-to-peer, P2P)無線屏幕錄影(wireless screencast),以提供跨平臺屏幕內(nèi)容分享的標準。云端互動式屏幕分享服務平臺則可通過互聯(lián)網(wǎng)(Internet)將遠端服務器執(zhí)行的屏幕畫面分享至使用者，讓使用者可通過互動界面操控遠端服務器，例如云端游戲、云端智能家庭、遠端桌面等即是此服務的應用。
[0003]在視頻編碼過程中，畫面間預測編碼(Inter-predict1n)及畫面內(nèi)預測編碼(Intra-predi ct 1n)扮演重要的角色。畫面間預測編碼是利用視頻內(nèi)容不同時間點畫面內(nèi)容的關聯(lián)性(時間關聯(lián)性)進行壓縮編碼。畫面內(nèi)預測編碼是利用同一張畫面內(nèi)的相鄰區(qū)域畫面關聯(lián)性(空間關聯(lián)性)進行壓縮編碼。視頻內(nèi)容編碼一般利用統(tǒng)計參數(shù)，判斷輸入圖像中的每一區(qū)塊是空白、或是非移動區(qū)塊、或是移動區(qū)塊，然后挑選相對應的省略模式(Skip mode)、或是畫面間編碼(Intra coding)、或是畫面內(nèi)編碼(Inter coding)。視頻內(nèi)容編碼的另一實施范例依據(jù)輸入圖像的特性(例如場景統(tǒng)計)，將此輸入圖像分類成已事先定義好的類型，然后每一不同類型的圖像分配不同的權重并且采用不同的編碼參數(shù)。
[0004]屏幕視頻內(nèi)容通常包含文字(text)、線條(lines)、計算機圖形(graphics)等與一般視頻內(nèi)容迥異的內(nèi)容。文字、線條、計算機圖形等此類內(nèi)容非自然圖像且為高頻數(shù)據(jù)，其特性為容易模糊或消失。目前許多針對屏幕視頻內(nèi)容的編碼技術已被提出，而部分編碼方法已被視頻編碼標準如H.265/高效率視頻編碼(High efficiency video coding,HEVC)米用。
[0005]HEVC有多種編碼模式(mode),移動合并模式(mot1n merge mode)是其中一種編碼模式，此移動合并模式可從時間上(不同畫面)與空間上(同畫面鄰近區(qū)域)共7個位置的移動向量(此7個向量為鄰近畫面的五個移動向量與參考畫面的兩個移動向量)中挑出最多五個做為候選者(candidate),例如在可供挑選的為七個編碼區(qū)塊(coding block)中，從同畫面鄰近區(qū)域的多個編碼區(qū)塊中最多挑選4個，從不同畫面的同一相對位置各自對應的編碼區(qū)塊中最多挑選一個。但有可能會有一些位置不存在移動向量，所以如果可以選的話，會照特定順序最多選到五個，然后從這五個中經(jīng)由比對選出最佳配對的移動向量當成編碼結果。此移動向量指向的區(qū)域與目前正要編碼的區(qū)域很相似，可通過如運動補償?shù)姆绞竭_到壓縮的效果。
[0006]進階移動向量預測(AdvancedMot1n Vector Predict1n,AMVP)模式是HEVC 的多種編碼模式的其中另一種編碼模式，此AMVP模式跟鄰近畫面的五個移動向量與參考畫面的兩個移動向量比對，從而挑選出移動向量搜尋的起始點(initial point),也就是說，與移動合并模式從相同的7個位置的移動向量挑出最多兩個做為候選者，然后從這兩候選者中經(jīng)由比對選出最佳配對的移動向量當成編碼結果。
[0007]上述這些屏幕視頻內(nèi)容的編碼技術或產(chǎn)品或其他類似技術及/產(chǎn)品利用視窗屏幕內(nèi)容的特性，針對圖像內(nèi)編碼模式(Intra predict1n)的文字、自然圖片、混合自然圖片與文字等圖像設計獨特的畫面內(nèi)編碼(Intra coding)。例如,HEVC屏幕視頻內(nèi)容的編碼技術針對屏幕視頻內(nèi)容中圖像內(nèi)編碼模式的文字、自然圖片、混合自然圖片與文字混合等圖像采用高編碼復雜度(例如H.264的數(shù)倍)的硬件與高存儲器數(shù)據(jù)存取量(例如雙倍速數(shù)據(jù)傳輸(Double Date Rat, DDR)存儲器頻寬的數(shù)倍)來執(zhí)行編碼。

【發(fā)明內(nèi)容】

[0008]本揭露的實施例可提供一種屏幕視頻的預測編碼的方法與系統(tǒng)。
[0009]本揭露的一實施例是關于一種屏幕視頻的預測編碼的方法。此方法可包含:利用分類器(classifier),將屏幕視頻內(nèi)容中多個編碼區(qū)塊(coding block)分成多種區(qū)塊類型；以及利用計算裝置(computing device)，根據(jù)此多個編碼區(qū)塊相對應的此多種區(qū)塊類型，過濾此多個編碼區(qū)塊的每一編碼區(qū)塊與目前編碼區(qū)塊不同區(qū)塊類型(block type)的至少一候選區(qū)塊，并且算出基于類型的移動合并(Type-based Mot1n Merge, TMM)模式的第一候選移動向量集合與基于類型的進階移動向量預測(Advanced Mot1n VectorPredict1n, AMVP)模式的第二候選移動向量集合。
[0010]本揭露的另一實施例是關于一種屏幕視頻編碼的系統(tǒng)。此系統(tǒng)可包含分類器、以及計算裝置。此分類器將屏幕視頻內(nèi)容中多個編碼區(qū)塊分成多種區(qū)塊類型。此計算裝置根據(jù)此多個編碼區(qū)塊相對應的此多種區(qū)塊類型，過濾此多個編碼區(qū)塊的每一編碼區(qū)塊與目前編碼區(qū)塊不同區(qū)塊類型的至少一候選區(qū)塊，并且算出基于類型的移動合并(TMM)模式的第一候選移動向量集合與基于類型的進階移動向量預測(AMVP)模式的第二候選移動向量集入口 ο
[0011]現(xiàn)在配合下列圖示、實施例的詳細說明及權利要求書，將上述及本發(fā)明的其他優(yōu)點詳述于后。
【附圖說明】
[0012]圖1是依據(jù)本揭露的一實施例，說明屏幕視頻內(nèi)容中的文字圖像內(nèi)容與自然圖像內(nèi)容的一范例示意圖。
[0013]圖2是依據(jù)本揭露的一實施例，說明利用區(qū)塊分類的屏幕視頻的預測編碼的組成部分。
[0014]圖3是依據(jù)本揭露的一實施例，說明一種屏幕視頻的預測編碼的方法。
[0015]圖4是依據(jù)本揭露的一實施例，說明一種屏幕視頻的預測編碼的系統(tǒng)。
[0016]圖5是依據(jù)本揭露的一實施例，說明分類器的運作。
[0017]圖6是依據(jù)本揭露的一實施例，說明計算裝置執(zhí)行畫面間預測編碼時，建置基于類型的移動合并模式的運作流程。
[0018]圖7A至圖7C是依據(jù)本揭露的一實施例，說明計算裝置建置基于類型的移動合并模式的移動向量候選集合的一個范例示意圖。
[0019]圖8是依據(jù)本揭露的一實施例，說明計算裝置執(zhí)行畫面間預測編碼時，建置基于類型的進階移動向量預測模式的運作流程。
[0020]圖9是依據(jù)本揭露的一實施例，說明此基于類型的移動向量估計的運作流程。
[0021]圖1OA是依據(jù)本揭露的一實施例，說明跨邊界的區(qū)塊類型的四種情況。
[0022]圖1OB是依據(jù)本揭露的一實施例，說明處理跨邊界的區(qū)塊類型的一范例示意圖。
[0023]【符號說明】
[0024]100屏幕視頻內(nèi)容110文字圖像內(nèi)容的部分
[0025]120自然圖像內(nèi)容的部分112、132區(qū)塊
[0026]122文字圖像內(nèi)容1142自然圖像內(nèi)容
[0027]200利用區(qū)塊分類的屏幕視頻的預測編碼的運作流程
[0028]210區(qū)塊類型分類
[0029]220基于類型的移動合并模式
[0030]230基于類型的進階移動向量預測模式
[0031]240基于類型的快速移動向量估計
[0032]310利用分類器，將屏幕視頻內(nèi)容中多個編碼區(qū)塊分成多種區(qū)塊類型
[0033]320利用計算裝置，依據(jù)此多個編碼區(qū)塊相對應的此多種區(qū)塊類型，對此多個編碼區(qū)塊的每一編碼區(qū)塊過濾與目前編碼區(qū)塊不同區(qū)塊類型的至少一候選區(qū)塊，并且算出移動合并模式的第一候選區(qū)塊集合以及進階移動向量預測模式的第二候選區(qū)塊集合
[0034]330依據(jù)此編碼區(qū)塊相對應的該區(qū)塊類型，從搜尋點集合過濾與此目前編碼區(qū)塊不同區(qū)塊類型的搜尋點，從而搜尋到估計的移動向量
[0035]400屏幕視頻的預測編碼的系統(tǒng)
[0036]410分類器420計算裝置
[0037]412多個編碼區(qū)塊414多種區(qū)塊類型
[0038]416已編碼的參考數(shù)據(jù)422畫面間預測結果
[0039]424輔助信息430畫面內(nèi)預測編碼模塊
[0040]432畫面內(nèi)預測結果
[0041]501輸入?yún)^(qū)塊510顏色計數(shù)程序
[0042]C顏色計數(shù)
[0043]520判斷輸入?yún)^(qū)塊內(nèi)顏色計數(shù)C是否大于一閾值Cl
[0044]530決定出輸入?yún)^(qū)塊是一類型η的編碼區(qū)塊
[0045]540計數(shù)輸入?yún)^(qū)塊的內(nèi)容的頻率計數(shù)超過η-1個頻率計數(shù)閾值F1?Flri的計數(shù)，從而產(chǎn)生頻率直方圖
[0046]550依據(jù)此頻率直方圖，決定此