專利名稱：一種用于視頻質(zhì)量評價的關鍵幀的選取方法
技術領域：
本發(fā)明涉及一種選取視頻圖像關鍵幀的方法，確切地說，涉及一種用于視頻質(zhì)量評價的、基于視頻運動特征和人眼視覺興趣的關鍵幀的選取方法，屬于多媒體通信的技術領域。
背景技術：
多媒體通信領域中，視頻圖像信息處理技術始終是研究的重點。在實際應用中，視頻圖像的質(zhì)量好壞是評價多媒體通信系統(tǒng)的一項不可或缺的重要指標。隨著多媒體業(yè)務的快速發(fā)展，如何正確、有效地評價視頻圖像的質(zhì)量已經(jīng)成為一個研究熱點。現(xiàn)有的視頻質(zhì)量評價方法往往是選取單幀圖像評價質(zhì)量的平均值作為評價結果，這種方法的缺點是沒有考慮視頻圖像中的運動信息的影響，不能與人的實際主觀觀察到的圖像質(zhì)量實現(xiàn)很好的吻
I=I O目前，業(yè)界更傾向于選擇關鍵幀來評價視頻圖像序列質(zhì)量，這樣，既降低了對視頻進行逐幀評價的運算復雜度，還能夠較好地保證視頻質(zhì)量評價的準確度。所謂關鍵幀是在每個場景視頻中具有代表性和能夠反映這個鏡頭內(nèi)容梗概的圖像，關鍵幀能夠有效表示視頻節(jié)目的主題與內(nèi)容及其共同特征。如何選取關鍵幀是基于內(nèi)容的視頻檢索、視頻傳輸、乃至視頻編碼等技術領域急需解決的重要問題之一，也是多媒體通信領域研究的一個熱點。近年來，隨著關鍵幀的檢測與選取技術的發(fā)展，已形成了多種方法，例如基于運動分析選取關鍵幀該方法通過光流分析計算鏡頭中的對象運動能量，在該對象的運動能量局部最小處選取關鍵幀?；趦?nèi)容分析選取關鍵幀該方法原來是利用視頻中每幀圖像的顏色、紋理等視覺信息的改變來選取關鍵幀，現(xiàn)在是針對序列中的運動物體選取關鍵幀?；诰垲愡x取關鍵幀該方法是對所有圖像進行聚類后，選取各類中離聚類中心距離最小的圖像作為關鍵幀。但在實際評價視頻質(zhì)量時，往往基于數(shù)據(jù)量應盡可能少和計算不宜太復雜的考慮，因此，事實上，真正能夠使用選取關鍵幀的方法還是下述兩種方法。1、按照時間間隔平均抽取關鍵幀該方法在抽取設定比例的關鍵幀時，僅僅計算兩個關鍵幀之間的圖像間隔平均數(shù)，然后就以該設定的圖像間隔或時間間隔的平均數(shù)抽取相應圖像作為關鍵幀。該方法操作簡單，但是，它沒有考慮實際場景中的內(nèi)容變化，也就無法準確反映影響視頻質(zhì)量的關鍵信息，因此，無法與人的主觀感受相匹配。因此，在視頻質(zhì)量評價應用中不推薦使用該方法。2、基于視頻壓縮域選取關鍵幀該方法直接根據(jù)視頻編碼數(shù)據(jù)流中的離散余弦變換的直流系數(shù)和位移矢量MV (Motion Vector)來選取關鍵幀。很多視頻編碼技術標準(如H. 264, MPEG-4等)都采用了運動預測與補償技術。 運動預測與補償技術是在上一幀圖像中搜索與當前幀的圖像塊最匹配的圖像塊位置，然后用運動矢量描述這兩個圖像塊之間的偏移。因此，運動矢量的模用于描述當前圖像塊的活動性強度，第k幀中的第(i，j)個圖像塊的運動矢量(dxk，dyk)活動性強度計算公式為
權利要求
1.一種用于視頻質(zhì)量評價的關鍵幀的選取方法，其特征在于先采用平均絕對差MAD 方法描述每幀視頻圖像中的各個圖像塊的運動劇烈程度，然后采用基于人眼視覺興趣的權重因子對每個圖像塊的運動劇烈程度加權，計算每幀圖像的總體運動劇烈程度，并根據(jù)設定的判斷條件確定關鍵幀；所述方法包括下列操作步驟(1)輸入視頻序列，將其轉(zhuǎn)化為統(tǒng)一的歐洲電視系統(tǒng)的顏色編碼YUV視頻格式，然后順序選取當前幀和前一幀圖像的亮度信號數(shù)據(jù)并存儲；(2)對幀中的圖像進行分塊，計算當前幀中的各個圖像塊的運動劇烈程度；(3)定義每個圖像塊的運動劇烈程度的權重因子Ii,」，以便將人眼視覺興趣因素引入關鍵幀的計算過程，式中，自然數(shù)i和j分別是圖像塊在幀中的橫坐標與縱坐標；(4)按照對幀中的每個圖像塊的運動劇烈程度加權求和方法的下述公式計算每幀圖像的總體運動劇烈程度
2.根據(jù)權利要求1所述的方法，其特征在于所述步驟(1)中的統(tǒng)一視頻格式為歐洲電視系統(tǒng)采用的顏色編碼YUV格式，該格式包括亮度信號Y和色度信號U與V，為PAL和 SECAM模擬彩色電視制式采用的顏色空間。
3.根據(jù)權利要求1所述的方法，其特征在于所述步驟( 中，所述當前幀中各圖像塊的運動劇烈程度數(shù)值是當前幀的圖像塊與前一幀的相同位置圖像塊之間的亮度值差值矩陣中的所有元素絕對值之和除以該圖像塊的總像素值的商；因此，每幀中的各個圖像塊的 運動劇烈程度的計算公式為
4.根據(jù)權利要求1所述的方法，其特征在于所述步驟( 計算當前幀中的各個圖像塊的運動劇烈程度時，因為運動劇烈程度是反映視頻圖像時域特征的相對數(shù)值，故視頻起始播放時刻的首幀圖像、即k = 1時的幀圖像沒有相對的運動劇烈程度數(shù)值；然而，基于首幀的重要性，將第2幀圖像的運動劇烈程度數(shù)值賦予首幀，并默認首幀圖像為關鍵幀，參與視頻質(zhì)量評價計算。
5.根據(jù)權利要求1所述的方法，其特征在于因人眼視覺系統(tǒng)在觀察圖像或視頻時，對中間區(qū)域內(nèi)容的敏感度和運動劇烈程度的感覺要高于四周區(qū)域，故設定每個圖像塊運動劇烈程度權重因子Iq的數(shù)值大小與該圖像塊距離圖像中心的距離呈反比越靠近中心，權重因子Ii, j越大。
6.根據(jù)權利要求1所述的方法，其特征在于所述步驟(3)中的圖像塊運動劇烈程度權重因子Iu的計算過程如下先定義每幀圖像中心的坐標為
7.根據(jù)權利要求1所述的方法，其特征在于所述步驟( 中，將每幀圖像的總體運動劇烈程度與分別位于其前、后設定數(shù)量α的多幀圖像的總體運動劇烈程度進行比較的設定數(shù)量α的選擇區(qū)間是[2，5]。
8.根據(jù)權利要求1或7所述的方法，其特征在于所述步驟(5)進一步包括下列操作 為避免所選取的關鍵幀為相鄰幀圖像而不符合關鍵幀的選取本意，故要對已被選擇的關鍵幀進行篩選如果第k幀圖像與位于其前、后設定數(shù)量α的幀圖像分別比較后，已被判別為關鍵幀， 同時第(k-Ι)幀不是關鍵幀，則此時可以選擇第k幀為關鍵幀；即篩選確定關鍵幀的計算公式是要同時滿足下述A與B兩個計算公式A，若第k幀的總體運動劇烈程度MAk滿足下述兩式之一 (MAk > MAtl)，其中，q = k-α，k_(a-1)，…，k_l，k+1，…，k+( a-1)，k+α 或 (MAk < MAtl)，其中，q = k-a，k_(a-1)，…，k_l，k+1，…，k+( a-1)，k+α ； B，關鍵幀序號應滿足下式keyframe[1-1]興k_l，式中，1為關鍵幀的幀序號，且第 (k-Ι)幀不是關鍵幀；此時，將第k幀圖像定義為關鍵幀，即keyframe [1] = k，并單獨存儲其幀號和圖像數(shù)據(jù)。全文摘要
一種用于視頻質(zhì)量評價的關鍵幀的選取方法，該方法是先用平均絕對差MAD方法描述每幀視頻圖像中的各個圖像塊的運動劇烈程度，然后采用基于人眼視覺興趣的權重因子對每個圖像塊的運動劇烈程度加權，計算每幀圖像的總體運動劇烈程度，并根據(jù)設定的判斷條件確定關鍵幀。本發(fā)明解決了現(xiàn)有技術的缺陷，顯著降低了對視頻進行逐幀評價的運算復雜度，使其能應用于實際視頻質(zhì)量評價。還考慮人眼視覺興趣，將其作為加權因子計算圖像運動劇烈程度，使選取的關鍵幀能更準確反映實際視頻質(zhì)量，符合人的主觀欣賞感受；而且，本發(fā)明方法操作步驟簡單、方便，易于集成，在視頻質(zhì)量評價應用中具有較好的推廣價值。
文檔編號H04N11/06GK102572502SQ201010609119
公開日2012年7月11日 申請日期2010年12月17日 優(yōu)先權日2010年12月17日
發(fā)明者劉勇, 李湘平, 杜海清, 胡文, 許克輝 申請人:北京東方文駿軟件科技有限責任公司, 北京郵電大學