通過調(diào)整垂直消隱進行視頻幀速率補償?shù)闹谱鞣椒?br>【專利說明】通過調(diào)整垂直消隱進行視頻幀速率補償
[0001]優(yōu)先權(quán)請求
[0002]本申請請求在2014年3月12日提交的題為“VIDEO FRAME RATE COMPENSAT1NTHROUGH ADJUSTMENT OF VERTICAL BLANKING”(代理人案卷號 SCEA13043US00)的在共同轉(zhuǎn)讓給Roelof Roderick Colenbrander之前、共同未決的美國臨時申請?zhí)?1/951，729的權(quán)益，所述美國臨時申請的全部內(nèi)容以引用之方式并入本文。
技術(shù)領(lǐng)域
[0003]本公開內(nèi)容涉及圖形處理和視頻傳輸。本公開內(nèi)容的某些方面涉及當(dāng)壓縮并通過網(wǎng)絡(luò)流式傳輸渲染的圖形時進行幀速率補償?shù)南到y(tǒng)和方法。
【背景技術(shù)】
[0004]渲染圖形以實時傳輸?shù)斤@示設(shè)備是復(fù)雜的過程，其并入許多精心開發(fā)的技術(shù)以確保新產(chǎn)生的幀被以適當(dāng)?shù)亩〞r從來源傳輸?shù)斤@示器。通常，該過程開始于通常為具有定制用于渲染任務(wù)的高度并行結(jié)構(gòu)的圖形處理單元(GPU)的處理單元將源內(nèi)容的每個新幀渲染到稱為幀緩沖器的存儲器的一部分。本文中被稱為“源幀”的源內(nèi)容的新產(chǎn)生幀每個都被按順序暫時存儲在幀緩沖器中作為具有限定所述特定幀中每個像素的視覺內(nèi)容的值的數(shù)組的圖像。當(dāng)這種情況發(fā)生時，在順序地將圖像驅(qū)動到顯示設(shè)備的過程中，這些圖像被掃描輸出幀緩沖器。同時，顯示設(shè)備傳統(tǒng)上使用被從幀緩沖器掃描輸出的圖像以固定頻率(稱為刷新速率)周期性地更新在屏幕上顯示的圖像。
[0005]為了將渲染的幀發(fā)送到顯示器，幀緩沖器中的圖像通常被逐行掃描輸出并被通過某一視頻接口連續(xù)地(按順序)傳輸?shù)斤@示設(shè)備。在掃描輸出期間，產(chǎn)生某些“不可見的”信號以管理傳輸過程，使得從幀緩沖器輸出的實際被傳輸?shù)斤@示設(shè)備的每個幀(本文中被稱為“輸出幀”)不僅包括幀的圖像的可見像素值，而且包括可被顯示設(shè)備用以解決如何將接收到的幀顯示在屏幕上的其它外部信號。這通常尤其包括在每個掃描輸出幀圖像之間脈沖的垂直同步信號。每個掃描輸出幀圖像之間(即，一個幀圖像的最后一行或像素與后續(xù)幀圖像的第一行或像素之間)的時間段被稱為“垂直消隱間隔”。這個垂直消隱間隔被產(chǎn)生作為掃描輸出過程的一部分，且這個垂直同步脈沖被用于進行圖形源和顯示器之間的同步。
[0006]在掃描輸出期間垂直同步脈沖發(fā)生的頻率及因此垂直消隱間隔發(fā)生的頻率傳統(tǒng)上相對于顯示設(shè)備的刷新速率固定，使得從幀緩沖器掃描輸出的每個圖像與顯示器的每個刷新周期一致。如果原始圖形內(nèi)容的幀速率(即，新源幀被GPU拉到幀緩沖器的速率)與顯示器的刷新速率完全同步，那么被GPU拉到幀緩沖器的每個新源幀將1:1對應(yīng)于在顯示設(shè)備上呈現(xiàn)的每個圖像。例如，如果顯示設(shè)備的刷新速率為60Hz且GPU與顯示器的刷新周期同相地以60FPS的幀速率將新圖像渲染到幀緩沖器，那么被在顯示器的屏幕上更新的每個圖像將完全對應(yīng)于GPU產(chǎn)生的源幀。
[0007]然而，在實踐中，源內(nèi)容的幀速率經(jīng)常隨時間變化且可能例如基于當(dāng)前場景的復(fù)雜性或與幀的產(chǎn)生相關(guān)聯(lián)的其它因素而向上和向下波動。例如，如果視頻游戲的當(dāng)前狀態(tài)導(dǎo)致當(dāng)前視野中有過多虛擬對象或太多細節(jié)，那么幀速率可能由于渲染幀所需的增加的計算負荷而暫時下降。因此，被渲染到幀緩沖器的源內(nèi)容的幀速率可能與從這個緩沖器的幀的掃描輸出和顯示設(shè)備的相應(yīng)的刷新周期不同步。換句話說，被拉到幀緩沖器的每個“源幀”可能不完全對應(yīng)于被驅(qū)動到顯示設(shè)備的每個“輸出幀”。
[0008]源幀速率和顯示器刷新之間的這個去同步所導(dǎo)致的不希望的后果是被稱為“撕裂”的視覺假象(artifact)，其恰如其名，因為看上去似乎對于特定幀顯示圖像中有水平撕裂。本質(zhì)上，當(dāng)幀被掃描輸出幀緩沖器時發(fā)生撕裂，而存儲器的所述部分被以新的后續(xù)源幀更新，例如，在被完全掃描輸出之前，GPU用后續(xù)源幀覆蓋緩沖器中的圖像。因此，被傳輸?shù)斤@示設(shè)備的輸出幀實際含有來自兩個或更多個連續(xù)源幀的圖像。相應(yīng)地，當(dāng)顯示設(shè)備在所述刷新周期期間更新其屏幕內(nèi)容時，其同時含有來自源內(nèi)容的不同連續(xù)幀的圖像。
[0009]為了最小化或消除撕裂，幀緩沖器通常包括多個緩沖器，即，前幀緩沖器和一個或多個后幀緩沖器，幀圖像被從前幀緩沖器直接掃描輸出，當(dāng)前一幀被掃描輸出前幀緩沖器時，GPU可將新的幀拉入后幀緩沖器。當(dāng)新的幀完成渲染時，后幀緩沖器例如通過將內(nèi)容復(fù)制到前緩沖器或通過改變指定前緩沖器的存儲器地址的指針值來與前幀緩沖器交換，使得前緩沖器的內(nèi)容可被掃描輸出到顯示設(shè)備。為了完全消除撕裂假象，這往往結(jié)合防止GPU交換緩沖器的限制，直到剛好在顯示設(shè)備的刷新周期之后。這通常僅通過迫使GPU在其交換緩沖器之前在垂直消隱間隔期間等待垂直同步脈沖發(fā)生來實現(xiàn)。由于這個垂直同步脈沖和垂直消隱間隔傳統(tǒng)上相對于顯示器的刷新周期以固定間隔產(chǎn)生，它確保了只有完整的源幀被掃描輸出幀緩沖器，從而防止發(fā)生撕裂假象。
[0010]雖然這有效地防止撕裂，但是可能會產(chǎn)生被稱為“磕巴(stuttering) ”的另一問題，當(dāng)源幀速率下降且掃描輸出單元被迫將相同的幀傳輸?shù)斤@示器時，可能發(fā)生所述問題。尤其是當(dāng)GPU被限制以僅在刷新周期之間交換緩沖器時，可斷言磕巴，因為幀速率被有效地限制為僅為顯示刷新速率的積分因子。由于GPU必須具有完全新的源幀來執(zhí)行交換，所以如果GPU在同步脈沖的時間尚未完成渲染后續(xù)幀，那么它必須等待另外一個完整的周期才可交換緩沖器，即使新的源幀在不久之后以其它方式完成。當(dāng)磕巴發(fā)生時，顯示器上感知到的幀速率的突然下降可使觀看者分心。
[0011]在一些情況下，與將幀掃描輸出到顯示設(shè)備不同，理想的是將幀發(fā)送到某個其它目的地。例如，云游戲和其它基于云的視頻流式傳輸應(yīng)用可能需要將渲染的幀壓縮并通過網(wǎng)絡(luò)發(fā)送以用于實時顯示，而非從幀緩沖器直接傳輸?shù)斤@示設(shè)備。在這些情況下，優(yōu)選地，整個源幀被編碼器壓縮并以最小化等待時間發(fā)送到遠程設(shè)備。為了實現(xiàn)這一任務(wù)，編碼器必須對受限資源預(yù)算進行操作，以確保幀準(zhǔn)時到達遠程設(shè)備。如果源幀速率波動且磕巴發(fā)生，那么有價值的壓縮資源將朝向壓縮相同的幀被浪費。這可能導(dǎo)致編碼幀的比起如果壓縮資源被更有效地利用所可能達到的圖像質(zhì)量更差的圖像質(zhì)量。另外，如果相同的幀被通過網(wǎng)絡(luò)流式傳輸，那么有限的網(wǎng)絡(luò)帶寬就被浪費在不必要的幀上。

【發(fā)明內(nèi)容】

[0012]在這樣的背景下，產(chǎn)生了本公開內(nèi)容的方面。
[0013]本發(fā)明提供了一種方法，其包括:將多個源幀渲染到緩沖器中，每個所述源幀被以可變幀速率順序地渲染到所述緩沖器中；使用掃描輸出單元從所述緩沖器掃描輸出多個輸出幀，每個所述輸出幀被順序地掃描輸出，在每個所述輸出幀的末尾具有垂直消隱間隔；壓縮在被掃描輸出所述緩沖器的每個所述輸出幀內(nèi)的源幀；檢測所述可變幀速率中的一個或多個波動；和響應(yīng)于所述一個或多個波動而調(diào)整所述源幀中一個或多個的所述壓縮的定時。
[0014]本發(fā)明提供了一種系統(tǒng)，其包括:至少一個處理器單元；至少一個存儲器單元，其被耦合到所述處理器單元；和掃描輸出單元，其被耦合到所述處理器單元，其中所述處理器單元被配置以執(zhí)行方法，所述方法包括:將多個源幀渲染到緩沖器中，每個所述源幀被以可變幀速率順序地渲染到所述緩沖器中；使用掃描輸出單元從所述緩沖器掃描輸出多個輸出幀，每個所述輸出幀被順序地掃描輸出，在每個所述輸出幀的末尾具有垂直消隱間隔；壓縮在被掃描輸出所述緩沖器的每個所述輸出幀內(nèi)的源幀；檢測所述可變幀速率中的一個或多個波動；和響應(yīng)于所述一個或多個波動而調(diào)整所述源幀中一個或多個的所述壓縮的定時。
[0015]本發(fā)明提供了一種非臨時性計算機可讀介質(zhì)，具有實施在其中的處理器可執(zhí)行指令，其中處理器執(zhí)行所述指令使得所述處理器實施方法，所述方法包括:將多個源幀渲染到緩沖器中，每個所述源幀被以可變幀速率順序地渲染到所述緩沖器中；使用掃描輸出單元從所述緩沖器掃描輸出多個輸出幀，每個所述輸出幀被順序地掃描輸出，在每個所述輸出幀的末尾具有垂直消隱間隔；壓縮在被掃描輸出所述緩沖器的每個所述輸出幀內(nèi)的源幀；檢測所述可變幀速率中的一個或多個波動；和響應(yīng)于所述一個或多個波動而調(diào)整所述源幀中一個或多個的所述壓縮的定時。
【附圖說明】
[0016]本公開內(nèi)容的教導(dǎo)可通過結(jié)合附圖考慮以下詳細描述來被容易地理解，其中:
[0017]圖1是處理圖形和將圖形掃描輸出到顯示設(shè)備的實例的流程圖。
[0018]圖2是示范性輸出幀的示意圖。
[0019]圖3是處理圖形和將圖形掃描輸出到編碼器以實時流式傳輸圖形的實例的流程圖。
[0020]圖4是根據(jù)本公開內(nèi)容的方面的幀速率補償?shù)氖痉缎苑椒ǖ牧鞒虉D。
[0021]圖5是根據(jù)本公開內(nèi)容的方面的示范性系統(tǒng)的框圖。
[0022]圖6A是充當(dāng)視頻源的示范性終端系統(tǒng)架構(gòu)的示意圖。
[0023]圖6B是可從視頻源捕獲并壓縮視頻幀的示范性主機系統(tǒng)和捕獲卡架構(gòu)。
[0024]圖7是具有專門的處理單元的示范性視頻捕獲卡設(shè)計的示意圖。
【具體實施方式】
[0025]
[0026]雖然以下詳細描述為了說明的目的含有許多特定細節(jié)，但是本領(lǐng)域技術(shù)人員將認識到，以下細節(jié)的許多變型和改變都在本發(fā)明的范圍內(nèi)。因此，在不失請求保護的本發(fā)明的一般性的情況下且在不對請求保護的本發(fā)明施加限制的情況下，闡述了下文描述的本公開的示范性實施方案。
[0027]應(yīng)注意，本公開內(nèi)容的某些方面涉及視頻傳輸，包括渲染和掃描輸出視頻幀以通過視頻接口(有時在本文中被稱為顯示接口)傳輸，以及視頻流式傳輸?shù)竭h程設(shè)備，包括壓縮并傳輸視頻幀用于云游戲?qū)嵤?。這些方面的另外的說明性細節(jié)和實例可見于2013年12月 19 日提交的題為“VIDEO LATENCY REDUCT1N”(代理人案卷號 SCEA13037US00)的 RoelofRoderick Colenbrander的美國非臨時專利申請?zhí)?4/135，374中，所述專利申請的全部內(nèi)容在此以引用的方式并入。應(yīng)注意，本公開內(nèi)容的某些實施可根據(jù)參考文檔并入時描述的各種系統(tǒng)和方法來配置。
[0028]本公開內(nèi)容的各種方面涉及被配置以調(diào)整壓縮的定時以更好地匹配源內(nèi)容由處理單元渲染的幀速率的系統(tǒng)和方法。在某些實施中，這可通過響應(yīng)于檢測到的源幀速率的波動而調(diào)整幀掃描輸出的定時來實現(xiàn)。例如，在從幀緩沖器掃描輸出幀期間產(chǎn)生的垂直消隱間隔可響應(yīng)于產(chǎn)生源內(nèi)容的幀速率的檢測到的改變來調(diào)整。在某些實施中，其它技術(shù)可用以調(diào)整或避免壓縮或流式傳輸重復(fù)幀，且渲染的圖形可被通過網(wǎng)絡(luò)流式傳輸以實時在遠程設(shè)備上顯示。
[0029]詳細信息
[0030]為了更好地說明本公開內(nèi)容的某些方面，圖1示出用于處理圖形并將圖形實時傳輸?shù)斤@示設(shè)備的技術(shù)的說明性實例。圖1示出的實例可具有與將視頻幀傳輸?shù)嚼枚ㄆ诨蚬潭ㄋ⑿滤俾实谋镜仫@示設(shè)備的傳統(tǒng)技術(shù)的某些相似性。
[0031]在圖1示出的實例中，圖形可被處理單元渲染，如104所示，以按順序產(chǎn)生多個源幀102。以舉例的方式，源幀102可基于確定源幀102的內(nèi)容的應(yīng)用(例如視頻游戲)的狀態(tài)來渲染。限定新源幀102被渲染的速率的源幀速率106可能是可變的，且基于(例如)圖形的復(fù)雜性或在特定時刻被渲染的源幀中的細節(jié)的量而隨時間含有一個或多個波動。在某些實施中，渲染源幀的處理單元可為含有定制用于處理圖形和渲染新源幀102的任務(wù)的專門架構(gòu)的GPU。
[0032]如104所示，渲染源幀可取決于渲染管線的配置而包括許多不同的步驟，所述步驟可能以將完成的源幀102渲染到幀緩沖器108中告終，幀緩沖器108是按順序暫時存儲每個新源幀的存儲器的一部分。每個源幀102可被存儲在幀緩沖器108中作為由限定與所述特定幀相關(guān)聯(lián)的視覺值的像素數(shù)據(jù)值的數(shù)組限定的圖像。
[0033]在將源幀102渲染到幀緩沖器108中的過程中，幀緩沖器內(nèi)容也可被掃描輸出(如114所示)作為一系列的輸出幀118并被通過例如HDM1、DV1、VGA或另一合適的接口標(biāo)準(zhǔn)的視頻接口連接按順序傳輸?shù)斤@示設(shè)備116。在此過程中，掃描輸出單元可在每個輸出幀118的末尾產(chǎn)生垂直消隱間隔，以及各種其它外部信號以管理將圖形幀從幀緩沖器108傳輸?shù)斤@示設(shè)備116的過程。因此，每個輸出幀118可被理解為不僅含有源幀102的可見像素值，還含有用以管理定時并將幀到顯示設(shè)備116的傳輸同步的不可見的外部信號。
[0034]顯示設(shè)備116可利用與每個輸出幀118相關(guān)聯(lián)的垂直消隱信號和/或各種外部信號來周期性地更新以固定刷新速率122呈現(xiàn)在其屏幕上的圖像，以解析從幀緩沖器108接收到的像素數(shù)據(jù)并僅從幀緩沖器呈現(xiàn)與圖像內(nèi)容相關(guān)聯(lián)的那些像素值。因此，在圖1示出的實例中