專利名稱：新型用戶敏感信息適應(yīng)性視頻代碼轉(zhuǎn)換架構(gòu)的制作方法
新型用戶敏感信息適應(yīng)性視頻代碼轉(zhuǎn)換架構(gòu)
背景技術(shù)：
代碼轉(zhuǎn)換表示一種數(shù)字文件到另 一種的轉(zhuǎn)換。這種轉(zhuǎn)換包括但不 限于格式變化、分辨率變化以及比特率變化。在視頻點播應(yīng)用中，主 機計算機可以響應(yīng)于用戶請求來瀏覽所存儲的視頻文件。主機計算機 可以把所存儲的視頻文件進行代碼轉(zhuǎn)換而變成合適的視頻格式和比 特率，以通過網(wǎng)絡(luò)傳輸給用戶。代碼轉(zhuǎn)換的格式可以是與用戶平臺相 兼容的，例如，電視或個人電腦。主機計算機也可以調(diào)整傳輸比特率 以滿足連接主機計算機和用戶的網(wǎng)絡(luò)的帶寬需求。
主機計算機和用戶之間的網(wǎng)絡(luò)連接有時可能是不穩(wěn)定的或擁塞
的。無線連接比如無線保真(WiFi)網(wǎng)絡(luò)上的視頻傳輸很容易發(fā)生數(shù) 據(jù)丟失或者錯誤。因此，主機計算機上的代碼轉(zhuǎn)換一般降低傳輸比特 率以在這種網(wǎng)絡(luò)條件下進行防護。但是，降低的比特率一般會降低用 戶所接收到的視頻質(zhì)量。


通過舉例的方式來闡明了諸實施例，附圖中圖形并不是對本發(fā)明 的限制，附圖中，相同的附圖標(biāo)記表示相同的元件。需要注意的是， 本發(fā)明中"一個"實施例并不一定是指的同一個實施例，其表示至少 一個。
圖1是一見頻系統(tǒng)實施例的方框圖。
圖2是包括有三幀的幀序列的示例。
圖3是視頻系統(tǒng)靜態(tài)模型的方框圖。
圖4視頻系統(tǒng)動態(tài);f莫型的方框圖。
圖5是示出視頻系統(tǒng)代碼轉(zhuǎn)換操作的流程圖。
具體實施例方式
圖1示出了視頻系統(tǒng)10實施例的方框圖。視頻系統(tǒng)10可以是個人電腦，文件服務(wù)器，或者任意具有視頻代碼轉(zhuǎn)換功能的計算設(shè)備。
在一個實施例中，視頻系統(tǒng)IO可以是視頻點播(VOD)系統(tǒng)，響應(yīng)于用 戶請求通過網(wǎng)絡(luò)向終端用戶發(fā)逸視頻流。^見頻系統(tǒng)10可以通過存儲 器接口 17和存儲路徑18而耦合到存儲器12。視頻系統(tǒng)10也可以通 過網(wǎng)絡(luò)接口 19耦合到網(wǎng)絡(luò)15上，用于向終端用戶發(fā)送^f見頻流。網(wǎng)絡(luò) 15可以是有線或無線網(wǎng)絡(luò)，或者二者組合。網(wǎng)絡(luò)15可以是局域網(wǎng)， 廣域網(wǎng)，因特網(wǎng)或以上所述的組合。存儲器12可以是一個或多個易 失或非易失存儲設(shè)備的組合，或者任意機器可讀介質(zhì)。例如，機器可 讀介質(zhì)包括只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲々萊 體；光存儲媒體；閃存設(shè)備；生物電子、機械系統(tǒng)；電、光、聲或其 它形式的傳播信號(比如，載波、紅外信號或數(shù)字信號)。
存儲器12可存儲多個視頻文件，包括一種或多種視頻格式的媒 體流文件123。媒體流文件123可包括一系列幀。每個幀的部分可包 含用戶特別感興趣或敏感的信息。例如，圖2示出了三個連續(xù)幀，其 中每個都包括一個正在奔跑的人和兩輛移動的汽車。用戶可能對人比
對汽車更感興趣，因此，可能會更加關(guān)注人的細(xì)節(jié)。因此，用戶可以指定人為包含更多用戶敏感信息的物體。包含人的區(qū)域，如橢圓21-23所表示的，被稱之為敏感信息部分(SIP)區(qū)域。SIP區(qū)域之外的區(qū)域稱之為非SIP區(qū)域。
參照圖1,在一個實施例中，視頻系統(tǒng)IO可以具有一個包括代碼轉(zhuǎn)換器110、敏感信息部分(SIP)產(chǎn)生器120以及可選SIP文件分析器130的代碼轉(zhuǎn)換單元16,用于向視頻文件施加偏差率控制。在一個實施例中，比起向非SIP區(qū)域，代碼轉(zhuǎn)換器110可以向SIP區(qū)域分配更多的用于每個宏塊的位數(shù)(例如16象素x 16象素塊)，從而增強SIP的質(zhì)量和用戶體驗。SIP產(chǎn)生器120為每一幀產(chǎn)生SD 信息。SIP信息可 以與代碼轉(zhuǎn)換流的傳輸一起產(chǎn)生或者靜態(tài)地產(chǎn)生到存儲在存儲器12
里的SIP配置文件125。如果SIP信息是離線產(chǎn)生的并存儲到SIP配 置文件125中的，SIP配置文件的格式可能并不能與代碼轉(zhuǎn)換器110 相兼容。SIP文件分析器130可以用于把用于代碼轉(zhuǎn)換器110的文件 格式進行轉(zhuǎn)換以解決任何格式不兼容問題。
圖1中，代碼轉(zhuǎn)換器110、 SIP產(chǎn)生器120以及SIP文件分析器 130作為硬件設(shè)備而示出，其可通過特定用途集成電路(ASIC)、現(xiàn)場 可編程門陣列(FPGA),或任何適用于邏輯設(shè)備執(zhí)行的硬件技術(shù)。這些 硬件設(shè)備可以通過直接存儲器存取(DMA)控制器13直接對存儲器12 里的文件進行存取。作為備選地， 一個或多個代碼轉(zhuǎn)換器110、 SIP 產(chǎn)生器120和SIP文件分析器130可以實現(xiàn)為預(yù)定義的存儲在機器可 讀介質(zhì)中的軟件模塊。這些軟件模塊可以包含由處理器14執(zhí)行的指 令。
在靜態(tài)實施例中，SIP可以在用戶的指導(dǎo)下產(chǎn)生。例如，用戶可 以手動為各幀標(biāo)記一個或多個SIP區(qū)域，并為所標(biāo)記的區(qū)域分配優(yōu)先 級。SIP產(chǎn)生器120可以產(chǎn)生每個被標(biāo)記區(qū)域的坐標(biāo)，并將其存儲到 SIP配置文件125中。作為備選地，用戶可以在SIP首先出現(xiàn)的幀中 對SIP進行標(biāo)記。SIP產(chǎn)生器120可以使用標(biāo)記的信息來自動對其后 的幀中的SEP進行定位。例如，參照圖2,用戶可以手動標(biāo)記橢圓21-23 來表示正在奔跑的人包包^^敏感信息。用戶可以僅僅選擇性地標(biāo)記橢 圓21。 SEP產(chǎn)生器120可以分析物體(正在奔跑的人)的特點，或者 包含在橢圓21內(nèi)的區(qū)域，并且在后續(xù)幀中搜索具有相同或相似特點 的物體或區(qū)域。SEP產(chǎn)生器120可以利用標(biāo)準(zhǔn)函數(shù)，比如運動圖象專 家組-4(MPEG-4)中所描述的，來進行分析或搜索。當(dāng)SDP產(chǎn)生器120 對物體或區(qū)域定位后，SIP產(chǎn)生器可以產(chǎn)生標(biāo)記，橢圓形或者任意合 適的形狀，來包圍它。標(biāo)記的坐標(biāo)，無論是由用戶還是SIP產(chǎn)生器120 產(chǎn)生的，都可以存儲在SIP配置文件125中。SIP配置文件125可以 以項目(item)形式來存儲每個SIP,該項目包括幀序列號、SIP號、SIP 優(yōu)先級以及包圍SIP的標(biāo)記的形狀和坐標(biāo)。
作為備選地，用戶也可以向SIP產(chǎn)生器120指示某個物體(比如 正在奔跑的人)就是SIP，而不用把物體圈起來。在這種場景下，用 戶可以向SIP產(chǎn)生器120來描述物體的特點(比如某種顏色或某種高寬 比的物體)。作為備選地，用戶還可以把固定坐標(biāo)或形狀的區(qū)域指定 SIP區(qū)域。SIP產(chǎn)生器120可以根據(jù)用戶的指導(dǎo)來在所有幀中定位物體 或區(qū)域。
SIP產(chǎn)生器120也可以自動對SIP進行定位，而不需要用戶的指 導(dǎo)，或者只需要用戶最小的輸入。例如，用戶可以為每個頻繁出現(xiàn)的 物體提供一個優(yōu)先級。SIP產(chǎn)生器120可以比較幀序列中的物體，并 指定出現(xiàn)最頻繁的物體和/或具有最高優(yōu)先級的物體為SIP。作為備選 地，SIP產(chǎn)生器120也可以比較一系列幀中的物體，并指定出現(xiàn)這些 幀最中心位置的物體作為SIP。在另外一些場景中，SIP產(chǎn)生器120 可以比較幀序列中的感興趣區(qū)域并指定這些出現(xiàn)最為頻繁的區(qū)域作 為SIP。
在某些實施例中，圖1中的視頻系統(tǒng)IO可以由靜態(tài)模型或靜態(tài) 模型實現(xiàn)。圖3和圖4分別示出了視頻系統(tǒng)10的靜態(tài)模型和動態(tài)模 型的實施例。在靜態(tài)模型和動態(tài)模型中，代碼轉(zhuǎn)換器IIO可以基于SIP 信息和網(wǎng)絡(luò)15的可用帶寬來對i某體流文件123進行代碼轉(zhuǎn)換。代碼 轉(zhuǎn)換器IIO可以為SIP區(qū)域和非SIP區(qū)域決定不同的比特率以保證SIP 的質(zhì)量并不妥協(xié)于有限的帶寬。與非SIP區(qū)域相比，SIP區(qū)域可以以 更高的比特率被發(fā)送。如果可用帶寬命支低，或者網(wǎng)絡(luò)15不穩(wěn)定，代 碼轉(zhuǎn)換器IIO可以降低用于發(fā)送非SIP區(qū)域的比特率而維持用于發(fā)送 SIP區(qū)域的比特率。作為備選的，代碼轉(zhuǎn)換器110可以降低用于SIP 和非SIP區(qū)域的比特率，但是對非SIP區(qū)域施加的比特率降低更多。 為了為高優(yōu)先級SIP保留更多的帶寬， 一些低優(yōu)先級的SEP區(qū)域可能 會丟棄。即，低優(yōu)先級SIP區(qū)域可以用與非SIP區(qū)域相同的比特率進 行編碼。因此，視頻系統(tǒng)10可以適用于不同的網(wǎng)絡(luò)環(huán)境，并可以有 效地利用帶寬來傳輸高質(zhì)量的敏感信息。
在圖3的靜態(tài)4莫型中，SIP配置文件125優(yōu)先于被代碼轉(zhuǎn)換的視 頻傳輸而產(chǎn)生。SIP配置文件125也可以從不同的平臺導(dǎo)入，并且可 以具有不易^支代碼轉(zhuǎn)換器110所解讀的格式。SIP文件分析器130可 以讀取SIP配置文件125，并4巴文件格式轉(zhuǎn)換成其它能與代碼轉(zhuǎn)換器 110兼容的格式。然后代碼轉(zhuǎn)換器110可以基于從SIP文件分析器130 處所接收到的SIP和網(wǎng)絡(luò)15的帶寬狀態(tài)而從4某體流文件123中產(chǎn)生代 碼轉(zhuǎn)換的流。
圖4的動態(tài)模型中，SIP配置文件125和SIP文件分析器130可 以省略。SIP產(chǎn)生器120與代碼轉(zhuǎn)換操作同時產(chǎn)生SIP信息，并且直 接把SIP發(fā)送給代碼轉(zhuǎn)換器110。在一個實施例中，代碼轉(zhuǎn)換器110 可以把網(wǎng)絡(luò)15的帶寬狀態(tài)饋送給SIP產(chǎn)生器120，并允許SEP產(chǎn)生器 基于網(wǎng)絡(luò)條件動態(tài)地調(diào)整SIP的量。
圖5是示出某些實施例中例如圖1中的代碼轉(zhuǎn)換器110中代碼轉(zhuǎn) 換器操作的例子的流程圖。方框51處，代碼轉(zhuǎn)換器110接收帶寬狀 態(tài)，帶寬狀態(tài)指示可用于發(fā)送代碼轉(zhuǎn)換的視頻的可用帶寬。方框52 處，根據(jù)圖3的靜態(tài)模型，代碼轉(zhuǎn)換器110從SIP文件分析器130處 接收SIP信息。作為備選的，根據(jù)圖4的動態(tài)模型，代碼轉(zhuǎn)換器110 也可從SIP產(chǎn)生器120處接收SIP信息，并把帶寬狀態(tài)轉(zhuǎn)發(fā)SIP產(chǎn)生 器。盡管，如圖所示，SIP信息是在接收到帶寬狀態(tài)之后才被接收的， 但是，這些接收可以是任意順序的，并且可以是同時的。方框53處， 代碼轉(zhuǎn)換器IIO基于帶寬狀態(tài)而決定對SIP以及非SIP區(qū)域進行代碼 轉(zhuǎn)換的比特率。代碼轉(zhuǎn)換器110也可以決定是否丟棄具有低優(yōu)先級的 SIP。方框54處，代碼轉(zhuǎn)換器IIO形成近似被標(biāo)記區(qū)域或物體的宏塊。 在塊55處，比起非SIP區(qū)域中的宏塊，代碼轉(zhuǎn)換器110對SIP區(qū)域的 宏塊中的每一個用更高的比特率進行代碼轉(zhuǎn)換。方框56處，代碼轉(zhuǎn) 換器通過網(wǎng)絡(luò)15向每個終端用戶發(fā)送進行了代碼轉(zhuǎn)換的流。
在上述說明中，對一些特定實施例進行了說明。但是，4艮明顯可 以對其進行各種變型或變化，而并不偏離權(quán)利要求書的精神和范圍。因而，本說明以及附圖應(yīng)該視為是示范性的，而非限制性的。
權(quán)利要求
1.一種方法，包括定義幀的第一部分為包含敏感信息，其中所述幀包括所述第一部分和第二部分；基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進行代碼轉(zhuǎn)換。
2. 如權(quán)利要求1所述的方法，其特征在于，所迷定義幀的第一 部分還包括定義所述幀的所述第一部分的一個或多個項目為包含敏感信息， 其中所述項目為區(qū)域和物體中的一個。
3. 如權(quán)利要求2所述的方法，還包括 把每個所述項目的坐標(biāo)存儲到文件中。
4. 如權(quán)利要求2所述的方法，其特征在于，定義所述幀的所述第 一部分的一個或多個項目還包4舌如果所迷可用帶寬降低，則用與所述幀的所述第二部分相同的比 特率對低優(yōu)先級項目進行代碼轉(zhuǎn)換。
5. 如權(quán)利要求1所述的方法，其特征在于，所述代碼轉(zhuǎn)換還包括 如果所述可用帶寬降低，則降低所述幀的所述第二部分的比特率，同時維持所述幀的所述第一部分的比特率。
6. 如權(quán)利要求1所述的方法，其特征在于，所述代碼轉(zhuǎn)換還包括 如果所述可用帶寬降低，則所述幀的所述第二部分的比特率的降低大于所述幀的所述第一部分的比特率的降低。
7. 如權(quán)利要求1所述的方法，其特征在于，定義幀的第一部分 還包括比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中出現(xiàn)最頻繁的物體。
8. 如權(quán)利要求1所述的方法，其特征在于，定義幀的第一部分還包括比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中最中心位置出現(xiàn)的物體。
9. 一種系統(tǒng)，包括敏感信息產(chǎn)生器，以產(chǎn)生把幀的第一部分作為包含敏感信息的定義，其中所述幀包括所述第一部分和第二部分；代碼轉(zhuǎn)換器，以基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進行代碼轉(zhuǎn)換。
10. 如權(quán)利要求9所述的系統(tǒng)，還包括存儲器，以存儲包括所述幀的所述第一部分中項目的坐標(biāo)的配置文件，其中所述項目是物體和區(qū)域中的一個。
11. 如權(quán)利要求9所述的系統(tǒng)，還包括存儲器，以存儲包括所述幀的所述第一部分中項目的優(yōu)先級的配置文件，其中所述項目是物體和區(qū)域中的一個。
12. 如權(quán)利要求11所述的系統(tǒng)，還包括文件分析器，以把所述配置文件的格式轉(zhuǎn)換成與所述代碼轉(zhuǎn)換器兼容的另一種格式。
13. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述敏感信息產(chǎn)生器發(fā)送所述第一幀的定義到所述代碼轉(zhuǎn)換器，并且從所述代碼轉(zhuǎn)換器接收的所述帶寬的狀態(tài)。
14. 一種其中具有指令的機器可讀介質(zhì)，在所述指令被執(zhí)行時能使機器定義幀的第一部分為包含敏感信息，其中所述幀包括所述第一部分和第二部分；基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進行代碼轉(zhuǎn)換。
15. 如權(quán)利要求14所述的機器可讀介質(zhì)，其特征在于，定義幀的第一部分還包括如下指令，所迷指令可操作以定義所述幀的所述第一部分的一個或多個項目為包含敏感信息， 其中所述項目是區(qū)域和物體中的 一個。
16. 如權(quán)利要求15所述的機器可讀介質(zhì)，其特征在于，定義所述 幀的所述第一部分的一個或多個項目還包括指令，可操作以如果所述可用帶寬降低，則以與所述幀的所述第二部分相同的比 特率對低優(yōu)先級項目進行代碼轉(zhuǎn)換。
17. 如權(quán)利要求14所述的機器可讀介質(zhì)，其特征在于，還包括指 令，可操作以如果所述可用帶寬降低，則降低所述幀的所述第二部分的比特 率，同時維持所述幀的所述第一部分的比特率。
18. 如權(quán)利要求14所述的機器可讀介質(zhì)，其特征在于，還包括指 令，可操作以如果所述可用帶寬降低，則所述幀的所述第二部分的比特率的降 低大于所述幀的所述第 一部分的比特率的降低。
19. 如權(quán)利要求14所述的機器可讀介質(zhì)，其特征在于，所述定義 幀的第一部分還包括指令，可操作以比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中出現(xiàn)最頻繁的所述物體。
20. 如權(quán)利要求14所述的方法，其特征在于，所述定義幀的第 一部分還包括指令，可操作以比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中最中心位置出現(xiàn)的物體。
全文摘要
本發(fā)明涉及一種視頻系統(tǒng)，該視頻系統(tǒng)包括敏感信息產(chǎn)生器，用于產(chǎn)生敏感信息部分(SIP)區(qū)域的定義。該視頻系統(tǒng)還包括代碼轉(zhuǎn)換器，基于用于對被代碼轉(zhuǎn)換過的幀進行發(fā)送的可用帶寬，對SIP區(qū)域以高于非SIP區(qū)域的比特率進行代碼轉(zhuǎn)換。SIP區(qū)域是靜態(tài)地或動態(tài)地產(chǎn)生的。視頻系統(tǒng)適用于不同的網(wǎng)絡(luò)環(huán)境，并且能夠有效地利用帶寬來進行高質(zhì)量的敏感信息傳輸，并能增強用戶體驗。
文檔編號H04N7/26GK101346997SQ200580052395
公開日2009年1月14日 申請日期2005年12月28日 優(yōu)先權(quán)日2005年12月28日
發(fā)明者C·X·陳, R·李 申請人:英特爾公司