專(zhuān)利名稱(chēng)：用于視頻電話(huà)的關(guān)注區(qū)提取的制作方法
技術(shù)領(lǐng)域：
本揭示案涉及數(shù)字視頻編碼和解碼，且更明確地說(shuō)涉及用于視頻電話(huà)(VT)應(yīng)用的 處理關(guān)注區(qū)(ROI)信息的技術(shù)。
背景技術(shù)：
已為編碼數(shù)字視頻序列建立了許多不同的視頻編碼標(biāo)準(zhǔn)。舉例來(lái)說(shuō)，移動(dòng)圖片專(zhuān)家 組(MPEG)已開(kāi)發(fā)出許多標(biāo)準(zhǔn)，包含MPEG-l、 MPEG-2和MPEG-4。其它實(shí)例包含國(guó) 際電信聯(lián)盟(ITU) H.263標(biāo)準(zhǔn)和新興的ITUH.264標(biāo)準(zhǔn)。這些視頻編碼標(biāo)準(zhǔn)通常支持通 過(guò)以壓縮方式編碼數(shù)據(jù)而改進(jìn)視頻序列的傳輸效率。
視頻電話(huà)(VT)允許用戶(hù)共享視頻和音頻信息以支持例如視頻會(huì)議的應(yīng)用。示范性 視頻電話(huà)標(biāo)準(zhǔn)包含由會(huì)話(huà)啟始協(xié)議(SIP)界定的那些標(biāo)準(zhǔn)、ITUH.323標(biāo)準(zhǔn)和ITUH.324 標(biāo)準(zhǔn)。在VT系統(tǒng)中，用戶(hù)可發(fā)送并接收視頻信息，僅接收視頻信息，或僅發(fā)送視頻信 息。接收者通常以視頻信息從發(fā)送者傳輸?shù)男问讲榭此邮盏囊曨l信息。
已提議對(duì)視頻信息的選定部分進(jìn)行優(yōu)先編碼。舉例來(lái)說(shuō)，發(fā)送者可指定以較高質(zhì)量 編碼關(guān)注區(qū)(ROI)以用于傳輸?shù)浇邮照摺０l(fā)送者可能希望向遠(yuǎn)程接收者強(qiáng)調(diào)所述ROI。 盡管發(fā)送者可能希望關(guān)注視頻場(chǎng)景內(nèi)的其它對(duì)象，ROI的典型實(shí)例是人臉。利用對(duì)ROI 的優(yōu)先編碼，與非ROI區(qū)相比，接收者能夠較清楚地查看ROI。

發(fā)明內(nèi)容
本揭示案針對(duì)用于視頻電話(huà)(VT)的關(guān)注區(qū)(ROI)處理技術(shù)。根據(jù)所述揭示的技 術(shù)，本地接收者裝置界定由遠(yuǎn)程發(fā)送者裝置編碼和傳輸?shù)囊曨l，即遠(yuǎn)端視頻的ROI信息。 所述本地接收者裝置將所述ROI信息傳輸?shù)剿鲞h(yuǎn)程發(fā)送者裝置。所述發(fā)送者裝置使用 由所述接收者裝置傳輸?shù)乃鯮OI信息，對(duì)視頻場(chǎng)景內(nèi)的ROI應(yīng)用優(yōu)先編碼，例如較高 質(zhì)量編碼或誤差防護(hù)。以此方式，接收者裝置能夠遠(yuǎn)程控制對(duì)由發(fā)送者裝置編碼的遠(yuǎn)端 視頻的ROI編碼。
除了接收遠(yuǎn)端視頻外，接收者還可經(jīng)裝備以發(fā)送視頻，即近端視頻。因此，參與VT 通信的裝置可對(duì)稱(chēng)地充當(dāng)視頻信息的發(fā)送者和接收者兩者。充當(dāng)接收者時(shí)，每一裝置可 定義遠(yuǎn)端ROI信息以用于由作為發(fā)送者的遠(yuǎn)程裝置編碼的視頻。并且，充當(dāng)發(fā)送者時(shí)， 每一裝置可定義近端ROI信息以用于傳輸?shù)阶鳛榻邮照叩牧硪谎b置的視頻信息。發(fā)送者 或接收者裝置可稱(chēng)為"ROI感知的"，是指其能夠處理由另一裝置提供的ROI信息以支持 對(duì)ROI視頻編碼的遠(yuǎn)程控制。
遠(yuǎn)端ROI信息允許接收者控制發(fā)送者裝置進(jìn)行的遠(yuǎn)程ROI編碼以較清楚地査看所接 收的視頻場(chǎng)景內(nèi)的對(duì)象或區(qū)。近端ROI信息允許發(fā)送者控制本地ROI編碼以強(qiáng)調(diào)所傳輸 的視頻場(chǎng)景內(nèi)的對(duì)象或區(qū)。因此，發(fā)送者對(duì)ROI的優(yōu)先編碼可基于由接收者或發(fā)送者產(chǎn) 生的ROI信息。另外，接收者裝置可(例如)通過(guò)應(yīng)用例如誤差隱蔽、解塊或去鳴振技 術(shù)的較高質(zhì)量后處理來(lái)基于ROI信息而優(yōu)先解碼ROI。
為了促進(jìn)ROI處理，本揭示案進(jìn)一步預(yù)期用于ROI選擇、ROI映射、ROI提取、ROI 信令、ROI跟蹤，和對(duì)接收者裝置的存取驗(yàn)證以允許對(duì)發(fā)送者裝置的ROI編碼進(jìn)行遠(yuǎn)程 控制的技術(shù)。ROI選擇可依賴(lài)于預(yù)定義的ROI樣式、口頭或文本ROI描述，或用戶(hù)劃定 的ROI。 ROI映射涉及將選定的ROI樣式轉(zhuǎn)譯為ROI映射，其可采取適宜由視頻編碼器 使用的宏區(qū)塊(MB)映射的形式。
ROI信令可涉及從接收者向發(fā)送者裝置進(jìn)行ROI信息的帶內(nèi)或帶外信令。ROI跟蹤 涉及響應(yīng)于ROI運(yùn)動(dòng)而動(dòng)態(tài)調(diào)節(jié)ROI映射。存取驗(yàn)證可涉及出于遠(yuǎn)程ROI控制以及解決 本地與遠(yuǎn)程用戶(hù)或多個(gè)遠(yuǎn)程用戶(hù)之間的ROI控制沖突的目的而向接收者裝置授予存取權(quán) 和等級(jí)。
ROI提取可涉及處理對(duì)關(guān)注區(qū)(ROI)的用戶(hù)描述以基于所述描述而產(chǎn)生指定所述 ROI的信息?？苫谥付≧OI的信息來(lái)編碼近端視頻以增強(qiáng)近端視頻的ROI相對(duì)于非 ROI區(qū)域的圖像質(zhì)量。用戶(hù)描述可基于文本、圖形或語(yǔ)音。提取模塊應(yīng)用適當(dāng)處理以從 用戶(hù)描述中產(chǎn)生ROI信息。提取模塊可駐存在視頻通信裝置本地，或駐存在經(jīng)配置以進(jìn) 行ROI提取的不同的中間服務(wù)器中。
在一個(gè)實(shí)施例中，本揭示案提供一種方法，其包括從遠(yuǎn)程裝置接收指定由本地裝置 編碼且由遠(yuǎn)程裝置接收的近端視頻內(nèi)的關(guān)注區(qū)(ROD的信息，和基于ROI來(lái)編碼近端 視頻以增強(qiáng)視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
在另一實(shí)施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其從遠(yuǎn)程視頻通信裝置接收指定傳輸?shù)竭h(yuǎn)程裝置的近端視頻內(nèi)的關(guān)注區(qū)
(ROI)的信息；和視頻編碼器，其編碼近端視頻以增強(qiáng)視頻的ROI相對(duì)于非ROI區(qū)域的
圖像質(zhì)量。
在額外實(shí)施例中，本揭示案提供一種方法，其包括產(chǎn)生指定由遠(yuǎn)程裝置傳輸且由本 地裝置接收的遠(yuǎn)端視頻內(nèi)的關(guān)注區(qū)(ROI)的信息，和將所述信息傳輸?shù)竭h(yuǎn)程裝置以用于 基于ROI來(lái)編碼遠(yuǎn)端視頻以增強(qiáng)視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
在又一實(shí)施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其產(chǎn)生指定從遠(yuǎn)程裝置接收的遠(yuǎn)端視頻內(nèi)的關(guān)注區(qū)(ROI)的信息；和 視頻編碼器，其編碼近端視頻并將指定ROI的信息和經(jīng)編碼的近端視頻一起傳輸以由遠(yuǎn) 程裝置使用來(lái)基于ROI而編碼遠(yuǎn)端視頻以增強(qiáng)遠(yuǎn)端視頻的ROI相對(duì)于非ROI區(qū)域的圖像 質(zhì)量。
在另一實(shí)施例中，本揭示案提供一種方法，其包括從用戶(hù)處接收由本地裝置產(chǎn)生的 近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，基于所述描述產(chǎn)生指定ROI的信息，和基于指定 ROI的信息來(lái)編碼近端視頻以增強(qiáng)近端視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。 在額外實(shí)施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其接收對(duì)由所述裝置編碼的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，并基 于所述描述產(chǎn)生指定ROI的信息；和視頻編碼器，其編碼近端視頻以增強(qiáng)視頻的ROI相 對(duì)于非ROI區(qū)域的圖像質(zhì)量。
在又一實(shí)施例中，本揭示案提供一種視頻編碼系統(tǒng)，所述視頻編碼系統(tǒng)包括第一 視頻通信裝置，其編碼近端視頻；第二視頻通信裝置，其從第一視頻通信裝置接收近端 視頻，其中所述第二視頻通信裝置產(chǎn)生對(duì)由所述第一視頻通信裝置產(chǎn)生的近端視頻內(nèi)的 關(guān)注區(qū)(ROI)的用戶(hù)描述；和中間服務(wù)器，其結(jié)構(gòu)上不同于所述第一和第二視頻通信裝 置，且其基于所述描述產(chǎn)生指定ROI的信息，其中第一視頻通信裝置基于指定ROI的信 息來(lái)編碼近端視頻以增強(qiáng)近端視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
本文描述的技術(shù)可實(shí)施在硬件、軟件、固件或其任何組合中。如果實(shí)施在軟件中， 那么可通過(guò)計(jì)算機(jī)可讀媒體來(lái)部分實(shí)現(xiàn)所述技術(shù)，所述計(jì)算機(jī)可讀媒體包括含有指令的 程序代碼，所述程序代碼當(dāng)被執(zhí)行時(shí)會(huì)進(jìn)行本文描述的方法中的一種或一種以上方法。
附圖和以下描述內(nèi)容中陳述了一個(gè)或一個(gè)以上實(shí)施例的細(xì)節(jié)。從描述內(nèi)容和附圖以 及從權(quán)利要求書(shū)中將了解其它特征、目的和優(yōu)點(diǎn)。


圖1是說(shuō)明并入有ROI感知視頻編解碼器(CODEC)的視頻編碼和解碼系統(tǒng)的方框
圖。
圖2是說(shuō)明與無(wú)線(xiàn)通信裝置相關(guān)聯(lián)的顯示器上呈現(xiàn)的視頻場(chǎng)景內(nèi)的ROI的定義的圖。 圖3是說(shuō)明并入有ROI感知CODEC的通信裝置的方框圖。
圖4是說(shuō)明具有ROI感知CODEC且進(jìn)一步并入有ROI提取模塊的另一通信裝置的 方框圖。
圖5是說(shuō)明經(jīng)由中間提取服務(wù)器的分布式ROI提取的方框圖。 圖6是說(shuō)明用于多個(gè)視頻電話(huà)會(huì)話(huà)的分布式ROI提取的方框圖。 圖7A-7D是說(shuō)明供用戶(hù)選擇的預(yù)定義的ROI樣式的圖。
圖8是說(shuō)明在接收者裝置處產(chǎn)生ROI信息以在遠(yuǎn)程發(fā)送者裝置處控制對(duì)近端視頻的 優(yōu)先ROI編碼的流程圖。
圖9是說(shuō)明處理來(lái)自接收者裝置的ROI信息以便結(jié)合ROI跟蹤而在發(fā)送者裝置處對(duì) 近端視頻進(jìn)行優(yōu)先ROI編碼的流程圖。
圖10是說(shuō)明處理來(lái)自接收者裝置的ROI信息以便結(jié)合用戶(hù)驗(yàn)證而在發(fā)送者裝置處對(duì) 近端視頻進(jìn)行優(yōu)先ROI編碼的流程圖。
圖ll是說(shuō)明選擇預(yù)定義的ROI樣式的流程圖。
圖12是說(shuō)明通過(guò)擴(kuò)展和收縮ROI模板來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的圖。 圖13是說(shuō)明通過(guò)拖動(dòng)ROI模板來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的圖。 圖14是說(shuō)明通過(guò)用鐵筆在觸摸屏幕上劃定ROI區(qū)域來(lái)定義所顯示的視頻場(chǎng)景中的 ROI樣式的圖。
圖15是說(shuō)明使用具有待動(dòng)態(tài)提取和跟蹤的指定的ROI對(duì)象的下拉式菜單來(lái)定義所顯 示的視頻場(chǎng)景中的ROI樣式的圖。
圖16是說(shuō)明使用具有映射到如圖7A-7D中預(yù)定義的ROI樣式的指定的ROI對(duì)象的 下拉式菜單來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的圖。
圖17是說(shuō)明使用ROI描述界面來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的流程圖。
圖18是說(shuō)明解決發(fā)送者與接收者裝置之間的ROI沖突的流程圖。
圖19是說(shuō)明遠(yuǎn)端視頻內(nèi)的ROI宏區(qū)塊的優(yōu)先解碼的流程圖。
具體實(shí)施例方式
圖1是說(shuō)明并入有ROI感知視頻編解碼器(CODEC)的視頻編碼和解碼系統(tǒng)10的 方框圖。如圖1所示，系統(tǒng)10包含第一視頻通信裝置12和第二視頻通信裝置14。通信 裝置12、 14通過(guò)傳輸信道16連接。傳輸信道16可以是有線(xiàn)或無(wú)線(xiàn)媒體。系統(tǒng)10支持
視頻通信裝置12、 14之間的用于視頻電話(huà)的雙向視頻傳輸。裝置12、 14可以大體上對(duì) 稱(chēng)的方式操作。然而，在一些實(shí)施例中，視頻通信裝置12、 14中的一者或兩者可經(jīng)配置 以?xún)H用于單向通信以支持ROI感知視頻串流。
對(duì)于雙向應(yīng)用，互逆編碼、解碼、多路復(fù)用(MUX)和多路分解(DEMUX)組件 可提供在信道16的相對(duì)端。在圖1的實(shí)例中，視頻通信裝置12包含MUX/DEMUX組件 18、 ROI感知視頻CODEC 20和音頻CODEC 22。類(lèi)似地，視頻通信裝置14包含 MUX/DEMUX組件26、 ROI感知視頻CODEC 28和音頻CODEC 30。每一 CODEC 20、 28為"ROI感知的"，是指其能夠處理由另一視頻通信裝置12、 14遠(yuǎn)程提供或由其自身 的視頻通信裝置本地提供的ROI信息。
視頻通信裝置12、 14可實(shí)施為經(jīng)裝備以用于視頻串流、視頻電話(huà)或兩者的無(wú)線(xiàn)移動(dòng) 終端或有線(xiàn)終端。為此，視頻通信裝置12、 14可進(jìn)一步包含適當(dāng)?shù)臒o(wú)線(xiàn)發(fā)射、接收、調(diào) 制解調(diào)和處理電子元件以支持無(wú)線(xiàn)通信。無(wú)線(xiàn)移動(dòng)終端的實(shí)例包含移動(dòng)無(wú)線(xiàn)電話(huà)、移動(dòng) 個(gè)人數(shù)字助理(PDA)、移動(dòng)計(jì)算機(jī)或裝備有無(wú)線(xiàn)通信能力和視頻編碼和/或解碼能力的 其它移動(dòng)裝置。有線(xiàn)終端的實(shí)例包含臺(tái)式計(jì)算機(jī)、視頻電話(huà)、網(wǎng)絡(luò)設(shè)備、機(jī)頂盒、交互 式電視等。視頻通信裝置12、 14中任一者可經(jīng)配置以發(fā)送視頻信息、接收視頻信息，或 發(fā)送并接收視頻信息。
對(duì)于視頻電話(huà)應(yīng)用，通常需要裝置12支持視頻發(fā)送和視頻接收能力兩者。然而，還 預(yù)期串流視頻應(yīng)用。在視頻電話(huà)且尤其是借助無(wú)線(xiàn)通信的移動(dòng)視頻電話(huà)中，帶寬是重要 的關(guān)注因素。因此，將額外編碼位選擇性地分配到ROI或其它優(yōu)先編碼步驟可改進(jìn)視頻 的一部分的圖像質(zhì)量，同時(shí)維持總體編碼效率。對(duì)于優(yōu)先編碼，可將額外位分配到ROI, 同時(shí)可將減少的數(shù)目的位分配到非ROI區(qū)(例如，視頻場(chǎng)景中的背景)。
通常，系統(tǒng)10使用用于視頻電話(huà)(VT)應(yīng)用的關(guān)注區(qū)(ROI)處理技術(shù)。然而，此 類(lèi)技術(shù)也可應(yīng)用于視頻串流應(yīng)用，如上文所提及。出于說(shuō)明的目的，將假定，每一視頻 通信裝置12、 14能夠作為視頻信息的發(fā)送者和接收者兩者而操作，且藉此作為VT會(huì)話(huà) 中的全額參與者而操作。對(duì)于從視頻通信裝置12傳輸?shù)揭曨l通信裝置14的視頻信息， 視頻通信裝置12是發(fā)送者裝置且視頻通信裝置14是接收者裝置。相反，對(duì)于從視頻通 信裝置14傳輸?shù)揭曨l通信裝置12的視頻信息，視頻通信裝置12是接收者裝置且視頻通 信裝置14是發(fā)送者裝置。當(dāng)討論將由本地視頻通信裝置12、 14編碼和傳輸?shù)囊曨l信息 時(shí)，所述視頻信息將稱(chēng)為"近端"視頻。當(dāng)討論將由遠(yuǎn)程視頻通信裝置12、 14編碼并從 遠(yuǎn)程視頻通信裝置12、 14接收的視頻信息時(shí)，所述視頻信息將稱(chēng)為"遠(yuǎn)端"視頻。
根據(jù)所揭示的技術(shù)，當(dāng)作為接收者裝置操作時(shí)，視頻通信裝置12或14界定針對(duì)從 發(fā)送者裝置接收的遠(yuǎn)端視頻信息的ROI信息。再次，從發(fā)送者裝置接收的視頻信息稱(chēng)為 "遠(yuǎn)端"視頻信息，因?yàn)槠涫菑奶幱谕ㄐ判诺赖倪h(yuǎn)端的另一 (發(fā)送者)裝置接收的。同樣， 針對(duì)從發(fā)送者裝置接收的視頻信息而界定的ROI信息稱(chēng)為"遠(yuǎn)端"ROI信息。遠(yuǎn)端ROI 通常是指遠(yuǎn)端視頻內(nèi)最引起遠(yuǎn)端視頻的接收者關(guān)注的區(qū)。接收者裝置解碼遠(yuǎn)端視頻信息 并將經(jīng)解碼的遠(yuǎn)端視頻經(jīng)由顯示裝置呈現(xiàn)給用戶(hù)。用戶(hù)在遠(yuǎn)端視頻所呈現(xiàn)的視頻場(chǎng)景內(nèi) 選擇ROI。
接收者裝置基于用戶(hù)選擇的ROI而產(chǎn)生遠(yuǎn)端ROI信息，并將遠(yuǎn)端ROI信息發(fā)送到發(fā) 送者裝置。遠(yuǎn)端ROI信息可采取ROI宏區(qū)塊(MB)映射的形式，其依據(jù)駐存在ROI內(nèi) 的宏區(qū)塊來(lái)界定ROI。 ROI MB映射可用1標(biāo)記處于ROI內(nèi)的MB，且用0標(biāo)記ROI外 部的MB，以容易地識(shí)別包含在ROI中(1)以及排除在ROI外(0)的MB。 MB是形 成幀的一部分的視頻區(qū)塊。MB的大小可為16X16個(gè)像素。然而，其它MB大小是可能 的。因此，MB可指代任何視頻區(qū)塊，包含(但不限于)例如MPEG-l、MPEG-2和MPEG-4、 ITUH.263、 ITUH.264的特定視頻編碼標(biāo)準(zhǔn)或任何其它標(biāo)準(zhǔn)內(nèi)定義的宏區(qū)塊。
通過(guò)使用由接收者裝置傳輸?shù)倪h(yuǎn)端ROI信息，發(fā)送者裝置將優(yōu)先編碼應(yīng)用于視頻場(chǎng) 景內(nèi)的相應(yīng)的ROI。明確地說(shuō)，可將額外編碼位分配到ROI，同時(shí)可將減少的數(shù)目的編 碼位分配到非ROI區(qū)，藉此改進(jìn)ROI的圖像質(zhì)量。以此方式，接收者裝置能夠遠(yuǎn)程控制 發(fā)送者裝置對(duì)遠(yuǎn)端視頻信息進(jìn)行的ROI編碼。優(yōu)先編碼例如通過(guò)ROI區(qū)域中的優(yōu)先位分 配或優(yōu)先量化，而將與視頻場(chǎng)景的非ROI區(qū)域相比更高質(zhì)量編碼應(yīng)用于ROI區(qū)域。經(jīng)優(yōu) 先編碼的ROI允許接收者裝置的用戶(hù)較清楚地査看對(duì)象或區(qū)。舉例來(lái)說(shuō)，與視頻場(chǎng)景的 背景區(qū)相比，接收者裝置的用戶(hù)可能希望較清楚地查看臉部或某一其它對(duì)象。
當(dāng)作為發(fā)送者裝置操作時(shí)，視頻通信裝置12或14也可定義針對(duì)由發(fā)送者裝置傳輸 的視頻信息的ROI信息。再次，發(fā)送者裝置中產(chǎn)生的視頻信息稱(chēng)為"近端"視頻，因?yàn)?其是在通信信道的近端產(chǎn)生的。由發(fā)送者裝置產(chǎn)生的ROI信息稱(chēng)為"近端"ROI信息。 近端ROI通常是指發(fā)送者希望向接收者強(qiáng)調(diào)的近端視頻的區(qū)。因此，ROI可由接收者裝 置用戶(hù)指定為遠(yuǎn)端ROI信息，或由發(fā)送者裝置用戶(hù)指定為近端ROI信息。發(fā)送者裝置將 近端視頻經(jīng)由顯示裝置呈現(xiàn)給用戶(hù)。與發(fā)送者裝置相關(guān)聯(lián)的用戶(hù)在近端視頻所呈現(xiàn)的視 頻場(chǎng)景內(nèi)選擇ROI。發(fā)送者裝置使用用戶(hù)選擇的ROI來(lái)編碼近端視頻，使得相對(duì)于非ROI 區(qū)域，近端視頻中的ROI被(例如)以較高質(zhì)量編碼進(jìn)行優(yōu)先編碼。
由發(fā)送者裝置處的本地用戶(hù)選擇的近端ROI允許發(fā)送者裝置的用戶(hù)強(qiáng)調(diào)視頻場(chǎng)景內(nèi)
的區(qū)或?qū)ο?，且藉此使這些區(qū)或?qū)ο笠鸾邮照哐b置用戶(hù)的關(guān)注。值得注意的是，由發(fā) 送者裝置用戶(hù)選擇的近端ROI無(wú)需傳輸?shù)浇邮照哐b置。事實(shí)上，發(fā)送者裝置在將近端視 頻傳輸?shù)浇邮照哐b置之前使用所選擇的近端ROI信息在本地編碼所述近端視頻。然而， 在一些實(shí)施例中，發(fā)送者裝置可將ROI信息發(fā)送到接收者裝置以允許應(yīng)用優(yōu)先解碼技術(shù)， 例如較高質(zhì)量誤差校正(如誤差隱蔽)或后處理(如解塊和去鳴振濾波器)。
如果ROI信息由發(fā)送者裝置和接收者裝置兩者提供，那么發(fā)送者裝置應(yīng)用從接收者 裝置接收的遠(yuǎn)端ROI信息或本地產(chǎn)生的近端ROI信息來(lái)編碼近端視頻。發(fā)送者裝置與接 收者裝置提供的近端與遠(yuǎn)端ROI選擇之間可能出現(xiàn)ROI沖突。此類(lèi)沖突可能需要解決， 例如由本地用戶(hù)主動(dòng)解決或根據(jù)所規(guī)定的存取權(quán)和等級(jí)來(lái)解決，如本揭示案中其它地方 將描述。在任一情況下，發(fā)送者裝置均基于由發(fā)送者裝置本地提供的近端ROI信息或由 接收者裝置遠(yuǎn)程提供的ROI信息來(lái)優(yōu)先編碼ROI。
為了促進(jìn)ROI處理，本揭示案進(jìn)一步預(yù)期用于ROI選擇、ROI映射、R0I信令、ROI 跟蹤，和對(duì)接收者裝置的存取驗(yàn)證以允許對(duì)發(fā)送者裝置的ROI編碼進(jìn)行遠(yuǎn)程控制的技術(shù)。 如將描述，接收者裝置或發(fā)送者裝置應(yīng)用的不同的ROI選擇技術(shù)可涉及選擇預(yù)定義的 ROI樣式、口頭或文本ROI描述，或用戶(hù)的ROI劃定。在接收者裝置中，ROI映射涉及 將選定的遠(yuǎn)端或近端ROI樣式轉(zhuǎn)譯為ROI映射，其可采取宏區(qū)塊(MB)映射的形式。 ROI信令可涉及從接收者裝置向發(fā)送者裝置進(jìn)行遠(yuǎn)端ROI信息的帶內(nèi)或帶外信令。ROI 跟蹤涉及響應(yīng)于ROI運(yùn)動(dòng)而動(dòng)態(tài)調(diào)節(jié)由接收者裝置產(chǎn)生的遠(yuǎn)端ROI映射或由發(fā)送者本身 產(chǎn)生的本地近端ROI。存取驗(yàn)證可出于對(duì)遠(yuǎn)端ROI的遠(yuǎn)程控制以及解決接收者與發(fā)送者 裝置之間的ROI控制沖突的目的而涉及向接收者裝置授予存取權(quán)和等級(jí)。
系統(tǒng)IO可支持根據(jù)會(huì)話(huà)啟始協(xié)議(SIP)、 ITUH.323標(biāo)準(zhǔn)、ITUH.324標(biāo)準(zhǔn)或其它標(biāo) 準(zhǔn)的視頻電話(huà)。每一視頻CODEC 20、 28根據(jù)例如MPEG-2、 MPEG-4、 ITU H.263或ITU H.264的視頻壓縮標(biāo)準(zhǔn)而產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)。如圖1中進(jìn)一步展示，視頻CODEC 20、 28可與各自音頻CODEC22、 30集成，且包含適當(dāng)?shù)腗UX/DEMUX組件18、 26以處理 數(shù)據(jù)流的音頻和視頻部分。MUX/DEMUX單元18、 26可符合ITU H.223多路復(fù)用器協(xié) 議或例如用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP)的其它協(xié)議。
圖2是說(shuō)明與無(wú)線(xiàn)通信裝置38相關(guān)聯(lián)的顯示器36上呈現(xiàn)的視頻場(chǎng)景34內(nèi)的ROI 32 的定義的圖。在圖2的實(shí)例中，ROI32是矩形區(qū)，其含有視頻場(chǎng)景34中呈現(xiàn)的人的臉部 39，但ROI可含有需要改進(jìn)或增強(qiáng)的編碼的任何圖像或?qū)ο?。在VT應(yīng)用中，視頻場(chǎng)景 34中呈現(xiàn)的人通常將是遠(yuǎn)程發(fā)送者裝置的用戶(hù)，其是與作為接收者裝置操作的無(wú)線(xiàn)通信
裝置38的用戶(hù)進(jìn)行的視頻會(huì)議的一方。ROI32構(gòu)成為遠(yuǎn)端R01，因?yàn)槠涠x從遠(yuǎn)程發(fā)送 者裝置傳輸?shù)囊曨l場(chǎng)景中的ROI。根據(jù)本揭示案，遠(yuǎn)端ROI32被傳輸?shù)桨l(fā)送者裝置以指 定對(duì)ROI內(nèi)的視頻場(chǎng)景區(qū)域的優(yōu)先編碼。以此方式，接收者裝置38的本地用戶(hù)能夠遠(yuǎn)程 控制遠(yuǎn)端ROI 32的圖像質(zhì)量。如將描述，遠(yuǎn)端ROI32的大小、形狀和位置可以是固定 或可調(diào)節(jié)的，且可以多種方式予以定義、描述或調(diào)節(jié)。
ROI 32允許接收者裝置用戶(hù)較清晰地査看視頻場(chǎng)景34內(nèi)的個(gè)別對(duì)象，例如人的臉部 39。 ROI32內(nèi)的臉部39相對(duì)于視頻場(chǎng)景34的非ROI區(qū)域(例如，背景區(qū))而被以較高 圖像質(zhì)量進(jìn)行編碼。以此方式，用戶(hù)能夠較清楚地查看面部表情、唇部活動(dòng)、眼部活動(dòng) 等。然而，或者可使用ROI 32來(lái)指定除了臉部以外的任何對(duì)象。 一般來(lái)說(shuō)，VT應(yīng)用中 的ROI可能非常主觀且可能由于用戶(hù)不同而不同。所需的ROI還取決于如何使用VT。 在一些情況下，VT可用于查看和評(píng)估對(duì)象，與視頻會(huì)議形成對(duì)比。
舉例來(lái)說(shuō)，丈夫可使用VT應(yīng)用來(lái)展示其想要在機(jī)場(chǎng)禮品店購(gòu)買(mǎi)的禮物。丈夫可能 希望以及時(shí)且交互的方式從他的妻子那里獲得第二種意見(jiàn)。這樣做，他可以立即作出決 定，因?yàn)樗畛说陌鄼C(jī)馬上就要出發(fā)了。在這種情況下，ROI是覆蓋丈夫正考慮的禮 物的區(qū)。通過(guò)允許妻子(或丈夫)選擇ROI,有可能實(shí)現(xiàn)針對(duì)所述特定ROI的較好編碼 或較好的服務(wù)質(zhì)量，且藉此允許妻子較清楚地查看禮物。
作為另一實(shí)例，兩個(gè)或兩個(gè)以上工程師可進(jìn)行涉及在白板上演示和討論各種等式或 圖表的VT通話(huà)。在這種情況下，遠(yuǎn)程用戶(hù)可能希望以較好的圖像質(zhì)量査看白板的一區(qū) 域，例如更清楚地看到等式的細(xì)節(jié)。為此，遠(yuǎn)程用戶(hù)選擇包含所述等式的ROI。另外， 當(dāng)一工程師向白板進(jìn)行添加時(shí)，遠(yuǎn)程用戶(hù)可能希望移動(dòng)ROI以跟蹤新添加到白板的主題。 遠(yuǎn)程用戶(hù)指定ROI的能力可顯著改進(jìn)技術(shù)討論過(guò)程中信息的交換。
本文描述的ROI技術(shù)不僅改進(jìn)ROI的視頻質(zhì)量，而且改進(jìn)兩個(gè)用戶(hù)之間的視頻交互。 一般來(lái)說(shuō)，常規(guī)VT應(yīng)用僅僅將兩個(gè)單向視頻傳輸組合且任何交互均是口頭進(jìn)行。在常 規(guī)VT應(yīng)用中，視頻側(cè)通常不存在交互。允許接收者裝置用戶(hù)在VT通話(huà)期間至少具有對(duì) 從發(fā)送者裝置接收的視頻內(nèi)容的有限控制可允許更多的視頻交互。
以此方式，VT應(yīng)用可經(jīng)設(shè)計(jì)使得接收者裝置用戶(hù)可選擇ROI，并將ROI信息發(fā)送回 發(fā)送者裝置以對(duì)ROI進(jìn)行優(yōu)先處理，例如較高質(zhì)量編碼(例如，通過(guò)分配較多編碼位) 或較強(qiáng)誤差防護(hù)(例如，內(nèi)部MB更新)。實(shí)際上，通過(guò)指定遠(yuǎn)端ROI，接收者裝置用戶(hù) 可遠(yuǎn)程控制發(fā)送者裝置編碼器。另外，此遠(yuǎn)端ROI信息可由裝置中的ROI感知視頻解碼 器使用，所述ROI感知視頻解碼器接收遠(yuǎn)端視頻以進(jìn)行較好的后處理，例如誤差隱蔽、
解塊或去鳴振。由經(jīng)編碼視頻的接收者對(duì)視頻編碼器的遠(yuǎn)程控制不同于僅僅控制遠(yuǎn)程攝 像機(jī)的搖攝、傾斜、變焦或焦距。相比之下，通過(guò)遠(yuǎn)程ROI處理，用戶(hù)能夠影響應(yīng)用于 特定區(qū)的編碼的質(zhì)量。然而，在一些實(shí)施例中，可提供遠(yuǎn)程攝像機(jī)控制與遠(yuǎn)程視頻編碼 器控制組合。
圖3是說(shuō)明并入有ROI感知CODEC的視頻通信裝置12的方框圖。盡管圖3描繪圖 1的視頻通信裝置12，但可類(lèi)似地構(gòu)造視頻通信裝置14。再次，視頻通信裝置12或14 可充當(dāng)接收者裝置、發(fā)送者裝置，以及優(yōu)選地接收者和發(fā)送者裝置兩者。如圖3所示， 視頻通信裝置12包含ROI感知CODEC 20、視頻俘獲裝置40和用戶(hù)界面42。盡管圖3 中展示信道16,但為了便于說(shuō)明省略了 MUX/DEMUX和音頻組件。視頻俘獲裝置40可 以是與視頻通信裝置12集成或可操作地耦合到視頻通信裝置12的視頻攝像機(jī)。在一些 實(shí)施例中，舉例來(lái)說(shuō)，視頻俘獲裝置40可與移動(dòng)電話(huà)集成以形成所謂的視頻攝像機(jī)電話(huà)。 以此方式，視頻俘獲裝置40可支持移動(dòng)VT應(yīng)用。
用戶(hù)界面42可包含顯示裝置，例如液晶顯示器(LCD)、等離子屏幕、投影儀顯示 器，或可與視頻通信裝置12集成或可操作地耦合到視頻通信裝置12的任何其它顯示設(shè) 備。顯示裝置向視頻通信裝置12的用戶(hù)呈現(xiàn)視頻圖像。視頻圖像可包含由視頻俘獲裝置 40在本地獲得的近端視頻，以及從發(fā)送者裝置遠(yuǎn)程傳輸?shù)倪h(yuǎn)端視頻。另外，用戶(hù)界面42 可包含多種用戶(hù)輸入媒體中的任一者，包含硬鍵、軟鍵、各種指向裝置、觸筆等，以用 于由視頻通信裝置12的用戶(hù)輸入信息。在一些實(shí)施例中，用戶(hù)界面42的顯示裝置和用 戶(hù)輸入媒體可與移動(dòng)電話(huà)集成。視頻通信裝置12的用戶(hù)依賴(lài)于用戶(hù)界面42來(lái)査看遠(yuǎn)端 視頻以及(視情況)查看近端視頻。另外，用戶(hù)依賴(lài)于用戶(hù)界面42來(lái)輸入信息以用于定 義或選擇遠(yuǎn)端ROI以及(視情況)近端ROI。
如圖3中進(jìn)一步展示，ROI感知CODEC20包含ROI引擎44、 ROI感知視頻編碼器 46和ROI感知視頻解碼器48。ROI感知視頻編碼器46編碼從視頻俘獲裝置40獲得的近 端視頻("近端視頻")以用于傳輸?shù)竭h(yuǎn)程接收者裝置。再次，術(shù)語(yǔ)"近端"表示在視頻 通信裝置12內(nèi)本地產(chǎn)生的視頻，這與從遠(yuǎn)程視頻通信裝置(例如，視頻通信裝置14) 接收的"遠(yuǎn)端"視頻形成對(duì)比。在圖3的實(shí)例中，ROI感知視頻編碼器46使用從遠(yuǎn)程接 收器獲得的近端ROI信息("遠(yuǎn)程近端ROr)來(lái)優(yōu)先編碼近端ROI。遠(yuǎn)程接收者是與遠(yuǎn) 程視頻通信裝置14相關(guān)聯(lián)的用戶(hù)。
從遠(yuǎn)程用戶(hù)的視角來(lái)看，遠(yuǎn)程近端ROI當(dāng)由遠(yuǎn)程裝置14傳輸時(shí)是遠(yuǎn)程遠(yuǎn)端R01，且 從裝置12的本地用戶(hù)的視角來(lái)看當(dāng)其被接收時(shí)稱(chēng)為遠(yuǎn)程近端R01。也就是說(shuō)，作為發(fā)送者或接收者的裝置12、14的視角決定了認(rèn)為視頻和ROI適用于近端還是遠(yuǎn)端視頻。再次， 遠(yuǎn)程控制遠(yuǎn)程裝置14處的視頻編碼的本地裝置12的用戶(hù)指定遠(yuǎn)端R01。然而，當(dāng)遠(yuǎn)程 裝置14的用戶(hù)接收到遠(yuǎn)端ROI時(shí)，其被認(rèn)為是遠(yuǎn)程近端ROI，因?yàn)槠潢P(guān)于正由本地裝置 14編碼的近端視頻。 一般來(lái)說(shuō)，出于本揭示案中使用的標(biāo)記的目的，視角是重要的。
視情況，ROI感知視頻編碼器46可使用從視頻通信裝置14的本地用戶(hù)獲得的近端 ROI信息("本地近端ROr)。本地近端ROI也可稱(chēng)為發(fā)送者驅(qū)動(dòng)的ROI，因?yàn)槠溆山?jīng)編 碼近端視頻的發(fā)送者產(chǎn)生。本地近端ROI信息由本地編碼器46使用且通常不發(fā)送到另一 視頻通信裝置14，除非遠(yuǎn)程裝置14中的視頻解碼器經(jīng)設(shè)計(jì)以將優(yōu)先解碼應(yīng)用于由發(fā)送 者裝置12的用戶(hù)指定的近端R01。遠(yuǎn)程近端ROI也可稱(chēng)為接收器驅(qū)動(dòng)的ROI，因?yàn)槠溆?經(jīng)編碼近端視頻的遠(yuǎn)程接收器產(chǎn)生。遠(yuǎn)程近端ROI允許由視頻通信裝置12產(chǎn)生的視頻的 接收者控制ROI感知編碼器46進(jìn)行的ROI編碼，而本地近端ROI允許由視頻通信裝置 12產(chǎn)生的視頻的發(fā)送者控制ROI感知編碼器46進(jìn)行的ROI編碼。在一些情況下，如將 要描述，遠(yuǎn)程和本地ROI定義可能沖突，從而需要沖突解決。
本地和遠(yuǎn)程近端ROI信息可提供到ROI感知編碼器46作為近端ROI宏區(qū)塊(MB) 映射("近端ROI MB映射")。近端ROI MB映射識(shí)別駐存在接收器近端ROI或發(fā)送者近 端ROI內(nèi)的特定MB。 ROI感知編碼器46以較高質(zhì)量編碼、較強(qiáng)誤差防護(hù)或兩者來(lái)優(yōu)先 編碼近端視頻中的ROI，以改進(jìn)當(dāng)例如遠(yuǎn)程視頻通信裝置14處的遠(yuǎn)程用戶(hù)查看時(shí)ROI 的圖像質(zhì)量。對(duì)于ROI的較好的誤差防護(hù)在無(wú)線(xiàn)電話(huà)應(yīng)用中可能尤其合乎需要。接著將 所產(chǎn)生的經(jīng)編碼近端視頻("經(jīng)編碼近端視頻")傳輸?shù)竭h(yuǎn)程裝置"。
如將解釋?zhuān)琑OI感知視頻編碼器46還傳輸已由視頻通信裝置12的本地用戶(hù)針對(duì)從 遠(yuǎn)程視頻通信裝置14接收的遠(yuǎn)端視頻而產(chǎn)生的遠(yuǎn)端ROI信息("遠(yuǎn)端ROI")。遠(yuǎn)端ROI 充當(dāng)針對(duì)由遠(yuǎn)程視頻通信裝置14編碼的視頻的接收器驅(qū)動(dòng)的R01。實(shí)際上，由視頻通信 裝置12傳輸?shù)倪h(yuǎn)端ROI信息允許至少部分控制由遠(yuǎn)程視頻通信裝置14產(chǎn)生的遠(yuǎn)端視頻 的編碼器，正如由ROI感知解碼器48接收的遠(yuǎn)程近端R01由視頻通信裝置12使用以控 制ROI感知視頻編碼器46—樣。以此方式，每一視頻通信裝置12、 14能夠影響由另一 裝置產(chǎn)生的遠(yuǎn)端視頻中的ROI編碼。
由視頻通信裝置12傳輸?shù)倪h(yuǎn)端ROI信息可作為帶內(nèi)或帶外信令信息而傳輸。在帶內(nèi) 信令的情況下，遠(yuǎn)端ROI信息可內(nèi)嵌在傳輸?shù)竭h(yuǎn)程視頻通信裝置14的經(jīng)編碼近端視頻位 流中。舉例來(lái)說(shuō)，在MPEG4位流格式中，存在稱(chēng)為"user—data"的字段，其可用于內(nèi)嵌 描述位流的信息。"user—data"字段或其它位流格式中的類(lèi)似字段可用于內(nèi)嵌遠(yuǎn)端ROI
信息而不會(huì)違反位流順應(yīng)性。或者，ROI信息可通過(guò)例如隱寫(xiě)術(shù)的所謂的數(shù)據(jù)隱藏技術(shù) 而內(nèi)嵌在視頻位流中。
ROI感知視頻解碼器48經(jīng)配置以在user_data字段中或從遠(yuǎn)程裝置傳入的遠(yuǎn)端視頻 內(nèi)的其它地方尋求ROI信息。在帶外信令的情況下，可使用例如ITU H.245或SIP的信 令協(xié)議來(lái)傳達(dá)遠(yuǎn)端ROI信息。在任一情況下，遠(yuǎn)端ROI信息可釆取界定遠(yuǎn)端ROI的位置 和/或大小的ROI MB映射或物理坐標(biāo)的形式。 一旦解碼器48接收到遠(yuǎn)端視頻位流，其 就基于與遠(yuǎn)程發(fā)送者裝置約定的格式檢索ROI信息，并將ROI信息傳遞到存取驗(yàn)證模塊 58以獲得存取許可，以用于在將遠(yuǎn)程近端ROI提供到視頻編碼器56之前進(jìn)行近端ROI 控制。
除了控制遠(yuǎn)程視頻編碼器以?xún)?yōu)先編碼遠(yuǎn)端視頻中的ROI外，遠(yuǎn)端ROI信息還可應(yīng)用 于本地視頻解碼器以?xún)?yōu)先解碼遠(yuǎn)端視頻中的ROI內(nèi)的MB。舉例來(lái)說(shuō)，如圖3中進(jìn)一步 展示，由ROI映射器54產(chǎn)生以用于傳輸?shù)竭h(yuǎn)程編碼器的相同遠(yuǎn)端ROI MB映射可提供到 ROI感知視頻解碼器48。ROI感知視頻解碼器48使用ROI MB映射來(lái)優(yōu)先解碼從遠(yuǎn)程視 頻通信裝置14接收的遠(yuǎn)端視頻內(nèi)的MB。舉例來(lái)說(shuō)，ROI感知視頻解碼器48可與非ROI MB相比向ROIMB應(yīng)用更好的后處理。額外地或作為替代，ROI感知視頻解碼器48可 與非ROI MB相比向ROI MB應(yīng)用更健壯的誤差隱蔽技術(shù)。以此方式，ROI感知視頻解 碼器48依賴(lài)于由本地用戶(hù)產(chǎn)生的遠(yuǎn)端ROI信息來(lái)優(yōu)先解碼傳入的遠(yuǎn)端視頻的ROI部分 以實(shí)現(xiàn)增強(qiáng)的圖像質(zhì)量。
ROI感知視頻解碼器48從遠(yuǎn)程視頻通信裝置(例如，圖1的視頻通信裝置14)接收 傳入的遠(yuǎn)端視頻。ROI感知視頻解碼器48解碼遠(yuǎn)端視頻并將經(jīng)解碼的視頻提供到用戶(hù)界 面42以在顯示裝置上呈現(xiàn)給本地用戶(hù)。另外，如上所述，ROI感知視頻解碼器48從遠(yuǎn) 程視頻通信裝置14接收遠(yuǎn)程近端ROI信息("遠(yuǎn)程近端ROI")。 ROI感知視頻解碼器48 接收到的近端ROI信息由遠(yuǎn)程視頻通信裝置14的用戶(hù)產(chǎn)生以指定由視頻通信裝置12傳 輸?shù)囊曨l中的ROI。如上所述，ROI感知視頻解碼器48接收到的遠(yuǎn)程近端ROI信息用于 遠(yuǎn)程控制ROI感知視頻編碼器46以?xún)?yōu)先編碼由視頻通信裝置12產(chǎn)生的近端視頻中的 ROI。如上所述，通過(guò)帶內(nèi)或帶外信令技術(shù)來(lái)傳輸遠(yuǎn)程近端ROI。
進(jìn)一步參看圖3， ROI感知視頻編碼器46和ROI感知視頻解碼器48與ROI引擎44 交互。ROI引擎44處理本地和遠(yuǎn)程近端ROI信息以用于編碼和傳輸來(lái)自視頻俘獲裝置 40的近端視頻位流。另夕卜，ROI引擎44處理經(jīng)由用戶(hù)界面42提供的遠(yuǎn)端ROI信息以用 于編碼并傳輸?shù)竭h(yuǎn)程視頻通信裝置14。 ROI引擎44包含ROI控制器52、 ROI映射器54、
ROI跟蹤模塊56和驗(yàn)證模塊58。在一些實(shí)施例中，ROI跟蹤模塊56和驗(yàn)證模塊58可以 是任選的。
ROI感知視頻編碼器46、 ROI感知視頻解碼器48、 ROI控制器52、 ROI映射器54、
ROI跟蹤模塊56和驗(yàn)證模塊58可以多種方式形成，作為離散功能模塊或作為包含歸屬 于每一模塊的功能性的單片式模塊。在任一情況下，ROI感知CODEC 20的各個(gè)組件(包 含ROI引擎44、視頻編碼器46和視頻解碼器48)可實(shí)現(xiàn)在硬件、軟件、固件或其組合 中。舉例來(lái)說(shuō)，此類(lèi)組件可作為在一個(gè)或一個(gè)以上微處理器或數(shù)字信號(hào)處理器(DSP)、 一個(gè)或一個(gè)以上專(zhuān)用集成電路(ASIC)、 一個(gè)或一個(gè)以上現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或 者其它等效集成或離散邏輯電路上執(zhí)行的軟件過(guò)程而操作。如果實(shí)施在軟件中，那么可 通過(guò)計(jì)算機(jī)可讀媒體來(lái)部分實(shí)現(xiàn)所述技術(shù)，所述計(jì)算機(jī)可讀媒體包括含有指令的程序代 碼，所述程序代碼當(dāng)在處理器或DSP中執(zhí)行時(shí)會(huì)進(jìn)行本文描述的方法中的一種或一種以 上方法。
在操作中，視頻通信裝置12的用戶(hù)選擇由視頻俘獲模塊40產(chǎn)生的近端視頻或由ROI 感知視頻解碼器48解碼的遠(yuǎn)端視頻，以在與用戶(hù)界面42相關(guān)聯(lián)的顯示裝置上査看。在 一些實(shí)施例中，畫(huà)中畫(huà)(PEP)功能性可允許用戶(hù)同時(shí)查看近端視頻和遠(yuǎn)端視頻。為了出 于ROI定義的目的而查看近端或遠(yuǎn)端視頻，用戶(hù)可操縱用戶(hù)界面42來(lái)調(diào)用ROI定義模 式。缺省地，視頻通信裝置12可處理視頻編碼和解碼而不考慮R01。通過(guò)進(jìn)入ROI定義 模式，用戶(hù)激活視頻通信裝置12的ROI感知編碼和解碼方面?；蛘撸琑OI感知編碼和解 碼可為缺省模式。
當(dāng)呈現(xiàn)遠(yuǎn)端視頻時(shí)，用戶(hù)使用多種技術(shù)中的任一者來(lái)指示遠(yuǎn)端視頻中的ROI，將對(duì) 所述技術(shù)進(jìn)行更詳細(xì)描述。遠(yuǎn)端ROI在視頻場(chǎng)景內(nèi)突出顯示用戶(hù)關(guān)注的或需要較高圖像 質(zhì)量的區(qū)或?qū)ο?。用?hù)界面42基于用戶(hù)輸入產(chǎn)生遠(yuǎn)端ROI指示。ROI信息可由ROI引 擎44進(jìn)一步處理以產(chǎn)生遠(yuǎn)端ROI信息以用于傳輸?shù)揭曨l通信裝置14。
或者，用戶(hù)可選擇從視頻俘獲模塊40獲得的近端視頻以用于ROI定義。當(dāng)呈現(xiàn)近端 視頻時(shí)，用戶(hù)可視情況使用與用于遠(yuǎn)端視頻中的ROI指示的技術(shù)類(lèi)似或相同的技術(shù)來(lái)指 示近端視頻中的ROI。近端ROI或遠(yuǎn)端ROI可在VT通話(huà)開(kāi)始時(shí)被初始指定或在VT通 話(huà)過(guò)程期間的任何時(shí)間被指定。在一些實(shí)施例中，初始ROI可由本地用戶(hù)或遠(yuǎn)程用戶(hù)更 新，或通過(guò)ROI跟蹤模塊56自動(dòng)更新。如果ROI被自動(dòng)更新，那么用戶(hù)不需要繼續(xù)輸 入ROI信息。事實(shí)上，將基于用戶(hù)的初始輸入而維持ROI，直到用戶(hù)改變或中止ROI為 止。
用戶(hù)界面42基于用戶(hù)提供的指示而產(chǎn)生本地近端ROI指示。與遠(yuǎn)端ROI指示一樣， 近端ROI指示可由ROI引擎44進(jìn)一步處理。近端ROI指示突出顯示(即，通過(guò)增加圖 像質(zhì)量)視頻場(chǎng)景內(nèi)的用戶(hù)希望向遠(yuǎn)程用戶(hù)強(qiáng)調(diào)的區(qū)或?qū)ο蟆１镜赜脩?hù)可通過(guò)經(jīng)由用戶(hù) 界面42選擇預(yù)定義的ROI樣式或劃定ROI樣式來(lái)選擇近端ROI或遠(yuǎn)端ROI。劃定ROI 樣式可涉及用鐵筆進(jìn)行徒手繪制，或?qū)θ笔OI樣式重新設(shè)計(jì)大小或重新定位。
在圖3的實(shí)例中，用戶(hù)界面42將本地近端ROI指示(如果提供的話(huà))和遠(yuǎn)端ROI 指示提供到ROI引擎44內(nèi)的ROI控制器52。另夕卜，ROI控制器52經(jīng)由驗(yàn)證模塊58從 ROI感知視頻解碼器48接收遠(yuǎn)程近端ROI。明確地說(shuō)，ROI感知視頻解碼器48檢測(cè)所 接收的遠(yuǎn)端視頻流內(nèi)遠(yuǎn)程近端ROI信息的存在，或經(jīng)由帶外信令的遠(yuǎn)程近端ROI信息的 存在，且將遠(yuǎn)程近端ROI信息提供到驗(yàn)證模塊58。本地近端ROI和遠(yuǎn)端ROI指示可依 照各個(gè)近端視頻或遠(yuǎn)端視頻的視頻幀內(nèi)的坐標(biāo)來(lái)表達(dá)。ROI的坐標(biāo)可以是視頻幀內(nèi)的x-y 坐標(biāo)。然而，x-y坐標(biāo)經(jīng)處理以產(chǎn)生ROIMB映射，以由編碼器46或解碼器48使用，如 將解釋。
ROI控制器54處理本地近端R01、遠(yuǎn)程近端ROI和遠(yuǎn)端ROI，并將它們施加到ROI 映射器54。 ROI映射器54將各個(gè)ROI坐標(biāo)轉(zhuǎn)換為宏區(qū)塊(MB)映射。更明確地說(shuō)，ROI 映射器54產(chǎn)生遠(yuǎn)端MB映射，其指定遠(yuǎn)端視頻內(nèi)的對(duì)應(yīng)于由本地用戶(hù)指示的遠(yuǎn)端ROI 的MB。另外，ROI映射器54產(chǎn)生近端ROIMB映射，其指定近端視頻內(nèi)的對(duì)應(yīng)于本地 近端ROI、遠(yuǎn)程近端ROI或兩者的組合的MB。
對(duì)于預(yù)定義的ROI樣式，ROI映射較簡(jiǎn)單。每一預(yù)定義的ROI樣式可具有同樣被預(yù) 定義的指定MB映射。然而，對(duì)于劃定的、重新定位或重新設(shè)計(jì)大小的ROI樣式，ROI 映射器54選擇最符合由用戶(hù)指定的ROI樣式的坐標(biāo)的MB邊界。舉例來(lái)說(shuō)，如果指定的 ROI橫穿MB，那么ROI映射器54將ROI邊界置于相關(guān)MB的外部邊緣或內(nèi)部邊緣處。 換句話(huà)說(shuō)，ROI映射器54可經(jīng)配置以?xún)H將完全處于ROI內(nèi)的MB包含在ROI MB映射中， 或者還包含部分處于ROI內(nèi)的MB。在任一情況下，ROI包含一組最近似于指定的ROI 的完整MB。再次，視頻編碼器46或視頻解碼器48在MB層級(jí)操作，且通常將需要將 ROI轉(zhuǎn)譯為MB映射。通過(guò)將個(gè)別MB指定為包含在ROI中或排除在ROI外，ROI MB 映射允許以不規(guī)則或非矩形形狀定義ROI。
ROI感知視頻編碼器46在經(jīng)編碼的近端視頻內(nèi)或通過(guò)帶外信令將遠(yuǎn)端R01 MB映射 傳輸?shù)竭h(yuǎn)程視頻通信裝置14。近端ROI MB映射不傳輸?shù)竭h(yuǎn)程視頻通信裝置14。事實(shí)上， 近端ROI MB映射由ROI感知視頻編碼器46使用，以便在傳輸?shù)竭h(yuǎn)程視頻通信裝置14
之前以較高質(zhì)量編碼或較強(qiáng)誤差防護(hù)而優(yōu)先編碼近端視頻中的指定的MB。因此，ROI 感知視頻編碼器46將經(jīng)編碼的近端視頻與經(jīng)優(yōu)先編碼的ROI以及遠(yuǎn)端ROI信息傳輸?shù)?遠(yuǎn)程視頻通信裝置14。
ROI跟蹤模塊56跟蹤近端視頻的ROI區(qū)中的變化。如果VT應(yīng)用駐存在移動(dòng)視頻通 信裝置內(nèi)，舉例來(lái)說(shuō)，用戶(hù)可能不時(shí)地移動(dòng)，從而導(dǎo)致用戶(hù)的位置相對(duì)于先前指定的ROI 發(fā)生變化。另外，即使當(dāng)用戶(hù)位置穩(wěn)定時(shí)，ROI內(nèi)的其它對(duì)象也可能移出ROI區(qū)。舉例 來(lái)說(shuō)，湖面上的小船可隨著波浪運(yùn)動(dòng)而上下顛簸或左右移動(dòng)。為了避免當(dāng)發(fā)生移動(dòng)時(shí)用 戶(hù)需要重新定義ROI，可提供ROI跟蹤模塊56以自動(dòng)跟蹤ROI區(qū)內(nèi)的對(duì)象。
在圖3的實(shí)例中，ROI跟蹤模塊56從由ROI感知視頻編碼器46產(chǎn)生的經(jīng)編碼的近 端視頻接收運(yùn)動(dòng)信息。運(yùn)動(dòng)信息可采取經(jīng)編碼的近端視頻內(nèi)的MB的運(yùn)動(dòng)向量的形式， 從而允許通過(guò)ROI映射器54對(duì)ROI MB映射定義進(jìn)行閉環(huán)控制?；谶\(yùn)動(dòng)信息，ROI 跟蹤模塊56產(chǎn)生對(duì)近端ROI MB映射的遞增位置調(diào)節(jié)，并將調(diào)節(jié)提供到ROI映射器54。 位置調(diào)節(jié)可采取如包含在ROI中或排除在ROI外的MB狀態(tài)變化的形式。
如果運(yùn)動(dòng)信息指示ROI的大量移動(dòng)，那么ROIMB映射中MB的狀態(tài)可能改變。通 常，處于ROI外部邊界處的MB的狀態(tài)將發(fā)生改變。響應(yīng)于位置調(diào)節(jié)，ROI映射器54 使由近端ROIMB映射指定的ROI移位，使得ROI位置以逐幀為基礎(chǔ)適應(yīng)于經(jīng)編碼的近 端視頻內(nèi)的運(yùn)動(dòng)。ROI跟蹤模塊56和ROI映射器54協(xié)作以在視頻場(chǎng)景內(nèi)檢測(cè)到運(yùn)動(dòng)時(shí) 自動(dòng)調(diào)節(jié)ROI位置。以此方式，ROI引擎44調(diào)節(jié)ROI以跟蹤R01內(nèi)移動(dòng)的對(duì)象。
驗(yàn)證模塊58用于解析遠(yuǎn)程用戶(hù)的ROI權(quán)利，包含個(gè)別用戶(hù)的權(quán)利和多個(gè)用戶(hù)之間的 權(quán)利的優(yōu)先性。當(dāng)ROI感知視頻解碼器48從遠(yuǎn)程視頻通信裝置14接收遠(yuǎn)程近端ROI時(shí)， 其將遠(yuǎn)程近端ROI提供到ROI引擎44。然而，在一些情況下，由遠(yuǎn)程用戶(hù)指定的遠(yuǎn)程近 端ROI可能與由本地用戶(hù)指定的本地近端ROI沖突。舉例來(lái)說(shuō)，本地和遠(yuǎn)程用戶(hù)可指定 視頻場(chǎng)景內(nèi)的重疊ROI或完全不同的ROI。在此情況下，可提供驗(yàn)證模塊58以解決ROI 沖突。
在一些實(shí)施例中，驗(yàn)證模塊58可應(yīng)用所謂的"主-從"機(jī)制來(lái)協(xié)調(diào)在給定時(shí)間應(yīng)使 用哪一近端ROI信息(本地或遠(yuǎn)程)。明確地說(shuō)，在發(fā)送者接收接收器驅(qū)動(dòng)的ROI信息 之前，發(fā)送者是近端ROI主裝置且控制其近端ROI。換句話(huà)說(shuō)，在視頻通信裝置12處接 收到遠(yuǎn)程近端ROI之前，本地用戶(hù)控制近端ROI。因而遠(yuǎn)程用戶(hù)是近端ROI"從屬裝置" 且不控制近端ROI，除非主裝置(即，本地用戶(hù))授予控制近端ROI的存取權(quán)。
一旦本地用戶(hù)向遠(yuǎn)程用戶(hù)授予存取權(quán)，本地用戶(hù)就不再控制其近端ROI。事實(shí)上，
與視頻通信裝置14相關(guān)聯(lián)的遠(yuǎn)程用戶(hù)獲得對(duì)于由視頻通信裝置12產(chǎn)生的近端視頻的近 端ROI的控制權(quán)，且成為近端ROI的主裝置。遠(yuǎn)程用戶(hù)可保持控制權(quán)直到本地用戶(hù)明確 地撤消存取特權(quán)或以另外的方式拒絕遠(yuǎn)程用戶(hù)的存取為止，或者直到遠(yuǎn)程用戶(hù)中止ROI 選擇位置為止，在此情況下主ROI控制權(quán)可歸還于本地用戶(hù)。
一旦ROI感知視頻解碼器48接收經(jīng)編碼的遠(yuǎn)端視頻(如果有的話(huà))，其就基于與發(fā) 送者約定的格式從視頻位流中檢索遠(yuǎn)程近端ROI信息。再次，近端ROI信息可內(nèi)嵌在經(jīng) 編碼的遠(yuǎn)端視頻中或通過(guò)帶外信令發(fā)送。在任一情況下，ROI感知視頻解碼器48將遠(yuǎn)程 近端ROI傳遞到驗(yàn)證模塊58以在經(jīng)由ROI控制器52和ROI映射器54將遠(yuǎn)程近端ROI 發(fā)送到ROI感知視頻編碼器46之前獲得存取許可。驗(yàn)證模塊58將存取權(quán)限制于特定用 戶(hù)，使得用戶(hù)在不經(jīng)本地用戶(hù)授權(quán)的情況下不能控制編碼過(guò)程。
驗(yàn)證模塊58可經(jīng)配置以授予并管理存取權(quán)，并在一個(gè)或一個(gè)以上遠(yuǎn)程用戶(hù)之間進(jìn)行 平衡。舉例來(lái)說(shuō)，本地用戶(hù)可向選定的遠(yuǎn)程用戶(hù)授予存取權(quán)。因此，本地用戶(hù)可允許一 些遠(yuǎn)程用戶(hù)控制近端ROI并禁止其它遠(yuǎn)程用戶(hù)控制近端ROI。并且，本地用戶(hù)可向遠(yuǎn)程 用戶(hù)分派相對(duì)存取等級(jí)或優(yōu)先權(quán)。以此方式，本地用戶(hù)可指定遠(yuǎn)程用戶(hù)之間的存取等級(jí) 的階層，使得在多個(gè)遠(yuǎn)程用戶(hù)同時(shí)請(qǐng)求ROI控制權(quán)的情況下， 一些遠(yuǎn)程用戶(hù)與其它遠(yuǎn)程 用戶(hù)相比在控制近端ROI方面可具有優(yōu)先權(quán)。舉例來(lái)說(shuō)，在多方視頻會(huì)議過(guò)程中多個(gè)遠(yuǎn) 程用戶(hù)可能同時(shí)請(qǐng)求ROI控制權(quán)。在此類(lèi)情況下，ROI控制權(quán)通常將專(zhuān)門(mén)授予給一個(gè)用 戶(hù)，其為本地用戶(hù)，或者如果控制權(quán)是由本地用戶(hù)授予的，那么其為遠(yuǎn)程用戶(hù)中的選定 一者。
在一些實(shí)施例中，驗(yàn)證模塊58還可負(fù)責(zé)資源監(jiān)視以確定本地視頻通信裝置12是否 具有啟用ROI感知視頻處理的能力。如果本地裝置不具有充足的處理資源來(lái)在給定時(shí)間 支持遠(yuǎn)程ROI控制或滿(mǎn)足特定類(lèi)型的ROI請(qǐng)求，那么驗(yàn)證模塊58撤消遠(yuǎn)程ROI控制存 取權(quán)或拒絕ROI請(qǐng)求。作為一實(shí)例，由通信信道強(qiáng)加的帶寬限制或本地處理負(fù)荷可能導(dǎo) 致拒絕遠(yuǎn)程ROI控制。作為另一實(shí)例，這些限制可能允許使用預(yù)配置的ROI樣式，而不 是所劃定或描述的ROI樣式。驗(yàn)證模塊58可通過(guò)將狀態(tài)消息內(nèi)嵌在待發(fā)送到遠(yuǎn)程裝置的 傳出經(jīng)編碼近端視頻中來(lái)向遠(yuǎn)程裝置通知所述ROI決策。
另外，可向個(gè)別遠(yuǎn)程用戶(hù)授予不同的存取等級(jí)來(lái)控制遠(yuǎn)程用戶(hù)可控制近端ROI的程 度。舉例來(lái)說(shuō)，遠(yuǎn)程用戶(hù)可限于僅在經(jīng)本地用戶(hù)批準(zhǔn)時(shí)才可選擇一組預(yù)定義的ROI樣式、 特定的ROI位置或大小或ROI的規(guī)格。因此，驗(yàn)證模塊58可自動(dòng)解析遠(yuǎn)程用戶(hù)對(duì)于近 端ROI的控制，或通過(guò)與本地用戶(hù)交互而協(xié)商對(duì)于遠(yuǎn)程用戶(hù)的近端ROI控制權(quán)的主動(dòng)批
準(zhǔn)。舉例來(lái)說(shuō)，當(dāng)遠(yuǎn)程用戶(hù)請(qǐng)求存取權(quán)以控制近端ROI時(shí)，驗(yàn)證模塊58可經(jīng)由用戶(hù)界面 42向本地用戶(hù)提交詢(xún)問(wèn)以請(qǐng)求批準(zhǔn)遠(yuǎn)程用戶(hù)ROI控制權(quán)。
驗(yàn)證模塊58可以多種方式中的任一者跟蹤遠(yuǎn)程用戶(hù)的存取等級(jí)。如上所述，本地用 戶(hù)可主動(dòng)地批準(zhǔn)來(lái)自遠(yuǎn)程用戶(hù)的控制近端ROI的請(qǐng)求，并主動(dòng)地控制向遠(yuǎn)程用戶(hù)授予的 存取等級(jí)?；蛘?，本地用戶(hù)可在存儲(chǔ)與遠(yuǎn)程用戶(hù)相關(guān)聯(lián)的信息(包括存取權(quán)或等級(jí))的 視頻通信裝置12中的存儲(chǔ)器內(nèi)維持地址簿。所述地址簿可采取具有遠(yuǎn)程用戶(hù)和相關(guān)聯(lián)的 存取等級(jí)的列表的數(shù)據(jù)庫(kù)的形式。當(dāng)遠(yuǎn)程用戶(hù)請(qǐng)求近端ROI控制權(quán)時(shí)，驗(yàn)證模塊58從地 址簿檢索相關(guān)的存取權(quán)信息，并自動(dòng)應(yīng)用驗(yàn)證過(guò)程來(lái)解析本地用戶(hù)、遠(yuǎn)程用戶(hù)以及可能 若干遠(yuǎn)程用戶(hù)之間的ROI控制權(quán)。如果遠(yuǎn)程用戶(hù)未列在地址簿中，那么本地用戶(hù)可選擇 將遠(yuǎn)程用戶(hù)添加到地址簿并具有適用的存取權(quán)。
在一些情況下，本地用戶(hù)可超越(override)為地址簿中的特定遠(yuǎn)程用戶(hù)指定的缺省 存取等級(jí)。舉例來(lái)說(shuō)，驗(yàn)證模塊58可允許本地用戶(hù)在VT通話(huà)過(guò)程期間在不同的遠(yuǎn)程用 戶(hù)之間主動(dòng)地重新配置ROI控制優(yōu)先權(quán)，或進(jìn)行千涉以作為本地用戶(hù)重新獲得對(duì)近端 ROI的專(zhuān)有控制權(quán)。本地用戶(hù)與驗(yàn)證模塊58之間在維持地址簿或主動(dòng)管理ROI控制權(quán)請(qǐng) 求時(shí)的交互由圖3中的存取控制信息(ACCESS CONTROL INFO)表示。
當(dāng)自動(dòng)或主動(dòng)批準(zhǔn)遠(yuǎn)程用戶(hù)的近端ROI控制權(quán)時(shí)，驗(yàn)證模塊58將遠(yuǎn)程近端ROI傳 遞到ROI控制器52以用于由近端ROI映射器54進(jìn)行處理和映射。或者，即如果未提供 遠(yuǎn)程近端ROI或本地用戶(hù)已選擇排斥遠(yuǎn)程用戶(hù)而控制近端ROI,那么ROI控制器52處 理由本地用戶(hù)經(jīng)由用戶(hù)界面42提供的本地近端ROI。
驗(yàn)證模塊58用于解決本地與遠(yuǎn)程用戶(hù)之間的ROI沖突。缺省地，驗(yàn)證模塊58應(yīng)用 主-從概念，依照所述主-從概念，本地用戶(hù)具有近端ROI控制權(quán)。當(dāng)向遠(yuǎn)程用戶(hù)授予具 有最高等級(jí)的存取權(quán)時(shí)，遠(yuǎn)程用戶(hù)完全控制視頻通信裝置12的ROI感知視頻編碼器46 的近端ROI選擇。否則，本地用戶(hù)具有近端ROI控制權(quán)，其超越由遠(yuǎn)程用戶(hù)作出的任何 近端ROI選擇。
盡管可向遠(yuǎn)程用戶(hù)授予存取權(quán)，但本地用戶(hù)在近端ROI控制過(guò)程中將占優(yōu)勢(shì)，因?yàn)?遠(yuǎn)程用戶(hù)的存取權(quán)通常比本地用戶(hù)的存取權(quán)具有較低等級(jí)。因此，如果本地用戶(hù)選擇指 定近端ROI,那么將忽視遠(yuǎn)程用戶(hù)作出的任何近端ROI選擇。另一方面，如果本地用戶(hù) 不指定近端ROI，那么分派給遠(yuǎn)程用戶(hù)的存取權(quán)的等級(jí)有效，且遠(yuǎn)程用戶(hù)能夠控制近端 ROI。然而，如上所述，本地用戶(hù)仍可選擇超越缺省的主-從關(guān)系并放棄給予本地用戶(hù)的 最高等級(jí)的存取權(quán)。
圖4是說(shuō)明具有ROI感知CODEC且進(jìn)一步并入有ROI提取模塊60的另一視頻通 信裝置12'的方框圖。圖4的視頻通信裝置12'與圖3的視頻通信裝置12幾乎一致。然而， 視頻通信裝置12'進(jìn)一步包含ROI提取模塊60以基于來(lái)自用戶(hù)的輸入形成本地近端ROI 和遠(yuǎn)端ROI。除了簡(jiǎn)單地處理對(duì)預(yù)設(shè)置的ROI樣式的選擇或允許用戶(hù)對(duì)缺省ROI進(jìn)行劃 定、重新定位或重新設(shè)計(jì)大小，ROI提取模塊60還允許本地用戶(hù)通過(guò)口頭或文本ROI 描述來(lái)指定ROI。明確地說(shuō)，ROI提取模塊60基于由本地用戶(hù)提供的ROI描述來(lái)產(chǎn)生本 地近端ROI或遠(yuǎn)端ROI。
ROI描述的實(shí)例包含例如"臉部"、"移動(dòng)對(duì)象"、"唇部"、"人體"、"背景"等項(xiàng)目 的文本或口頭輸入?？赡芊浅Ｐ枰獙?duì)這些對(duì)象的優(yōu)先編碼。舉例來(lái)說(shuō)，對(duì)唇部或臉部的 優(yōu)先編碼可較好地表現(xiàn)面部表情、吐詞等。文本輸入可被鍵入或從由用戶(hù)界面42呈現(xiàn)的 菜單中選擇?？赏ㄟ^(guò)向與視頻通信裝置12'相關(guān)聯(lián)的麥克風(fēng)中說(shuō)話(huà)來(lái)提供口頭輸入。在每 一情況下，本地用戶(hù)"描述"ROI而不是選擇或劃定ROI。 ROI提取模塊60將所述描述 轉(zhuǎn)換為適用的近端或遠(yuǎn)端視頻場(chǎng)景內(nèi)的一組坐標(biāo)。在使用口頭ROI描述的情況下，用戶(hù) 界面42或ROI提取模塊60可包含常規(guī)的語(yǔ)音識(shí)別能力。明確地說(shuō)，ROI提取模塊60 可基于一個(gè)或一個(gè)以上經(jīng)識(shí)別的項(xiàng)目來(lái)產(chǎn)生指定ROI的信息。
ROI提取模塊60通過(guò)應(yīng)用經(jīng)配置以檢測(cè)所需的ROI的常規(guī)預(yù)編碼處理算法來(lái)自動(dòng)選 擇ROI坐標(biāo)。明確地說(shuō)，ROI提取模塊60可應(yīng)用一算法來(lái)根據(jù)視頻ROI處理領(lǐng)域的技 術(shù)人員已知的常規(guī)技術(shù)進(jìn)行臉部檢測(cè)、特征提取、對(duì)象分割或跟蹤。舉例來(lái)說(shuō)，ROI提 取模塊60可應(yīng)用依賴(lài)于基于視頻輸入數(shù)據(jù)的像素的亮度或色度值進(jìn)行ROI識(shí)別的常規(guī)技 術(shù)。
常規(guī)臉部檢測(cè)方案通常涉及使用膚色作為指導(dǎo)來(lái)識(shí)別臉部與非臉部像素。正ICE學(xué) 報(bào)Inf. & Syst， 2003年1月，第E86-D巻，第1期，第101-108頁(yè)，C.-W. Lin、 Y.-J. Chang 和Y.-C. Chen的"A low-complexity face-assisted coding scheme for low bit-rate video telephony"中以及正EE學(xué)報(bào)On Circuits and Systems for Video Technology, 1999年6月， 第9巻，第4期，第551-564頁(yè)，D. Chai和K. N. Ngan的"Face segmentation using skin-color map in videophone applications"中描述了常規(guī)臉部檢測(cè)方案的實(shí)例。
當(dāng)本地用戶(hù)依據(jù)"臉部"描述ROI時(shí)，ROI提取模塊60視情況分析近端或遠(yuǎn)端視頻， 以自動(dòng)識(shí)別臉部并將與所識(shí)別的臉部相關(guān)聯(lián)的坐標(biāo)指定為ROI。 ROI提取模塊60接著將 坐標(biāo)傳遞到ROI控制器52以用于由ROI映射器54進(jìn)行處理和映射。值得注意的是，R01 提取模塊60視情況處理本地近端ROI描述或遠(yuǎn)端ROI描述，將所述描述映射到適當(dāng)?shù)?br> 提取算法，并自動(dòng)分析適用的經(jīng)預(yù)編碼的近端視頻或經(jīng)解碼的遠(yuǎn)端視頻以自動(dòng)提取適當(dāng) 的ROI。
為了支持自動(dòng)ROI檢測(cè)，ROI提取模塊60從視頻俘獲裝置40接收近端視頻，并從 ROI感知視頻解碼器48接收遠(yuǎn)端視頻。使用來(lái)自用戶(hù)界面42的本地近端ROI描述或遠(yuǎn) 端ROI描述，以及自動(dòng)化檢測(cè)算法，ROI提取模塊60視情況產(chǎn)生本地近端ROI和遠(yuǎn)端 ROI，以便應(yīng)用于ROI控制器52。在每一情況下，ROI提取模塊60將本地近端ROI描 述或遠(yuǎn)端ROI描述轉(zhuǎn)換為最符合適用描述的坐標(biāo)。在此情況下，用戶(hù)不需要?jiǎng)澏≧OI。 另夕卜，用戶(hù)不被限定于一組預(yù)定義的ROI樣式。事實(shí)上，ROI控制器52主動(dòng)地檢測(cè)近端 視頻內(nèi)與ROI描述匹配的適當(dāng)區(qū)。
ROI映射器54將ROI坐標(biāo)映射到視頻幀內(nèi)的相關(guān)宏區(qū)塊(MB)，并產(chǎn)生近端或遠(yuǎn)端 ROI MB映射。實(shí)際上，ROI映射器54將來(lái)自ROI控制器52的ROI坐標(biāo)轉(zhuǎn)譯成視頻編 碼器46可理解的格式。明確地說(shuō)，視頻編碼器46經(jīng)裝備以在MB層級(jí)，即在逐個(gè)MB 基礎(chǔ)上處理編碼。為此，ROI映射器54產(chǎn)生近端或遠(yuǎn)端視頻的ROI MB映射。ROI MB 映射識(shí)別落在指定的ROI內(nèi)的MB，使得視頻編碼器46可向那些MB應(yīng)用優(yōu)先編碼。
除了處理ROI描述外，ROI提取模塊60還可經(jīng)裝備以處理由本地用戶(hù)從一組預(yù)定義 的樣式中選擇的或由本地用戶(hù)劃定、重新定位或重新設(shè)計(jì)大小的ROI樣式。因此，視頻 通信裝置12'可大體上如關(guān)于圖3的視頻通信裝置12所描述的那樣產(chǎn)生ROI信息，但進(jìn) 一步并入有ROI提取模塊60以處理由本地用戶(hù)以文本或口頭形式輸入的ROI描述。在 便于本地用戶(hù)使用方面，ROI提取模塊60可能是合乎需要的。然而， 一些視頻通信裝置 可能不具有足夠的處理能力來(lái)支持ROI提取模塊60。因此，ROI提取模塊60表示根據(jù) 本揭示案的視頻通信裝置的一個(gè)合乎需要的但任選的組件。
在一些實(shí)施例中，ROI提取模塊60可處理不僅由本地用戶(hù)而且由遠(yuǎn)程用戶(hù)產(chǎn)生的 ROI描述。以此方式，在一些裝置中可遠(yuǎn)程地而非在本地執(zhí)行提取功能性。舉例來(lái)說(shuō)， 特定視頻通信裝置14可能不具有足夠的本地資源或能力來(lái)支持對(duì)于由裝置14的用戶(hù)提 供的ROI描述的ROI提取。然而，另一視頻通信裝置12可能較好地經(jīng)裝備以進(jìn)行ROI 提取。在此情況下，預(yù)期本地ROI提取可被卸載或分配到遠(yuǎn)程視頻通信裝置。
為了支持遠(yuǎn)程提取，可以多種方式將ROI描述提供到遠(yuǎn)程裝置。舉例來(lái)說(shuō)，口頭描 述可包含在傳輸?shù)竭h(yuǎn)程裝置的音頻流中。文本ROI描述以及預(yù)定義的ROI樣式或劃定的 ROI樣式同樣可(例如)通過(guò)將此信息內(nèi)嵌在經(jīng)編碼的視頻流中而傳輸?shù)竭h(yuǎn)程裝置。因 此，從一個(gè)裝置發(fā)送到另一裝置的ROI信息可采取預(yù)處理的ROIMB映射或ROI的任何
其它指示或描述的形式，所述指示或描述包含在施加到遠(yuǎn)程編碼器之前需要在遠(yuǎn)程裝置 處進(jìn)行處理的指示或描述。
圖5是說(shuō)明經(jīng)由中間提取服務(wù)器61的分布式ROI提取的方框圖。如圖5所示，視頻 通信裝置12、 14可向中間提取服務(wù)器61提供足夠的信息使得可提取ROI。舉例來(lái)說(shuō)， 每一裝置12、 14可提供各自的本地近端ROI描述、遠(yuǎn)端ROI描述、經(jīng)編碼或原始近端 視頻，和經(jīng)編碼遠(yuǎn)端視頻。作為從近端裝置提供經(jīng)編碼遠(yuǎn)端視頻的替代方法，ROI提取 服務(wù)器61可直接從遠(yuǎn)端裝置接收遠(yuǎn)端視頻。使用此信息，提取服務(wù)器61產(chǎn)生遠(yuǎn)端ROI 和本地近端ROI中的一者或兩者，并將它們提供到各自裝置12、 14。提取服務(wù)器61可 以是位于通信網(wǎng)絡(luò)內(nèi)的任何地方的服務(wù)器，且可通過(guò)有線(xiàn)媒體、無(wú)線(xiàn)媒體或兩者的組合 耦合到裝置12、 14。提取服務(wù)器61可相對(duì)于視頻通信裝置12、 14定位在遠(yuǎn)距離，或與 裝置12、 14中的一者定位在一起。然而，在許多情況下，提取服務(wù)器61可以是遠(yuǎn)程服 務(wù)器。 一般來(lái)說(shuō)，提取服務(wù)器61將在結(jié)構(gòu)上不同于視頻通信裝置12、 14。
提取服務(wù)器61可與提取模塊60非常類(lèi)似地起作用，但遠(yuǎn)程、分布式地操作，使得 不需要在裝置12、 14內(nèi)本地執(zhí)行ROI提取。以此方式，ROI提取的處理成本可分布到可 能具有較大處理能力的不同裝置。與ROI提取模塊60—樣，提取服務(wù)器61可處理用戶(hù) 的例如口頭、文本或圖形描述的不同類(lèi)型的ROI描述。為此，ROI提取服務(wù)器61可包含 適宜的能力(例如，語(yǔ)音識(shí)別能力)來(lái)處理所述描述。另外，ROI提取服務(wù)器61可裝備 有視頻解碼能力以允許分析視頻和提取ROI，以及編碼能力以重新編碼視頻和內(nèi)嵌ROI 信息(視需要)。
圖6是說(shuō)明用于多個(gè)視頻電話(huà)會(huì)話(huà)的分布式ROI提取的方框圖。在圖6的實(shí)例中， ROI提取服務(wù)器61操作以處理多個(gè)視頻通信裝置12A-14A、 12B-14B、 12C-14D到 12N-14N之間的VT會(huì)話(huà)的ROI提取。以此方式，ROI提取服務(wù)器61并行執(zhí)行多個(gè)ROI 提取任務(wù)以支持正在給定通行網(wǎng)絡(luò)上進(jìn)行的各種VT會(huì)話(huà)。
圖7A-7D是說(shuō)明供本地或遠(yuǎn)程用戶(hù)選擇的預(yù)定義的ROI樣式的圖。圖7A-7D的ROI 樣式是出于實(shí)例的目的，且不應(yīng)認(rèn)為具有限定性。圖7A展示與無(wú)線(xiàn)通信裝置38相關(guān)聯(lián) 的顯示器36上呈現(xiàn)的視頻場(chǎng)景34內(nèi)的ROI 62。 ROI 62是在視頻場(chǎng)景34內(nèi)大體上居中 的基本矩形。矩形ROI 62的主要長(zhǎng)度在視頻場(chǎng)景34內(nèi)垂直延伸。在許多情況下，預(yù)定 義的居中矩形ROI 62將有效地俘獲人臉，即參與VT通話(huà)的遠(yuǎn)程用戶(hù)的臉部。
圖7B展示另一R0164，其采取具有在視頻場(chǎng)景34內(nèi)水平延伸的主要長(zhǎng)度的矩形的 形式。ROI64在視頻場(chǎng)景34內(nèi)大體上居中，且可有效地俘獲例如車(chē)輛、船只、產(chǎn)品、演
示等對(duì)象。
圖7C展示另一 ROI 66，其形狀經(jīng)設(shè)計(jì)以俘獲參與VT通話(huà)的遠(yuǎn)程用戶(hù)的臉部和肩部。 或者，ROI66可俘獲例如單向視頻串流應(yīng)用中提供新聞廣播的報(bào)道者、集會(huì)的主持人或 會(huì)議的發(fā)言者的臉部和肩部。在任何情況下，預(yù)定義的ROI66均聚焦于人類(lèi)VT參與者 或演示者，并實(shí)現(xiàn)對(duì)所述人員的物理特征的優(yōu)先編碼。
圖7D展示在視頻場(chǎng)景34內(nèi)并排呈現(xiàn)的一組兩個(gè)ROI 68、 70。在圖5D的實(shí)例中， ROI6S、 70可有效地俘獲并排就座或站立的兩個(gè)人的臉部。以此方式，兩個(gè)參與者的臉 部可被優(yōu)先編碼以支持面部表情和移動(dòng)的較髙圖像質(zhì)量。
圖7A-7D中描繪的預(yù)定義的ROI樣式是出于說(shuō)明的目的?？商峁┚哂刑娲恢没蛐?狀的其它預(yù)定義的ROI樣式。舉例來(lái)說(shuō)， 一些ROI樣式倘若可映射到MB邊界則可具有 圓形或不規(guī)則形狀。
在一些實(shí)施例中，可允許用戶(hù)對(duì)選定的ROI樣式重新設(shè)計(jì)大小或重新定位。常規(guī)的 指針和轉(zhuǎn)角拖動(dòng)技術(shù)可用于實(shí)現(xiàn)重新設(shè)計(jì)大小和重新定位。另外，可通過(guò)轉(zhuǎn)角拖動(dòng)或通 過(guò)明確地指定縮放百分比來(lái)實(shí)現(xiàn)對(duì)ROI大小的重新縮放。當(dāng)然，當(dāng)ROI變大時(shí)，優(yōu)先編 碼的程度由于帶寬限制的緣故而減小。因此，在一些情況下，可在視頻通信裝置12內(nèi)實(shí) 行最大ROI大小。
圖8是說(shuō)明在接收者裝置處產(chǎn)生遠(yuǎn)端ROI信息以在發(fā)送者裝置處控制近端視頻中的 優(yōu)先ROI編碼的流程圖。圖8中描繪的過(guò)程可實(shí)施在圖3的視頻通信裝置12或圖4的視 頻通信裝置12'內(nèi)。在操作中，視頻通信裝置12內(nèi)的ROI感知視頻解碼器48解碼來(lái)自遠(yuǎn) 程發(fā)送者裝置(例如，視頻通信裝置14 (圖l))的遠(yuǎn)端視頻(72)。 一旦解碼遠(yuǎn)端視頻， 接收者裝置12的用戶(hù)界面42就顯示遠(yuǎn)端視頻以供本地用戶(hù)查看(74)。
如果本地用戶(hù)不請(qǐng)求ROI選擇(76),那么不采取行動(dòng)且解碼遠(yuǎn)端視頻的下一幀(72)。 然而，如果請(qǐng)求ROI選擇(76)，那么用戶(hù)界面42接受來(lái)自本地用戶(hù)的遠(yuǎn)端ROI信息(78)。 ROI控制器52和ROI映射器54接著協(xié)作以產(chǎn)生遠(yuǎn)端ROI MB映射(80)。 ROI感知編碼 器46將遠(yuǎn)端ROI MB映射內(nèi)嵌在經(jīng)編碼的近端視頻中并藉此將遠(yuǎn)端ROI映射傳輸?shù)骄幋a 遠(yuǎn)端視頻的遠(yuǎn)程發(fā)送者裝置14 (82)。遠(yuǎn)端ROIMB映射指定與遠(yuǎn)程視頻通信裝置14相 關(guān)聯(lián)的編碼器應(yīng)對(duì)待發(fā)送到視頻通信裝置12的遠(yuǎn)端視頻的相關(guān)ROI內(nèi)的MB應(yīng)用優(yōu)先編 碼。
圖9是說(shuō)明處理來(lái)自接收者裝置的近端ROI信息以便結(jié)合ROI跟蹤而在發(fā)送者裝置 處在近端視頻中進(jìn)行優(yōu)先ROI編碼的流程圖。在圖9的實(shí)例中，用戶(hù)界面42接收由視頻
俘獲裝置40產(chǎn)生的近端視頻流，并向本地用戶(hù)呈現(xiàn)近端視頻(84)。如果本地用戶(hù)或遠(yuǎn) 程用戶(hù)均不請(qǐng)求近端ROI選擇(86)，那么正常編碼每一視頻幀內(nèi)的所有MB (88)，即 不對(duì)ROI內(nèi)的MB進(jìn)行任何優(yōu)先編碼。接著將經(jīng)編碼的近端視頻發(fā)送到遠(yuǎn)程接收者裝置 14 (89)。
然而，如果本地用戶(hù)或遠(yuǎn)程用戶(hù)請(qǐng)求近端ROI選擇(86)，那么ROI控制器52和 ROI映射器54處理相關(guān)近端ROI信息以產(chǎn)生近端ROIMB映射(90)。如果近端ROI由 本地用戶(hù)和遠(yuǎn)程用戶(hù)兩者指定，那么驗(yàn)證模塊58可進(jìn)行干涉以有利于ROI中的一者地解 決沖突。當(dāng)接收到近端ROI MB映射時(shí)(90), ROI感知視頻編碼器46通過(guò)應(yīng)用較高質(zhì) 量編碼、較強(qiáng)誤差防護(hù)或兩者來(lái)優(yōu)先編碼所述ROI內(nèi)的MB (92)。
跟蹤模塊56通過(guò)監(jiān)視由ROI感知視頻編碼器46產(chǎn)生的運(yùn)動(dòng)信息來(lái)跟蹤近端視頻內(nèi) 的ROI位置(94)。如果未檢測(cè)到ROI中的位移(96)，那么應(yīng)用現(xiàn)有ROI映射來(lái)編碼近 端視頻內(nèi)的ROI MB (100)，且將經(jīng)編碼的近端視頻發(fā)送到遠(yuǎn)程接收者裝置(102)。如 果檢測(cè)到ROI中的位移(96)，那么視頻跟蹤模塊56在編碼近端視頻(100)之前基于運(yùn) 動(dòng)信息來(lái)調(diào)節(jié)ROIMB映射(98)。
圖10是說(shuō)明處理來(lái)自接收者裝置的ROI信息以便結(jié)合用戶(hù)驗(yàn)證而在發(fā)送者裝置處在 近端視頻中進(jìn)行優(yōu)先ROI編碼的流程圖。圖10描繪圖3或4的驗(yàn)證模塊58允許遠(yuǎn)程用 戶(hù)控制近端ROI的操作，且為了簡(jiǎn)便假定未指定任何本地近端ROI。如圖10所示，對(duì)于 由視頻通信裝置12中的視頻俘獲裝置40產(chǎn)生的近端視頻流(104)，驗(yàn)證模塊58確定視 頻通信裝置14的遠(yuǎn)程用戶(hù)是否已求遠(yuǎn)程近端R01 (106)。
如果未請(qǐng)求任何遠(yuǎn)程近端ROI (106),且未指定任何本地近端ROI，那么正常編碼 近端視頻中的所有MB (110)。然而，如果請(qǐng)求了遠(yuǎn)程近端ROI (106)，那么驗(yàn)證模塊 58接著確定請(qǐng)求近端ROI的遠(yuǎn)程用戶(hù)是否經(jīng)驗(yàn)證(108)。明確地說(shuō)，驗(yàn)證模塊58可通 過(guò)參考存儲(chǔ)在視頻通信裝置12本地的地址簿來(lái)自動(dòng)確定遠(yuǎn)程用戶(hù)的存取權(quán)。或者，驗(yàn)證 模塊58可經(jīng)由用戶(hù)界面42主動(dòng)地詢(xún)問(wèn)本地用戶(hù)，以獲得對(duì)由遠(yuǎn)程用戶(hù)進(jìn)行近端ROI控 制的存取權(quán)的批準(zhǔn)或拒絕。
如果遠(yuǎn)程用戶(hù)未經(jīng)驗(yàn)證(108)，那么正常編碼近端視頻中的所有MB (110)。然而， 如果遠(yuǎn)程用戶(hù)經(jīng)驗(yàn)證(108)，那么向遠(yuǎn)程用戶(hù)授予近端ROI控制權(quán)。在此情況下，ROI 控制器52和ROI映射器54處理來(lái)自遠(yuǎn)程用戶(hù)的近端ROI信息并產(chǎn)生近端MB映射(112)。 使用近端MB映射，ROI感知編碼器46優(yōu)先編碼由近端MB映射識(shí)別的MB (114)。視 頻通信裝置12接著將經(jīng)編碼的近端視頻發(fā)送到遠(yuǎn)程視頻通信裝置14 (116)。
圖ll是說(shuō)明選擇預(yù)定義的ROI樣式的流程圖。 一旦ROI感知視頻解碼器48解碼從 遠(yuǎn)程視頻通信裝置14接收的遠(yuǎn)端視頻(118)，就經(jīng)由用戶(hù)界面42向本地用戶(hù)顯示遠(yuǎn)端 視頻(120)。如果本地用戶(hù)請(qǐng)求ROI選擇(122)，那么用戶(hù)界面42顯示例如圖7A-7D 所示的ROI樣式的預(yù)定義ROI樣式的菜單(124)。或者，用戶(hù)可提供ROI描述或?qū)OI 樣式進(jìn)行劃定、重新定位或重新設(shè)計(jì)大小。然而，在圖ll的實(shí)例中，操作集中于呈現(xiàn)預(yù) 定義的ROI樣式。當(dāng)本地用戶(hù)選擇預(yù)定義的ROI樣式時(shí)(126)， ROI控制器52和R01 映射器54基于選定的樣式定義ROIMB映射(128)。 ROI感知視頻編碼器46將ROI MB 映射內(nèi)嵌在經(jīng)編碼的近端視頻內(nèi)并將ROI MB映射傳輸?shù)竭h(yuǎn)程視頻通信裝置14 (130) 以用于優(yōu)先編碼遠(yuǎn)端視頻中的ROI。
圖12是說(shuō)明通過(guò)擴(kuò)展和收縮ROI模板132來(lái)定義所顯示的視頻場(chǎng)景34中的ROI樣 式的圖。圖12大體上對(duì)應(yīng)于圖2，但說(shuō)明可由用戶(hù)重新設(shè)計(jì)大小的ROI模板132的呈現(xiàn)。 在圖12的實(shí)例中，可通過(guò)對(duì)ROI模板的轉(zhuǎn)角的一者進(jìn)行轉(zhuǎn)角拖動(dòng)以擴(kuò)展和收縮ROI模 板來(lái)對(duì)ROI模板132重新設(shè)計(jì)大小。轉(zhuǎn)角拖動(dòng)以擴(kuò)展ROI模板132的結(jié)果由經(jīng)擴(kuò)展的 ROI模板134表示。轉(zhuǎn)角拖動(dòng)導(dǎo)致ROI模板132的大小增加或減小，但維持相對(duì)的長(zhǎng)寬 縮放比例。然而，在一些實(shí)施例中，也可允許用戶(hù)拖動(dòng)ROI模板132的一側(cè)以便增加或 減小ROI模板的大小，同時(shí)還改變長(zhǎng)寬縮放比例?？墒褂描F筆結(jié)合觸摸屏幕或使用與視 頻通信裝置12的用戶(hù)界面42相關(guān)聯(lián)的另一指向裝置來(lái)實(shí)現(xiàn)拖動(dòng)。其它指向裝置可包含 操縱桿、觸摸墊、滾輪、跟蹤球等。
圖13是說(shuō)明通過(guò)拖動(dòng)ROI模板132來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的圖。 明確地說(shuō)，圖13展示通過(guò)將ROI模板拖動(dòng)到視頻場(chǎng)景34內(nèi)的另一位置135來(lái)重新定位 ROI模板132。可通過(guò)鐵筆和觸摸屏幕或與用戶(hù)界面42相關(guān)聯(lián)的另一指向裝置來(lái)實(shí)現(xiàn)拖 動(dòng)。
圖14是說(shuō)明通過(guò)用鐵筆138在觸摸屏幕上劃定ROI樣式136來(lái)定義所顯示的視頻場(chǎng) 景中的ROI樣式的圖。在圖14的實(shí)例中，通過(guò)徒手描繪來(lái)產(chǎn)生ROI樣式136。 ROI控制 器52和ROI映射器54協(xié)作以將與劃定的ROI樣式相關(guān)聯(lián)的坐標(biāo)轉(zhuǎn)換成MB映射，所述 MB映射識(shí)別視頻場(chǎng)景34內(nèi)的大致落在ROI樣式136內(nèi)的MB。如圖12、 13和14所示 的ROI樣式的定義可適用于近端視頻或遠(yuǎn)端視頻內(nèi)的ROI。
圖15是說(shuō)明使用具有待動(dòng)態(tài)跟蹤的指定的ROI對(duì)象的下拉式菜單140來(lái)定義所顯示 的視頻場(chǎng)景中的ROI樣式的圖。如圖15所示，用戶(hù)界面42呈現(xiàn)下拉式菜單140，其呈 現(xiàn)例如"臉部"、"唇部"、"背景"和"移動(dòng)"的ROI描述。本地用戶(hù)選擇下拉式菜單中
的條目之一作為所需的ROI描述。作為響應(yīng)，ROI提取模塊60 (圖4)視情況分析近端 視頻或遠(yuǎn)端視頻，以檢測(cè)對(duì)應(yīng)于描述的ROI樣式。作為下拉式菜單140的替代，用戶(hù)可 經(jīng)由用戶(hù)界面42輸入文本或向麥克風(fēng)口頭說(shuō)出文本。在每一情況下，使用例如皮膚-色 調(diào)檢測(cè)、對(duì)象分割或類(lèi)似技術(shù)的常規(guī)的特征檢測(cè)算法來(lái)使選定的ROI與適當(dāng)?shù)腞OI樣式 匹配。當(dāng)選定ROI樣式時(shí)，ROI控制器52和ROI映射器54產(chǎn)生適當(dāng)?shù)腞OIMEI映射。 圖15中的過(guò)程稱(chēng)為"動(dòng)態(tài)的"，是指每一ROI描述必須動(dòng)態(tài)地與考慮中的特定視頻場(chǎng)景 內(nèi)的ROI樣式匹配。
圖16是說(shuō)明使用具有映射到如圖7A-7D中的預(yù)定義的ROI樣式的指定的ROI對(duì)象 的下拉式菜單142來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的圖。如圖16所示，用戶(hù)界面 42呈現(xiàn)下拉式菜單142，其呈現(xiàn)例如"單一臉部"、"雙臉部"、"頭部/肩部"和"對(duì)象" 的ROI描述。本地用戶(hù)選擇下拉式菜單中的條目之一作為所需的ROI樣式。作為響應(yīng)， ROI控制器52使選定的ROI樣式與相應(yīng)的預(yù)定義的ROI樣式(如圖7A-7D中描繪的ROI 樣式)匹配。因此，不同于圖15所示的ROI描述，靜態(tài)ROI樣式不需要視頻分析。事 實(shí)上，ROI控制器52和ROI映射器54產(chǎn)生對(duì)應(yīng)于下拉式菜單142中的選擇的預(yù)配置的 ROIMB映射。再次，作為下拉式菜單142的替代，用戶(hù)可經(jīng)由用戶(hù)界面42輸入文本或 向麥克風(fēng)口頭說(shuō)出文本。圖15中的過(guò)程稱(chēng)為"靜態(tài)的"，是指每一ROI樣式對(duì)應(yīng)于預(yù)定 義的ROI樣式和MB映射。
圖17是說(shuō)明使用ROI描述界面來(lái)定義所顯示的視頻場(chǎng)景中的ROI樣式的流程圖。 圖17所示的過(guò)程可與圖15的下拉式菜單或其它輸入媒體結(jié)合使用。如圖17所示，ROI 感知視頻解碼器48解碼從遠(yuǎn)程發(fā)送者裝置14接收的遠(yuǎn)端視頻(144)。用戶(hù)界面42接著 向本地用戶(hù)顯示遠(yuǎn)端視頻(146)。如果本地用戶(hù)不請(qǐng)求對(duì)于遠(yuǎn)端視頻的ROI選擇(148)， 那么不將任何ROI信息發(fā)送到遠(yuǎn)程視頻通信裝置14。然而，如果請(qǐng)求了 ROI選擇(148), 那么用戶(hù)界面42呈現(xiàn)例如圖17的下拉式菜單140的ROI描述界面(150)。
當(dāng)接收到本地用戶(hù)ROI描述時(shí)(152)， ROI控制器52和ROI映射器54基于描述選 擇ROI樣式(154)并基于選定的ROI樣式定義ROI MB映射(156)。再次，可通過(guò)使 用常規(guī)檢測(cè)技術(shù)分析遠(yuǎn)端視頻并使ROI描述與遠(yuǎn)端視頻內(nèi)的特定MB匹配來(lái)確定選定的 ROI樣式。當(dāng)產(chǎn)生遠(yuǎn)端ROIMB映射時(shí)，ROI感知視頻編碼器12將遠(yuǎn)端ROIMB映射內(nèi) 嵌在經(jīng)編碼的近端視頻中并將其傳輸?shù)竭h(yuǎn)程視頻通信裝置14以用于優(yōu)先編碼遠(yuǎn)端ROI。
圖18是說(shuō)明發(fā)送者與接收者裝置12、 14之間的ROI沖突的解決的流程圖。明確地 說(shuō)，圖18說(shuō)明驗(yàn)證模塊58 (圖3或圖4)解決由本地用戶(hù)指定的近端ROI與由遠(yuǎn)程用戶(hù)
指定的近端ROI之間的沖突的操作。當(dāng)在發(fā)送者裝置處產(chǎn)生近端視頻時(shí)(160)，驗(yàn)證模 塊58確定近端ROI是否已由本地用戶(hù)或遠(yuǎn)程用戶(hù)請(qǐng)求(162)。如果不是，那么正常編碼 所有MB (164)而不優(yōu)先編碼ROI，且將所產(chǎn)生的經(jīng)編碼的視頻發(fā)送到接收者視頻通信 裝置14 (166)。
如果請(qǐng)求了近端ROI (162)，那么驗(yàn)證模塊58確定由本地用戶(hù)指定的近端ROI與由 遠(yuǎn)程用戶(hù)指定的近端ROI之間是否存在沖突(168)。如果未指定遠(yuǎn)程近端ROI，或如果 本地與遠(yuǎn)程近端ROI —致，那么驗(yàn)證可將選定的近端ROI傳遞到ROI控制器52以進(jìn)行處理。
如果不存在本地近端ROI，但已選擇遠(yuǎn)程近端ROI，那么驗(yàn)證模塊58可允許應(yīng)用遠(yuǎn) 程近端ROI。或者，在一些實(shí)施例中，僅當(dāng)通過(guò)本地用戶(hù)交互或通過(guò)地址簿中記錄的存 取等級(jí)而向遠(yuǎn)程用戶(hù)授予了明確存取權(quán)時(shí)，驗(yàn)證模塊58才可允許應(yīng)用遠(yuǎn)程近端R01。如 果不存在ROI沖突，那么ROI映射器54基于適用的近端ROI產(chǎn)生近端MB映射并將其 施加到ROI感知視頻編碼器46。 ROI感知視頻編碼器46接著優(yōu)先編碼近端視頻的ROI 內(nèi)的MB (172)。
如果本地與遠(yuǎn)程近端ROI之間存在沖突(168)，那么驗(yàn)證模塊58確定例如在視頻通 信裝置12內(nèi)本地存儲(chǔ)的地址簿中是否已分派了存取等級(jí)(174)。如果分派了存取等級(jí) (174)，那么驗(yàn)證模塊58根據(jù)存取等級(jí)解決ROI沖突(176)。舉例來(lái)說(shuō)，針對(duì)遠(yuǎn)程用戶(hù) 而存儲(chǔ)的存取等級(jí)可指示應(yīng)超越于本地用戶(hù)而向遠(yuǎn)程用戶(hù)授予ROI控制權(quán)。如果未分派 存取等級(jí)(174)，那么驗(yàn)證模塊58從本地用戶(hù)處尋求對(duì)遠(yuǎn)程ROI控制的許可(178)。明 確地說(shuō)，驗(yàn)證模塊58可經(jīng)由用戶(hù)界面42提交詢(xún)問(wèn)以請(qǐng)求批準(zhǔn)遠(yuǎn)程用戶(hù)進(jìn)行近端ROI控 制。
如果本地用戶(hù)給予批準(zhǔn)，那么驗(yàn)證模塊58將遠(yuǎn)程近端ROI傳遞到ROI控制器52以 進(jìn)行處理。如果未給予批準(zhǔn)，那么ROI控制器52處理本地近端ROI。在任一情況下， ROI感知視頻編碼器46使用選定的ROI來(lái)優(yōu)先編碼近端視頻內(nèi)的落在所述ROI內(nèi)的MB (172)，并將經(jīng)編碼的近端視頻讀出到遠(yuǎn)程接收者裝置14 (166)。在一些情況下，驗(yàn)證 模塊58不僅可解決本地用戶(hù)與遠(yuǎn)程用戶(hù)之間的ROI沖突，而且可能解決若干遠(yuǎn)程用戶(hù)之 間的ROI沖突。本地用戶(hù)可主動(dòng)地向遠(yuǎn)程用戶(hù)中的一者授予控制近端ROI的存取權(quán)，或 分派將各個(gè)遠(yuǎn)程用戶(hù)的ROI控制權(quán)區(qū)分優(yōu)先次序的相對(duì)存取等級(jí)。通常，專(zhuān)門(mén)向一個(gè)用 戶(hù)(例如，本地用戶(hù)，或遠(yuǎn)程用戶(hù)中的一者)授予控制ROI的存取權(quán)。
圖19是說(shuō)明遠(yuǎn)端視頻內(nèi)的R0I宏區(qū)塊的優(yōu)先解碼的流程圖。如圖19所示，當(dāng)從遠(yuǎn)
程發(fā)送者裝置14接收到遠(yuǎn)端視頻時(shí)(180)，本地接收者裝置12中的ROI感知視頻解碼 器48確定遠(yuǎn)程R0I是否已由本地用戶(hù)指定(182)。如果不是，那么ROI感知視頻解碼 器48正常編碼遠(yuǎn)端視頻中的所有MB(184)。然而，如果遠(yuǎn)端ROI信息由本地用戶(hù)指定， 那么ROI感知視頻解碼器48優(yōu)先解碼所接收的遠(yuǎn)端視頻中的ROIMB (186)。可通過(guò)相 對(duì)于應(yīng)用于非ROI MB的內(nèi)插等式和誤差隱蔽技術(shù)，應(yīng)用較高質(zhì)量?jī)?nèi)插等式或較健壯的 誤差隱蔽技術(shù)來(lái)優(yōu)先解碼ROI MB。優(yōu)先解碼可包含例如較高質(zhì)量解塊或去鳴振濾波器 的優(yōu)先后處理。
本文描述的技術(shù)可實(shí)施在硬件、軟件、固件或其任何組合中。如果實(shí)施在軟件中， 那么可通過(guò)計(jì)算機(jī)可讀媒體來(lái)部分實(shí)現(xiàn)所述技術(shù)，所述計(jì)算機(jī)可讀媒體包括含有指令的 程序代碼，所述程序代碼當(dāng)執(zhí)行時(shí)會(huì)進(jìn)行上文描述的方法中的一種或一種以上方法。在 此情況下，計(jì)算機(jī)可讀媒體可包括例如同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM)的隨機(jī)存取 存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、電可擦除 可編程只讀存儲(chǔ)器(EEPROM)、 FLASH存儲(chǔ)器、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)媒體等。
程序代碼可由一個(gè)或一個(gè)以上處理器執(zhí)行，所述一個(gè)或一個(gè)以上處理器例如一個(gè)或 一個(gè)以上數(shù)字信號(hào)處理器(DSP)、通用微處理器、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程 邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。在一些實(shí)施例中，本文描述的功能 性可提供在經(jīng)配置以用于編碼和解碼的專(zhuān)門(mén)軟件模塊或硬件單元內(nèi)，或并入在組合的視 頻編解碼器(CODEC)中。
已描述各種實(shí)施例。這些和其它實(shí)施例在所附權(quán)利要求書(shū)的范圍內(nèi)。
權(quán)利要求
1.一種方法，其包括從用戶(hù)處接收對(duì)由本地裝置產(chǎn)生的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述；基于所述描述產(chǎn)生指定所述ROI的信息；以及基于所述指定所述ROI的信息來(lái)編碼所述近端視頻以增強(qiáng)所述近端視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述描述是文本描述。
3. 根據(jù)權(quán)利要求l所述的方法，其中所述描述是口頭描述。
4. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包括通過(guò)語(yǔ)音識(shí)別來(lái)處理所述口頭描述，和 基于一個(gè)或一個(gè)以上經(jīng)識(shí)別的項(xiàng)來(lái)產(chǎn)生所述指定所述ROI的信息。
5. 根據(jù)權(quán)利要求l所述的方法，其中所述描述是圖形描述。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述圖形描述是作為所述用戶(hù)劃定在用戶(hù)界面屏 幕上的區(qū)域而接收的。
7. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括從本地裝置的用戶(hù)接收所述描述，和在 所述本地裝置內(nèi)處理所述描述以產(chǎn)生所述指定所述ROI的信息。
8. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括從本地裝置的用戶(hù)接收所述描述，和在 不同于所述本地裝置的中間服務(wù)器內(nèi)處理所述描述以產(chǎn)生所述指定所述ROI的信息。
9. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括從遠(yuǎn)程裝置的用戶(hù)接收所述描述，其中 所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述ROI，且其中所述指定所 述ROI的信息內(nèi)嵌在從所述遠(yuǎn)程裝置接收的經(jīng)編碼遠(yuǎn)端視頻內(nèi)。
10. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括從遠(yuǎn)程裝置的用戶(hù)接收所述描述，其中 所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述ROI，且其中通過(guò)帶外信 令從所述遠(yuǎn)程裝置接收所述指定所述ROI的信息。
11. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括產(chǎn)生指定從所述遠(yuǎn)程裝置接收的經(jīng)編碼 遠(yuǎn)端視頻內(nèi)的ROI的信息，和將所述ROI信息和所述經(jīng)編碼的近端視頻一起傳輸?shù)?所述遠(yuǎn)程裝置。
12. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括解碼從所述遠(yuǎn)程裝置接收的經(jīng)編碼遠(yuǎn)端 視頻以增強(qiáng)所述遠(yuǎn)端視頻中的ROI區(qū)域相對(duì)于所述遠(yuǎn)端視頻的非ROI區(qū)域的圖像質(zhì)量。
13. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括基于所述指定所述ROI的信息來(lái)產(chǎn)生宏 區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI內(nèi)的MB。
14. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括從本地裝置的用戶(hù)接收所述描述，其中所述描述界定關(guān)于由所述本地裝置編碼的 近端視頻的所述ROI:監(jiān)視與所述經(jīng)編碼近端視頻相關(guān)聯(lián)的運(yùn)動(dòng)信息； 基于所述運(yùn)動(dòng)信息來(lái)調(diào)節(jié)所述ROI;以及 基于所述經(jīng)調(diào)節(jié)的ROI來(lái)編碼所述近端視頻。
15. 根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括基于所述指定所述ROI的信息來(lái)產(chǎn)生 宏區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI內(nèi)的MB，且其中調(diào)節(jié)所述 ROI包含基于所述運(yùn)動(dòng)信息將MB的狀態(tài)修改為包含在所述ROI中或排除在所述 ROI夕卜。
16. —種視頻編碼裝置，其包括-關(guān)注區(qū)(ROI)引擎，其接收對(duì)由所述裝置編碼的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的 描述，并基于所述描述產(chǎn)生指定所述ROI的信息；以及視頻編碼器，其編碼所述近端視頻以增強(qiáng)所述視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
17..根據(jù)權(quán)利要求16所述的裝置，其中所述描述是文本描述。
18. 根據(jù)權(quán)利要求16所述的裝置，其中所述描述是口頭描述。
19. 根據(jù)權(quán)利要求18所述的裝置，其進(jìn)一步包括提取模塊，所述提取模塊通過(guò)語(yǔ)音識(shí) 別來(lái)處理所述口頭描述，并基于一個(gè)或一個(gè)以上經(jīng)識(shí)別的項(xiàng)來(lái)產(chǎn)生所述指定所述 ROI的信息。
20. 根據(jù)權(quán)利要求16所述的裝置，其中所述描述是圖形描述。
21. 根據(jù)權(quán)利要求20所述的裝置，其中所述圖形描述是作為所述用戶(hù)劃定在用戶(hù)界面 屏幕上的區(qū)域而接收的。
22. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎從所述裝置的用戶(hù)接收所述描述， 其中所述描述界定關(guān)于所述近端視頻的所述ROI。
23. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎將所述描述傳輸?shù)街虚g服務(wù)器以 用于產(chǎn)生所述指定所述ROI的信息。
24. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎從遠(yuǎn)程視頻通信裝置的用戶(hù)接收 所述描述，所述描述界定關(guān)于由所述視頻通信裝置編碼的近端視頻的所述ROI，且 所述指定所述ROI的信息內(nèi)嵌在從所述遠(yuǎn)程裝置接收的經(jīng)編碼遠(yuǎn)端視頻內(nèi)。
25. 根據(jù)權(quán)利要求16所述的方法，其中所述ROI引擎從遠(yuǎn)程視頻通信裝置的用戶(hù)接收 所述描述，所述描述界定關(guān)于由所述視頻通信裝置編碼的近端視頻的所述ROI，且 通過(guò)帶外信令從所述遠(yuǎn)程裝置接收所述指定所述ROI的信息。
26. 根據(jù)權(quán)利要求25所述的裝置，其中所述ROI引擎產(chǎn)生指定從所述遠(yuǎn)程裝置接收的 經(jīng)編碼遠(yuǎn)端視頻內(nèi)的ROI的信息，并將所述ROI信息和所述經(jīng)編碼近端視頻一起傳 輸?shù)剿鲞h(yuǎn)程裝置。
27. 根據(jù)權(quán)利要求16所述的裝置，其進(jìn)一步包括視頻解碼器，所述視頻解碼器解碼從 所述遠(yuǎn)程裝置接收的經(jīng)編碼遠(yuǎn)端視頻以增強(qiáng)所述遠(yuǎn)端視頻中的ROI區(qū)域相對(duì)于所述 遠(yuǎn)端視頻的非ROI區(qū)域的圖像質(zhì)量。
28. 根據(jù)權(quán)利要求16所述的裝置，其進(jìn)一步包括基于所述指定所述ROI的信息來(lái)產(chǎn)生 宏區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI內(nèi)的MB。
29. 根據(jù)權(quán)利要求16所述的裝置，其進(jìn)一步包括跟蹤模塊，所述跟蹤模塊監(jiān)視與所述 經(jīng)編碼近端視頻相關(guān)聯(lián)的運(yùn)動(dòng)信息，并基于所述運(yùn)動(dòng)信息來(lái)調(diào)節(jié)所述ROI，其中所 述編碼器基于所述經(jīng)調(diào)節(jié)的ROI來(lái)編碼所述近端視頻。
30. 根據(jù)權(quán)利要求29所述的裝置，其進(jìn)一步包括映射器模塊，所述映射器模塊基于所 述指定所述ROI的信息來(lái)產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI 內(nèi)的MB，其中所述跟蹤模塊通過(guò)基于所述運(yùn)動(dòng)信息將MB的狀態(tài)修改為包含在所 述ROI中或排除在所述ROI外來(lái)調(diào)節(jié)所述ROI。
31. —種計(jì)算機(jī)可讀媒體，其包括指令以促使處理器從用戶(hù)處接收對(duì)由本地裝置產(chǎn)生的 近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，基于所述描述產(chǎn)生指定所述ROI的信息，并 基于所述指定所述ROI的信息來(lái)編碼所述近端視頻以增強(qiáng)所述近端視頻的ROI相對(duì) 于非ROI區(qū)域的圖像質(zhì)量。
32. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述描述是文本描述。
33. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述描述是口頭描述。
34. 根據(jù)權(quán)利要求33所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器通過(guò)語(yǔ)音 識(shí)別來(lái)處理所述口頭描述，并基于一個(gè)或一個(gè)以上經(jīng)識(shí)別的項(xiàng)來(lái)產(chǎn)生所述指定所述 ROI的信息。
35. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述描述是圖形描述。
36. 根據(jù)權(quán)利要求35所述的計(jì)算機(jī)可讀媒體，其中所述圖形描述是作為所述用戶(hù)劃定 在用戶(hù)界面屏幕上的區(qū)域而接收的。
37. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器從本地裝 置的用戶(hù)接收所述描述。
38. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器在所述本 地裝置內(nèi)產(chǎn)生所述指定所述ROI的信息。
39. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器從遠(yuǎn)程裝 置的用戶(hù)接收所述描述，其中所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的 所述ROI。
40. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述描述內(nèi)嵌在從所述遠(yuǎn)程裝置接 收的遠(yuǎn)端視頻內(nèi)。
41. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中通過(guò)帶外信令從所述遠(yuǎn)程裝置接收 所述描述。
42. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器產(chǎn)生指定 從所述遠(yuǎn)程裝置接收的經(jīng)編碼遠(yuǎn)端視頻內(nèi)的ROI的信息，并將所述ROI信息和所述 經(jīng)編碼的近端視頻一起傳輸?shù)剿鲞h(yuǎn)程裝置。
43. 根據(jù)權(quán)利要求42所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器解碼從所 述遠(yuǎn)程裝置接收的所述經(jīng)編碼遠(yuǎn)端視頻以增強(qiáng)所述遠(yuǎn)端視頻中的ROI區(qū)域相對(duì)于所 述遠(yuǎn)端視頻的非ROI區(qū)域的圖像質(zhì)量。
44. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器基于所述 指定所述ROI的信息來(lái)產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI 內(nèi)的MB。
45. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器從本地裝 置的用戶(hù)接收所述描述，所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述 ROI，且所述指令促使所述處理器監(jiān)視與所述經(jīng)編碼近端視頻相關(guān)聯(lián)的運(yùn)動(dòng)信息， 基于所述運(yùn)動(dòng)信息來(lái)調(diào)節(jié)所述ROI，并基于所述經(jīng)調(diào)節(jié)的ROI來(lái)編碼所述近端視頻。
46. 根據(jù)權(quán)利要求45所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器基于所述 指定所述ROI的信息來(lái)產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識(shí)別處于所述ROI 內(nèi)的MB，且所述指令促使所述處理器通過(guò)基于所述運(yùn)動(dòng)信息將MB的狀態(tài)修改為 包含在所述ROI中或排除在所述ROI外來(lái)調(diào)節(jié)所述ROI。
47.—種視頻編碼系統(tǒng)，其包括第一視頻通信裝置，其編碼近端視頻；第二視頻通信裝置，其從所述第一視頻通信裝置接收所述近端視頻，其中所述第 二視頻通信裝置產(chǎn)生對(duì)由所述第一視頻通信裝置產(chǎn)生的所述近端視頻內(nèi)的關(guān)注區(qū) (ROI)的用戶(hù)描述；中間服務(wù)器，其結(jié)構(gòu)上不同于所述第一和第二視頻通信裝置，且其基于所述描述 產(chǎn)生指定所述ROI的信息，其中所述第一視頻通信裝置基于所述指定所述ROI的信息來(lái)編碼所述近端視頻以 增強(qiáng)所述近端視頻的ROI相對(duì)于非ROI區(qū)域的圖像質(zhì)量。
全文摘要
本揭示案針對(duì)用于視頻電話(huà)(VT)應(yīng)用的關(guān)注區(qū)(ROI)處理技術(shù)。根據(jù)所述揭示的技術(shù)，接收者裝置界定由發(fā)送者裝置傳輸?shù)囊曨l信息(即遠(yuǎn)端視頻信息)的ROI信息。所述接收者裝置將所述ROI信息傳輸?shù)剿霭l(fā)送者裝置。所述發(fā)送者裝置使用由所述接收者裝置傳輸?shù)乃鯮OI信息對(duì)視頻場(chǎng)景內(nèi)的ROI應(yīng)用優(yōu)先編碼。可應(yīng)用ROI提取來(lái)處理對(duì)關(guān)注區(qū)(ROI)的用戶(hù)描述以基于所述描述產(chǎn)生指定所述ROI的信息。所述用戶(hù)描述可基于文本、圖形或語(yǔ)音。提取模塊應(yīng)用適當(dāng)處理以從所述用戶(hù)描述中產(chǎn)生所述ROI信息。所述提取模塊可駐存在視頻通信裝置本地，或駐存在經(jīng)配置以進(jìn)行ROI提取的不同的中間服務(wù)器中。
文檔編號(hào)H04N7/26GK101171841SQ200680014872
公開(kāi)日2008年4月30日 申請(qǐng)日期2006年3月8日 優(yōu)先權(quán)日2005年3月9日
發(fā)明者哈立德·希勒米·厄勒-馬列, 李彥輯, 蔡明章 申請(qǐng)人:高通股份有限公司