專利名稱：無線設(shè)備中的多節(jié)目觀看的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字多媒體內(nèi)容的呈現(xiàn)，且更特定來說涉及用于無線設(shè)備中多節(jié)目觀 看的技術(shù)。
背景技術(shù)：
已開發(fā)用于廣播數(shù)字多媒體的多種技術(shù)以通過移動無線設(shè)備進(jìn)行接收。所述技術(shù) 包含稱為唯向前鏈路(FLO)、數(shù)字多媒體廣播(DMB)及手持式數(shù)字視頻廣播(DVB-H) 的技術(shù)。數(shù)字多媒體廣播通常依賴于一個或一個以上數(shù)字視頻編碼標(biāo)準(zhǔn)，例如運(yùn)動圖 像專家組(MPEG) -1、 MPEG-2、 MPEG-4、國際電信聯(lián)盟(ITU) H.263及ITU H.264。 ITU H.264標(biāo)準(zhǔn)對應(yīng)于MPEG-4第IO部分，其名稱為"先進(jìn)視頻編碼"。這些編碼標(biāo) 準(zhǔn)一般通過以壓縮方式來對數(shù)據(jù)進(jìn)行編碼而支持多媒體序列的傳輸效率。也可使用額 外技術(shù)，例如幀內(nèi)插及/或分層式編碼。
數(shù)字多媒體廣播將內(nèi)容作為一系列信道來傳遞，從而提供類似于常規(guī)電視的多媒
體內(nèi)容選擇體驗(yàn)的多媒體內(nèi)容選擇體驗(yàn)。每一廣播信道攜載數(shù)字?jǐn)?shù)據(jù)，包括經(jīng)編碼音 頻/視頻流、音頻/視頻剪輯或其它信息內(nèi)容。數(shù)字廣播信道是以多播為基礎(chǔ)而同時傳遞 到多個移動無線設(shè)備。每一無線設(shè)備接收數(shù)字廣播，并可調(diào)諧到特定信道以呈現(xiàn)給用 戶。為切換信道，相應(yīng)無線設(shè)備獲得來自不同信道的數(shù)字?jǐn)?shù)據(jù)并解碼所述數(shù)據(jù)以向用 戶呈現(xiàn)不同的內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明說明用于處理多媒體數(shù)據(jù)的多種技術(shù)，其可改善多節(jié)目觀看，尤其在無線 移動設(shè)備環(huán)境中。所述技術(shù)提供與多播的兩個或兩個以上信道相關(guān)聯(lián)的幀在無線移動 設(shè)備上的同時呈現(xiàn)，有時稱為"畫中畫"觀看。為在移動環(huán)境或計(jì)算資源受到限制的 其它環(huán)境中支持所述多節(jié)目觀看，所述技術(shù)可使用相對低的幀速率來呈現(xiàn)至少某些所 述信道。舉例來說，可使用相對低分辨率信道切換幀(CSF)來呈現(xiàn)低分辨率、低幀速率內(nèi)容。此可允許用戶迅速地在感興趣的信道之間進(jìn)行選擇，并且隨后以較高分辨 率及較高幀速率來接收所選擇的信道。
在一個方面中，本發(fā)明提供一種處理多媒體數(shù)據(jù)的方法，所述方法包括接收多 個信道的所述多媒體數(shù)據(jù)；接收與所述多個信道相關(guān)聯(lián)的CSF;解碼所述CSF;及向 用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的CFS。
在另一方面中，本發(fā)明提供一種處理多媒體數(shù)據(jù)的設(shè)備，其包括接收器，其接 收多個信道的所述多媒體數(shù)據(jù)并接收與所述多個信道相關(guān)聯(lián)的CSF; —個或一個以上 解碼器，其解碼至少某些所述CSF;及顯示器，其中所述顯示器向用戶同時呈現(xiàn)與所
述多個信道中的兩者或兩者以上相關(guān)聯(lián)的CSF。
在另一方面中，本發(fā)明提供一種設(shè)備，其包括接收裝置，其用于接收多個信道 的所述多媒體數(shù)據(jù)；接收裝置，其用于接收與所述多個信道相關(guān)聯(lián)的CSF;解碼裝置， 其用于解碼所述CSF;及呈現(xiàn)裝置，其用于向用戶同時呈現(xiàn)與所述多個信道中的兩者
或兩者以上相關(guān)聯(lián)的CSF。
可將本文所說明的技術(shù)實(shí)施于硬件、軟件、固件或其任一組合中。如果實(shí)施于軟
件中，那么可在計(jì)算機(jī)(例如，數(shù)字信號處理器(DSP)或其它類型的處理器)中執(zhí)
行所述軟件?？勺畛鯇?zhí)行所述技術(shù)的軟件存儲在計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀媒體 中，且載入到所述處理器或另一計(jì)算機(jī)中并加以執(zhí)行以允許如本文所說明的多信道觀 看。
因此，本發(fā)明也涵蓋一種包括計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可
讀媒體包括在執(zhí)行時致使計(jì)算機(jī)進(jìn)行以下操作的指令接收多個信道的多媒體數(shù)據(jù)； 接收與所述多個信道相關(guān)聯(lián)的CSF;解碼所述CSF;向用戶同時呈現(xiàn)與所述多個信道
中的兩者或兩者以上相關(guān)聯(lián)的CSF。
本發(fā)明還涉及一種處理器，其經(jīng)配置用以接收多個信道的多媒體數(shù)據(jù)；接收與 所述多個信道相關(guān)聯(lián)的CSF;解碼所述CSF;及致使顯示器向用戶同時呈現(xiàn)與所述多
個信道中的兩者或兩者以上相關(guān)聯(lián)的CSF。
在附圖及以下說明中論述一個或一個以上實(shí)例的細(xì)節(jié)。將從所述說明書與圖式及 權(quán)利要求書明了其它特征、目的及優(yōu)點(diǎn)。


圖l是圖解說明多媒體廣播系統(tǒng)的方塊圖，所述系統(tǒng)是可實(shí)施本發(fā)明中所說明的 一個或一個以上技術(shù)的系統(tǒng)的一個實(shí)例。
圖2-5是實(shí)施本發(fā)明的技術(shù)的無線移動設(shè)備的屏幕的正視圖。
圖6及7是圖解說明根據(jù)本發(fā)明的可促進(jìn)多信道觀看的技術(shù)的流程圖。
圖8是圖解說明可實(shí)施本文所說明的一個或一個以上技術(shù)的系統(tǒng)的另一方塊圖。
具體實(shí)施例方式
本發(fā)明涉及可改善多節(jié)目觀看的技術(shù)，尤其在無線移動設(shè)備環(huán)境中。所述技術(shù)提 供與多播的的兩個或兩個以上信道相關(guān)聯(lián)的幀在無線移動設(shè)備上的同時呈現(xiàn)。為在移 動環(huán)境或計(jì)算資源受到限制的其它環(huán)境中支持所述多節(jié)目觀看，所述技術(shù)可使用相對 低的幀速率來呈現(xiàn)至少某些所述信道。舉例來說，可使用相對低分辨率信道切換幀
(CSF)來呈現(xiàn)低分辨率、低幀速率內(nèi)容。此可允許用戶迅速地觀看感興趣的信道， 選擇所述信道中的一者，且隨后以較高分辨率及較高幀速率來接收所選擇的信道。
而且，所述技術(shù)可支持以不同幀速率同時呈現(xiàn)與兩個不同信道相關(guān)聯(lián)的視頻幀。 特定來說，可以高分辨率及高幀速率來呈現(xiàn)第一信道，并以較低分辨率及較低幀速率 來呈現(xiàn)第二信道。在此情況下，可基于用于呈現(xiàn)所述信道的低分辨率、低幀速率內(nèi)容 的CSF來呈現(xiàn)所述第二信道。此允許在無線移動設(shè)備中以合理計(jì)算層級進(jìn)行畫中畫 (PIP)觀看?？梢暂^低的幀速率將所述CSF編碼并傳輸，而可以較高的幀速率將每 一相應(yīng)信道編碼并傳輸。
與高分辨率、低幀速率的內(nèi)容相比，可在設(shè)備的顯示器上于較小窗口內(nèi)呈現(xiàn)低分 辨率、低幀速率內(nèi)容。與設(shè)備相關(guān)聯(lián)的用戶接口可允許用戶識別是否將信道變?yōu)榈蛶?速率內(nèi)容以以較高幀速率接收所述內(nèi)容。用戶能夠根據(jù)用戶的愛好來配置PIP觀看， 并能夠在低幀速率內(nèi)容當(dāng)中進(jìn)行選擇以以較高幀速率呈現(xiàn)，或能夠在低幀速率內(nèi)容與 高幀速率內(nèi)容之間進(jìn)行轉(zhuǎn)換。
圖1是圖解說明一種可實(shí)施本發(fā)明的技術(shù)的范例性系統(tǒng)2的方塊圖。系統(tǒng)2僅為 范例，因?yàn)榭稍谛枰瑫r呈現(xiàn)兩個或兩個以上多媒體序列的任何環(huán)境中實(shí)施本發(fā)明的 技術(shù)。在系統(tǒng)2中，數(shù)字多媒體編碼設(shè)備4將內(nèi)容作為一系列信道的傳遞到許多設(shè)備。 然而，出于圖解說明的目的，單個多媒體解碼設(shè)備6圖解說明于圖1中。在大多數(shù)情 況下，數(shù)個類似的設(shè)備(如設(shè)備6)將接收來自設(shè)備4的相同廣播，但可個別地調(diào)諧 到不同信道。系統(tǒng)2允許以提供類似于常規(guī)電視的用戶體驗(yàn)的用戶體驗(yàn)方式向設(shè)備4 傳遞多媒體內(nèi)容。
多媒體編碼設(shè)備4可形成用于向無線訂戶設(shè)備廣播視頻的一個或一個以上信道的 廣播網(wǎng)絡(luò)組件的部分。多媒體編碼設(shè)備4是能夠廣播多播的多播設(shè)備的一個實(shí)例。在 其它實(shí)例中，多播設(shè)備實(shí)際上不需要執(zhí)行編碼，但可簡單地通過廣播多播中的多媒體 數(shù)據(jù)的廣播組件或設(shè)備實(shí)現(xiàn)。在所述情況下，可從來自各種內(nèi)容提供者的一個或一個 以上直播或預(yù)記錄的多媒體反饋獲得多媒體內(nèi)容。
以實(shí)例的方式，可將多媒體解碼設(shè)備6實(shí)施為數(shù)字電視、無線通信設(shè)備、便攜式 數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或桌上型計(jì)算機(jī)、數(shù)字音樂及視頻設(shè)備(例如以商 標(biāo)"iPod"銷售的設(shè)備)、視頻游戲設(shè)備或無線電電話(例如蜂窩式、衛(wèi)星或以陸地 為基礎(chǔ)的無線電電話)的部分。在以下大多數(shù)實(shí)例中，假設(shè)解碼設(shè)備是無線無線電電 話，然而本發(fā)明未受限于此點(diǎn)?？蓪⒍嗝襟w編碼設(shè)備4及多媒體解碼設(shè)備6實(shí)施為一個或一個以上處理器、數(shù)字 信號處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟 件、硬件、固件或其組合?？蓪⑺鶊D解說明的設(shè)備4及設(shè)備6的組件包含在一個或一 個以上編碼器或解碼器中，可將兩者中的任一者整合為編碼器/解碼器(CODEC)的 部分。在一些情況下，可在不同于其它組件的組件或芯片上形成傳輸器23及接收器 27。傳輸器23及接收器27可包含適當(dāng)?shù)腞F組件，例如調(diào)制解調(diào)器、濾波器、頻率 變換單元、放大器及/或其它組件。
如上所述，多媒體編碼設(shè)備4可形成用于廣播視頻數(shù)據(jù)的一個或一個以上信道的 廣播網(wǎng)絡(luò)組件的部分。所述組件的實(shí)例包含無線基站或用于廣播經(jīng)編碼多媒體數(shù)據(jù)的 任一基礎(chǔ)結(jié)構(gòu)節(jié)點(diǎn)。如圖1所示，多媒體編碼設(shè)備4包含多個編碼模塊12A-12N (統(tǒng) 稱為"模塊12")。這些編碼模塊12中的每一者可包括分離的編碼器或編碼處理程 序。編碼模塊12中的每一者將用于不同信道的多媒體內(nèi)容編碼。不同的信道可包括不 同節(jié)目，例如新聞廣播、體育事件、電視節(jié)目、電影或類似節(jié)目。此外，不同信道可 在不同畫面中呈現(xiàn)類似內(nèi)容，例如來自不同攝影機(jī)角度的相同體育事件。
一旦經(jīng)編碼，那么來自編碼模塊12的內(nèi)容被提供到多路復(fù)用器模塊14，多路復(fù) 用器模塊14將所述內(nèi)容組合成多播。如果需要，多路復(fù)用器模塊14可與編碼模塊12 通信以調(diào)整編碼模塊12中的不同者所應(yīng)用的編碼速率，(例如)以滿足通信信道19 的帶寬要求。傳輸器16將包含許多不同信道的經(jīng)編碼多媒體內(nèi)容的多播傳輸?shù)蕉嗝襟w 解碼設(shè)備。再次說明，出于圖解說明的目的，圖1顯示單個多媒體解碼設(shè)備6。然而， 實(shí)際上，許多類似多媒體解碼設(shè)備(如設(shè)備6)可接收來自多媒體編碼設(shè)備4的相同 多播。
通信信道19通常是無線信道，但并不受任何特定無線通信技術(shù)的限制。以實(shí)例 的方式，可通過碼分多址(CDMA)技術(shù)、頻分多址(FDMA)技術(shù)、時分多址(TDMA) 技術(shù)、其它技術(shù)或所述技術(shù)的各種組合在信道19上傳送多播數(shù)據(jù)。對于廣播來說，還 可使用許多其它技術(shù)，例如振幅調(diào)制(AM)、頻率調(diào)制(FM)、本文列舉的技術(shù)的 組合或其它類型的調(diào)制或編碼。
多媒體解碼設(shè)備6的接收器17在無線信道19上接收多播。然后，解碼器18可 (例如)響應(yīng)于用戶選擇而調(diào)諧到感興趣的特定信道，并可解碼所述信道的內(nèi)容。顯 示器5用于顯示所述經(jīng)解碼的內(nèi)容。根據(jù)本發(fā)明，解碼器18包含畫中畫(PIP)模塊 10。 PIP模塊10是解碼器18 (或分離的解碼器)的部分，其促進(jìn)與多播的兩個或兩個 以上信道相關(guān)聯(lián)的幀在顯示器5上的同時呈現(xiàn)。舉例來說，PIP模塊10可解碼相對低 分辨率信道切換幀(CSF)，且顯示器5可將所述CSF呈現(xiàn)為低分辨率、低幀速率內(nèi) 容。可通過單個解碼器8或多個解碼器來執(zhí)行本發(fā)明的技術(shù)。舉例來說，可將PIP模 塊10實(shí)施為第二解碼器。
CSF是指出于信道切換的目的所包含的多播的幀。當(dāng)用戶切換多播中的信道時， 由于與以預(yù)測為基礎(chǔ)的視頻編碼相關(guān)聯(lián)的幀間相依性而出現(xiàn)問題。為減少或消除這些問題，可針對信道而周期性地包含CSF。 CSF可包括信道切換事件中的多播的每一信 道的非預(yù)測幀。CSF可具有比規(guī)則幀低的分辨率，但一般減小或消除否則由于其為非 預(yù)測性的事實(shí)而將在信道改變之后顯現(xiàn)的問題。通過非預(yù)測，本發(fā)明意指CSF并不取 決于先前或后續(xù)幀，且可不依賴于其它幀的視頻塊的運(yùn)動向量來解碼?？芍芷谛缘貍?遞CSF以確保信道切換不會在信道切換之后的解碼中產(chǎn)生以預(yù)測為基礎(chǔ)的問題的延伸 周期。
在一些實(shí)例中，可將CSF囊封在一個或一個以上補(bǔ)充增強(qiáng)信息(SEI)網(wǎng)絡(luò)抽取 層(NAL)單元中，且可稱為SEICSF?？蓪⑺鯟SF囊封在獨(dú)立的輸送協(xié)議包中以 實(shí)現(xiàn)到經(jīng)編碼的位流中的隨機(jī)存取點(diǎn)的可見度。對于CSF解碼來說，如果起始信道改 變請求，那么將對被請求信道中的CSF進(jìn)行解碼?？蓪SF包含在SEICSF消息中。
以實(shí)例的方式，可以約每秒30個幀來傳遞每一信道的幀，且可以約每秒l個幀 來傳遞CSF。然而，這些速率僅為范例，因?yàn)榭梢愿鞣N其它幀速率來實(shí)施本文所說明 的技術(shù)?？蓪SF包含在每一特定信道中，或可包含在媒體邏輯信道(MLC)上。在 一些情況下，MLC可包含指向其它信道中的CSF的指針，或指向MLC中的CSF的 指針。在這些情況下，PIP模塊IO可使用指針來迅速且有效率地定位CSF以將其解碼 并呈現(xiàn)給用戶。在其它情況下，可在沒有指針的情況下定位CSF，此可能是效率較低 的做法。在任何情況下，以相對低的幀速率呈現(xiàn)CSF可允許用戶迅速地在感興趣的信 道之間進(jìn)行選擇，且隨后以較高分辨率及較高幀速率調(diào)諧到所選擇的信道。
本文所說明的任何用戶選擇可通過用戶接口進(jìn)行，所述接口可包含(舉例來說) 字母數(shù)字袖珍鍵盤、觸摸屏幕、滾動輪、定向墊、操縱桿、觸摸板、語音辨識或類似 物。為簡明起見，圖1并未圖解說明設(shè)備6的這些可選輸入組件。用戶接口可耦合到 驅(qū)動顯示器5的解碼器18,或耦合到可用于響應(yīng)于來自所述用戶接口的用戶輸入而驅(qū) 動顯示器5的處理器(未顯示)，在此情況下，所述處理器將耦合到顯示器5及所述 用戶接口兩者。
PIP模塊1.0促進(jìn)與兩個不同信道相關(guān)聯(lián)的幀以不同幀速率在顯示器3上的同時 呈現(xiàn)。解碼器18可以高分辨率及高幀速率解碼第一信道，其呈現(xiàn)在顯示器5上。同時， 解碼器18的PIP模塊10可以較低分辨率及較低幀速率解碼第二信道，其也呈現(xiàn)在顯 示器5上。如上所述，所述第二信道的呈現(xiàn)可基于CSF，或可基于其它技術(shù)，例如信 道的幀的子取樣。如果使用子取樣，那么解碼器18可解碼與所述第一信道相關(guān)聯(lián)的實(shí) 質(zhì)上所有接收的且經(jīng)編碼的幀，且PIP模塊10可解碼與所述第二信道相關(guān)聯(lián)的接收的 且經(jīng)編碼的幀的子集。在任何情況下，PIP模塊10可允許在多媒體解碼設(shè)備6中以合 理計(jì)算層級在顯示器5上進(jìn)行畫中畫觀看。
可在顯示器5上在小于高分辨率、低幀速率內(nèi)容的窗口中呈現(xiàn)由PIP模塊10解 碼的低分辨率、低幀速率內(nèi)容，從而允許用戶識別是否將信道變?yōu)榈蛶俾蕛?nèi)容以以 較高幀速率接收所述內(nèi)容。用戶能夠根據(jù)用戶的愛好來配置顯示器5上的畫中畫觀看， 且能夠在低幀速率內(nèi)容當(dāng)中進(jìn)行選擇以以較高幀速率呈現(xiàn)，或能夠在低幀速率內(nèi)容與高幀速率內(nèi)容之間進(jìn)行轉(zhuǎn)換。在設(shè)備6的一些情況或模式中，PIP模塊10可解碼數(shù)個 CSF以向用戶呈現(xiàn)數(shù)個低分辨率信道而不呈現(xiàn)任何高分辨率信道。舉例來說，此模式 可包括顯示器5上的菜單模式，其中用戶能夠看見許多個信道并在所述信道當(dāng)中進(jìn)行
選擇。再次說明，可經(jīng)由來自字母數(shù)字袖珍鍵盤、觸摸屏幕、觸摸板、語音辨識或用
于設(shè)備6的任何輸入機(jī)構(gòu)的選擇來進(jìn)行本文所說明的用戶選擇或顯示器配置。
圖2-5是實(shí)施本發(fā)明的畫中畫技術(shù)的移動設(shè)備的屏幕的正視圖。如圖2所示，設(shè) 備20包含顯示器22，其同時呈現(xiàn)第一多媒體幀26 (標(biāo)識為"視頻l")及第二多媒 體幀28 (標(biāo)識為"視頻2")。特定來說，可以比與第二多媒體幀28的呈現(xiàn)相關(guān)聯(lián)的 第二第一幀速率高的第一幀速率來呈現(xiàn)第一多媒體幀26。第二多媒體幀28的呈現(xiàn)可 基于CSF，但本發(fā)明未必受限于此點(diǎn)。
用戶能夠選擇將哪一信道呈現(xiàn)為第一多媒體幀26及第二多媒體幀28，且可轉(zhuǎn)換 視圖。當(dāng)轉(zhuǎn)換發(fā)生時，第二多媒體幀28呈現(xiàn)在較大窗口及第一多媒體幀26中。換句 話說，轉(zhuǎn)換致使第一幀26相對于第二幀28的相對位置被切換。較小窗口的幀速率可 保持小于較大窗口的幀速率。因此，在轉(zhuǎn)換之后，第一幀的呈現(xiàn)在較小窗口中以較慢 幀速率發(fā)生，而第二幀的呈現(xiàn)在較大窗口中以較高幀速率發(fā)生。如圖2所圖解說明， 在此實(shí)例中，所述較小窗口覆蓋所述較大窗口的左下角。
圖3是實(shí)施本發(fā)明的畫中畫技術(shù)的移動設(shè)備30的屏幕32的另一范例性正視圖。 在此實(shí)例中，將顯示屏幕32分成四個不同視圖(視頻l-4)，其各呈現(xiàn)與不同信道相 關(guān)聯(lián)的多媒體幀。在此情況下，每一視圖可基于所述不同信道的CSF呈現(xiàn)低分辨率、 低幀速率序列。另一選擇為，可以正常高分辨率及高幀速率來呈現(xiàn)一個視圖(如視頻 1),而以低分辨率及低幀速率來呈現(xiàn)其它視圖(如視頻2-4)。
圖4是實(shí)施本發(fā)明的畫中畫技術(shù)的移動設(shè)備40的屏幕42的另一范例性正視圖。 在此實(shí)例中，將顯示屏幕42分成許多個視圖(視頻1-25)，其各呈現(xiàn)與不同信道相 關(guān)聯(lián)的多媒體幀。在此情況下，每一視圖可基于所述不同信道的CSF呈現(xiàn)低分辨率、 低幀速率序列。屏幕42的此視圖可對應(yīng)于菜單選項(xiàng)，其中用戶能夠看見來自所有可行 信道的內(nèi)容，并選擇感興趣的信道。在選擇之后，可以高幀速率及高分辨率來呈現(xiàn)所 選擇的信道。
圖5是實(shí)施本發(fā)明的畫中畫技術(shù)的移動設(shè)備50的屏幕52的另一范例性正視圖。 在此實(shí)例中，將顯示屏幕42分成一個大視圖(視頻l)及許多個小視圖(視頻2-17)。 將所述較小視圖(視頻2-17)放置在所述大視圖的周邊周圍。所述較小視圖(視頻2-17) 包括可進(jìn)行選擇的不同信道的幀的低幀速率、低分辨率呈現(xiàn)。所述較大視圖(視頻l) 包括所選擇信道的幀的高幀速率、高分辨率呈現(xiàn)。以此方式，用戶能夠看見許多低分 辨率、低幀速率視圖，并可使用這些視圖來確定是否改變信道。同時，用戶可看見所 選擇信道的高分辨率、高幀速率視圖(視頻l)。
根據(jù)本發(fā)明，用戶能夠配置不同的視圖，例如圖2-5的實(shí)例中所示的視圖。然而， 用戶還可預(yù)界定或配置許多其它畫中畫布置。用戶可輸入配置數(shù)據(jù)以配置畫中畫觀看并界定哪一視圖具有低幀速率及哪一視圖具有高幀速率。另一選擇為，用戶可簡單地 從設(shè)備6上的菜單選項(xiàng)選擇需要的畫中畫視圖屏幕。
圖6是圖解說明與本發(fā)明的教示一致的技術(shù)的流程圖。將參照圖1的系統(tǒng)2來說 明圖6，然而其它系統(tǒng)也可支持所述技術(shù)。如圖6所示，多媒體解碼設(shè)備6的接收器 17接收多個信道的多媒體數(shù)據(jù)(61)。多媒體編碼設(shè)備4是將多播發(fā)送到許多設(shè)備(如 設(shè)備6)的多媒體廣播設(shè)備的一個實(shí)例。 一旦設(shè)備6己接收多個信道的多媒體數(shù)據(jù)， 那么解碼器18解碼與兩個或兩個以上信道相關(guān)聯(lián)的幀(62)。舉例來說，解碼器18 可獲得并解碼一個信道的幀，而PIP模塊10獲得并解碼另一信道的CSF。
然后，多媒體解碼設(shè)備6的顯示器5以第一幀速率呈現(xiàn)第一信道的第一幀(63)， 同時以第二幀速率呈現(xiàn)第二信道的幀(64)。作為實(shí)例，所述第一幀速率可大于約每 秒15個幀，而所述第二幀速率可小于約每秒15個幀。在一個具體實(shí)例中，所述第一 幀速率可以是約每秒30個幀且所述第二幀速率可以是約每秒1個幀。這些速率可歸因 于多播信道的約每秒30個幀的編碼，其中CSF編碼為每秒約1個幀。
設(shè)備6的用戶能夠在設(shè)備6的共用顯示器5內(nèi)界定第一幀相對于第二幀的相對位 置以用于畫中畫觀看。特定來說，可基于用戶輸入來界定這些相對位置(例如，圖2-5 的實(shí)例中所示的相對位置)。再次參照圖2，舉例來說，用戶能夠界定與第一多媒體 幀26及第二多媒體幀28相關(guān)聯(lián)的窗口的大小、形狀及位置，以根據(jù)用戶的愛好來界 定畫中畫。另一選擇為，用戶可簡單地從設(shè)備6的菜單選擇需要的畫中畫視圖屏幕。 另外，用戶能夠交換視圖，即交換第一多媒體幀26相對于第二多媒體幀28的相對位 置。當(dāng)此情況發(fā)生時，可以第二幀速率來呈現(xiàn)第一幀26，而以第一幀速率來呈現(xiàn)第二 幀28，且可交換與這些不同幀相關(guān)聯(lián)的窗口。
本發(fā)明的技術(shù)還支持用于多個畫中畫的額外信道的額外幀的呈現(xiàn)。舉例來說，可 在呈現(xiàn)第一幀的同時，以第二幀速率來呈現(xiàn)第三信道的第三幀。再者，CSF可提供相 對較簡單的機(jī)制來支持所述畫中畫或多個畫中畫觀看。對于高分辨率、高幀速率窗口 來說，解碼器18可解碼與第一信道相關(guān)聯(lián)的實(shí)質(zhì)上所有接收的幀。對于一個或一個以 上低分辨率、低幀速率窗口來說，PIP模塊10可解碼所述信道的CSF。
PIP模塊10可通過從媒體邏輯信道(MLC)存取指向CSF的指針來解碼所述CSF。 所述CSF本身可存儲在MLC中，或可存儲在每一相應(yīng)信道中。在任一情況下，PIP 模塊10可基于所述指針來獲得CSF。因此，所述指針可識別MLC內(nèi)的CSF，或可指 向與每組媒體內(nèi)容相關(guān)聯(lián)的相應(yīng)信道內(nèi)的CSF的位置。不同的內(nèi)容可包括不同節(jié)目， 例如新聞廣播、體育事件、電視節(jié)目、電影等。此外，不同信道可呈現(xiàn)共用廣播的不 同視圖，例如來自不同攝影機(jī)角度的同一體育事件。CSF包括非預(yù)測幀。另外，以較 低幀速率呈現(xiàn)的CSF還可具有低于正常幀的空間分辨率，但本發(fā)明未必受限于此點(diǎn)。 換句話說，以不同幀速率呈現(xiàn)的第一及第二幀(63及64)還可具有不同的分辨率，使 得較低幀速率呈現(xiàn)還具有相應(yīng)幀的分辨率方面的較低質(zhì)量。舉例來說，可以比規(guī)則幀 高的量化參數(shù)來將CSF編碼。圖7是圖解說明可促進(jìn)根據(jù)本發(fā)明的多個信道觀看的另一技術(shù)的另一流程圖。如 圖1所示，多媒體解碼設(shè)備6的接收器17接收多個信道的多媒體數(shù)據(jù)(71)。另外， 接收器17接收所述信道的CSF (72)。解碼器18解碼CSF中的兩者或兩者以上(73)， 且顯示器5以"慢"幀速率同時呈現(xiàn)所述CSF中的兩者或兩者以上。可通過每秒接收 的CSF數(shù)量(其可以是每秒1幀)來界定所述"慢"幀速率，或可以較高或較低速率 來界定所述"慢"幀速率。圖3及4圖解說明兩種范例性視圖，其中可以這些"慢" 幀速率同時呈現(xiàn)多個信道。此可允許用戶選擇感興趣的信道，而不引發(fā)與一個或一個 以上信道的完全解碼相關(guān)聯(lián)更大量的計(jì)算成本。
基于以"慢"幀速率來呈現(xiàn)CSF中的兩者或兩者以上，用戶可選擇所述信道中的 一者以隨后以"快"幀速率進(jìn)行觀看。此"快"幀速率可以是約每秒30個幀，但本發(fā) 明并不受限于此點(diǎn)。更一般來說，在此上下文下，措詞"慢幀速率"及"快幀速率" 是相對術(shù)語且未必暗示任何特定速率，只要所述慢幀速率比所述快幀速率慢。當(dāng)設(shè)備 6接收選擇所述信道中的一者的用戶輸入(75)時，那么顯示器5以快幀速率來呈現(xiàn) 所選擇的信道(76)。以此方式，可以慢幀速率呈現(xiàn)兩個或兩個以上信道，以促進(jìn)用 戶通知的信道選擇，而不引發(fā)與以較高幀速率解碼信道相關(guān)聯(lián)的計(jì)算復(fù)雜性。然后， 在信道選擇之后，可僅將所選擇的信道完全解碼并以快幀速率加以呈現(xiàn)。如上所述， 還可以相對于以快幀速率呈現(xiàn)的幀的低分辨率格式呈現(xiàn)以慢幀速率呈現(xiàn)的幀?？山?jīng)由 字母數(shù)字袖珍鍵盤、觸摸屏幕、滾動輪、定向墊、操縱桿、觸摸板、語音辨識或任何 輸入裝置來接收用戶選擇。
可將CSF包含在多個信道中的每一者中。為促進(jìn)CSF的快速獲得，可在MLC中 界定指針以定位其它信道內(nèi)的CSF。另一選擇為，MLC本身可包含其它信道的CSF。 在其它情況下，可將CSF包含在不同信道中，并可在不需要任何指針幫助的情況下獲 得所述CSF，然而此方法可能效率較低。
圖8是圖解說明可實(shí)施本文說明的技術(shù)中的一個或一個以上的系統(tǒng)102的另一方 塊圖。如圖8所示，多媒體編碼設(shè)備104包含多個用于編碼的模塊112A-112N (統(tǒng)稱 為"用于編碼的模塊112")。這些用于編碼的模塊112中的每一者可包括分離的編 碼器或編碼處理程序。模塊112中的每一者將不同信道的多媒體內(nèi)容編碼。 一旦經(jīng)編 碼，那么將來自用于編碼的模塊132的內(nèi)容提供到用于多路復(fù)用的模塊1，其將所述 內(nèi)容組合成多播。
然后，用于傳輸?shù)哪K116在通信信道119上傳輸所述多播，所述通信信道119 通常是無線信道，但不受任何特定無線通信技術(shù)的限制。用于多媒體解碼的多種設(shè)備 可接收所述多播，但設(shè)備106是所圖解說明的唯一接收設(shè)備。用于接收的模塊117在 無線信道119上接收所述多播。然后，用于解碼的模塊118可(舉例來說)響應(yīng)于用 戶選擇而調(diào)諧到感興趣的特定信道，且可解碼所述信道的內(nèi)容。使用用于呈現(xiàn)的模塊 105來呈現(xiàn)所述經(jīng)解碼的內(nèi)容。如本文所說明，用于解碼的模塊118包含用于畫中畫 (PIP)的模塊IIO。用于PIP的模塊110是用于解碼的模塊118 (或分離的解碼器或處理程序)的部分，其促進(jìn)與所述多播的兩個或兩個以上信道相關(guān)聯(lián)的幀在用于呈現(xiàn) 的模塊105上的同時呈現(xiàn)。舉例來說，用于PIP的模塊110可解碼相對低分辨率的CSF， 且用于呈現(xiàn)的模塊105可將所述CSF呈現(xiàn)為低分辨率、低幀速率內(nèi)容。可通過單個解 碼器或多個解碼器來執(zhí)行本發(fā)明的技術(shù)。
根據(jù)本發(fā)明，用于編碼的裝置可包括編碼模塊12 (圖1)或用于編碼的模塊112 (圖8)。用于多路復(fù)用的裝置可包括多路復(fù)用模塊14 (圖7)或用于多路復(fù)用的模 塊1.14 (圖8)。用于傳輸?shù)难b置可包括傳輸器16 (圖1)或用于傳輸?shù)哪K116 (圖 8)。
在接收側(cè)上，用于接收的裝置可包括接收器17 (圖1)或用于接收的模塊117 (圖 8)。用于解碼裝置可包括解碼器18 (圖1)或用于解碼的模塊118 (圖8)。用于PIP 的裝置可包括PIP模塊IO (圖1)或用于PIP的模塊llO (圖8)，其任一者可以是單 獨(dú)的單元或集成在解碼器18或用于解碼的模塊.118中的單元。用于呈現(xiàn)的裝置可包括 顯示器5 (圖1)或用于呈現(xiàn)側(cè)模塊1.05 (圖8)?？蓮淖帜笖?shù)字袖珍鍵盤、觸摸屏幕、 操縱桿、語音辨識或任何輸入裝置來捕獲如本文說明的任何用戶輸入。所述設(shè)備可稱 為用于控制PIP的呈現(xiàn)的裝置、用于交換PIP的視圖的裝置、用于選擇PIP的視圖的 裝置等。
已說明多個實(shí)例。本發(fā)明的技術(shù)可改善多節(jié)目觀看，尤其在無線移動設(shè)備環(huán)境中。 可將本文所說明的技術(shù)實(shí)施于硬件、軟件、固件或其任何組合中。如果實(shí)施于軟件中，
那么可至少部分通過計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀媒體上的一個或一個以上存儲或傳 輸?shù)闹噶罨虼a來實(shí)現(xiàn)所述技術(shù)。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)存儲媒體、通信媒體或 兩者，且可包含促進(jìn)計(jì)算機(jī)程序從一個位置轉(zhuǎn)移到另一位置的任何媒體。存儲媒體可 以是可由計(jì)算機(jī)存取的任何可用媒體。計(jì)算機(jī)程序產(chǎn)品可包含封裝材料。
以實(shí)例而非限制的方式，計(jì)算機(jī)可讀媒體可包括RAM，例如同步動態(tài)隨機(jī)存取 存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取存儲器(NVRAM)、 ROM、電可擦除可編程只讀存儲器(EEPROM) 、 EEPROM、快閃存儲器、CD-ROM 或其它光盤存儲器、磁盤存儲器或其它磁性存儲設(shè)備或可用來攜載或存儲呈指令或數(shù) 據(jù)結(jié)構(gòu)形式的所需要程序碼且可由計(jì)算機(jī)存取的任何其它媒體。
而且，任何連接均適當(dāng)?shù)胤Q為計(jì)算機(jī)可讀媒體。舉例來說，如果使用同軸電纜、 光纖電纜、雙絞線、數(shù)字訂戶線(DSL)或無線技術(shù)(例如紅外線、無線電及微波) 從網(wǎng)站、服務(wù)器或其它遠(yuǎn)端源傳輸軟件，那么同軸電纜、光纖電纜、雙絞線、DSL或 無線技術(shù)(例如紅外線、無線電及微波)包含在媒體的定義中。如本文使用的磁盤及 光盤包含壓縮光盤(CD)、激光盤、光盤、數(shù)字通用光盤(DVD)、軟盤及藍(lán)光光盤， 其中磁盤通常以磁性方式復(fù)制數(shù)據(jù)，而光盤以光學(xué)方式(例如以激光)復(fù)制數(shù)據(jù)。還 應(yīng)所述將上述的組合包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
與計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀媒體相關(guān)聯(lián)的代碼可通過計(jì)算機(jī)執(zhí)行，例如通過
一個或一個以上處理器(例如一個或一個以上數(shù)字信號處理器(DSP))、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)或其它等效集成或離 散邏輯電路。在某些方面中，可將本文所說明的功能性提供在經(jīng)配置用于編碼及解碼 的專用軟件模塊或硬件模塊內(nèi)，或并入組合式視頻編碼器-解碼器(CODEC)中。
然而，可在不背離所附權(quán)利要求書的范圍的情況下對本文所說明的技術(shù)做出各種 修改。舉例來說，還可使用不使用CSF的其它技術(shù)來實(shí)現(xiàn)將低分辨率、低幀速率內(nèi)容 呈現(xiàn)為其它內(nèi)容的較高速率呈現(xiàn)內(nèi)的畫中畫幀。
此外，應(yīng)明了，可以各種各樣的形式體現(xiàn)本文的教示且本文所揭示的任何特定結(jié) 構(gòu)及/或功能僅是代表性的?；诒疚牡慕淌荆鶎偌夹g(shù)領(lǐng)域的技術(shù)人員將了解可獨(dú)立 于任何其它方面來實(shí)施本文所揭示的一方面且可以各種方式組合這些方面中的兩者或 兩者以上。舉例來說，可使用本文所論述的任何數(shù)量的方面來實(shí)施設(shè)備及/或?qū)嵺`方法。 另外，可使用除本文所論述的一個或一個以上方面以外或不同于所述方面的其它結(jié)構(gòu) 及/或功能性來實(shí)施設(shè)備及/或?qū)嵺`方法。
因此，這些及其它方面歸屬于所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1、一種處理多媒體數(shù)據(jù)的方法，所述方法包括接收多個信道的所述多媒體數(shù)據(jù)；解碼與所述多個信道相關(guān)聯(lián)的信道切換幀(CSF)；解碼所述CFS；及向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的所述CSF。
2、 如權(quán)利要求l所述的方法，其中在所述多個信道中接收所述CSF。
3、 如權(quán)利要求2所述的方法，其中所述多個信道包含包括指向其它信道內(nèi)的所 述CSF的指針的媒體邏輯信道(MLC)。
4、 如權(quán)利要求l所述的方法，其中所述多個信道包含包括其它信道的所述CSF 的媒體邏輯信道(MLC)。
5、 如權(quán)利要求1所述的方法，其進(jìn)一步包括-接收選擇所述多個信道中的一者的用戶輸入；及以比與呈現(xiàn)所述CSF相關(guān)聯(lián)的幀速率高的幀速率呈現(xiàn)所述信道中的所述選定者。
6、 一種處理多媒體數(shù)據(jù)的設(shè)備，其包括-接收器，其接收多個信道的所述多媒體數(shù)據(jù)且接收與所述多個信道相關(guān)聯(lián)的信道 切換幀(CSF);一個或一個以上解碼器，其解碼所述CSF中的至少某些CSF;及 顯示器，其中所述顯示器向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相 關(guān)聯(lián)的所述CSF。
7、 如權(quán)利要求6所述的設(shè)備，其中在所述多個信道中接收所述CSF。
8、 如權(quán)利要求7所述的設(shè)備，其中所述多個信道包含包括指向其它信道內(nèi)的所 述CSF的指針的媒體邏輯信道(MLC)。
9、 如權(quán)利要求6所述的設(shè)備，其中所述多個信道包含包括其它信道的所述CSF 的媒體邏輯信道(MLC)。
10、 如權(quán)利要求6所述的設(shè)備，其中 接收選擇所述多個信道中的一者的用戶輸入；及所述顯示器以比與呈現(xiàn)所述CSF相關(guān)聯(lián)的幀速率高的幀速率呈現(xiàn)所述信道中的 所述選定者。
11、 一種設(shè)備，其包括接收裝置，其用于接收多個信道的多媒體數(shù)據(jù)；接收裝置，其用于接收與所述多個信道相關(guān)聯(lián)的信道切換幀(CSF); 解碼裝置，其用于解碼所述CFS;及呈現(xiàn)裝置，其用于向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的所述CSF。
12、 如權(quán)利要求ll所述的設(shè)備，其中所述CSF在所述多個信道中接收。
13、 如權(quán)利要求12所述的設(shè)備，其中所述多個信道包含包括指向其它信道內(nèi)的 所述CSF的指針的媒體邏輯信道(MLC)。
14、 如權(quán)利要求11所述的設(shè)備，其中所述多個信道包含包括其它信道的所述CSF 的媒體邏輯信道(MLC)。
15、 如權(quán)利要求ll所述的設(shè)備，其進(jìn)一步包括-接收裝置，其用于接收選擇所述多個信道中的一者的用戶輸入；及 呈現(xiàn)裝置，其用于以比與呈現(xiàn)所述CSF相關(guān)聯(lián)的幀速率高的幀速率呈現(xiàn)所述信道 中的所述選定者。
16、 一種用于處理多媒體數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，其包括 計(jì)算機(jī)可讀媒體，其包括在執(zhí)行時致使計(jì)算機(jī)進(jìn)行以下操作的指令接收多個信道的所述多媒體數(shù)據(jù)； 解碼與所述多個信道相關(guān)聯(lián)的信道切換幀(CSF);解碼所述CSF;及向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的所述CSF。
17、 一種用于處理多媒體數(shù)據(jù)的處理器，所述處理器適于接收多個信道的所述多媒體數(shù)據(jù)； 接收與所述多個信道相關(guān)聯(lián)的信道切換幀(CSF); 解碼所述CSF;及致使顯示器向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的所述CSF。
全文摘要
本發(fā)明說明用于處理多媒體數(shù)據(jù)的多種技術(shù)，所述技術(shù)可改善多節(jié)目“畫中畫”(picture-in-picture)觀看，尤其在無線移動設(shè)備環(huán)境中。在一個實(shí)例中，一種方法包含接收多個信道的所述多媒體數(shù)據(jù)；解碼與所述信道中的兩者或兩者以上相關(guān)聯(lián)的幀；以第一幀速率呈現(xiàn)第一信道的第一幀；及在呈現(xiàn)所述第一幀的同時，以第二幀速率呈現(xiàn)第二信道的第二幀，其中所述第二幀速率低于所述第一幀速率。在另一實(shí)例中，方法包含接收多個信道的所述多媒體數(shù)據(jù)；接收與所述多個信道相關(guān)聯(lián)的信道切換幀(CSF)；及向用戶同時呈現(xiàn)與所述多個信道中的兩者或兩者以上相關(guān)聯(lián)的所述CSF。
文檔編號H04H1/00GK101438520SQ200780004666
公開日2009年5月20日 申請日期2007年2月16日 優(yōu)先權(quán)日2006年2月21日
發(fā)明者戈登·肯特·沃克, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司