專利名稱：一致的數(shù)字項自適應的制作方法
技術(shù)領(lǐng)域：
本申請和與此一起提出、并且在此合并作為參考的序列號為10/079,096的美國專利申請有關(guān)。
本發(fā)明總體上涉及自適應(adapt)數(shù)字項領(lǐng)域，尤其涉及具有一致的資源和描述符的數(shù)字項自適應。
背景技術(shù)：
已知有許多單元用于構(gòu)造基礎(chǔ)結(jié)構(gòu)來創(chuàng)建、發(fā)送與接收多媒體內(nèi)容。例如，分別參見ISO/IEC 138181995，“Information Technology-Generic Coding ofMoving Pictures and Associated Audio”，和ISO / IEC 144961999，“InformationTechnology-Coding of Audio-Visual Objects”，諸如MPEG-2和MPEG-4的標準在音頻與視頻內(nèi)容的有效傳播和分發(fā)中扮演重要的角色。對于經(jīng)由IP網(wǎng)絡(luò)的傳輸，存在有各種由IETF定義的規(guī)范，例如參見由Schulzrinne等人所著、于1996年1月提出的RFC 1889“RTPA Transport Protocol for Real TimeApphcations”，以及由Kikuchi等人所著，于2000年11月提出的RFC 3016“RTPPayload Format for MPEG-4 Audio/Visual Streams”。此外，對于多媒體內(nèi)容的搜索與檢索，參見ISO/IEC 159382001，“Information Technology-MultimediaContent Description Interface”，MPEG-7提供了描述符和描述方案的標準集。
然而，當前沒有描述這些現(xiàn)有的或者正在開發(fā)中的單元如何相互關(guān)聯(lián)的標準。正浮現(xiàn)出來的MPEG-21標準，正式稱為ISO/IEC 21000，“InformationTechnology-Multimedia Framework”的主要目的是用來描述這些單元如何相互關(guān)聯(lián)。人們期望各種現(xiàn)存的、或者將被開發(fā)的規(guī)范，將通過在MPEG及其它標準化主體之間的協(xié)作被集成到一個多媒體框架中。MPEG-21的總體目的是定義一個能夠使跨越一個大網(wǎng)絡(luò)和設(shè)備范圍的多媒體資源透明和強化使用的多媒體框架。
在MPEG-21框架內(nèi)，事務(wù)的基本單元被稱為“數(shù)字項”。數(shù)字項被定義為具有標準表示、標識和相關(guān)的元數(shù)據(jù)或者在該數(shù)字項內(nèi)的資源的描述符的結(jié)構(gòu)化數(shù)字對象。通常，該資源能夠包含多媒體內(nèi)容。


圖1舉例說明了數(shù)字項100的概念，其包含一個或多個資源110、相關(guān)的描述符120、和結(jié)構(gòu)130。資源110能夠包含獨立的多媒體資產(chǎn)111，諸如MPEG視頻、或者MP3音頻文件。描述符120包含有關(guān)該資源內(nèi)部的描述信息，諸如內(nèi)容標識和基于內(nèi)容的描述符，例如，MPEG-7描述121。結(jié)構(gòu)130定義了在數(shù)字項100中的部分、即資源和描述符當中的關(guān)系和關(guān)聯(lián)。
數(shù)字項100的一個重要優(yōu)點是它能夠把多個不同的資源聚集成為具有豐富的描述信息集合的單個邏輯單元、或者包。給定媒介文件的集合，這是現(xiàn)有的解決方案，例如“zip”或者“tar”文件，所不能處理的某些東西?，F(xiàn)有的解決方案缺乏結(jié)構(gòu)信息和描述信息，這使得大的多媒體集合難以導航、分發(fā)和使用。
數(shù)字項的第二個重要的優(yōu)點是它是自我描述和可配置的。例如，考慮一本包含用于在各種設(shè)備上回放的特定場所內(nèi)容的數(shù)字雜志?，F(xiàn)有的技術(shù)迫使內(nèi)容創(chuàng)建者創(chuàng)建和管理多個版本，一個版本用于每一個設(shè)備、場所和用戶偏愛信息。因為數(shù)字項具有為不同的用戶、設(shè)備和場所表達選項和增強信息的性能，所以它能夠被配置以滿足特定的需要。
為了實現(xiàn)以上所述，MPEG-21 150已經(jīng)開發(fā)了數(shù)字項定義(DID)、這是ISO/IEC 21000的第二部分，其計劃在2002年5月成為國際標準。DID的目的是定義數(shù)字項100的構(gòu)成和結(jié)構(gòu)。已經(jīng)開發(fā)了基于XML的數(shù)字項定義語言(DIDL)。DIDL是通用結(jié)構(gòu)，其提供分級和靈活的元數(shù)據(jù)表達式，以及可重用和可配置的單元。
圖2顯示了被指定為DIDL的部分的各種單元。容器單元200允許項目201和/或容器組成在一起。項目單元是一組被綁定到相關(guān)描述符的子項目和/或部件。部件單元是資源202到所有它的相關(guān)描述符203的綁定。描述符單元203用封裝的部件或者項目和信息關(guān)聯(lián)。資源單元是諸如視頻或音頻剪輯的、可單獨識別的多媒體資產(chǎn)。語句是包含信息的字面上的文本值。它包含有效的XML文檔，其通過命名空間進行標識。
為了允許數(shù)字項可被配置，指定了若干個額外的單元。選擇單元描述一組能夠影響項目配置的相關(guān)選擇。條件單元把封裝的單元描述為是可選的，并且把它鏈接到影響它的包含的選擇。選擇單元描述將影響在項目內(nèi)某處的一個或多個條件的特定判定。覆蓋單元用來標識要由該覆蓋單元的雙親所替代的選擇或者選定。
數(shù)字項能夠以兩種方式分發(fā)。第一種方式中，該分發(fā)能夠貫穿網(wǎng)絡(luò)。以這種方式，DID連同對在該網(wǎng)絡(luò)上、能夠從中檢索該資源的位置的標記一起被分發(fā)。第二種方式中，DID能夠作為獨立的對象分發(fā)，在這樣的情況下該DID和它的資源一起被分發(fā)。
不管數(shù)字項是什么方式分發(fā)的，都存在有各種要求數(shù)字項被修改的外部資源情況和因素。在本發(fā)明中描述的方法解決了這個要求。
發(fā)明概述一種通過把數(shù)字項分析成為資源和資源的描述來自適應數(shù)字項的方法和系統(tǒng)。該資源然后依據(jù)數(shù)字項自適應描述進行自適應以產(chǎn)生自適應的資源。然后依據(jù)該數(shù)字項修改描述修改描述符以產(chǎn)生與修改的資源一致的修改的描述符。修改的描述符和修改的資源被合并以形成修改的數(shù)字項。
該描述符與該數(shù)字項的內(nèi)部資源有關(guān)，而且該數(shù)字項自適應描述與該數(shù)字項的外部資源有關(guān)，而且修改的數(shù)字項實質(zhì)上與外部資源一致。
附圖簡要說明圖1是現(xiàn)有技術(shù)的數(shù)字項的框圖；圖2是現(xiàn)有技術(shù)的數(shù)字項定義的框圖；圖3是依據(jù)本發(fā)明的數(shù)字項修改的框圖；圖4是在資源自適應引擎和描述符自適應引擎之間的接口的框圖；以及圖5是使用了依據(jù)本發(fā)明的數(shù)字項自適應的應用程序的流程圖。
用于實現(xiàn)本發(fā)明的最佳方式介紹當數(shù)字項在不同種類網(wǎng)絡(luò)上分發(fā)時，它們可能需要適應于外部資源、環(huán)境、網(wǎng)絡(luò)、設(shè)備和用戶偏愛信息。本發(fā)明描述了數(shù)字項自適應的一般概念。這個處理過程涉及由數(shù)字項定義的資源和描述符的一致性自適應。
本發(fā)明提供了一種用于自適應數(shù)字項、以便在自適應的資源和關(guān)聯(lián)的描述符之間保持一致性的方法和系統(tǒng)。即，與自適應的資源相關(guān)聯(lián)的描述符應當準確地描述自適應的資源，例如依據(jù)位比率、輸出設(shè)備、或者空間分辨率來自適應該資源。
圖3舉例說明了依據(jù)本發(fā)明的數(shù)字項自適應的概念。數(shù)字項100被傳遞并通過數(shù)字項適配器300以產(chǎn)生修改了的數(shù)字項101。在適配器300的輸入端，分析數(shù)字項302以使用結(jié)構(gòu)130和，例如，MPEG-21 DID分析器來提取資源110和關(guān)聯(lián)的描述符120。
數(shù)字項中的資源(R)被路由到資源自適應引擎310并且依據(jù)它以產(chǎn)生修改了的資源(R′)，同時數(shù)字項中的描述符(D)被路由到描述符修改引擎320并且依據(jù)它產(chǎn)生與自適應的資源一致的修改了的描述符(D′)。當這些被組合起來303時，它們形成修改了的數(shù)字項101。修改了的數(shù)字項現(xiàn)在能夠以一種和外部約束一致的方式進行分發(fā)。
數(shù)字項適配器300接受數(shù)字項自適應描述301以參與修改處理過程。自適應描述不同于在數(shù)字項100內(nèi)的描述符120，因為它們沒有描述在該數(shù)字項內(nèi)的內(nèi)部資源110，而是描述外部資源或者不直接與該數(shù)字項100的資源相關(guān)聯(lián)的環(huán)境因素。
數(shù)字項自適應描述存在有各種影響資源自適應引擎310的操作的外部資源因素。這些因素包含終端或者輸出設(shè)備的性能、物理網(wǎng)絡(luò)條件、傳遞/傳輸性能、用戶偏愛信息和自然環(huán)境特征。所有這些因素能夠是數(shù)字項自適應描述301中的參數(shù)。
終端性能包含諸如處理器速度和存儲器容量的硬件屬性、諸如操作系統(tǒng)的軟件屬性、諸如屏幕分辨度的顯示屬性以及可以指示所支持的媒體格式，例如MPEG簡檔表/級別的設(shè)備簡檔表。
物理網(wǎng)絡(luò)條件指定諸如端到端延遲、單向延遲或者延遲變化的延遲特性，諸如位差錯率、包丟失或者破裂的差錯特征，以及諸如可用帶寬數(shù)量或者帶寬變化的帶寬特性。
傳遞性能指定所支持的傳輸協(xié)議類型，諸如MPEG-2系統(tǒng)、TCP/IP和RTP，以及所支持的連接類型，例如廣播、單播、多播。
用戶偏愛信息包含過濾和搜索偏愛、瀏覽偏愛、顯示偏愛和QoS偏愛，以及諸如性別和年齡的人口統(tǒng)計信息。
自然環(huán)境特征包含諸如GPS坐標和場所的位置，例如室內(nèi)、室外、家或者辦公室的位置類型，用戶輸出設(shè)備或者終端的速度以及影響用戶設(shè)備或者終端的照明屬性。
除了以上所述之外，數(shù)字項修改描述還可以指定服務(wù)性能。服務(wù)性能包含特定的用戶角色，例如內(nèi)容創(chuàng)建者、服務(wù)提供者、權(quán)利所有者、記賬當事方或者終端消費者，以及特定用戶提供的服務(wù)類型，諸如內(nèi)容創(chuàng)建、權(quán)利談判、記賬、內(nèi)容自適應和代碼轉(zhuǎn)換、網(wǎng)絡(luò)的使用和內(nèi)容消費。假定特定用戶是權(quán)利所有者或者內(nèi)容創(chuàng)建者，則數(shù)字項自適應描述還可以包含允許的修改的允許類型，例如位速率不應該低于2Mb/秒或者視頻的空間分辨率不應該降低超過兩倍。
數(shù)字項自適應的詳細描述圖4顯示了數(shù)字項自適應的詳細描述。該圖舉例說明了在描述自適應引擎和資源自適應引擎之間的數(shù)據(jù)流和控制。假定MPEG-21 DID分析器302早已經(jīng)分析了DID并且已經(jīng)把存在于DID語句單元中的描述部分和由資源單元指定的資源路由到它們相應的引擎310和320。應當注意到，在分布式環(huán)境中，這些引擎不必要定位在一起，即它們可以物理上位于世界的不同部分而且經(jīng)由網(wǎng)絡(luò)進行連接。也應注意到在數(shù)字項從源移動到諸如用戶終端設(shè)備的目的地設(shè)備的過程中，它可以被自適應若干次。
來自DID的描述文檔首先經(jīng)受DID描述符分析器420以產(chǎn)生和該資源相關(guān)聯(lián)的描述符集合。需要依據(jù)其創(chuàng)建該文檔的第一模式430、或者規(guī)則組用于這個操作。包含字段和值的該描述符集合然后被傳遞到接口460。在分析過程期間，參見萬維網(wǎng)協(xié)會(World Wide Web Consortium，W3C)規(guī)范創(chuàng)建文檔對象模型(Document Object Model，DOM)。DOM實質(zhì)上是定義了在該文檔內(nèi)的各個字段和值的親子關(guān)系的數(shù)據(jù)結(jié)構(gòu)。DOM被傳遞給DID描述符修改器440以稍后改變由于資源適配器450的自適應動作而必須被修改的字段的值。
數(shù)字項自適應描述301由DIA描述分析器470分析以產(chǎn)生一組與外界因素或者外部資源相關(guān)的描述。類似地，來自該描述組的字段和值被傳遞到描述/資源接口460。就象DID描述分析器一樣，同樣需要第二模式431用于這個分析操作。
描述符接口460的功能將收集各個資源(R)的描述符(D)、解釋字段和值并且把相關(guān)信息傳送給資源適配器450。描述/資源接口460知道資源適配器的性能。因此，接口460過濾和傳送僅僅能夠由資源適配器450使用的描述符參數(shù)。這能夠通過預定義的應用程序接口(API)實現(xiàn)?；谫Y源適配器450的動作，自適應的資源(R′)以及相應的描述被送回到接口460。因為該系統(tǒng)是動態(tài)的，所以往返于該接口460的更新能夠定期進行。
接口460依次獲取由資源適配器450指定的修改了的描述符值，并且把再次包含字段和值的改變傳送到DID描述符修改器440。使用這些更新了的值和由DID描述符分析器420創(chuàng)建的DOM，創(chuàng)建要被包含在修改的DID中的修改的文檔。
資源適配器如上所述，資源適配器450的操作不僅受數(shù)字項自適應描述301的影響，而且還受被包含作為DID一部分的資源描述符的影響。這樣的描述包含如由Vetro等人在1999年6月15日提出的美國專利申請Sn.09/547,159、“Videotranscodmg using syntactic and semantic clues”或者ISO/IEC 15938-52001、“Information Technology-Multimedia Content DescriptionInterfacePart5Multimedia Description Schemes”中指定的代碼轉(zhuǎn)換示意。
有多種可以依照本發(fā)明使用的資源修改引擎。對于視頻代碼轉(zhuǎn)換，資源自適應引擎320可以考慮比特率減縮，例如參見由Sun等人所著、于1996年4月提出的IEEE Transactions on Circuits and Systems for Video Technology中的“Architectures for MPEG compressed bitstream scaling”，以及空間分辨率縮減，例如參見由Vetro等人在2001年5月11日提出的美國專利申請Sn.09/853,394“Video Transcoder with Spatial Resolution Reduction”。其他類型的修改可以包含視頻概述的產(chǎn)生，例如參見由Divakaran等人在2000年8月9日提出的美國專利申請Sn.09/845,009“Method for summarizing a video using motion and colordescriptors”，或者壓縮格式的改變，例如從MPEG-2改變到MPEG-4。
本發(fā)明能夠使用任何用于資源修改的已知方法。該資源修改引擎的特定性能高度依賴于目標應用程序和目標修改設(shè)備。
數(shù)字項分發(fā)圖5顯示了數(shù)字項如何被產(chǎn)生、分發(fā)、自適應和最后被使用。首先，視聽資源(多媒體內(nèi)容)被捕捉和編碼510。該資源然后可以經(jīng)受特征提取511過程以產(chǎn)生一組該資源的描述符?；谠撡Y源和描述符的內(nèi)容，創(chuàng)建初始的數(shù)字項。在這個示例中，我們把這個包含資源和相應的資源描述符的數(shù)字項的特定類型稱為CDI 512。
在經(jīng)由異構(gòu)網(wǎng)絡(luò)分發(fā)CDI的過程中，它可能遇到由于某些外界因素，例如將由數(shù)字項自適應描述521指定的可用帶寬，而要求該數(shù)字項的某些修改的網(wǎng)絡(luò)節(jié)點520。這將啟動數(shù)字項自適應處理過程300并且產(chǎn)生修改的CDI 522。
作為中間內(nèi)容傳遞鏈530的一部分，該修改了的CDI 522可能最終在一家庭服務(wù)器/網(wǎng)關(guān)540上結(jié)束，在那兒它將等待到任意數(shù)量的不同消費者設(shè)備570的最終傳遞的請求。在這個示例中，我們考慮了支持MPEG-2 MP@ML的HDTV、支持在低空間分辨率和位傳輸率時的MPEG-4簡單簡檔表(SimpleProfile)的PDA、以及僅僅可支持特定圖形格式的游戲設(shè)備。
這些設(shè)備中的每一個都能夠產(chǎn)生它們自己的描述，這將被我們稱為初始的XDI 550。假定家庭服務(wù)器/網(wǎng)關(guān)支持多種類型的連接，例如，無線、CATV、以太網(wǎng)，則來源于相應設(shè)備的每個XDI可以在組合器580中由與例如網(wǎng)絡(luò)條件有關(guān)的數(shù)字項自適應描述560進行進一步的修改。XDI修改器將處理這樣的、對XDI的修改。除了到DID描述修改器的輸入是直接基于數(shù)字項修改描述之外，該修改器以一種類似于描述自適應引擎300的方式進行操作。
當?shù)竭_家庭服務(wù)器/網(wǎng)關(guān)時以及假定已經(jīng)提出了對特定資源的請求時，將再次執(zhí)行數(shù)字項自適應。在這種情況下，XDI起數(shù)字項自適應描述的作用，而且自適應的資源、或者具有所包含的資源的整個DID能夠被傳輸?shù)饺魏谓K端設(shè)備570。
雖然已經(jīng)通過最佳實施例描述了本發(fā)明，但是要理解的是在本發(fā)明精神和范圍之內(nèi)能夠做出各種其它的適應和修改。因此，所附權(quán)利要求書的目的是包含在本發(fā)明真實精神和范圍之內(nèi)的所有這樣的變化和修改。
權(quán)利要求
1.一種用于自適應數(shù)字項的方法，所述數(shù)字項包含資源和資源描述符，所述方法包含依據(jù)數(shù)字項自適應描述來自適應該資源以產(chǎn)生自適應的資源和修改了的描述符值；依據(jù)修改了的描述符值來修改所述描述符以產(chǎn)生與自適應的資源一致的修改了的描述符；以及把修改了的描述符和自適應的資源組合成為修改了的數(shù)字項。
2.如權(quán)利要求1所述的方法，其特征在于所述描述符與數(shù)字項的內(nèi)部資源有關(guān)，而且所述數(shù)字項修改描述與該數(shù)字項的外部資源有關(guān)，并且修改了的數(shù)字項實質(zhì)上與外部資源一致。
3.如權(quán)利要求2所述的方法，其特征在于所述外部資源包含用于處理修改了的數(shù)字項的計算機系統(tǒng)。
4.如權(quán)利要求2所述的方法，其特征在于所述外部資源包含用于傳輸修改了的數(shù)字項的網(wǎng)絡(luò)。
5.如權(quán)利要求2所述的方法，其特征在于所述外部資源包含用戶偏愛信息。
6.如權(quán)利要求2所述的方法，其特征在于所述外部資源包含自然環(huán)境。
7.如權(quán)利要求2所述的方法，其特征在于所述外部資源包含用于使用修改了的數(shù)字項的用戶設(shè)備。
8.如權(quán)利要求1所述的方法，進一步包含使用數(shù)字項說明分析器來分析該數(shù)字項以獲得資源和描述符。
9.如權(quán)利要求1所述的方法，其特征在于使用代碼轉(zhuǎn)換器來自適應所述資源。
10.如權(quán)利要求1所述的方法，其特征在于該自適應概述所述資源。
11.如權(quán)利要求1所述的方法，其特征在于所述數(shù)字項自適應描述在用于分發(fā)該數(shù)字項的網(wǎng)絡(luò)內(nèi)產(chǎn)生。
12.如權(quán)利要求1所述的方法，其特征在于所述數(shù)字項自適應描述由使用該數(shù)字項的終端設(shè)備產(chǎn)生。
13.如權(quán)利要求1所述的方法，其特征在于所述數(shù)字項包含多個資源和多個關(guān)聯(lián)的描述符。
14.如權(quán)利要求1所述的方法，其特征在于所述資源包含多媒體內(nèi)容。
15.如權(quán)利要求1所述的方法，進一步包含經(jīng)由描述符/資源接口來協(xié)調(diào)所述自適應和修改。
16.一種用于自適應數(shù)字項的系統(tǒng)，所述數(shù)字項包含資源和資源描述符，所述系統(tǒng)包含被配置以用于把數(shù)字項分離成為資源和描述符的分析器；被配置以用于依據(jù)數(shù)字項自適應描述自適應所述資源以產(chǎn)生自適應的資源的資源自適應引擎；被配置以用于依據(jù)數(shù)字項自適應描述修改所述描述符以產(chǎn)生與自適應的資源一致的、修改了的描述符的描述符修改引擎；以及被配置以用于把修改了的描述符和自適應的資源組合成為修改了的數(shù)字項的組合器。
17.如權(quán)利要求16所述的系統(tǒng)，進一步包含連接資源自適應引擎和描述符修改引擎的描述符/資源接口。
18.如權(quán)利要求16所述的系統(tǒng)，其特征在于所述資源自適應引擎包含代碼轉(zhuǎn)換器。
全文摘要
一種通過把數(shù)字項分析成為資源和資源的描述來自適應該數(shù)字項的方法和系統(tǒng)。該資源然后依據(jù)數(shù)字項自適應描述進行自適應以產(chǎn)生自適應的資源。然后依據(jù)該數(shù)字項自適應描述修改該描述符以產(chǎn)生與該自適應的資源一致的、修改的描述符。修改的描述符和自適應的資源被組合以形成修改的數(shù)字項。
文檔編號G06F12/00GK1507748SQ0380016
公開日2004年6月23日 申請日期2003年2月12日 優(yōu)先權(quán)日2002年2月20日
發(fā)明者A·維特羅, A 維特羅 申請人:三菱電機株式會社