專利名稱：內(nèi)容訪問樹的制作方法
內(nèi)容訪問樹相關(guān)申請的交叉引用本申請要求于2006年3月9日提交的、美國臨時(shí)申請序列號為第 60/780,818號的權(quán)益，其整體以引用的方式并入本文。技術(shù)領(lǐng)域本原理一般涉及圖像顯示系統(tǒng)和方法，更具體地，涉及用于對視頻流的 片段、場景和各個(gè)幀的圖像和屬性進(jìn)行分類并顯示的系統(tǒng)和方法。
背景技術(shù)：
近來，消費(fèi)視頻產(chǎn)品已從模擬盒式磁帶演變?yōu)閿?shù)字格式。數(shù)字視頻光盤 (DVD )形式的視頻是目前最流行的格式。近來已引入了新的較高密度的視 頻格式，例如Blu-RayTM和高清晰度數(shù)字視頻光盤(HD-DVD )。被翻譯成某一格式以供消費(fèi)者使用的數(shù)字視頻數(shù)據(jù)在出售之前一般被 數(shù)字壓縮并編碼。通常，該編碼包括某種形式的壓縮。在DVD的情況下， 使用MPEG-2標(biāo)準(zhǔn)來對視頻進(jìn)行編碼。另夕卜，Blu-Ray 和HD-DVD格式也 將數(shù)據(jù)以編碼后的形式存儲在光盤上。但是，由于壓縮系統(tǒng)的復(fù)雜性，以及 期望達(dá)到最高壓縮同時(shí)又保持最高的視頻質(zhì)量，因此必須進(jìn)行一次對一幀或 一個(gè)場景的大量編碼。通常，特征長度的戲劇發(fā)行物的Blu-Ray 和HD-DVD 壓縮可以花去8小時(shí)以上的時(shí)間來編碼。在視頻場景被編碼后，為了精確，產(chǎn)生的編碼后的視頻必須被校驗(yàn)。一 般來說，具有大量運(yùn)動物體的場景需要較低的編碼速率，以確保編碼后的幀 每個(gè)都正確顯示在最終的產(chǎn)品中。因此，通常使用用于查看和編碼視頻的軟件程序。傳統(tǒng)上，與圖像制作工作有關(guān)的大多數(shù)用戶界面包括兩個(gè)主要的特征 時(shí)間軸(timeline)和預(yù)覽窗口。 一般來說，當(dāng)用戶通過沿著時(shí)間軸的軸來移 動時(shí)間軸光標(biāo)直到期望的幀出現(xiàn)在預(yù)覽窗口中，從而使用時(shí)間軸來隨機(jī)訪問 單個(gè)不同的幀時(shí)，用戶能夠僅查看來自視頻內(nèi)容流的一幀。盡管這為用戶提
供了對視頻流內(nèi)容的隨機(jī)訪問，但是其需要用戶注意時(shí)間軸和預(yù)覽窗口兩 者。另外，用戶必須通過滾動時(shí)間軸來搜索特定的幀或場景。這樣的訪問效 率低下又可以是耗時(shí)的。2003年4月22日公告的Ishikawa的美國專利No.6,552,721描述了 一種 用于切換包括由正被編輯的文件參考的多組節(jié)點(diǎn)的文件顯示器(file scope ) 的系統(tǒng)。另外，場景圖編輯工具允許用戶顯示參考正被編輯的VRML內(nèi)容 的節(jié)點(diǎn)的分級樹格式。2004年8月10日公告的Bates等人的美國專利No.6,774，908公開了 一 種用于允許用戶指定連續(xù)幀中要被跟蹤的視頻幀的部分以使得可以補(bǔ)償重 放、照明和解壓縮的質(zhì)量的圖像處理系統(tǒng)。2006年1月26日提交的Stark等人的美國專利申請No.20060020962公 開了一種用于展示與各種形式的多媒體內(nèi)容有關(guān)的信息的圖形用戶界面。1999年10月14日提交的French等人的美國專利申請No.1999052050 公開了使用說明相關(guān)可視元素的時(shí)間和空間值的圖來代表可視場景。French 等人的申請還公開了通過縮放和剪輯時(shí)間事件時(shí)刻來進(jìn)行可視場景數(shù)據(jù)的 時(shí)間變換。沒有現(xiàn)有技術(shù)提供用于高效并隨機(jī)地訪問視頻流的已知部分的任何系 統(tǒng)和方法。所需要的是能夠以分級方式顯示視頻內(nèi)容數(shù)據(jù)的用戶友好界面。 另外，這樣的用戶界面應(yīng)當(dāng)允許用戶或者自動或者手動地將場景、幀等分成 邏輯組，這些邏輯組可以基于被這樣的場景或幀包括的可視數(shù)據(jù)的屬性來被 訪問和分析。由于處理完整的特征長度的視頻所需的時(shí)間，理想的系統(tǒng)也將 允許用戶有選擇地處理視頻的任何部分并顯示故事情節(jié)以便高效導(dǎo)航。發(fā)明內(nèi)容本原理的目的在于以分級式顯示視頻內(nèi)容的各部分。根據(jù)本發(fā)明的一方面，提供了一種如下的方法表示具有至少一個(gè)片段 的視頻流的一部分，該片段具有至少一個(gè)場景，該場景具有至少一個(gè)幀；以 及格式化該至少一個(gè)片段、場景和幀，以使得該視頻流的至少一個(gè)片段被指 定為活動片段，并且用于顯示的場景是該活動片段的一部分。根據(jù)本發(fā)明的另一方面，提供了一種用戶界面，其通過分級格式來處理 并編碼視頻流數(shù)據(jù)。該分級格式包括代表來自視頻流的多個(gè)場景的至少一
個(gè)類(class)縮略(thumbnail)圖像，每個(gè)類縮略圖像具有至少一個(gè)相關(guān)信 息條；代表類中的場景的至少一個(gè)場景縮略圖像，每個(gè)場景具有至少一個(gè)幀， 每個(gè)場景縮略圖像具有至少一個(gè)相關(guān)信息條；至少一個(gè)幀縮略圖像，每個(gè)幀 縮略圖像代表場景中的幀，每個(gè)幀縮略圖像具有至少一個(gè)相關(guān)信息條。此夕卜， 此方面可以包括顯示相關(guān)縮略圖像的幀號、幀時(shí)間和類信息的每個(gè)信息條。 根據(jù)本發(fā)明的另 一方面，提供了 一種用于通過分級格式在圖形用戶界面 中顯示視頻流數(shù)據(jù)的方法，該方法包括顯示代表場景的至少一個(gè)場景縮略 圖像，每個(gè)場景具有至少一個(gè)幀；顯示至少一個(gè)幀縮略圖像，每個(gè)幀縮略圖 像代表所述場景中的幀；以及顯示至少一個(gè)類別(category),每個(gè)類別具有 至少一個(gè)場景。此方面還可以包括顯示代表順序數(shù)字圖像的片段的至少一 個(gè)片段縮略圖像，每個(gè)片段具有至少一個(gè)場景，其中所顯示的每個(gè)場景是片 段的一部分。在這個(gè)方面中，該方法可選地包括加載視頻流數(shù)據(jù)，自動確定 每個(gè)片段的起始和末尾，以及自動確定每個(gè)場景的起始和末尾。此方面還可 以包括顯示至少 一個(gè)用于允許用戶對視頻流的至少 一部分進(jìn)行編碼的按 鈕。


在考慮了現(xiàn)在將結(jié)合附圖詳細(xì)描述的示范性實(shí)施例時(shí)，本原理的優(yōu)點(diǎn)、 特性和各個(gè)附加特征將變得更加完整，附圖中的框圖；圖2是根據(jù)本原理的一個(gè)實(shí)施例的通過內(nèi)容訪問樹顯示視頻內(nèi)容的示 范性系統(tǒng)的流程圖；圖3是根據(jù)本原理的顯示和處理內(nèi)容訪問樹的數(shù)據(jù)的配置的示范性實(shí) 施例的框圖；圖4是示出根據(jù)本原理的單個(gè)內(nèi)容訪問樹元素的詳細(xì)示范性實(shí)施例的框圖；圖5是示出包含本原理的用戶界面的詳細(xì)示范性實(shí)施例的圖； 圖6是根據(jù)本原理的用于顯示和處理內(nèi)容訪問樹的數(shù)據(jù)的配置的替換 詳細(xì)示范性實(shí)施例的框圖。應(yīng)當(dāng)理解，附圖是用于示出本原理的構(gòu)思的目的，不必須是示出本原理的僅僅可能的配置。
具體實(shí)施方式
本原理提供一種用于以可分級訪問樹顯示來自視頻流的圖像以及允許 編碼和隨后的視頻質(zhì)量的評估和處理的系統(tǒng)和方法。應(yīng)當(dāng)理解，根據(jù)視頻顯示系統(tǒng)來描述本原理；但是，本原理的范圍寬得 多并且可以包括能夠顯示或進(jìn)行用戶交互的任何數(shù)字多媒體系統(tǒng)。此外，本 原理可應(yīng)用于任何視頻顯示或編輯方法，包括由計(jì)算機(jī)、電話、機(jī)頂盒、衛(wèi) 星鏈路等顯示的數(shù)據(jù)的處理。根據(jù)個(gè)人計(jì)算機(jī)來描述本原理；但是，本原理 的構(gòu)思可以被擴(kuò)展到其它交互式電子顯示設(shè)備。應(yīng)當(dāng)理解，附圖中所示的元件可以被實(shí)現(xiàn)為各種形式的硬件、軟件或它 們的結(jié)合。優(yōu)選地，這些元件被實(shí)現(xiàn)為一個(gè)或多個(gè)適當(dāng)編程的通用設(shè)備上的 硬件和軟件的結(jié)合，這些設(shè)備可以包括處理器、存儲器和輸入/輸出接口。本說明書示出了本原理。因而應(yīng)當(dāng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)盡 管這里沒有明顯描述或示出、但是包含本原理并包括在其精神和范圍之內(nèi)的 各種配置。這里所述的所有示例和條件語言是為了教導(dǎo)目的，以便幫助讀者理解本 原理和發(fā)明人為促進(jìn)本領(lǐng)域技術(shù)發(fā)展做出貢獻(xiàn)的構(gòu)思，以及應(yīng)當(dāng)被理解為不 限于這樣特定描述的示例和條件。此外，這里描述本原理的原理、方面和實(shí)施例的所有描述及其特定示例 意欲包含其結(jié)構(gòu)和功能等價(jià)物二者。另外，這樣的等價(jià)物意欲包括當(dāng)前已知 的等價(jià)物以及將來發(fā)展的等價(jià)物，即任何執(zhí)行相同功能的發(fā)展的元件，而不 管其結(jié)構(gòu)如何。因而，例如本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，這里所示出的框圖代表包含本原 理的原理的示范性模塊的構(gòu)思圖。相似地，應(yīng)當(dāng)理解，任何流程表、流程圖、 狀態(tài)轉(zhuǎn)換圖、偽代碼等代表各種基本上可以表示在計(jì)算機(jī)可讀介質(zhì)中并因而 由計(jì)算機(jī)或處理器執(zhí)行的過程，而不管這樣的計(jì)算機(jī)或處理器是否被明顯地示出?？梢酝ㄟ^使用專用硬件以及能夠聯(lián)合適當(dāng)?shù)能浖?zhí)行軟件的硬件來提 供圖中所示的各個(gè)元素的功能。當(dāng)由處理器提供時(shí)，可以由單個(gè)專用處理器、 單個(gè)共享處理器或其中的一些可以共享的多個(gè)單獨(dú)處理器來提供這些功能。
此外，術(shù)語"處理器"或"控制器"的明顯使用不應(yīng)當(dāng)被解釋為專指能夠執(zhí) 行軟件的硬件，其可以非限制性地暗含包括數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)以及非易失 性存儲器。另外，當(dāng)在顯示器上提供時(shí)，該顯示器可以是用于呈現(xiàn)可視信息 的任意類型的^/f牛，其可以非限制性地包括CRT、 LCD、等離子體或LED 顯示器、有機(jī)或非有機(jī)、以及任何其它已知或還未被開發(fā)出來的顯示設(shè)備。這里描述的編碼或壓縮功能可以采用任何形式的數(shù)字兼容編碼或壓縮。 這可以包括、但不限于任何MPEG視頻或音頻編碼、任何無損或有損壓縮或 編碼、或任何其它私有或開放標(biāo)準(zhǔn)編碼或壓縮。還應(yīng)當(dāng)理解，術(shù)語編碼和壓 縮可以互換使用，這兩個(gè)術(shù)語都指準(zhǔn)備數(shù)據(jù)流為由任意類型的數(shù)字軟件、硬 件或軟件和硬件的結(jié)合讀取。也可以包括其它傳統(tǒng)的和/或定制的硬件。相似地，附圖中所示的任何開 關(guān)、按鈕或判決塊只是概念性的。它們的功能可以通過程序邏輯的操作、通 過專用邏輯、通過程序控制和專用邏輯的交互、或者甚至是手動地執(zhí)行，具 體的技術(shù)可由實(shí)施者來選擇，其從上下文可以更具體地理解。在其權(quán)利要求中，被表達(dá)為用于執(zhí)行特定功能的裝置的任何元件意欲包 含執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的結(jié)合或b ) 任何形式的軟件，因此包括固件、微代碼等，其與用于執(zhí)行該軟件的適當(dāng)?shù)?電路結(jié)合以執(zhí)行該功能。由這樣的權(quán)利要求限定的本原理歸于這樣的事實(shí) 由各種所述裝置提供的功能以權(quán)利要求要求的方式結(jié)合和集合在一起。因而 應(yīng)當(dāng)認(rèn)為任何能夠提供這些功能的裝置等效于這里所示出的那些裝置?，F(xiàn)在詳細(xì)參照附圖，其中貫穿幾個(gè)視圖中，相似的參考數(shù)字指代相似或 相等的元件。首先參照圖1,描述了根據(jù)本原理的實(shí)施例的內(nèi)容訪問樹的元 素層級100的示范性實(shí)施例的框圖。首先，對至少一個(gè)完整的視頻流101進(jìn) 行操作。該完整的視頻流可以包括多個(gè)文件并且也可以是較大視頻流的一部 分。開始時(shí)，應(yīng)當(dāng)注意，完整的視頻流101包括一組片段102，其中每個(gè)片 ,殳103繼而包4舌一組場景104,其中每個(gè)場景105繼而包括一組幀106。完整的視頻流101包括一組片段102，組102具有多個(gè)片段103，其中 片段103的總數(shù)包含原始的完整視頻流101的整體。片段103可以是完整視頻流101的一部分的線性表示。例如，每個(gè)片段
可以默認(rèn)地代表五分鐘的視頻流，或者可以代表完整視頻流101的至少五分 鐘，但是在五分鐘標(biāo)記之后的第一個(gè)場景末尾處結(jié)束。用戶可以決定默1〖人的 片段長度，用戶也可以編輯自動產(chǎn)生的片段周期。此外，片段可以代表固定 數(shù)量的場景，或者其它合理的分組。例如，在一個(gè)有用實(shí)施例中，每個(gè)片段可以是基于相似的視頻屬性被分類的場景105的非線性類別。在另一個(gè)有用實(shí)施例中，每個(gè)片段103可以是 包括一組根據(jù)任意其它準(zhǔn)則邏輯分類的場景104的類。每個(gè)片段103包括一組場景104,其中該組場景104包括多個(gè)單獨(dú)的場 景105。在一個(gè)有用實(shí)施例中，該場景可以代表完整視頻流101的連續(xù)、線 性部分。相似地，每個(gè)場景105包括一組幀106,該組106包括多個(gè)單獨(dú)的幀107。 在一個(gè)具體的有用實(shí)施例中，每個(gè)幀107是標(biāo)準(zhǔn)^L頻幀。參照圖2，描述了用于以分級格式產(chǎn)生和顯示視頻流的內(nèi)容的系統(tǒng)200 的示范性實(shí)施例的流程圖。該系統(tǒng)200在塊201中可以具有非交互部分，在 塊202中具有交互部分。組成該系統(tǒng)結(jié)構(gòu)的單獨(dú)的塊組件的細(xì)節(jié)對本領(lǐng)域技術(shù)人員是公知的，將 僅對其詳細(xì)描述到足以理解本原理即可。在該系統(tǒng)的塊201中的非交互部分中，該系統(tǒng)可以在塊203中輸入視頻 內(nèi)容，在塊204中產(chǎn)生視頻內(nèi)容數(shù)據(jù)，以及在塊205中產(chǎn)生內(nèi)容訪問樹的數(shù) 據(jù)。塊201中該系統(tǒng)的非交互部分可以以自動式執(zhí)行，或者可以已經(jīng)存在， 例如由系統(tǒng)200的先前操作來創(chuàng)建，或者由其它輔助或單機(jī)系統(tǒng)來創(chuàng)建。當(dāng)在塊203中輸入視頻內(nèi)容時(shí)，該視頻內(nèi)容可以被加載到存儲介質(zhì)中， 例如但是不限于加載到隨機(jī)存取存儲器(RAM)、任意類型的計(jì)算機(jī)可存取 存儲介質(zhì)、計(jì)算機(jī)網(wǎng)絡(luò)或?qū)崟r(shí)饋入中。系統(tǒng)200然后可以在塊204中產(chǎn)生-見 頻內(nèi)容數(shù)據(jù)。在塊204中的此產(chǎn)生步驟可以包括檢測場景，產(chǎn)生直方圖，基 于顏色、場景的相似度、比特率、幀分類來對場景和幀進(jìn)行分類，以及產(chǎn)生 縮略圖。目前，用于自動檢測場景之間的轉(zhuǎn)換的軟件和算法被頻繁使用，并 且對本領(lǐng)域技術(shù)人員是公知的。該系統(tǒng)還可以在塊205中產(chǎn)生可用于顯示內(nèi)容訪問樹的數(shù)據(jù)。該數(shù)據(jù)可 以包括但是不限于例如產(chǎn)生管理數(shù)據(jù)元素之間的關(guān)系所需的索引、標(biāo)記或其 它數(shù)據(jù)，用于當(dāng)顯示視頻內(nèi)容時(shí)默認(rèn)顯示選項(xiàng)，或者用于注解任何視頻數(shù)據(jù)。
在塊204和205中產(chǎn)生的任何數(shù)據(jù)也可以被保存以用作將來使用或再使用， 這樣的保存可以在產(chǎn)生過程期間的任何時(shí)刻發(fā)生。這樣的保存特征對本領(lǐng)域 技術(shù)人員來說是顯而易見的，因此可以以任何已知方式或未開發(fā)的方式來實(shí)現(xiàn)。系統(tǒng)200的交互部分、即塊202然后可以對先前由塊201中的非交互部 分準(zhǔn)備的數(shù)據(jù)進(jìn)行操作。內(nèi)容訪問樹系統(tǒng)200可以在塊206中輸入由系統(tǒng)200 的塊201中的非交互部分產(chǎn)生的凝:據(jù)。顯示的數(shù)據(jù)可以在塊207中采用線性 的形式或時(shí)間軸表示，并且在塊209中也可以包括邏輯類別和/或分類顯示。 在一個(gè)有用實(shí)施例中，顯示時(shí)間軸表示和邏輯表示二者以使得用戶可以手動對根據(jù)時(shí)間軸選擇的場景進(jìn)行分類。當(dāng)在塊208產(chǎn)生時(shí)間軸表示時(shí)，顯示時(shí)間軸，才艮據(jù)該時(shí)間軸，在塊209 中允許對片段、場景和幀進(jìn)行隨機(jī)訪問。在塊211中，視頻片段、場景和幀 作為顯示元素顯示給用戶。當(dāng)在塊209中產(chǎn)生邏輯(分類)表示時(shí)，顯示類別或類的表示，并且在 塊210中允許隨機(jī)訪問。表示可以由用戶改變或定義，或者可以可替換地自 動產(chǎn)生。例如，可以利用用戶界面向用戶展示自動分類后的類或場景，其中用戶 界面允許對類或場景的自動分類的手動改變。在塊207中的線性(時(shí)間軸)表示和塊209中的邏輯(分類)表示兩者 的情況下，則在塊211中顯示片段、場景和幀。在一個(gè)有用實(shí)施例中，片段 可以被做成活動的，其中場景從活動的片段開始顯示，以及場景可以被做成 活動的，以使得顯示的幀將依賴該活動的場景。另外，可以在塊212中顯示視頻數(shù)據(jù)。在具體的有用實(shí)施例中，該視頻 數(shù)據(jù)可以是每個(gè)場景和片段的類別或分類屬性。在另一個(gè)具體有用的實(shí)施例 中，可以顯示與每個(gè)幀有關(guān)的數(shù)據(jù)。在一個(gè)實(shí)施例中，這可以利用顏色數(shù)據(jù)、 幀比特率數(shù)據(jù)或任何其它有用的數(shù)據(jù)的形式。然后在塊213中允許用戶導(dǎo)航并選擇顯示器內(nèi)的數(shù)據(jù)。在一個(gè)有用實(shí)施 例中，可以允許用戶選擇活動的片段，其中所顯示的場景和幀改變?yōu)榉从郴?動片段的內(nèi)容。相似地，在此有用實(shí)施例中，用戶可以通過選才奪來改變活動 場景，例如通過在期望的場景上點(diǎn)擊鼠標(biāo)，從而使得幀包括新選擇的要被顯 示的活動場景。 在塊214中，用戶可以修改與每個(gè)片段、場景、幀或類別有關(guān)的數(shù)據(jù)。在一個(gè)有用實(shí)施例中，每個(gè)類別可以具有與其相關(guān)的默認(rèn)參數(shù)，例如但是不 限于顏色信息、編碼比特率等等。在一個(gè)這樣的有用實(shí)施例中，默認(rèn)參^t可以是這樣的參數(shù)當(dāng)場景增加到類別中時(shí)，默認(rèn)參數(shù)被應(yīng)用于新增加的場景。 用戶也可以在塊214中將場景合并到類別中。在一個(gè)有用實(shí)施例中，包4舌多 個(gè)場景的類別可以在編碼過程期間被類似對待。在另一個(gè)有用實(shí)施例中，用 戶也可以改變場景標(biāo)記，也就是，指示哪些幀屬于場景，而不考慮自動場景 ;險(xiǎn)測過程。在塊213中用戶有機(jī)會導(dǎo)航可用的視頻數(shù)據(jù)并且在塊214中做出任何修 改之后，用戶可以在塊215中編碼或再編碼任意一個(gè)或所有片段、場景或類 別。編碼或再編碼過程可以發(fā)生在遠(yuǎn)程計(jì)算機(jī)上，或者可以發(fā)生在用戶的計(jì) 算機(jī)終端上。在一個(gè)有用實(shí)施例中，片段、場景或類別排隊(duì)等候編碼。當(dāng)特 定部分正被編碼或再編碼時(shí)，用戶然后可以查看并驗(yàn)證視頻數(shù)據(jù)的其它部 分。可以為場景的編碼分配優(yōu)先級，以允許編碼以非線性的方式進(jìn)行。在塊 215的編碼和再編碼后，然后再次顯示新編碼的片^:、場景或類別。在一個(gè)中編碼后的視頻部分適當(dāng)顯示。在用戶對所有視頻場景已被適當(dāng)編碼滿意并 且用戶不再需要在塊214中執(zhí)行數(shù)據(jù)的修改之后，在塊216中完成視頻編碼 工作。在一個(gè)有用實(shí)施例中，然后可以將視頻放置于主光盤上，用于再現(xiàn)介 質(zhì)的復(fù)制和隨后出售。現(xiàn)在參照圖3，描述了用于以分級格式顯示視頻流的內(nèi)容的界面300的 示范性實(shí)施例的圖。組成該系統(tǒng)結(jié)構(gòu)的單獨(dú)組件的細(xì)節(jié)對本領(lǐng)域技術(shù)人員是 已知的，將僅對其詳細(xì)描述足以理解本原理即可。諸如菜單、按鈕以及其它且不意欲限制本原理。界面300的元素顯示在可查看的顯示區(qū)域301或顯示器內(nèi)。在一個(gè)具體 有用的實(shí)施例中，顯示器301可以是但不限于，連接到個(gè)人計(jì)算機(jī)的計(jì)算機(jī) 監(jiān)視器、膝上型計(jì)算機(jī)屏幕等等。該顯示器可以包括代表完整視頻流的時(shí)間 順序的時(shí)間軸302和顯示的片段、場景和幀代表的時(shí)間點(diǎn)。時(shí)間軸可以包括 時(shí)間軸指示器304,其代表當(dāng)前活動的片段或類以及場景的位置?？梢允謩?移動時(shí)間軸指示器304以訪問與時(shí)間軸指示器304移動到的時(shí)間對應(yīng)的片段
和場景。時(shí)間軸302還可以包括時(shí)間軸條303,其代表視頻流內(nèi)容的長度總 數(shù)。一個(gè)具體有用的實(shí)施例可以包括顯示包括多個(gè)片IS:顯示元素306的一組 片段顯示元素305的顯示器。該片段顯示元素306可以顯示縮略圖或代表片 段的其它可視信息。另外，片段顯示元素306之一可以具有一個(gè)或多個(gè)附加 可視元素307,以指示由片段顯示元素306表示的片段是活動片段，場景309 是該活動片段的一部分。在一個(gè)有用實(shí)施例中，指示活動片段的附加可碎見元 素307可以是活動片段周圍的框(block)、輪廓或有色背景。在另一個(gè)有用 實(shí)施例中，附加可浮見元素307可以用于指示活動場景或幀。該組片段也可以具有與該組相關(guān)的一組或多組導(dǎo)航按鈕310。每組導(dǎo)航 按鈕310可以包括單個(gè)移動按鈕312和跳躍按鈕311。該單個(gè)移動按4丑312 可以左右滾動作為場景組308的一部分被顯示的場景，以允許用戶訪問作為 活動片段或類的一部分但是未被顯示的場景。另外，跳躍按鈕311可以允許 用戶直接前進(jìn)到片段的起始或末尾處的場景。在一個(gè)具體有用的實(shí)施例中， 當(dāng)在片段或類中的場景數(shù)超過可用于顯示場景的空間時(shí)，這些按鈕可以是有 用的。另外， 一組這樣的導(dǎo)航按鈕可以與場景和幀相關(guān)，并且也可以用于滾 動場景以及幀。一個(gè)具體有用的實(shí)施例也可以包括顯示包括多個(gè)場景顯示元素309的一 組場景顯示元素308的顯示器。該顯示的場景是來自于當(dāng)前活動的片段或類 的場景，并且可以用附加可一見元素307來表示。該場景顯示元素309可以顯 示縮略圖或代表場景的其它可視信息。另外，場景顯示元素309之一可以具 有一個(gè)或多個(gè)附加可視元素307,以指示由場景顯示元素309表示的場景是 活動場景，顯示的場景314是該活動場景的一部分。在另 一個(gè)具體有用的實(shí)施例中，該顯示器也可以顯示具有多個(gè)幀顯示元 素314的一組幀313,每個(gè)元素顯示不同的幀。在幀顯示元素314中所示的 幀是來自于活動場景的幀，并且通過演變(descendancy)也來自于活動片段 或類。另一個(gè)具體有用的實(shí)施例可以包括具有多個(gè)直方圖316的一組直方圖 315。每個(gè)直方圖可以與單獨(dú)的幀顯示元素314對應(yīng)，并且可以顯示與幀顯 示元素314中顯示的幀有關(guān)的信息。例如，直方圖可以顯示與比特率、幀顏 色信息等有關(guān)的信息。
現(xiàn)在參照圖4，描述了界面顯示元素306的示范性實(shí)施例的詳細(xì)圖。界 面顯示元素可以用于顯示片段、類、場景的縮略圖表示或單個(gè)幀的縮略圖。 該縮略圖可以顯示在縮略圖顯示區(qū)域403中。界面顯示元素306也可以具有 上信息條401和下信息條405。在一個(gè)具體有用的實(shí)施例中，上信息條401 可以顯示信息402,諸如顯示的縮略圖所代表的在視頻內(nèi)容流內(nèi)的時(shí)間。同 樣， 一個(gè)具體有用的實(shí)施例可以具有下信息條405,顯示諸如在界面顯示元 素306中顯示的縮略圖的幀號的信息。另外，上和下信息條401和405可以 用來傳達(dá)與類有關(guān)的信息或其它類似信息。例如，信息條401和405可以^皮 著色，以基于與片段、類、場景或幀有關(guān)的屬性來指示分類。界面顯示元素306可以另外具有用于顯示附加界面可^L元素404的區(qū) 域。可以可選地包括該附加可視元素，以指示哪個(gè)片段或類當(dāng)前是活動的?，F(xiàn)在參照圖5，描述了用戶界面300的一個(gè)示范性實(shí)施例的圖。在這樣 的用戶界面中，用戶可以能夠通過移動時(shí)間軸光標(biāo)來導(dǎo)航片段、場景和幀。 可替換地，用戶可以簡單地點(diǎn)擊片段以使得場景活動，并且改變顯示的場景 和幀，該顯示的場景和幀是所選片段的一部分。同樣，用戶可以簡單地點(diǎn)擊 場景以選擇該場景作為活動場景，改變所顯示的幀，其中該幀是活動場景的 一部分?，F(xiàn)在參照圖6,描述了根據(jù)本原理的用于顯示和處理內(nèi)容訪問樹的數(shù)據(jù) 的配置的替換示范性實(shí)施例的詳細(xì)圖。在此實(shí)施例中，圖3的界面300可以 包括附加動作或顯示元素?？梢燥@示一組類別604，該組類別604具有多個(gè)類別605。每個(gè)類別可 以由附加可^L元素來表示，并且屬于每個(gè)類別605的場景314可以顯示附加 可視元素以便于用戶仔細(xì)觀察。在一個(gè)有用實(shí)施例中，用戶可以能夠通過拖 拉場景顯示元素309并將其放在相關(guān)類別顯示元素605上來對場景309進(jìn)行 分類。在一個(gè)替換實(shí)施例中，用戶可以使用鼠標(biāo)點(diǎn)擊場景顯示元素309并從 下拉菜單中選擇類別605。界面300也可以具有一組或多組動作按鈕601,其包括多個(gè)動作4妄4丑 606。 一個(gè)或多個(gè)動作4姿4丑606可以與每個(gè)場景或類別相關(guān)。動作按4丑606 可以允許用戶對場景或類別進(jìn)行排隊(duì)，以用于初始編碼、再編碼或?yàn)V波。在 一個(gè)具體有用的實(shí)施例中，初始未被編碼的場景或類別將具有與按鈕606相 關(guān)的、用于編碼場景或類別的動作按4丑606。在另一個(gè)有用的實(shí)施例中，動
作按鈕也可以允許用戶過濾場景或類別。另外，用戶可以右鍵點(diǎn)擊任zf可縮略 圖或信息條，以允許用戶對所選的縮略圖或信息條采取動作或查看與所選的 縮略圖或信息條有關(guān)的信息。界面300也可以顯示場景標(biāo)記602。在一個(gè)有用實(shí)施例中，場景標(biāo)記602 以允許用戶可視地辨別出場景的邊界、例如在場景中的幀的分組的方式放 置。在另一個(gè)有用實(shí)施例中，用戶可以用鼠標(biāo)點(diǎn)擊場景標(biāo)記602以創(chuàng)建或去 除場景邊界。在此實(shí)施例中，用戶可以選擇場景標(biāo)記602,以糾正當(dāng)輸入原 始視頻數(shù)據(jù)時(shí)執(zhí)行的自動場景檢測。也可以在界面中顯示幀信息標(biāo)記603,并且該幀信息標(biāo)記603與幀314 有關(guān)。幀信息標(biāo)記603可以是幀顯示元素314的一部分，或者可以以關(guān)于幀 314的任何其它邏輯關(guān)系來顯示幀信息標(biāo)記603。在一個(gè)具體有用的實(shí)施例 中，幀編碼類型可以被顯示為文本。例如，幀信息標(biāo)記可以指示幀被作為總 體壓縮，幀,人兩個(gè)其它幀中內(nèi)插，或幀作為另一個(gè)幀的接續(xù)(progression) 而#皮壓縮。已經(jīng)描述了以分級方式顯示視頻內(nèi)容的系統(tǒng)和方法的優(yōu)選實(shí)施例(其意 在示范且不是限制性的)，應(yīng)當(dāng)注意，本領(lǐng)域技術(shù)人員根據(jù)上述教導(dǎo)可以做 出修改和變化。因此應(yīng)當(dāng)理解，可以對所公開的本原理的具體實(shí)施例做出改 變，其落入由所附權(quán)利要求書概括的本原理的范圍和精神之內(nèi)。已經(jīng)由此按 照專利法要求的細(xì)節(jié)和具體特征描述了本原理，專利權(quán)所要求的和所期望保 護(hù)的在所附的權(quán)利要求書中進(jìn)行闡述。
權(quán)利要求
1、一種方法，包括步驟表示具有至少一個(gè)片段(306)的視頻流的一部分，該片段具有至少一個(gè)場景(309)，該場景具有至少一個(gè)幀(314)；以及格式化該至少一個(gè)片段、場景和幀，以使得該視頻流的至少一個(gè)片段被指定為活動片段，并且用于顯示的場景是該活動片段的一部分，以及使得一個(gè)場景為活動場景，并且用于顯示的幀是該活動場景的一部分。
2、 如權(quán)利要求l所述的方法，其中，該至少一個(gè)片段(306 )是可選擇 的，以選擇該活動片段，以及其中片段(306)的選擇允許用戶查看該活動 片段的至少一個(gè)場景。
3、 如權(quán)利要求1所述的方法，還包括利用可視元素(307)指示活動片 段的步驟。
4、 如權(quán)利要求l所述的方法，其中，該至少一個(gè)場景(309)是用戶可 選擇的，以選擇該活動場景并允許用戶查看該活動場景的至少一個(gè)幀。
5、 如權(quán)利要求1所述的方法，還包括利用可視元素(307)指示活動場 景的步驟。
6、 如權(quán)利要求l所述的方法，還包括將至少一個(gè)直方圖(316)與用于 顯示的幀(314)相關(guān)聯(lián)的步驟，該直方圖(316)代表該相關(guān)幀(314)的 至少一個(gè)屬性。
7、 如權(quán)利要求1所述的方法，還包括允許用戶編碼該視頻流的至少一 個(gè)場景的步驟(606)。
8、 如權(quán)利要求7所述的方法，其中，該片段、場景和幀(306, 309, 314)顯示編碼后的視頻流，并且還包括再編碼該視頻流的至少一個(gè)場景的 步驟。
9、 如權(quán)利要求1所述的方法，還包括利用可視元素表示場景標(biāo)記(602) 的步驟，其中該場景標(biāo)記(602)是用戶可選擇的，以確定包括場景的幀。
10、 如權(quán)利要求l所述的方法，還包括至少一個(gè)類別(605 )，每個(gè)類別 (605 )包括至少一個(gè)場景，其中包括該類別(605 )的場景是用戶可選擇的。
11、 如權(quán)利要求IO所述的方法，其中，該至少一個(gè)類別(605 )可以根 據(jù)用戶的選擇被編碼，包括被選類別(605 )的場景被單獨(dú)編碼。
12、 如權(quán)利要求1所述的方法，還包括利用時(shí)間軸(302)選擇活動片 段的步驟，其中該活動場景是能夠使用該時(shí)間軸(302)選擇的。
13、 一種用戶界面，包括 分級格式，包括代表來自視頻流的多個(gè)場景的至少一個(gè)類縮略圖像(306 )，該至少一個(gè) 類縮略圖像(306)包括相關(guān)信息條(401)并且可由用戶選擇為活動的；代表類中的場景的至少一個(gè)場景縮略圖像(309),該場景具有至少一個(gè) 幀和相關(guān)信息條(401 )，并且可由用戶選擇為活動的，該至少一個(gè)場景縮略 圖像包括該活動的類；至少一個(gè)幀縮略圖像(314),該幀縮略圖像代表場景中的幀并且具有相 關(guān)信息條(401)和相關(guān)幀信息標(biāo)記(603 ),該至少一個(gè)幀縮略圖像(314) 包括該活動場景；以及至少一個(gè)編碼4要4丑(606),允"^午用戶編碼該^見頻流的至少一部分；以及界面(301),用于顯示至少一個(gè)類縮略圖像(306 )、至少一個(gè)場景縮略 圖像(309 )、至少一個(gè)幀縮略圖像(314)以及至少一個(gè)編碼按鈕(606)， 其中片段被指定為活動片段，以使得所顯示的場景包括該活動片段，以及其 中一個(gè)場景被指定為活動場景，所顯示的幀包括該活動場景。
14、 如權(quán)利要求13所述的用戶界面，其中所述信息條(401 )顯示相關(guān) 縮略圖像的幀號和幀時(shí)間。
15、 如權(quán)利要求13所述的用戶界面，其中與類相關(guān)的信息條(401)顯 示與相關(guān)的類有關(guān)的類信息。
16、 一種方法，包括步驟顯示代表場景的至少一個(gè)場景縮略圖像(309),該場景具有至少一個(gè)幀； 顯示至少一個(gè)幀縮略圖像(314)，該幀縮略圖像代表該場景中的幀；以及顯示至少一個(gè)類別(605 )，該類別(605 )包括至少一個(gè)場景；以及 顯示交互式用戶界面(301)、至少一個(gè)場景縮略圖像(309 )以及至少一個(gè)幀縮略圖像(314),其中一個(gè)場景被指定為活動場景，并且所顯示的幀是該活動場景的一部分；以及 允許用戶編碼至少一個(gè)場景。
17、 如權(quán)利要求16所述的方法，該方法還包括顯示代表順序數(shù)字圖像 的片段的至少一個(gè)片段縮略圖像(306)，該片段具有至少一個(gè)場景，其中所顯示的每個(gè)場景是片段的一部分。
18、 如權(quán)利要求17所述的方法，該方法還包括 加載視頻流數(shù)據(jù)；自動確定每個(gè)片段的起始和末尾；以及 自動確定每個(gè)場景的起始和末尾。
19、 如權(quán)利要求16所述的方法，還包括顯示時(shí)間軸(302),該時(shí)間軸代表-見頻流數(shù)據(jù)的至少一部分的長度； 允許用戶通過選擇該時(shí)間軸(302)上的時(shí)間來確定所顯示的至少一個(gè) 場景縮略圖像(309 )和所顯示的至少一個(gè)幀縮略圖像(314)。
20、 如權(quán)利要求16所述的方法，還包括顯示用于允許用戶對至少一個(gè) 類別(605 )內(nèi)的所有場景進(jìn)行編碼的至少一個(gè)按鈕(606)。
21、 如權(quán)利要求16所述的方法，還包括手動編輯每個(gè)場景的起始和末
全文摘要
提供了一種如下的方法表示具有至少一個(gè)片段的視頻流的一部分，該片段具有至少一個(gè)場景，該場景具有至少一個(gè)幀；以及格式化該至少一個(gè)片段、場景和幀，以使得該視頻流的至少一個(gè)片段被指定為活動片段，并且用于顯示的場景是該活動片段的一部分。
文檔編號G06F3/14GK101401060SQ200680053766
公開日2009年4月1日 申請日期2006年12月1日 優(yōu)先權(quán)日2006年3月9日
發(fā)明者哈桑·H·沃頓-阿利, 阿南德·卡普爾 申請人:湯姆森特許公司