專利名稱：記錄媒體、再現(xiàn)裝置、程序、再現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明是屬于同步型應(yīng)用技術(shù)的技術(shù)領(lǐng)域的發(fā)明。
背景技術(shù)：
所謂同步型應(yīng)用技術(shù)是如下技術(shù)，即再現(xiàn)記錄在不同記錄媒體中的多個數(shù)字流，通過規(guī)定它們的同步，使用戶感覺仿佛再現(xiàn)一個電影作品一樣。
在構(gòu)成同步型應(yīng)用的數(shù)字流中，有主流、子流等類型。這里，所謂主流是指包含高畫質(zhì)動態(tài)圖像的數(shù)字流。另一方面，子流是指不包含高畫質(zhì)動態(tài)圖像的數(shù)字流。主流在記錄于BD-ROM等大容量光盤上后提供給用戶，子流通過因特網(wǎng)等提供給用戶。
由于可使用不同的提供媒體將構(gòu)成電影作品的構(gòu)成要素的數(shù)字流提供給用戶，所以電影作品的變動制作的自由度增加，可從一個電影作品產(chǎn)出各種再現(xiàn)的變動。
另外，同步型應(yīng)用技術(shù)存在下面的專利文獻所述的現(xiàn)有技術(shù)。
專利文獻1日本專利特開2002-247526號公報但是，民用家電設(shè)備在將上述同步型應(yīng)用作為再現(xiàn)對象時，如何實現(xiàn)對該同步型應(yīng)用的特殊再現(xiàn)成為問題。所謂特殊再現(xiàn)是快進、后退、章節(jié)搜索、時間搜索等功能，以針對數(shù)字流的“隨機訪問”為前提來實現(xiàn)。所謂隨機訪問是將數(shù)字流具有的時間軸上的任意一時刻變換為數(shù)字流上的記錄位置后、訪問該記錄位置的技術(shù)。對于上述同步型應(yīng)用，在要執(zhí)行特殊再現(xiàn)的情況下，僅執(zhí)行主流下的隨機訪問是不夠的，還必須對子流執(zhí)行隨機訪問。
子流中，聲音或圖形、標準畫質(zhì)的動態(tài)圖像等各種數(shù)據(jù)客體可能成為再現(xiàn)對象。通常，包含高畫質(zhì)動態(tài)圖像的主流具有GOP(Group OfPicture圖片組)等可單獨解碼的單位，但子流不一定具有相當于該GOP的單位。另外，即便具有，多數(shù)情況下顯示速率或采樣頻率、位速率也完全不同。
由于顯示速率或采樣頻率、位速率或可獨立再現(xiàn)的單位對各個子流不同，所以當執(zhí)行隨機訪問時，不能保證與主流一起高速執(zhí)行子流側(cè)的隨機訪問。這樣，可能發(fā)生怎么都不能開始子流側(cè)的再現(xiàn)，明顯延遲子流側(cè)的再現(xiàn)開始的情況。
在同步型應(yīng)用中，由于期望主流與子流的同步，所以若延遲子流的再現(xiàn)開始，則受其影響，不得不延遲主流側(cè)的再現(xiàn)開始，結(jié)果，從用戶命令再現(xiàn)起、至開始再現(xiàn)的響應(yīng)被極端地延遲了。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種記錄媒體和再現(xiàn)裝置，可防止在與主流的隨機訪問的同時執(zhí)行子流的隨機訪問時的響應(yīng)降低。
為了實現(xiàn)上述目的，本發(fā)明的記錄媒體是一種記錄了播放列表信息的記錄媒體，其特征在于所述播放列表信息是對多個數(shù)字流的每個定義再現(xiàn)區(qū)間的信息，包含主路徑信息、子路徑信息，所述主路徑信息是指定多個數(shù)字流中的一個作為主流，對該主流定義主要再現(xiàn)區(qū)間的信息，所述子路徑信息是指定多個數(shù)字流中的另一個作為子流，對該子流定義應(yīng)與所述主要再現(xiàn)區(qū)間同步的、次要再現(xiàn)區(qū)間的信息。
在所述記錄媒體中，以與入口映射對應(yīng)的形式記錄多個數(shù)字流中被指定為子流的數(shù)字流，所述入口映射將子流在時間軸上的多個入口時刻，與子流中的多個入口位置相對應(yīng)地表示。
發(fā)明效果由于在作為子流的數(shù)字流中設(shè)置入口映射，所以通過使用該入口映射，可對子流的任意位置執(zhí)行高速隨機訪問。
由于以執(zhí)行高速隨機訪問為前提，對播放列表信息規(guī)定主流與子流的同步，所以就以流同步為前提的應(yīng)用而言，再現(xiàn)裝置可實現(xiàn)適應(yīng)用戶操作的發(fā)現(xiàn)開頭的再現(xiàn)或倍速再現(xiàn)。
由此，可廣泛的使用組合了主流、子流的應(yīng)用。
即便是不存在GOP的子流，也可執(zhí)行高速的隨機訪問，所以即便在對組合了子流與主流的電影作品執(zhí)行隨機訪問的情況下，也可從時間軸上的任意部位高速再現(xiàn)。主流+子流構(gòu)成的電影作品的處理與主流構(gòu)成的電影作品的處理相同，所以可執(zhí)行將子流組合于主流中的豐富多彩的再現(xiàn)。
這里，即便在子流中設(shè)置入口映射，入口映射的時間精度也可自然而然地變化。
在入口映射的時間精度對子流的每個客體都不同的情況下，由于不知入口時刻彼此的間隔如何、或?qū)⒛膫€數(shù)據(jù)位置指定為入口時刻，所以何種程度地執(zhí)行流解析為好成為未知數(shù)。若不確定必須執(zhí)行多少流解析的上限，則在執(zhí)行隨機訪問時，任何地方均未保證與主流一起高速執(zhí)行子流側(cè)的隨機訪問。這樣，怎么都無法開始子流側(cè)的再現(xiàn)，明顯延遲子流側(cè)的再現(xiàn)開始。
為了解決該問題，期望在入口映射中具有第1類型的入口映射，表示所述時間軸上以固定時間間隔存在的多個入口時刻、或數(shù)字流上以固定的數(shù)據(jù)間隔存在的多個入口位置；和第2類型的入口映射，與入口時刻相對應(yīng)地表示處于結(jié)束的數(shù)據(jù)集合的開頭的入口位置，所述入口映射包含表示入口映射的類型是第1類型還是第2類型的標志。
在上述構(gòu)成中，在標志表示第1類型的情況下，表示入口位置以固定時間間隔或固定數(shù)據(jù)間隔存在。若參照上述信息，則再現(xiàn)裝置可了解即便流解析是必需的，也盡量使應(yīng)執(zhí)行流解析的范圍為該固定時間間隔或該固定數(shù)據(jù)間隔的范圍，即便在最壞的情況下，若解析該固定數(shù)據(jù)間隔或固定數(shù)據(jù)間隔的范圍，也達到期望的訪問點。
在標志表示第2類型的情況下，表示指定結(jié)束的數(shù)據(jù)集合的開始點為入口位置。若參照上述信息，則再現(xiàn)裝置可了解例如即便入口位置的間隔為不定長，也從變?yōu)樵撊肟谖恢玫奈恢闷疬M行數(shù)據(jù)集合的讀出，若用于再現(xiàn)，則可實現(xiàn)期望的再現(xiàn)時刻的數(shù)據(jù)顯示。
由于標志促使再現(xiàn)裝置判斷必須以固定時間間隔或固定數(shù)據(jù)間隔為上限的流解析還是根本不必流解析，所以即便在對主流執(zhí)行隨機訪問的同時、必須對子流執(zhí)行隨機訪問，也不會對再現(xiàn)裝置造成過多的負擔(dān)?？衫迷撠摀?dān)減輕來提高對用戶操作的響應(yīng)。


圖1是表示使用本發(fā)明記錄媒體的方式的圖。
圖2是表示BD-ROM的內(nèi)部構(gòu)成的圖。
圖3是模式表示如何構(gòu)成賦予擴展符.m2ts的文件的圖。
圖4是表示經(jīng)過何過程將構(gòu)成MainClip的TS數(shù)據(jù)包寫入BD-ROM中的圖。
圖5是表示用于電影的視頻流的內(nèi)部構(gòu)成的圖。
圖6(a)是表示IDR圖片的內(nèi)部構(gòu)成的圖。
圖6(b)表示Non-IDR I圖片的內(nèi)部構(gòu)成。
圖6(c)表示Non-IDR I圖片中的依賴關(guān)系。
圖7是表示將IDR圖片、Non-IDR I圖片變換為TS數(shù)據(jù)包的過程圖。
圖8是表示Clip信息的內(nèi)部構(gòu)成的圖。
圖9是表示對應(yīng)電影的視頻流(application_type＝1)的EP_map設(shè)定的圖。
圖10由EP_Low、EP_High的組來表現(xiàn)圖9中的Entry Point#1～Entry Point#7的PTS_EP_start、SPN_EP_start。
圖11是表示局部存儲器的內(nèi)部構(gòu)成的圖。
圖12是表示Primary音頻流和Secondary音頻流的內(nèi)部構(gòu)成的圖。
圖13是表示PG流的內(nèi)部構(gòu)成的圖。
圖14是表示IG流的內(nèi)部構(gòu)成的圖。
圖15是表示局部存儲器側(cè)的Clip信息的數(shù)據(jù)構(gòu)造的圖。
圖16是表示對Primary音頻流、Secondary音頻流生成的EP_map的圖。
圖17是表示對PG流時間軸設(shè)定的EP_map的圖。
圖18是表示對IG流時間軸設(shè)定的EP_map的圖。
圖19是表示PlayList信息的數(shù)據(jù)構(gòu)造的圖。
圖20是表示AVClip與PlayList信息的關(guān)系圖。
圖21是表示PlayList信息的PlayListMark信息的內(nèi)部構(gòu)成的圖。
圖22是表示由PlayList信息的PlayListMark信息指定章節(jié)位置的圖。
圖23是詳細顯示Subpath信息的內(nèi)部構(gòu)成的圖。
圖24是表示局部存儲器上的SubClip、局部存儲器上的PlayList信息與BD-ROM上的MainClip的對應(yīng)圖。
圖25是集中表示對MainClip設(shè)定的EP_map和PlayItem時間軸、和對構(gòu)成Primary音頻流、Secondary音頻流的SubClip設(shè)定的EP_map和SubPlayItem時間軸的圖。
圖26是集中表示對MainClip設(shè)定的EP_map和PlayItem時間軸、和對構(gòu)成PG流、IG流的SubClip設(shè)定的EP_map和SubPlayItem時間軸的圖。
圖27是以表形式來表示SubPlayItem的SubPath_type、application_type與EP_stream_type的對應(yīng)關(guān)系圖。
圖28是表示由再現(xiàn)裝置300生成的虛擬文件系統(tǒng)的圖。
圖29是表示本發(fā)明的再現(xiàn)裝置的內(nèi)部構(gòu)成的圖。
圖30是表示跳入再現(xiàn)的處理步驟的流程圖。
圖31是模式表示如何使用如圖25所示設(shè)定的EP_map來確定隨機訪問位置的圖。
圖32是表示將MainClip、SubClip上的坐標TM變換為地址的處理的處理步驟的流程圖。
圖33是表示SubClip是Primary音頻流、Secondary音頻流的情況下的、變量k、h、隨機訪問位置的關(guān)系圖。
圖34是表示SubClip為PG流、IG流的情況下的、變量k、h、隨機訪問位置的關(guān)系圖。
圖35是表示PiP再現(xiàn)一例的圖。
圖36(a)是對比表示HD圖像與SD圖像的圖。
圖36(b)是表示如何放大、縮小Secondary Video的圖。
圖37是表示第2實施方式的局部存儲器的記錄內(nèi)容的圖。
圖38是表示第2實施方式中、記錄在局部存儲器中的Clip信息的內(nèi)部構(gòu)成的圖。
圖39是用與圖9一樣的標記來表示對Secondary Video流設(shè)定的EP_map的圖。
圖40是表示定義構(gòu)成靜態(tài)PiP再現(xiàn)的、同步型應(yīng)用的PlayList信息的圖。
圖41是用與圖25、26一樣的標記來表示如何用PlayList信息定義作為Primary Video的MainClip與作為Secondary Video的SubClip之間的同步的圖。
圖42(a)～(c)是表示以動態(tài)同步為前提的應(yīng)用的圖。
圖43是表示定義以動態(tài)同步為前提的PiP再現(xiàn)的、PlayList信息的內(nèi)部構(gòu)成的圖。
圖44是表示第2實施方式的再現(xiàn)裝置的內(nèi)部構(gòu)成的圖。
圖45是表示執(zhí)行PL再現(xiàn)時的處理步驟的流程圖。
圖46是用與圖31一樣的標記來描述對MainClip的隨機訪問與對SubClip的隨機訪問的圖。
圖47(a)是表示實現(xiàn)基于動態(tài)同步的PiP再現(xiàn)時的再現(xiàn)控制的圖。
圖47(b)是表示完成基于通常再現(xiàn)的鎖定點的通過→基于后退的鎖定點的通過→基于通常再現(xiàn)的鎖定點的通過后、產(chǎn)生鎖定點的往來的情況下，如何執(zhí)行基于動態(tài)同步的PiP再現(xiàn)的圖。
圖47(c)是表示Secondary Video的再現(xiàn)區(qū)間在Primary Video的再現(xiàn)區(qū)間的末尾之后時的PiP再現(xiàn)的圖。
符號說明1 BD驅(qū)動器2 Arrival time Clock Counter3 Source de-packetetizer4 PID Filter5 Transport Buffer6 Multiplexed Buffer7 Coded Picture Buffer8 視頻解碼器
10 Decoded Picture Buffer11 視頻平面12 Transport Buffer13 Coded Data Buffer14 Stream Graphics Processor15 Object Buffer16 Composition Buffer17 Composition Controller18 Presentation Graphics平面19 CLUT部20 Transport Buffer21 Coded Data Buffer22 Stream Graphics Processor23 Object Buffer24 Composition Buffer25 Composition Controller26 Interactive Graphics平面27 CLUT部28 合成部29 合成部30 開關(guān)31 Network Device32 開關(guān)33 Arrival Time Clock Counter34 Source De-Packetizer35 PID濾波器36 開關(guān)37 Transport Buffer38 Elementary Buffer39 音頻解碼器
40 Transport Buffer41 緩沖器42 音頻解碼器43 混頻器44 腳本存儲器45 控制部46 主變換部47 子變換部48 PL再現(xiàn)控制部49 PSR組具體實施方式
(第1實施方式)下面，說明本發(fā)明的記錄媒體的實施方式。首先，說明本發(fā)明的記錄媒體的實施行為中的使用行為的方式。圖1是表示本發(fā)明的記錄媒體的使用行為的方式。圖1中，本發(fā)明的記錄媒體是局部存儲器200。該局部存儲器200是內(nèi)置于再現(xiàn)裝置300中的硬盤。該局部存儲器200與BD-ROM100一起，用于向由再現(xiàn)裝置300、遙控器400、電視500形成的家庭影院系統(tǒng)提供電影作品。
局部存儲器200被組裝于再現(xiàn)裝置中，是作為從電影發(fā)行者的服務(wù)器發(fā)送的內(nèi)容的接收器、而使用的硬盤。
再現(xiàn)裝置300是網(wǎng)絡(luò)對應(yīng)型的數(shù)字家電設(shè)備，具有再現(xiàn)BD-ROM100的功能。另外，具有使通過網(wǎng)絡(luò)從電影發(fā)行者的服務(wù)器下載的內(nèi)容與記錄在BD-ROM100中的內(nèi)容組合后、實現(xiàn)BD-ROM100的擴展的功能。
遙控器400接收應(yīng)再現(xiàn)的章節(jié)的指定、或應(yīng)開始再現(xiàn)的時間的指定。
電視500顯示再現(xiàn)裝置300的再現(xiàn)影像。
將局部存儲器200的記錄內(nèi)容組合至BD-ROM100的記錄內(nèi)容，將未記錄于BD-ROM100中的數(shù)據(jù)以如同記錄的方式進行處理的技術(shù)，被稱為“虛擬文件系統(tǒng)”。
本發(fā)明的記錄媒體以與這種BD-ROM的組合為前提來構(gòu)成。以上是本發(fā)明的記錄媒體之使用行為的方式。
下面，依次說明BD-ROM100的內(nèi)部構(gòu)成與局部存儲器200的內(nèi)部構(gòu)成。
<BD-ROM的概要>
圖2是表示BD-ROM的內(nèi)部構(gòu)成的圖。本圖的第4段表示BD-ROM，第3段表示BD-ROM上的軌道。本圖的軌道沿橫向拉伸描繪從BD-ROM的內(nèi)周向外周以螺旋狀形成的軌道。該軌道由導(dǎo)入?yún)^(qū)域、卷區(qū)域和導(dǎo)出區(qū)域構(gòu)成。本圖的卷區(qū)域具有物理層、文件系統(tǒng)層、應(yīng)用層等層模塊。若使用目錄構(gòu)造來表現(xiàn)BD-ROM的應(yīng)用層格式(應(yīng)用格式)，則如圖中第1段所示。該第1段中，在BD-ROM中，在Root目錄下有BDMV目錄。
在BDMV目錄之下存在稱為PLAYLIST目錄、CLIPINF目錄、STREAM目錄的3個子目錄。
在STREAM目錄中，存在作為存儲有可以說構(gòu)成數(shù)字流主體的文件群的目錄的、賦予擴展符.m2ts的文件(00001.m2ts)。
PLAYLIST目錄中，存在賦予擴展符mpls的文件(00001.mpls)。
CLIPINF目錄中，存在賦予擴展符clpi的文件(00001.clpi)。
下面說明對應(yīng)于BD-ROM的構(gòu)成要素的AVClip、Clip信息、PlayList(播放列表)信息。
<BD-ROM的構(gòu)成之一.AVClip>
首先，說明賦予擴展符.m2ts的文件。圖3是模式表示如何構(gòu)成賦予擴展符.m2ts的文件的圖。賦予擴展符.m2ts的文件(00001.m2ts、00002.m2ts、00003.m2ts……)存儲AVClip。AVClip(第4段)通過將多個視頻幀(圖片pj1、2、3)構(gòu)成的視頻流、多個音頻幀構(gòu)成的音頻流(第1段)變換為PES數(shù)據(jù)包串(第2段)，再變換為TS數(shù)據(jù)包(第3段)，對其進行多路復(fù)用來構(gòu)成。如圖3所示，將具有動態(tài)圖像的AVClip與特別稱為“MainClip”、不具有動態(tài)圖像的AVClip相區(qū)別。
接著，說明如何將作為MPEG2-TS形式的數(shù)字流的MainClip寫入BD-ROM中。圖4表示經(jīng)過何過程將構(gòu)成MainClip的TS數(shù)據(jù)包寫入BD-ROM中。該圖的第1段示出構(gòu)成MainClip的TS數(shù)據(jù)包。
構(gòu)成MainClip的188字節(jié)的TS數(shù)據(jù)包如第2段所示，附加4字節(jié)的TS_extra_header(圖中的‘EX’)，變?yōu)?92字節(jié)長度。
第3段、第4段表示BD-ROM的物理單位與TS數(shù)據(jù)包的對應(yīng)關(guān)系。如第4段所示，在BD-ROM上形成多個扇區(qū)。帶extra_header的TS數(shù)據(jù)包(下面簡稱為帶EX的TS數(shù)據(jù)包)每32個成一組，寫入3個扇區(qū)中。由32個帶EX的TS數(shù)據(jù)包構(gòu)成的組為6144字節(jié)(＝32×192)，這與3個扇區(qū)大小6144字節(jié)(＝2048×3)一致。將容納于3個扇區(qū)中的32個帶EX的TS數(shù)據(jù)包稱為“Aligned Unit”，在向BD-ROM中寫入時，以Aligned Unit單位來加密。
第5段中，扇區(qū)以32個單位來附加糾錯碼，構(gòu)成ECC塊。再現(xiàn)裝置只要以Aligned Unit單位來訪問BD-ROM，就能得到32個結(jié)束的帶EX的TS數(shù)據(jù)包。以上是對BD-ROM寫入MainClip的過程。
<AVClip的說明之一.視頻流>
說明視頻流的內(nèi)部構(gòu)成。
圖5是表示用于電影的視頻流的內(nèi)部構(gòu)成。圖5中的視頻流由按編碼順序配置的多個圖片構(gòu)成。
圖中的I、P、B分別表示I圖片、B圖片、P圖片。I圖片中有IDR圖片與Non-IDR I圖片兩種。Non-IDR I圖片、P圖片、B圖片根據(jù)與其它圖片的幀相關(guān)性來執(zhí)行壓縮編碼。所謂B圖片是指由Bidirectionally predictive(雙向預(yù)測)(B)形式的切片數(shù)據(jù)構(gòu)成的圖片，所謂P圖片是指由Predictive(預(yù)測)(P)形式的切片數(shù)據(jù)構(gòu)成的圖片。B圖片中有refrenceB圖片與nonrefrenceB圖片。
圖5中，將Non-IDR I圖片記述為“I”，將IDR圖片記述為“IDR”。后面使用一樣的標記。以上是用于電影中的視頻流。
下面，說明IDR圖片和Non-IDR I圖片的內(nèi)部構(gòu)成。圖6(a)是表示IDR圖片的內(nèi)部構(gòu)成的圖。如圖所示，IDR圖片由多個Intra形式的切片數(shù)據(jù)構(gòu)成。圖6(b)表示Non-IDR I圖片的內(nèi)部構(gòu)成。與IDR圖片僅由Intra形式的切片數(shù)據(jù)構(gòu)成相反，Non-IDR I圖片由intra形式的切片數(shù)據(jù)、P形式的切片數(shù)據(jù)、B形式的切片數(shù)據(jù)構(gòu)成。圖6(c)表示Non-IDR I圖片中的依賴關(guān)系。Non-IDR I圖片由B、P切片數(shù)據(jù)構(gòu)成，所以具有與其它圖片的依賴關(guān)系。
<AVClip的說明之二.向BD-ROM的記錄>
下面，說明如何將IDR圖片、Non-IDR I圖片變換為TS數(shù)據(jù)包、記錄在BD-ROM中。圖7是表示將IDR圖片、Non-IDR I圖片變換為TS數(shù)據(jù)包的過程圖。圖中的第1段表示IDR圖片、Non-IDR I圖片。第2段表示MPEG4-AVC中規(guī)定的Access Unit。通過順序配置構(gòu)成IDR圖片、Non-IDR I圖片的多個切片數(shù)據(jù)，并附加AUD(AccessUnit Delimiter)、SPS(Sequence Parameter Set)、PPS(Picture ParameterSet)、SEI(Supplemental Enhanced Info)，變換為Access Unit。
AUD、SPS、PPS、SEI、Access Unit分別是MPEG4-AVC中規(guī)定的信息，記載于ITU-T Recommendation H.264等各種文獻中，所以細節(jié)請參照這些文獻。這里重要的是，將AUD、SPS、PPS、SEI提供給再現(xiàn)裝置是隨機訪問的必須條件。
第3段表示NAL unit。通過對第2段的AUD、SPS、PPS、SEI附加頭，將AUD、SPS、PPS、SEI、切片數(shù)據(jù)分別變換為NAL unit。所謂NAL unit是MPEG4-AVC的網(wǎng)絡(luò)抽象層(Network AbstractionLayer)中規(guī)定的單位，記載于ITU-T Recommendation H.264等各種文獻中，所以細節(jié)請參照這些文獻。這里重要的是，將AUD、SPS、PPS、SEI、切片數(shù)據(jù)分別變換為獨立的NAL unit，所以AUD、SPS、PPS、SEI、切片數(shù)據(jù)分別在網(wǎng)絡(luò)抽象層中被分別獨立處理。
通過變換一個圖片得到的多個NAL unit如第4段所示，被變換為PES數(shù)據(jù)包。之后，變換為TS數(shù)據(jù)包后，記錄在BD-ROM上。
為了再現(xiàn)一個GOP，必須將構(gòu)成位于該GOP開頭的IDR圖片、Non-IDR I圖片的NAL unit中、包含Access Unit Delimiter的NAL unit輸入解碼器。即，包含Access Unit Delimiter的NAL unit構(gòu)成解碼IDR圖片、Non-IDR I圖片用的一個指標。在本實施方式中，將包含該Access Unit Delimiter的NAL unit處理為點(Point)。再現(xiàn)裝置在再現(xiàn)視頻流時，將包含Access Unit Delimiter的NAL unit解釋為再現(xiàn)Non-IDR I圖片、IDR圖片用的入口位置。因此，MainClip為了執(zhí)行隨機訪問，把握IDR圖片、Non-IDR I圖片的Access Unit Delimiter存在于何處變得非常重要。以上是用于電影的MPEG4-AVC形式的視頻流的構(gòu)成。
<BD-ROM的構(gòu)成之二.Clip信息>
下面，說明賦予擴展符.clpi的文件。賦予擴展符.clpi的文件(00001.clpi、00002.clpi、00003.clpi……)存儲Clip信息。Clip信息是關(guān)于各個MainClip的管理信息。圖8是表示Clip信息的內(nèi)部構(gòu)成的圖。如圖左側(cè)所示，Clip信息由i)存儲AVClip文件的屬性信息的‘ClipInfo()’、ii)存儲關(guān)于ATC Sequence、STC Sequence的信息的‘SequenceInfo()’、iii)存儲關(guān)于Program Sequence的信息的‘Program Info()’、iv)‘Characteristic Point Info(CPI())’構(gòu)成。
<Clip信息的說明之一.Clip Info>
首先說明Clip Info。圖中的引出線ct1詳細顯示Clip Info()的構(gòu)成。如該引出線所示，Clip Info()包含表示數(shù)字流的類型的“clip_stream_type”、表示利用該MainClip的應(yīng)用的類型的“application_type”、表示MainClip的記錄速率的“TS_recording_rate”。application_type被設(shè)定為“1”，以表示對應(yīng)的MainClip構(gòu)成電影應(yīng)用。以上是對Clip info的說明。
繼續(xù)說明Clip Info。
Clip Info包含Ne個EP_map_for_one_stream
～[Ne-1]。另外，有Ne個各個EP_map_for_one_stream的屬性信息。該屬性信息由對應(yīng)的基礎(chǔ)流的stream_PID
～[Ne-1]、表示對應(yīng)的EP_map_for_one_stream類型的EP_stream_type
～[Ne-1]、表示EP_map_for_one_stream中的EP_high的個數(shù)的number_of_High_entries
～[Ne-1]、表示EP_map_for_one_stream中的EP_low的個數(shù)的number_of_Low_entries
～[Ne-1]、和表示EP_map_for_one_stream的當前地址的EP_map_for_one_stream_PID_start_address
～[Ne-1]構(gòu)成。
<Clip信息的說明之二.EP_map>
下面通過具體例來說明EP_map。圖9是表示對電影的視頻流(application_type＝1)的EP_map設(shè)定的圖。第1段表示按顯示順序配置的多個圖片，第2段表示該圖片中的時間軸。第4段表示BD-ROM上的TS數(shù)據(jù)包串，第3段表示EP_map的設(shè)定。
在第2段的時間軸上，設(shè)時刻t1～t7中存在Access Unit(Non-IDRI圖片、IDR圖片)。另外，若設(shè)這些t1～t7的時間間隔為1秒左右，則設(shè)定用于電影的視頻流中的EP_map，以將t1～t7設(shè)定為入口時刻(PTS_EP_start)，與之對應(yīng)地表示入口位置(SPN_EP_start)。
圖10通過EP_Low、EP_High的組來表現(xiàn)圖9中的EntryPoint#1～Entry Point#7的PTS_EP_start、SPN_EP_start。圖的左側(cè)示出EP_Low，右側(cè)示出EP_High。
圖10左側(cè)的EP_Low(0)～(Nf-1)中，EP_Low(i)～(i+3)的PTS_EP_Low表示t1～t4的下位比特。EP_Low(0)～(Nf-1)中，EP_Low(i)～(i+3)的SPN_EP_Low表示n1～n4的下位比特。
圖10右側(cè)表示EP_map中的EP_High(0)～(Nc-1)。這里，當設(shè)t1～t4具有共同的上位比特，另外，n1～n4也具有共同的上位比特時，該共同的上位比特被記述為PTS_EP_High、SPN_EP_High。設(shè)定對應(yīng)于EP_High的ref_to_EP_LOW_id，以表示對應(yīng)于t1～t4、n1～n4的EP_Low中的開頭的EP_Low(EP_Low(i))。由此，PTS_EP_start、SPN_EP_start的共同上位比特由EP_High來表現(xiàn)。以上是存在于BD-ROM上的MainClip和Clip信息的說明。另外，00001.mpls是存儲PlayList信息的文件，但由于同種類的還存在于局部存儲器200中，所以對存在于局部存儲器200中的PlayList進行說明，省略BD-ROM上的00001.mpls的說明。
BD-ROM由于容量大，所以可知在圖1所示的家庭影院系統(tǒng)中用來提供動態(tài)圖像。以上是BD-ROM的說明。
<局部存儲器200>
下面，說明作為本發(fā)明的記錄媒體的局部存儲器200。圖11是表示局部存儲器200的內(nèi)部構(gòu)成的圖。如圖所示，本發(fā)明的記錄媒體可通過對應(yīng)用層的改良來生產(chǎn)。
本圖的第4段示出局部存儲器200，第3段示出局部存儲器200上的軌道。本圖的軌道沿橫向拉伸描繪從局部存儲器200的內(nèi)周向外周以螺旋狀形成的軌道。該軌道由導(dǎo)入?yún)^(qū)域、卷區(qū)域和導(dǎo)出區(qū)域構(gòu)成。本圖的卷區(qū)域具有物理層、文件系統(tǒng)層、應(yīng)用層等層模塊。若使用目錄構(gòu)造來表現(xiàn)局部存儲器200的應(yīng)用層格式(應(yīng)用格式)，則如圖中第1段所示。
在本圖的目錄構(gòu)造中，在ROOT目錄之下，有稱為‘organization#1’的子目錄，在其下有稱為‘disc#1’的子目錄。所謂目錄‘organization#1’是分配給電影作品的特定提供者的目錄?！甦isc#1’是分配給該提供者提供的BD-ROM每個的目錄。
通過對對應(yīng)特定的提供者的目錄、設(shè)定對應(yīng)于各BD-ROM的目錄，單獨存儲各BD-ROM的下載數(shù)據(jù)。在該子目錄之下，與存儲于BD-ROM中的一樣，存儲PlayList信息(00002.mpls)、Clip信息(00002.clpi、00003.clpi、00004.clpi、00005.clpi)、AVClip(00002.m2ts、00003.m2ts、00004.m2ts、00005.m2ts)。
下面，說明作為局部存儲器200的構(gòu)成要素的PlayList信息、Clip信息、AVClip。
<局部存儲器200的構(gòu)成之一.AVClip>
局部存儲器200上的AVClip(00002.m2ts、00003.m2ts、00004.m2ts、00005.m2ts)構(gòu)成SubClip。所謂SubClip是由一個以上的Out-of-MUX流構(gòu)成的AVClip。所謂Out-of-MUX流是指在包含視頻流的AVClip的再現(xiàn)中再現(xiàn)，但不與視頻流多路復(fù)用的基礎(chǔ)流。另外，將在視頻流的再現(xiàn)中讀出Out-of-MUX流、并提供給解碼器來再現(xiàn)，稱為“Out-of-MUX流構(gòu)架”。
在這種Out-of-MUX流中，有‘Primary音頻流’、‘Secondary音頻流’、‘Presentation Graphics(PG)流’、‘Interactive Graphics(IG)流’等種類。
在本實施方式中，圖11所示的4個AVClip中，00002.m2ts存儲Primary音頻流，00003.m2ts存儲Secondary音頻流，00004.m2ts存儲PG流，00005.m2ts存儲IG流。但該存儲方式不過是一例，也可將4個Out-of-MUX流多路復(fù)用為一個SubClip。下面說明Out-of-MUX流的細節(jié)。
<Out-of-MUX流的說明之一.Primary、Secondary流>
所謂‘Primary音頻流’(主音頻流)是構(gòu)成所謂主聲音的音頻流，所謂‘Secondary音頻流’(次音頻流)是構(gòu)成所謂次聲音的音頻流。當SubClip再現(xiàn)時，Secondary音頻流的聲音再現(xiàn)，是與Primary音頻流的再現(xiàn)聲音混合之后提供給輸出。在處理為Secondary音頻流的聲音中例如有“評論聲音”。構(gòu)成Primary音頻流的主聲音是電影作品正片的臺詞或BGM，構(gòu)成Secondary音頻流的次聲音是電影導(dǎo)演的評論聲音的情況下，這種電影作品正片的臺詞或BGM與評論聲音混合后輸出。
Secondary音頻流僅記錄在局部存儲器200中來再現(xiàn)，不記錄在BD-ROM中。Primary音頻流既可置于BD-ROM中，也可置于局部存儲器200中。另外，Primary音頻流的編碼編解碼器(codec)也可與Secondary音頻流的編碼編解碼器不同。
圖12是表示Primary音頻流和Secondary音頻流的內(nèi)部構(gòu)成的圖。該圖的第1段表示SubClip再現(xiàn)時參照的時間軸(SubClip時間軸)，第2段表示構(gòu)成SubClip的TS數(shù)據(jù)包串。第3段表示構(gòu)成SubClip的PES數(shù)據(jù)包串，第4段表示構(gòu)成Primary音頻流和Secondary音頻流的音頻幀串。如圖所示，SubClip通過將構(gòu)成Primary音頻流、Secondary音頻流的幀串變換為PES數(shù)據(jù)包(第3段)、進而將該PES數(shù)據(jù)包串變換為TS數(shù)據(jù)包串來生成(第2段)。
存在于PES數(shù)據(jù)包頭中的PTS表示PES數(shù)據(jù)包內(nèi)的音頻幀的開始定時。因此，通過參照該PTS，可判斷在SubClip時間軸上、何時再現(xiàn)存儲在PES數(shù)據(jù)包中的音頻幀。因此，PES數(shù)據(jù)包的頭成為流解析的對象。
<Out-of-MUX流的說明之二.PG流>
所謂PG流(演示圖形流)是實現(xiàn)伴隨動態(tài)圖像的再現(xiàn)進行的字幕顯示的基礎(chǔ)流。圖13是表示PG流的內(nèi)部構(gòu)成的圖。第4段表示構(gòu)成SubClip的PES數(shù)據(jù)包，第3段表示構(gòu)成SubClip的TS數(shù)據(jù)包。第2段表示SubClip時間軸，第1段表示解碼作為SubClip的PG流與作為MainClip的視頻流，并合成來顯示的合成圖像。
說明第4段中的SubClip的PES數(shù)據(jù)包構(gòu)成。
SubClip的PES數(shù)據(jù)包通過向PCS(Presentation Control Segment)、PDS(Pallet Definition Segment)、WDS(Window Definition Segment)、ODS(Object Definition Segment)、END(END of Display Set Segment)等一系列功能段賦予PES數(shù)據(jù)包頭來制作。
ODS(Object Definition Segment對象定義段)是定義作為字幕的圖形數(shù)據(jù)的功能段。
WDS(Window Definition Segment窗口定義段)是定義畫面中的圖形數(shù)據(jù)的描繪區(qū)域的功能段。
PDS(Pallet Definition Segment調(diào)色板定義段)是規(guī)定圖形數(shù)據(jù)的描繪中的顯色的功能段。
PCS(Presentation Control Segment演示控制段)是規(guī)定字幕顯示中的頁控制的功能段。在這種頁控制中，有Cut-In/Out、Fade-In/Out、Color Change、Scroll、Wipe-In/Out等控制，通過伴隨基于PCS的頁控制，可實現(xiàn)在某個字幕緩慢消去的同時，使下一字幕進行顯示等顯示效果。
END(END of Display Set Segment顯示集合結(jié)束段)是表示顯示字幕顯示的功能段集合的結(jié)束的功能段。
PES數(shù)據(jù)包的頭包含PTS、DTS等時間戳，這些時間戳表示開始功能段的解碼的定時、根據(jù)功能段來顯示圖形的定時。另外，將以PCS為開始的、END之前的一組功能段稱為“Display Set”(顯示集合)。第2段表示當再現(xiàn)SubClip時參照的時間軸(SubClip時間軸)。在該時間軸上，PCS的DTS表示解碼PCS的定時，PCS的PTS表示根據(jù)以PCS為開頭的Display Set、顯示圖形的定時。在該PTS所示的定時，顯示第1段所示的合成圖像。
在該Display Set中，有‘Epoch Start’、‘Acquisition Point’、‘Normal Case’、‘Epoch Continue’等種類。
‘Epoch Start’表示新的Epoch的開始。所謂Epoch是指AVClip的再現(xiàn)時間軸上具有存儲器管理連續(xù)性的一個期間，和分配給該期間的數(shù)據(jù)組。因此，Epoch Start包含下一畫面合成必需的全部功能段。Epoch Start被配置在電影作品中的章節(jié)等判斷出進行開頭的位置上。
‘Acquisition Point’不是Epoch的開始時刻，而是包含下一畫面合成必需的全部功能段的Display Set。若從作為Acquisition Point的DS執(zhí)行開頭，則可確實實現(xiàn)圖形顯示。即，作為Acquisition Point的DS具有能從Epoch的中途起構(gòu)成畫面的功能。作為AcquisitionPoint的Display Set被組裝在可成為開頭目的地的位置上。
‘Normal Case’僅包含與前一Display Set的差分。例如，某個DSv的字幕的內(nèi)容與在先的Dsu相同，但畫面構(gòu)成與該在先的Dsu不同的情況下，設(shè)置僅PCS與END的DSv，將該DSv變?yōu)镹ormal Case的DS。如果這樣，則由于不必設(shè)置重復(fù)的ODS，所以有助于削減BD-ROM中的容量。另一方面，Normal Case的DS不過是差分，不能由Normal Case單獨執(zhí)行畫面構(gòu)成。
所謂‘Epoch Continue’表示某個AVClip的再現(xiàn)在其它AVClip再現(xiàn)后連續(xù)進行的情況下、使Epoch繼續(xù)。以上說明構(gòu)成PG流的功能段。
<Out-of-MUX流的說明之三.IG流>
IG流(交互圖形流)是實現(xiàn)伴隨動態(tài)圖像的再現(xiàn)進行的字幕顯示的基礎(chǔ)流。
圖14是表示IG流的內(nèi)部構(gòu)成的圖。第4段表示構(gòu)成SubClip的PES數(shù)據(jù)包，第3段表示構(gòu)成SubClip的TS數(shù)據(jù)包。第2段表示SubClip時間軸，第1段表示解碼作為Out-of-MUX流的IG流與作為MainClip的視頻流并合成來顯示的合成圖像。
說明第4段中的SubClip的PES數(shù)據(jù)包構(gòu)成。
通過向稱為ICS(Interactive Composition Segment)、PDS(PaletteDefinition Segment)、ODS(Object Definition Segment)、END(END ofDisplay set Segment)的功能段賦予PES數(shù)據(jù)包頭來制作SubClip的PES數(shù)據(jù)包。
ODS(Object Definition Segment對象定義段)是定義在描繪按鈕時的圖樣的圖形的圖形數(shù)據(jù)。
PDS(Pallet Definition Segment調(diào)色板定義段)是規(guī)定圖形數(shù)據(jù)的描繪時的顯色(発色)的功能段。
ICS(Interactive Composition Segment交互合成段)是規(guī)定對應(yīng)于用戶操作來使按鈕的狀態(tài)變化等對話控制的功能段。
END(END of Display set Segment)是表示顯示菜單顯示的功能段集合的結(jié)束的功能段。
PES數(shù)據(jù)包頭包含PTS、DTS等時間戳，這些時間戳表示開始功能段的解碼的定時、根據(jù)功能段來顯示圖形的定時。另外，將以ICS為開頭的、END之前的一組功能段稱為Display Set。該Display Set與PG流一樣，有‘Epoch Start’、‘Acquisition Point’、‘Normal Case’、‘Epoch Continue’等種類。
圖14的第3段表示通過變換這些PES數(shù)據(jù)包得到的TS數(shù)據(jù)包。第2段表示在再現(xiàn)SubClip時參照的時間軸(SubClip時間軸)。在該時間軸上，ICS的DTS表示解碼ICS的定時，ICS的PTS表示根據(jù)以ICS開頭的Display Set來顯示圖形的定時。在該PTS所示的定時，顯示第1段所示的合成圖像。
將ICS、PDS、ODS、END等功能段的集合稱為Display Set。DisplaySet是指實現(xiàn)菜單的一個顯示的功能段的集合。
以上是對SubClip的說明。
<局部存儲器200的構(gòu)成之二.Clip信息>
下面，說明局部存儲器200側(cè)的Clip信息。圖15是表示局部存儲器200側(cè)的Clip信息的數(shù)據(jù)構(gòu)造。局部存儲器200側(cè)的Clip信息的數(shù)據(jù)構(gòu)造與BD-ROM側(cè)的Clip信息相同。其中，將這些數(shù)據(jù)構(gòu)造中的application_type、EP_map的構(gòu)成和EP_stream_type設(shè)定為SubClip特有的內(nèi)容。
<SubClip中的Clip信息的說明之一.application_type>
說明圖15中的application_type。在SubClip是在先說明的Primary音頻流、Secondary音頻流、PG流、IG流之一的情況下，將application_type設(shè)定為7。
所謂application_type＝7是表示多路復(fù)用于該Clip信息的SubClip是“無動態(tài)圖像的追加內(nèi)容”。由于不包含動態(tài)圖像，所以該SubClip以通過網(wǎng)絡(luò)存儲在局部存儲器200中，并從局部存儲器200進行提供為前提。不以從BD-ROM提供為前提。以上是SubClip中的application_type的設(shè)定。
<SubClip中的Clip信息的細節(jié)之一.Out-of-MUX_EP_map>
下面，說明SubClip中的EP_map。局部存儲器200上的EP_map相對于多路復(fù)用于SubClip的一個以上Out-of-MUX流的每個而存在。與多個入口時刻對應(yīng)表示對應(yīng)的Out-of-MUX流的多個入口位置。
在Out-of-MUX流中，有Primary音頻流、Secondary音頻流、PG流、IG流等種類，它們可從流中途的何處進行再現(xiàn)這一方面是不同的。Primary音頻流、Secondary音頻流由多個音頻幀構(gòu)成，基本上如果是從該音頻幀的開頭起，可從任何地方開始再現(xiàn)。
相反，在對PG流、IG流執(zhí)行隨機訪問的情況下，必須向解碼器提供由結(jié)束的功能段構(gòu)成的Display Set。所謂由結(jié)束的功能段構(gòu)成的Display Set是所謂的‘Normal Case’以外的Display Set，即‘EpochStart’、‘Acquisition Point’、‘Epoch Continue’的Display Set，必須將位于這些Display Set開頭的PCS、ICS處理為入口位置。
如上所述，Out-of-MUX流由于可從流的中途中何處進行解碼這方面是不同的，所以EP map根據(jù)對應(yīng)的Out-of-MUX流的不同，具有不同的構(gòu)造。將對應(yīng)于Out-of-MUX流的EP_map稱為“Out-of-MUX_EP_map”。
<Out-of-MUX_EP_map的細節(jié)之二.對應(yīng)于聲音的Out-of-MUX_EP_map>
下面，說明對應(yīng)于Primary音頻流、Secondary音頻流的EP_map的構(gòu)成。對應(yīng)于Primary音頻流、Secondary音頻流的EP_map與對應(yīng)于動態(tài)圖像的EP_map不同之處，是EP_map的時間間隔。即，對應(yīng)于動態(tài)圖像的時間間隔不足1秒，以致密的精度來設(shè)定Entry Point，而Entry Point的時間間隔為5秒，時間間隔寬。
圖16是表示對Primary音頻流、Secondary音頻流生成的EP_map。該圖所示的EP_map的構(gòu)造中，在5秒的固定時間間隔的每個入口時刻，存在對應(yīng)的入口位置。該圖的第3段表示SubClip時間軸，該SubClip時間軸上的t1～t6是入口時刻。這些入口時刻t1、t2、t3、t4、t5、t6以5秒的固定時間間隔存在。該圖的第2段表示EP_map。該第2段中的EP_map的PTS_EP_start表示這些入口時刻。
第1段表示構(gòu)成Primary音頻流、Secondary音頻流的TS數(shù)據(jù)包串。設(shè)這些TS數(shù)據(jù)包串中、由SPN＝n1、n2、n3、n4、n5、n6指示的位置是入口位置。設(shè)定第2段的SPN_EP_start表示這些n1～n6。EP_map中的各Entry Point的SPN_EP_start設(shè)定成對應(yīng)于PTS_EP_start，所以5秒間隔的入口時刻與入口位置對應(yīng)。
在關(guān)于Primary音頻流、Secondary音頻流的EP_map中，與緊挨著的之前的Entry Point的間隔也可以是256K字節(jié)的數(shù)據(jù)間隔。該256K字節(jié)的時間間隔是向Secondary音頻流的傳輸速率乘以5秒的時間間隔后得到的。由于EP_map的時間間隔為5秒，所以必須流解析的范圍為5秒以下。以上是就對Primary音頻流、Secondary音頻流設(shè)定的EP_map的說明。
<Out-of-MUX_EP map的細節(jié)之三.PG流的EP_map>
圖17是表示對PG流時間軸設(shè)定的EP_map。該圖中，第1段表示構(gòu)成PG流的TS數(shù)據(jù)包串，第2段表示EP_map，第3段表示SubClip時間軸。該第1段中，設(shè)位于Display Set開頭而非Normal Case的PCS存在于SPN＝n1、n5時，這些n1、n5變?yōu)槿肟谖恢?。另一方面，這些PCS的PTS若表示第3段的SubClip時間軸上的t1、t5，則EP_map將這些SPN＝n1、n5與PTS＝t1、t5對應(yīng)表示。
由于如此結(jié)束的功能段的開頭與PCS的PTS所示的入口時刻對應(yīng)，所以若以該EP_map為線索，則不執(zhí)行流解析就可實現(xiàn)從流中途的字幕顯示。
<Out-of-MUX_EP map的細節(jié)之四.IG流的EP_map>
圖18是表示對IG流時間軸設(shè)定的EP_map的圖。該圖中，第1段表示構(gòu)成IG流的TS數(shù)據(jù)包串，第2段表示EP_map，第3段表示SubClip時間軸。該第1段中，設(shè)位于Display Set開頭而非Normal Case的ICS存在于SPN＝n1、n5時，這些n1、n5變?yōu)槿肟谖恢?。另一方面，這些ICS的PTS若表示第3段的SubClip時間軸上的t1、t5，則EP_map將這些SPN＝n1、n5與PTS＝t1、t5對應(yīng)表示。
由于如此結(jié)束的功能段的開頭與ICS的PTS所示的入口時刻對應(yīng)，所以若以該EP_map為線索，則不執(zhí)行流解析就可實現(xiàn)從中途的菜單顯示。
如上所述，可知EP_map構(gòu)造隨著對應(yīng)的Out-of-MUX流的質(zhì)的改變而變化。以上是對局部存儲器200上的Clip信息中的EP_map的說明。下面，說明局部存儲器200上的Clip信息中的EP_stream_type。
<SubClip中的Clip信息說明之三.EP_stream_type>EP_stream_type對多路復(fù)用于一個SubClip的每個Out-of-MUX流示出圖16-圖18所示的EP_map的構(gòu)造差異。即，在將多路復(fù)用于一個SubClip所得到的Out-of-MUX流中的第i個設(shè)為Out-of-MUX流[i]的情況下，EP_stream_type[i]表示對應(yīng)于Out-of-MUX流[i]的EP_map_for_one_stream是哪種類型。具體而言，將EP_stream_type[i]設(shè)定為3、4、6、7任一值。設(shè)定為3或4的情況表示設(shè)定成示出Primary音頻流或Secondary音頻流特有的構(gòu)造、即如圖16所示固定時間間隔的入口時刻或固定數(shù)據(jù)間隔的入口位置。設(shè)定為6的情況表示設(shè)定為指示PG流固有的構(gòu)造、即Normal Case以外的Display Set的開頭(圖17)。設(shè)定為7的情況表示設(shè)定成指示IG流固有的構(gòu)造、即Normal Case以外的Display Set的開頭。
由于將EP_map的構(gòu)造集中為該EP_stream_type，所以可知是必須從該EP_map所示的入口位置執(zhí)行流解析、還是最好從EP_map中的Entry Point執(zhí)行數(shù)據(jù)的讀出，并提供給解碼器。
<SubClip中的Clip信息說明之四.EP_stream_type的意義>
下面總結(jié)對Out-of-MUX_EP_map設(shè)置EP_stream_type的技術(shù)意義。
在指定入口時刻作為訪問位置的情況下，可馬上開始再現(xiàn)，但在訪問位置不是入口時刻的情況下，必須進行流解析。并且，在不知入口時刻彼此的間隔為何程度、以及指定哪個數(shù)據(jù)位置作為入口時刻的情況下，以何程度執(zhí)行流解析為好成為未知數(shù)。此時，由于必須多少體積流解析的上限未確定，所以擔(dān)心使對應(yīng)于用戶操作的響應(yīng)非常低。
因此，Out-of-MUX_EP_map使用EP_stream_type就可知入口時刻以何程度的間隔存在、或?qū)⒛膫€位置指定為入口位置。EP_stream_type為3、4的情況，表示入口位置以5秒的固定間隔存在。若參照此情況，則盡管必須流解析，再現(xiàn)裝置也盡量使應(yīng)執(zhí)行流解析的范圍為5秒的范圍，即便在最壞的情況下，若解析Out-of-MUX流中的5秒范圍，也可理解為達到期望的訪問點。
另一方面，EP_stream_type為6、7的情況表示指定由結(jié)束的功能段構(gòu)成的Display Set的開始點作為入口位置。若參照此情況，則即便入口位置的間隔為不定長，再現(xiàn)裝置也可從變?yōu)樵撊肟谖恢玫奈恢脠?zhí)行功能段的讀出，提供給再現(xiàn)，這樣，盡管完全不執(zhí)行流解析，也可實現(xiàn)期望再現(xiàn)時刻的字幕顯示、菜單顯示。
EP_stream_type由于促使再現(xiàn)裝置判斷是否必須以5秒為上限的流解析或完全不需要任何流解析，所以即便在對MainClip的隨機訪問、并且對SubClip的隨機訪問為必須時，也不會對再現(xiàn)裝置造成過多的負擔(dān)。通過如此減輕負擔(dān)，可使對用戶操作的響應(yīng)提高。
以上是對局部存儲器200中的Clip信息的說明。
<局部存儲器200的構(gòu)成之三.PlayList信息>
下面，說明局部存儲器200上的PlayList信息。賦予了擴展符“mpls”的文件(00001.mpls)是存儲PlayList(PL)信息的文件。PlayList信息是將稱為MainPath、SubPath的兩種再現(xiàn)路徑的集合定義為PlayList(PL)的信息。圖19是表示PlayList信息的數(shù)據(jù)構(gòu)造的圖，如圖所示，PlayList信息由定義MainPath的MainPath信息(MainPath())、定義章節(jié)的PlayListMark信息(PlayListMark())、和定義SubPath的SubPath信息(SubPath())構(gòu)成。
所謂MainPath(主路徑)是在主要的AVClip上定義的再現(xiàn)路徑。另一方面，SubPath(子路徑)是在SubClip上定義的再現(xiàn)路徑。
<PlayList信息的說明之一.MainPath信息>
首先說明MainPath。MainPath是以作為主影像的視頻流或音頻流定義的再現(xiàn)路徑。
MainPath如箭頭mp1所示，由多個PlayItem信息(…PlayItem()…)定義。PlayItem信息定義構(gòu)成MainPath的一個以上邏輯再現(xiàn)區(qū)間。PlayItem信息的構(gòu)成由引出線hs1詳細顯示。如該引出線所示，PlayItem信息由表示再現(xiàn)區(qū)間的IN點和Out點所屬的AVClip再現(xiàn)區(qū)間信息的文件名的‘Clip_Information_file_name’、表示AVClip的編碼方式的‘Clip_codec_identifier’、表示再現(xiàn)區(qū)間的起點的時間信息‘IN_time’和表示再現(xiàn)區(qū)間的終點的時間信息‘OUT_time’構(gòu)成。
圖20是表示MainClip與PlayList信息的關(guān)系圖。第1段表示PlayList信息具有的時間軸。第2段～第5段表示EP_map參照的視頻流(與圖5所示的相同)。
PlayList信息包含PlayItem信息#1、#2等兩個PlayItem信息，利用這些PlayItem信息#1、#2的In_time、Out_time，定義出兩個再現(xiàn)區(qū)間。若排列這些再現(xiàn)區(qū)間，則定義出與AVClip時間軸不同的時間軸。這是第1段所示的PlayItem時間軸。這樣，可利用PlayItem信息的定義來定義與AVClip不同的時間軸。
<PlayList信息的說明之二.PlayListMark>
以上是對本實施方式的PlayItem信息的說明。下面，說明PlayListMark信息。
圖21是表示PlayList信息的PlayListMark信息的內(nèi)部構(gòu)成的圖。如該圖的圖中引出線pm0所示，PlayListMark信息由多個PLMark信息(#1-#n)構(gòu)成。PLMark信息(PLMark())是指定PL時間軸中的任意區(qū)間作為章節(jié)點的信息。如引出線pm1所示，PLMark信息包含表示作為章節(jié)指定對象的PlayItem的‘ref_to_PlayItem_Id’、和由時間標記表示該PlayItem中的章節(jié)位置的‘mark_time_stamp’。
圖22是表示基于PlayList信息的PLMark信息的、章節(jié)位置指定的圖。該圖的第2段～第5段表示圖20所示的EP_map和AVClip。
該圖的第1段表示PLMark信息與PL時間軸。在該第1段中存在兩個PLMark信息#1～#2。箭頭kt1、2表示基于PLMark信息的ref_to_PlayItem_Id的指定。從該箭頭可知，PLMark信息的ref_to_PlayItem_Id指定各個PlayItem信息。另外，Mark_time_Stamp表示PlayItem時間軸中應(yīng)變?yōu)镃hapter(章節(jié))#1、#2的時刻。這樣，PLMark信息可在PlayItem時間軸上定義章節(jié)點。
<PlayList信息的說明之三.SubPath信息>
MainPath是對作為主影像的MainClip定義的再現(xiàn)路徑，相反，Subpath是應(yīng)與MainPath同步、對SubClip定義的再現(xiàn)路徑。
圖23是詳細顯示SubPath信息的內(nèi)部構(gòu)成的圖。如圖中箭頭hc0所示，各SubPath包含表示SubClip的類型的SubPath_type、和一個以上的SubPlayItem信息(…SubPlayItem()…)。
圖中的引出線hc1詳細顯示SubPlayItem信息的構(gòu)成。SubPlayItem信息如圖中箭頭hc1所示，由‘Clip_information_file_name’、‘SubPlayItem_In_time’、‘SubPlayItem_Out_time’、‘sync_PlayItem_id’、‘sync_start_PTS_of_PlayItem’構(gòu)成。
‘Clip_information_file_name’是通過記述Clip信息的文件名來唯一指定對應(yīng)于SubPlayItem的SubClip的信息。
‘SubPlayItem_In_time’是表示SubClip再現(xiàn)時間軸上的SubPlayItem起點的信息。
‘SubPlayItem_Out_time’是表示SubClip再現(xiàn)時間軸上的SubPlayItem終點的信息。
‘sync_PlayItem_id’是唯一指定構(gòu)成MainPath的PlayItem中、應(yīng)與該SubPlayItem同步的PlayItem的信息。SubPlayItem_In_time存在于由該sync_PlayItem_id所指定的PlayItem的再現(xiàn)時間軸上。
‘sync_start_PTS_of_PlayItem’表示在由sync_PlayItem_id指定的PlayItem再現(xiàn)時間軸上、由SubPlayItem_In_time指定的SubPlayItem的起點存在于何處。
<SubPath信息的細節(jié)之一.SubPath_type>
以上是對SubPath信息的說明。下面，說明SubPath_type。通過將SubPath_type設(shè)定為0～255的值，表示由SubPath信息定義的SubPath是哪個再現(xiàn)路徑。
該SubPath_type的值與由SubPlayItem信息的Clip_information_file_name指定的Clip信息的內(nèi)容聯(lián)動。所謂與某信息聯(lián)動，是與Clip.Info的application_type聯(lián)動。SubPath_type取0～255的值，但當將Clip.Info的application_type設(shè)定為7時，設(shè)定5～8任一值。
在將SubPath_type設(shè)定為5的情況下，表示由該SubPath信息定義的SubPath是Primary音頻再現(xiàn)路徑。為了追加、置換而定義該Primary音頻再現(xiàn)路徑。所謂對某某追加、置換，是應(yīng)附加到由PlayItem信息再現(xiàn)得到的Primary音頻的Primary音頻、或應(yīng)置換為由PlayItem信息再現(xiàn)的Primary音頻的Primary音頻。
在將SubPath_type設(shè)定為6的情況下，表示該SubPath信息定義追加、置換用的Presentation Graphics再現(xiàn)路徑。對某某追加、置換是對由PlayItem信息再現(xiàn)得到的PG流追加、置換得到的PG流。
在將SubPath_type設(shè)定為7的情況下，表示該SubPath信息定義追加、置換用的Interactive Graphics再現(xiàn)路徑。對某某追加、置換是對由PlayItem信息再現(xiàn)得到的PG流追加、置換得到的PG流。
在將SubPath_type設(shè)定為8的情況下，SubPath表示定義Secondary音頻再現(xiàn)路徑。為了追加而定義該Secondary音頻再現(xiàn)路徑。對某某追加是應(yīng)混合到由PlayItem信息再現(xiàn)得到的Primary音頻的再現(xiàn)聲音中的Secondary音頻。
以上是對SubPath_type的說明。
<SubPath信息的細節(jié)之二.三者的關(guān)系>
這里的三者是局部存儲器200上的SubClip、局部存儲器200上的PlayList信息、BD-ROM上的MainClip三者。
圖24是表示局部存儲器200上的SubClip、局部存儲器200上的PlayList信息和BD-ROM上的MainClip的對應(yīng)關(guān)系的圖。該圖中，第1段表示存在于局部存儲器200上的SubClip。如第1段所示，在局部存儲器200上的SubClip中，有Primary音頻流、Secondary音頻流、PG流、IG流等種類。將其中之一作為SubPath提供給同步再現(xiàn)。
第2段表示由PlayList信息定義的兩個時間軸。第2段中的下側(cè)時間軸表示由PlayItem信息定義的PlayItem時間軸，上側(cè)時間軸表示由SubPlayItem定義的SubPlayItem時間軸。
如圖所示，可知SubPlayItem信息的SubPlayItem_Clip_information_file_name實現(xiàn)SubClip選擇的作用，該SubClip選擇作用選擇第1段中的4個SubClip中的哪個作為再現(xiàn)區(qū)間指定對象。
另外，可知SubPlayItem.IN_time、SubPlayItem.Out_time實現(xiàn)在SubClip上定義再現(xiàn)區(qū)間的起點和終點的作用。
箭頭Sync_PlayItem_Id實現(xiàn)期望與哪個PlayItem同步的同步指定的作用，sync_start_PTS_of_PlayItem實現(xiàn)表示PlayItem時間軸的原點與SubPlayItem時間軸的原點的差分的作用。
圖25是集中表示對MainClip設(shè)定的EP_map和PlayItem時間軸、對構(gòu)成Primary音頻流、Secondary音頻流的SubClip設(shè)定的EP_map和SubPlayItem時間軸的圖。
該圖的中段、下4段～下1段表示圖20所示的PlayItem時間軸、圖片列、MainClip時間軸、EP_map、TS數(shù)據(jù)包串。
另外，上第1段～上第3段表示圖16所示的TS數(shù)據(jù)包串、EP_map、SubClip時間軸。上第4段表示圖24所示的SubPlayItem時間軸?？芍獙ainClip以1秒時間間隔設(shè)定入口時刻，對SubClip以5秒時間間隔設(shè)定入口時刻。
圖26是集中表示對MainClip設(shè)定的EP_map和PlayItem時間軸、與對構(gòu)成PG流、IG流的SubClip設(shè)定的EP_map和SubPlayItem時間軸的圖。
該圖的中段、下4段～下1段表示圖20所示的PlayItem時間軸、圖片列、MainClip時間軸、EP_map、TS數(shù)據(jù)包串。
另外，上第1段～第3段表示圖16所示的TS數(shù)據(jù)包串、EP_map、SubClip時間軸。上第4段表示圖24所示的SubPlayItem時間軸?？芍獙ainClip指定1秒時間間隔，對SubClip指定Normal Case以外的Display Set存在的位置作為入口位置。
<SubPath信息的細節(jié)之三.相關(guān)關(guān)系>
圖27是以表格形式表示SubPath_type可取的值、application_type可取的值和EP_stream_type可取的值的相關(guān)關(guān)系的圖。
可知在SubPath_type為“5”、application_type為“7”的情況下，將EP_stream_type設(shè)定為“3”。由于將EP_stream_type設(shè)定為“3”，所以再現(xiàn)裝置可理解對應(yīng)于該EP_stream_type的EP_map用于Primary音頻再現(xiàn)，具有5秒的時間間隔或256K字節(jié)的數(shù)據(jù)間隔。
可知在SubPath_type為“6”、application_type為“7”的情況下，將EP_stream_type設(shè)定為“6”。由于將EP_stream_type設(shè)定為“6”，所以對應(yīng)于該EP_stream_type的EP_map用于Presentation Graphics再現(xiàn)，若將由結(jié)束的功能段構(gòu)成的Display Set設(shè)為入口位置，則再現(xiàn)裝置可理解。
可知在SubPath_type為“7”、application_type為“7”的情況下，將EP_stream_type設(shè)定為“7”。由于將EP_stream_type設(shè)定為“7”，所以對應(yīng)于該EP_stream_type的EP_map用于Interactive Graphics再現(xiàn)，若將由結(jié)束的功能段構(gòu)成的Display Set設(shè)為入口位置，則再現(xiàn)裝置可理解。
可知在SubPath_type為“8”、application_type為“7”的情況下，將EP_stream_type設(shè)定為“4”。由于將EP_stream_type設(shè)定為“4”，所以對應(yīng)于該EP_stream_type的EP_map用于Secondary音頻再現(xiàn)，若具有5秒的時間間隔或256K字節(jié)的數(shù)據(jù)間隔，則再現(xiàn)裝置可理解。
以上是作為局部存儲器200的構(gòu)成的PlayList信息的說明。上面結(jié)束對局部存儲器200的說明。
<虛擬文件系統(tǒng)>
下面，說明虛擬文件系統(tǒng)。圖28是表示再現(xiàn)裝置300生成的虛擬文件系統(tǒng)的圖。圖中左上表示BD-ROM的記錄內(nèi)容，左下表示局部存儲器200的記錄內(nèi)容。右側(cè)表示虛擬文件系統(tǒng)的構(gòu)成。
再現(xiàn)裝置使存在于局部存儲器200中的AVClip、Clip信息、PlayList信息組合至存在于BD-ROM中的AVClip、Clip信息、PlayList信息中，得到虛擬文件系統(tǒng)。
該組合如下構(gòu)成i)向BD-ROM中的MPLS目錄追加Local Storage(局部存儲器)上的PlayList(00002.MPLS)。
ii)向BD-ROM中的CLPI目錄追加Local Storage上的Clip信息#2、#3、#4、#5(00002.CLPI、00003.CLPI、00004.CLPI、00005.CLPI)。
iii)向BD-ROM中的STREAM目錄追加Local Storage上的AVClip#2、#3、#4、#5(00002.M2TS、00003.M2TS、00004.M2TS、00005.M2TS)。
由此，構(gòu)成圖28的右側(cè)所示的虛擬文件系統(tǒng)。
以上結(jié)束對本發(fā)明的記錄媒體的說明。下面，說明本發(fā)明的再現(xiàn)裝置。
<再現(xiàn)裝置的內(nèi)部構(gòu)成>
圖29是本發(fā)明的再現(xiàn)裝置的內(nèi)部構(gòu)成的圖。本發(fā)明的再現(xiàn)裝置根據(jù)本圖所示的內(nèi)部構(gòu)成，在工業(yè)上生產(chǎn)。本發(fā)明的再現(xiàn)裝置主要由系統(tǒng)LSI和驅(qū)動器裝置等兩個部件構(gòu)成，通過將這些部件安裝在裝置的柜體和基板上，可工業(yè)上生產(chǎn)。系統(tǒng)LSI是集成了實現(xiàn)再現(xiàn)裝置的功能的各種處理部的集成電路。如此生產(chǎn)的再現(xiàn)裝置由BD驅(qū)動器l、Arrival time Clock Counter(到達時間時鐘計數(shù)器)2、Sourcede-packetetizer(源解包器)3、PID Filter(PID濾波器)4、TransportBuffer(傳輸緩沖器)5、Multiplexed Buffer(復(fù)用緩沖器)6、CodedPicture Buffer(編碼圖片緩沖器)7、視頻解碼器8、Decoded PictureBuffer(解碼圖片緩沖器)10、視頻平面11、Transport Buffer(傳輸緩沖器)12、Coded Data Buffer(編碼數(shù)據(jù)緩沖器)13、Stream GraphicsProcessor(流圖形處理器)14、Object Buffer(對象緩沖器)15、Composition Buffer(合成緩沖器)16、Composition Controller(合成控制器)17、Presentation Graphics(演示圖形)平面18、CLUT部19、Transport Buffer(傳輸緩沖器)20、Coded Data Buffer(編碼數(shù)據(jù)緩沖器)21、Stream Graphics Processor(流圖形處理器)22、Object Buffer(對象緩沖器)23、Composition Buffer(合成緩沖器)24、CompositionController(合成控制器)25、Interactive Graphics(交互圖形)平面26、CLUT部27、合成部28、合成部29、開關(guān)30、Network Device(網(wǎng)絡(luò)裝置)31、開關(guān)32、Arrival Time Clock Counter(到達時間時鐘計數(shù)器)33、Source De-Packetizer(源解包器)34、PID濾波器35、開關(guān)36、Transport Buffer(傳輸緩沖器)37、Elementary Buffer(基礎(chǔ)緩沖器)38、音頻解碼器39、Transport Buffer(傳輸緩沖器)40、緩沖器41、音頻解碼器42、混頻器43、腳本存儲器44、控制部45、主變換部46、子變換部47、PL再現(xiàn)控制部48、PSR組49構(gòu)成。圖中的內(nèi)部構(gòu)成是將MPEG的T-STD模型作為基礎(chǔ)的解碼器模型，為包含假設(shè)下變頻的解碼器模型。
BD-ROM驅(qū)動器1執(zhí)行BD-ROM的加載/排出，對BD-ROM執(zhí)行訪問，從BD-ROM中讀出32個結(jié)束的帶EX的TS數(shù)據(jù)包構(gòu)成的Aligned Unit。
Arrival time Clock Counter2基于27MHz的晶體振蕩器(27MHzX-tal)，生成Arrival Time Clock(到達時間時鐘)。所謂Arrival TimeClock是規(guī)定構(gòu)成賦予TS數(shù)據(jù)包的ATS的基準的時間軸的時鐘信號。
Source de-packetetizer3若從BD-ROM中讀出32個結(jié)束的帶EX的TS數(shù)據(jù)包構(gòu)成的Aligned Unit，則從構(gòu)成Aligned Unit的各個TS數(shù)據(jù)包中取出TP_extra_header，僅將TS數(shù)據(jù)包輸出到PID濾波器4。Source de-packetizer3向PID濾波器4的輸出，在Arrival time ClockCounter2經(jīng)過的時刻變?yōu)門P_extra_header所示的ATS的定時執(zhí)行。由于根據(jù)ATS來向PID濾波器4輸出，所以即便從BD-ROM的讀出中存在1倍速、2倍速等速度差，向PID濾波器4的TS數(shù)據(jù)包輸出也根據(jù)Arrival Time Clock經(jīng)過的當前時間來執(zhí)行。
PID Filter4通過參照附加于TS數(shù)據(jù)包的PID，判定TS數(shù)據(jù)包歸屬于視頻流、PG流、IG流、Primary音頻流中的哪個，輸出到TransportBuffer5、Transport Buffer12、Transport Buffer20、Transport Buffer37之一。
Transport Buffer(TB)5是從PID濾波器輸出歸屬于視頻流的TS數(shù)據(jù)包時、暫時存儲該TS數(shù)據(jù)的緩沖器。
Multiplexed Buffer(MB)6是在從Transport Buffer5向ElementaryBuffer7輸出視頻流時、暫時存儲PES數(shù)據(jù)包的緩沖器。
Coded Picture Buffer(CPB)7是存儲處于編碼狀態(tài)的圖片(I圖片、B圖片、P圖片)的緩沖器。
視頻解碼器8通過在每個規(guī)定的解碼時刻(DTS)對視頻基礎(chǔ)流的各個的幀圖像進行解碼，得到多個幀圖像，寫入Decoded PictureBuffer10中。
Decoded Picture Buffer10是寫入解碼后的圖片的緩沖器。
視頻平面11是存儲非壓縮形式的圖片的平面。所謂平面是再現(xiàn)裝置中存儲一畫面大小的象素數(shù)據(jù)用的存儲器區(qū)域。視頻平面11的分辯率為1920×1080，存儲在該視頻平面11中的圖片數(shù)據(jù)由以16比特的YUV值表現(xiàn)的象素數(shù)據(jù)構(gòu)成。
Transport Buffer(TB)12是當從PID濾波器4輸出歸屬于PG流的TS數(shù)據(jù)包時、暫時存儲該TS數(shù)據(jù)的緩沖器。
Coded Data Buffer(CDB)13是存儲構(gòu)成PG流的PES數(shù)據(jù)包的緩沖器。
Stream Graphics Processor(SGP)14解碼ODS，將解碼得到的索引顏色構(gòu)成的非壓縮狀態(tài)的非壓縮圖形，作為圖形對象寫入ObjectBuffer15中。由Stream Graphics處理器14瞬間執(zhí)行解碼，通過解碼，Stream Graphics處理器14暫時保持圖形對象。雖然由Stream Graphics處理器14瞬間執(zhí)行解碼，但從Stream Graphics處理器14向ObjectBuffer15的寫入并不是瞬間結(jié)束。這是因為在BD-ROM標準的播放器模型中，向Object Buffer15的寫入以128Mbps的傳輸速率來執(zhí)行。由于向Object Buffer15的寫入完成時刻在END段的PTS中表示，所以在該END段的PTS所示的時刻經(jīng)過之前，等待對下一DS的處理。通過解碼各ODS而得到的圖形對象的寫入，在與該ODS關(guān)聯(lián)的DTS的時刻開始，在與ODS關(guān)聯(lián)的PTS所示的解碼結(jié)束時刻結(jié)束寫入。
Object Buffer15是配置由Stream Graphics Processor14解碼得到的圖形對象的緩沖器。Object Buffer15必須設(shè)定為圖形平面8的2倍/4倍大小。這是因為若考慮無論如何均要實現(xiàn)scrolling(滾動)的情況，則必須存儲圖形平面8的2倍、4倍的圖形對象。
Composition Buffer16是配置PCS、PDS的存儲器。應(yīng)處理的Display Set為兩個，在這些PCS的活動(active)期間重復(fù)的情況下，在Composition緩沖器16中存儲多個應(yīng)處理的PCS。
Graphics控制器17每當當前的再現(xiàn)時刻到達新的Display Set時，都判定包含于該Display Set中的PCS的Composition_state是EpochStart、Acquisition Point、Normal Case中的哪個。若是Epoch Start，則將Coded Data緩沖器13上的PCS從Coded Data緩沖器13傳輸?shù)紺omposition緩沖器16。
Presentation Graphics平面18是具有一個畫面大小的區(qū)域的存儲器，可存儲一個畫面大小的非壓縮圖形。該平面的分辯率為1920×1080，Presentation Graphics平面18中的非壓縮圖形的各象素由8比特的索引顏色表現(xiàn)。通過使用CLUT(Color Lookup Table色彩查找表)來變換該索引顏色，從而將存儲在Presentation Graphics平面18中的非壓縮圖形用于顯示。
CLUT部19將存儲在Presentation Graphics平面18中的非壓縮圖形中的索引顏色變換為Y、Cr、Cb值。
Transport Buffer(TB)20是暫時存儲歸屬于IG流的TS數(shù)據(jù)包的緩沖器。
Coded D ata B uffer(CDB)21是存儲構(gòu)成IG流的PES數(shù)據(jù)包的緩沖器。
Stream Graphics Processor(SGP)22解碼ODS，將通過解碼得到的非壓縮圖形寫入Object Buffer23中。
Object Buffer23是配置多個由Stream Graphics Processor22解碼得到的非壓縮圖形對象的緩沖器。該Object Buffer23中，各圖形對象所占的矩形區(qū)域由ODS具有的Object_id來識別。因此，在存在位于Object Buffer23上的圖形對象的狀態(tài)下，若提供具有相同Object_id的圖形對象，則Object Buffer23上該圖形對象所占的區(qū)域被具有相同Object_id的圖形對象改寫。
Composition緩沖器24是用于存儲對應(yīng)于一個以上的ICS的被搬運的Interactive_composition的緩沖器。將存儲的Interactive_composition提供給Graphics控制器25來破譯。
Graphics控制器25每當當前的再現(xiàn)時刻到達新的Display Set時，判定包含于該Display Set中的ICS的Composition_state是EpochStart、Acquisition Point、Normal Case中的哪個，若是Epoch Start，則將Coded Data緩沖器21上的新的Interactive_composition從CodedData緩沖器21傳輸?shù)紺omposition緩沖器24。
Graphics控制器25每當將Acquisition Point類型的Display Set中的ICS讀出到Coded Data緩沖器21時，對照屬于該ICS的各頁信息的Page_Version_Number、與已存儲在Composition緩沖器24中的Interactive_composition的各頁信息的Page_Version_Number。若Page_Version_Number大的頁信息存在于Coded Data緩沖器21上，則通過將該頁信息從Coded Data緩沖器21傳輸?shù)紺omposition緩沖器24，更新Composition緩沖器24中的期望頁信息。之后，判定對應(yīng)于如此更新的頁信息的頁是否正在顯示，若正在顯示，則執(zhí)行該頁的再描繪。
Interactive Graphics平面26寫入Stream Graphics Processor(SGP)22解碼得到的非壓縮圖形。該平面的分辯率為1920×1080，Interactive Graphics平面26中的非壓縮圖形的各象素由8比特的索引顏色表現(xiàn)。通過使用CLUT(Color Lookup Table)來變換該索引顏色，將存儲在Interactive Graphics平面26中的非壓縮圖形用于顯示。
CLUT部27將存儲在Interactive Graphics平面26中的非壓縮圖形的索引顏色變換為Y、Cr、Cb值。
合成部28合成存儲在視頻平面11中的非壓縮狀態(tài)的幀圖像、與存儲在Presentation Graphics平面18中的非壓縮狀態(tài)的圖形對象。利用如此合成，可得到在動態(tài)圖像上重合字幕的合成圖像。
合成部29合成存儲在Interactive Graphics平面26中的非壓縮狀態(tài)的圖形對象、和作為合成部28的輸出的合成圖像(合成了非壓縮狀態(tài)的圖片數(shù)據(jù)與Presentation Graphics平面18的非壓縮圖形對象之后的合成圖像)。
開關(guān)30選擇性地將從BD-ROM中讀出的TS數(shù)據(jù)包、從局部存儲器200讀出的TS數(shù)據(jù)包之一提供給Transport Buffer20。
Network Device31實現(xiàn)再現(xiàn)裝置中的通信功能，確立與對應(yīng)于URL的web站點之間的TCP連接、FTP連接等。將通過由NetworkDevice31確立的連接從web站點下載的內(nèi)容存儲在該LocalStorage200中。
開關(guān)32選擇性地將從BD-ROM中讀出的TS數(shù)據(jù)包、從局部存儲器200讀出的TS數(shù)據(jù)包之一提供給Transport Buffer12。
Source de-packetetizer34從由局部存儲器200讀出的AVClip的TS數(shù)據(jù)包中取出TP_extra_header，僅將TS數(shù)據(jù)包輸出到PID濾波器35。Source de-packetetizer34向PID濾波器35的輸出，在ArrivalTime Clock Counter33經(jīng)過的時刻變?yōu)門P_extra_header所示的ATS的定時執(zhí)行。
PID濾波器35將從局部存儲器200讀出的TS數(shù)據(jù)包切換到PG流的解碼器側(cè)、IG流的解碼器側(cè)、音頻解碼器39側(cè)、音頻解碼器42側(cè)之一。
開關(guān)36將從BD-ROM讀出的TS數(shù)據(jù)包、從局部存儲器200讀出的TS數(shù)據(jù)包之一提供給音頻解碼器39側(cè)。該TS數(shù)據(jù)包構(gòu)成Primary音頻流。通過經(jīng)由該開關(guān)36，可從BD-ROM和局部存儲器200任一向音頻解碼器39提供Primary音頻流。
Transport Buffer(TB)37存儲歸屬于Primary音頻流的TS數(shù)據(jù)包。
Elementary Buffer(EB)38是存儲構(gòu)成Primary音頻流的PES數(shù)據(jù)包的緩沖器。
音頻解碼器39解碼從Elementary Buffer41輸出的PES數(shù)據(jù)包狀態(tài)的Primary音頻流，輸出非壓縮形式的音頻數(shù)據(jù)。
Transport Buffer(TB)40存儲歸屬于Secondary音頻流的TS數(shù)據(jù)包。
Elementary Buffer(EB)41是存儲構(gòu)成Secondary音頻流的PES數(shù)據(jù)包的緩沖器。
音頻解碼器42解碼從Elementary Buffer38輸出的PES數(shù)據(jù)包狀態(tài)的Secondary音頻流，輸出非壓縮形式的音頻數(shù)據(jù)。
混頻器43通過混合解碼Primary音頻流得到的非壓縮形式的音頻數(shù)據(jù)、與解碼Secondary音頻流得到的非壓縮形式的音頻數(shù)據(jù)，輸出合成聲音。
腳本存儲器44是存儲當前PlayList信息或當前Clip信息用的存儲器。所謂當前PlayList信息是指記錄在BD-ROM中的多個PlayList信息中的、構(gòu)成當前處理對象的PlayList信息。所謂當前Clip信息是指記錄在BD-ROM中的多個Clip信息中的、構(gòu)成當前處理對象的Clip信息。
控制部45由命令ROM、CPU構(gòu)成，執(zhí)行存儲在命令ROM中的軟件，執(zhí)行再現(xiàn)裝置整體的控制。該控制內(nèi)容根據(jù)對應(yīng)于用戶操作產(chǎn)生的用戶事件、和PSR組49中的各PSR設(shè)定值而動態(tài)變化?？刂撇?5包含主變換部46、子變換部47、PL再現(xiàn)控制部48等功能構(gòu)成要素。
主變換部46將PlayItem時間軸上的再現(xiàn)時刻變換為MainClip的地址。這里，應(yīng)開始通常再現(xiàn)和特殊再現(xiàn)的再現(xiàn)時刻在PlayItem的時間軸上定義，主變換部46使用對應(yīng)于MainClip的Clip信息內(nèi)的EP_map，將該再現(xiàn)時刻變換為MainClip中的地址。
子變換部47將PlayItem時間軸上的再現(xiàn)時刻變換為SubPlayItem時間軸上的再現(xiàn)時刻，將變換后的SubPlayItem時間軸上的再現(xiàn)時刻變換為SubClip的地址。這里，子變換部47執(zhí)行的從PlayItem時間軸上的再現(xiàn)時刻向SubPlayItem時間軸上的再現(xiàn)時刻的變換，使用SubPlayItem信息中的Sync_PlayItem_Id、Sync_Start_PTS_of_PlayItem來執(zhí)行。
從SubPlayItem時間軸上的再現(xiàn)時刻向SubClip地址的變換由求出EP_map所示的多個入口位置中、距隨機訪問位置最近的入口位置的處理(i)、和以如此求出的入口位置為開始點、執(zhí)行流解析的處理(ii)等兩個處理構(gòu)成。前者的處理使用對應(yīng)于SubClip的EP_map來執(zhí)行。后者的流解析是Primary音頻流和Secondary音頻流的隨機訪問所需的，但PG流、IG流的隨機訪問中可省略。參照EP_stream_type來判定是否可省略流解析。這是因為Clip信息中存在EP_map，保證隨機訪問適宜地執(zhí)行。
PL再現(xiàn)控制部48執(zhí)行再現(xiàn)裝置整體的控制，以執(zhí)行PL再現(xiàn)。所謂PL再現(xiàn)是根據(jù)PlayList信息內(nèi)的PlayItem信息、SubPlayItem信息，來使BD-ROM中的MainClip和局部存儲器中的SubClip同步再現(xiàn)的控制。使EP_map對應(yīng)于MainClip、SubClip，保證對各AVClip的隨機訪問的高速化。通過應(yīng)用該高速隨機訪問，在PL再現(xiàn)中實現(xiàn)“通常再現(xiàn)”、“特殊再現(xiàn)”。
這里所謂的PL再現(xiàn)中的通常再現(xiàn)是指根據(jù)PlayItem時間軸、SubPlayItem時間軸，來再現(xiàn)MainClip、SubClip中、由PlayList信息中的構(gòu)成MainPath信息的PlayItem信息、構(gòu)成SubPath信息的SubPlayItem信息指定的部分。
所謂PL再現(xiàn)中的特殊再現(xiàn)是指對MainClip、SubClip中、由PlayList信息中的構(gòu)成MainPath信息的PlayItem信息、構(gòu)成SubPath信息的SubPlayItem信息指定的部分，執(zhí)行快進、后退、章節(jié)搜索、時間搜索。
PSR組49是內(nèi)置于再現(xiàn)裝置中的非易失性寄存器，由64個PlayerStatus Register(播放器狀態(tài)寄存器)(PSR(1)～(64))、和4096個General Purpose Register(通用目的寄存器)(GPR)構(gòu)成。64個Player Status Register(PSR)分別表示當前的再現(xiàn)時刻等再現(xiàn)裝置中的各狀態(tài)。64個PSR(PSR(1)～(64))中的PSR(5)～PSR(8)表示當前的再現(xiàn)時刻。其中，通過將PSR(5)設(shè)定為1～999的值，表示當前的再現(xiàn)時刻所屬的章節(jié)序號，通過設(shè)定為0xFFFF，表示再現(xiàn)裝置中的章節(jié)序號無效。
PSR(6)通過被設(shè)定為0～999的值，表示當前的再現(xiàn)時刻所屬的PlayList(當前PlayList)的序號。
PSR(7)通過被設(shè)定為0～255的值，表示當前的再現(xiàn)時刻所屬的Play Item(下面稱為當前PI)的序號。
PSR(8)通過被設(shè)定為0～OxFFFFFFFF的值，使用45KHz的時間精度來表示當前的再現(xiàn)時刻(當前PTM)。
以上是再現(xiàn)裝置的內(nèi)部構(gòu)成。
<基于軟件的實現(xiàn)之一.PL再現(xiàn)控制部48>
下面，說明基于計算機軟件的PL再現(xiàn)控制部48的實現(xiàn)。為了將PL再現(xiàn)控制部48實現(xiàn)為計算機軟件，只要制作使計算機執(zhí)行圖30所示的再現(xiàn)步驟的程序即可。即，PL再現(xiàn)中的通常再現(xiàn)、特殊再現(xiàn)均以從PlayItem時間軸上的任意坐標開始再現(xiàn)的跳入再現(xiàn)為前提，所以只要命令再現(xiàn)裝置實現(xiàn)該跳入再現(xiàn)的控制即可。
圖30是表示從PlayItem時間軸上的任意坐標開始跳入再現(xiàn)時的控制步驟的流程圖。算出表示PlayItem時間軸上的坐標的Offset(偏移)α(步驟S1)，將Offsetα變換為MainClip時間軸上的坐標(In_time+Offsetα)(步驟S2)。這樣若求出MainClip時間軸上的坐標，則使用MainClip的EP_map，將MainClip時間軸上的坐標(In_time+Offsetα)變換為地址α(步驟S3)。
步驟S4判定SubClip的EP_map中的EP_stream_type是否是3、4、6、7。若不是，則開始從BD-ROM的地址α的讀出(步驟S9)。若SubClip的EP_map中的EP_stream_type是3、4、6、7，則將Offsetα變換為SubPlayItem時間軸上的Offsetβ(＝Offsetα-Sync_Start_Pts_of_PlayItem)(步驟S5)，將Offsetβ變換為SubClip時間軸上的坐標(SubPlayItem_In_time+Offsetβ)(步驟S6)。之后，使用EP_map，將SubPlayItem_In_time+Offsetβ變換為地址β(步驟S7)，同時執(zhí)行從BD-ROM中的地址α的讀出和從局部存儲器200中的地址β的讀出(步驟S8)。
若EP_stream_type為3、4、6、7以外的值(步驟S4為否)，則意味著EP_stream_type無效。若EP_stream_type無效，則Out_of_MUX流中的入口位置或入口時刻以何間隔存在成為未知數(shù)，所以預(yù)測訪問位置的特定需要花費大量時間。此時，認為對SubClip的隨機訪問非常費時，若使之與MainClip同步再現(xiàn)，則MainClip的再現(xiàn)明顯延遲。為了避免這種情況，事先放棄SubClip側(cè)的隨機訪問，僅對MainClip執(zhí)行從地址α的讀出(步驟S9)。這樣，通過將隨機訪問的對象限定為MainClip，可避免隨機訪問時的顯著的處理延遲。
圖31是模式地表示如何使用圖25所示設(shè)定的EP_map來確定隨機訪問位置的圖。下面引用圖31來說明圖31所示的確定隨機訪問位置的步驟。另外，圖31是假設(shè)了下列情況而做出的，即將指定的跳入位置碰巧指定為MainClip和SubClip中入口位置的情況。若設(shè)指定的跳入位置為PlayItem時間軸中的Offsetα的位置，則由于播放列表時間軸的原點存在于MainClip時間軸的In_time中，所以對MainClip的跳入位置變?yōu)镮n_time+Offset_α，將該位置變換為SPN，將SPN換算為扇區(qū)數(shù)即可。
另一方面，PlayItem時間軸的Offset_α位于SubPlayItem時間軸中、Sync_Start_PTS_of_PlayItem+Offsetβ的位置。這是因為無論如何，SubPlayItem時間軸的原點均存在于與PlayItem時間軸的原點間隔Sync_Start_PTS_of_PlayItem的位置。若如此算出Offsetβ，則算出SubClip時間軸上的跳入位置的坐標。這里，由于SubPlayItem的時間軸的原點存在于SubPlayItem的In_time中，所以SubPlayItem_In_time+Offsetβ變?yōu)镾ubClip時間軸的跳入位置。下面，使用SubClip的EP_map，將跳入位置變換為SPN，并將該SPN變換為地址。
<基于軟件的實現(xiàn)之二.主變換部46、子變換部47>
下面，說明基于計算機軟件的主變換部46、子變換部47的實現(xiàn)。為了將主變換部46、子變換部47實現(xiàn)為計算機軟件，只要制作使計算機執(zhí)行圖32所示的再現(xiàn)步驟的程序即可。
圖32是表示將MainClip、SubClip上的坐標TM變換為地址的處理的處理步驟的流程圖。
使EP_High的PTS_EP_High所示的時間幅度相加，判斷第幾個EP_High_id時、時間幅度的總和∑超過In_time(步驟S11)。這里，所謂PTS_EP_High所示的時間幅度是以PTS_EP_High為上位比特的時間單位。在第k個EP_High_id下時間幅度的總和∑超過In_time的情況下，存儲該k(步驟S12)。
為了求出EP_Low_id，使多個EP_Low的PTS_EP_Low所示的時間幅度合并至到PTS_EP_High(k-1)為止的總和∑中，判定在第幾個EP_Low_id下時間幅度的總和超過In_time(步驟S13)。這里，當在第h個EP_Low_id時間幅度的總和超過In_time的情況下，存儲該h(步驟S14)。
利用如此求出的k-1和h-1的組，確定距In_time最近的EntryPoint(入口點)。根據(jù)如此求出的Entry Point中的SPN_EP_High、SPN_EP_Low的組，算出處于坐標TM的位置的SPN，將SPN變換為扇區(qū)地址(步驟S15)。
從SPN向扇區(qū)地址的變換由以下的處理來執(zhí)行。這里，由于SPN是TS數(shù)據(jù)包的序列號，所以為了根據(jù)該SPN讀出TS數(shù)據(jù)包，必須將SPN變換為相對扇區(qū)數(shù)。這里，如圖4所示，將TS數(shù)據(jù)包每32個變換為一個Aligned Unit，記錄在3個扇區(qū)中，所以通過用32除以SPN，得到商，將該商解釋為I圖片存在的Aligned Unit的序號。通過對如此得到的Aligned Unit序號乘以3，可求出距SPN最近的Aligned Unit的扇區(qū)地址。如此得到的扇區(qū)地址是從一個AVClip文件開頭起的相對扇區(qū)數(shù)，所以通過將該相對扇區(qū)數(shù)設(shè)定為文件指針，可確定對應(yīng)于Entry Point的扇區(qū)。
步驟S16判定SubClip的EP_map中的EP_stream_type是3、4、6、7中的哪個。若EP_stream_type為6(PG流)或7(IG流)，則認為距坐標TM最近的Entry Point中存在Normal Case以外的Display Set的開頭位置(PCS、ICS)。由于該Display Set具有畫面合成必需的全部功能段，所以將通過步驟S15的變換得到的地址設(shè)為作為訪問位置的地址β(步驟S17)。
這樣若確定地址β，則通過執(zhí)行從該地址起的再現(xiàn)，可實現(xiàn)字幕顯示或菜單顯示。
若EP_stream_type為3(Primary音頻流)或4(Secondary音頻流)，則以通過步驟S15的變換得到的地址為開始點，開始流解析(步驟S18)。該流解析執(zhí)行如下處理，即取出PES數(shù)據(jù)包的頭，從該頭中讀出音頻幀的大小或PTS，根據(jù)該大小，確定下一音頻幀的記錄位置。之后，重復(fù)上述處理，直到到達持有具有坐標TM以上的值的PTS的PES數(shù)據(jù)包為止(步驟S19)。
若到達持有具有坐標TM以上的值的PTS的PES數(shù)據(jù)包，則將該PES數(shù)據(jù)包的地址設(shè)為作為訪問位置的地址β(步驟S20)。若確定地址β，則執(zhí)行從該地址起的再現(xiàn)，實現(xiàn)聲音再現(xiàn)。
下面，參照圖33、圖34來具體說明該流程圖中的處理。
圖33是表示SubClip為Primary音頻流、Secondary音頻流時的變量k、h、隨機訪問位置的關(guān)系圖。該圖的第1段表示構(gòu)成EP_map的PTS_EP_High，第2段表示構(gòu)成EP_map的PTS_EP_Low。第3段表示TS數(shù)據(jù)包串。本圖中，k表示超過隨機訪問位置的最小的PTS_EP_High，h表示超過隨機訪問位置的最小的PTS_EP_Low。前一個PTS_EP_High(k-1)與前一個PTS_EP_Low(h-1)的組表示距隨機訪問位置最近的入口時刻。
由于對應(yīng)于這些PTS_EP_High、PTS_EP_Low的組的、SPN_EP_High、SPN_EP_Low的組，表示距隨機訪問位置最近的入口位置，所以若從該入口位置開始流解析，則可得到對應(yīng)于隨機訪問位置的PES數(shù)據(jù)包。
圖34是表示SubClip為PG流、IG流時的、變量k、h、隨機訪問位置的關(guān)系圖。該圖的第1段表示構(gòu)成EP_map的PTS_EP_High，第2段表示構(gòu)成EP_map的PTS_EP_Low。第3段表示TS數(shù)據(jù)包串。圖中，k表示超過隨機訪問位置的最小的PTS_EP_High，h表示超過隨機訪問位置的最小的PTS_EP_Low。
前一個PTS_EP_High(k-1)與前一個PTS_EP_Low(h-1)的組表示距隨機訪問位置最近的入口時刻。
由于對應(yīng)于這些PTS_EP_High、PTS_EP_Low的組的、SPN_EP_High、SPN_EP_Low的組表示距隨機訪問位置最近的入口位置，所以若從該入口位置開始功能段的讀出，則可讀出由結(jié)束的功能段構(gòu)成的Display Set。
如上所述，根據(jù)本實施方式，由于可在對應(yīng)于SubClip的EP_map中設(shè)置EP_stream_type，所以再現(xiàn)裝置可知道Out_of_MUX流的EP_map具有某個確定的時間間隔、或指示了獨立的再現(xiàn)單位的地址。由于可知Out_of_MUX流側(cè)的EP_map的特性如何，所以可馬上判定能否高速隨機訪問。即便實現(xiàn)MainClip與SubClip的同步，也由于不會伴隨響應(yīng)降低，所以能夠以與對MainPath單位的跳入再現(xiàn)相同程度的響應(yīng)性，來實現(xiàn)對MainPath+SubPath構(gòu)成的播放列表的跳入再現(xiàn)。
(第2實施方式)涉及實現(xiàn)Picture in Picture(PiP畫中畫)再現(xiàn)時的改良。所謂PiP再現(xiàn)是指利用PlayList信息的MainPath信息，指定構(gòu)成動態(tài)圖像的MainClip，利用PlayList信息的SubPlayItem信息，指定構(gòu)成其它動態(tài)圖像的SubClip的情況下，在同一畫面內(nèi)顯示前者的動態(tài)圖像(Primary Video主視頻)與后者的動態(tài)圖像(Secondary Video次視頻)。
圖35是表示PiP再現(xiàn)的一例的圖。圖中，在到達規(guī)定的時刻tp之前，僅再現(xiàn)Primary Video。可知在到達時刻tp之后，再現(xiàn)在PrimaryVideo中嵌入了Secondary Video的影像。這里，Primary Video是HD圖像的再現(xiàn)影像，“Secondary Video”是SD圖像。
這里，Secondary Video是只有導(dǎo)演或演出者出場的動態(tài)圖像，是執(zhí)行指示Primary Video中的影像內(nèi)容的演技的視頻。由于該動態(tài)圖像是Secondary Video，所以通過將該Secondary Video的影像內(nèi)容與Primary Video的影像內(nèi)容相組合，可實現(xiàn)在電影作品正片的再現(xiàn)影像中間、導(dǎo)演或演出者指示、解說等有意思的畫面演出。
圖36(a)是對比表示HD圖像與SD圖像的圖。
HD圖像具有1920×1080的分辯率，與電影素材一樣，具有3750(或3753或3754)時鐘的幀間隔。
SD圖像具有720×480的分辯率，與NTSC素材一樣，具有1501時鐘的顯示間隔，或與PAL一樣，具有1800時鐘的幀間隔。
如圖所示，SD圖像的分辯率為HD圖像的分辯率的約1/4左右，若在同一畫面上顯示作為HD圖像的Primary Video和作為SD圖像的Secondary Video，則Secondary Video變?yōu)镻rimary Video的大致1/4左右。圖36(b)是表示如何放大縮小Secondary Video的圖。SecondaryVideo的放大縮小根據(jù)Scaling Factor(縮放因子)來執(zhí)行。該ScalingFactor由縱向1/4倍、縱向1/2倍、縱向1.5倍、縱向2倍等倍率來提供。再現(xiàn)裝置根據(jù)該Scaling Factor，沿縱向放大縮小Secondary Video。另外，為了維持SD圖像原有的縱橫比，橫向也執(zhí)行放大縮小。
通過如此放大縮小，可使執(zhí)行PiP再現(xiàn)時的Secondary Video的布局自由變化。
說明構(gòu)成上述PiP再現(xiàn)應(yīng)用時的記錄媒體、再現(xiàn)裝置的構(gòu)成。在本實施方式中，設(shè)記錄在BD-ROM中的AVClip構(gòu)成上述PrimaryVideo。由于Primary Video的尺寸較大，所以最適合大容量媒體的發(fā)布。另一方面，規(guī)定構(gòu)成Secondary Video的SubClip、或Primary Video與Secondary Video的同步的PlayList信息通過網(wǎng)絡(luò)傳輸?shù)皆佻F(xiàn)裝置，記錄在局部存儲器中。
<局部存儲器200的構(gòu)成之一.文件構(gòu)成>
圖37是表示第2實施方式的局部存儲器的記錄內(nèi)容的圖。該圖用與圖11一樣的標記來表示局部存儲器的構(gòu)成。該圖與圖11的不同之處在于，記錄在局部存儲器中的SubClip(00002.m2ts)是SecondaryVideo流，Clip信息(00002.clpi)具有對應(yīng)于該Secondary Video流的EP_map。
<局部存儲器200的構(gòu)成之二.Clip信息>
圖38是表示第2實施方式中、記錄在局部存儲器中的Clip信息的內(nèi)部構(gòu)成的圖。該Clip信息是對應(yīng)于Secondary Video的Clip信息。圖中的引出線cu2、cu3、cu4、cu5詳細顯示該Clip信息中的EP_map的內(nèi)部構(gòu)成。
這些引出線所示的EP_map與圖8所示構(gòu)成相同，對應(yīng)于Secondary Video的EP_map將構(gòu)成Secondary Video流的各個訪問單元(GOP)的開頭作為入口位置，與入口時刻相對應(yīng)地表示。若是Secondary Video，則由于該EP_map以動態(tài)圖像為對象，所以入口時刻彼此的時間間隔不足1秒，EP_stream_type與圖8一樣，被設(shè)定為“1Video Type”。
引出線ct1、ct2詳細顯示Clip Info的內(nèi)部構(gòu)成。Clip Info的內(nèi)部構(gòu)成中，Application Type表示對應(yīng)于Clip信息的SubClip是“附加影像的追加內(nèi)容(TS for additional content with video)”。圖39是用與圖9一樣的標記來表示對Secondary Video流設(shè)定的EP_map的圖。
以上是對第2實施方式的Clip信息的說明。
<局部存儲器的構(gòu)成之三.PlayList信息>
下面說明第2實施方式的PlayList信息。這里，PiP再現(xiàn)中有靜態(tài)同步構(gòu)成的和動態(tài)同步構(gòu)成的PiP再現(xiàn)。上述的作為電影作品正片的Primary Video與作為評論影像的Secondary Video所構(gòu)成的PiP再現(xiàn)應(yīng)用，由前者的靜態(tài)PiP再現(xiàn)構(gòu)成。
<PlayList信息的細節(jié)之一.實現(xiàn)靜態(tài)PiP用的構(gòu)成要素>
圖40是表示定義靜態(tài)PiP再現(xiàn)的PlayList信息的圖。定義基于靜態(tài)同步的PiP再現(xiàn)的PlayList信息，可在其內(nèi)部定義多個SubPath信息(Multi-SubPath)，另外，各個SubPath信息內(nèi)可定義多個SubPlayItem信息(Multi-SubPlayItem)。
在本圖的SubPlayItem信息中，新追加了PiP_Position、PiP_Size等信息要素，各信息要素設(shè)定如下。
可在SubPlayItem信息的“Clip_information_file name”中記述作為Primary Video的AVClip的文件名。
“Sub_PlayItem_In_time”表示作為Secondary Video的SubClip時間軸中、構(gòu)成Sub PlayItem開始時刻的再現(xiàn)時刻。
“Sub_PlayItem_Out_time”表示作為Secondary Video的SubClip時間軸中、構(gòu)成Sub PlayItem結(jié)束時刻的再現(xiàn)時刻。
在“Sync_PlayItem_Id”中記述對作為Primary Video的AVClip定義的PlayItem的識別符。
“Sync_Start_Pts_of_PlayItem”是時間信息，表示在由Sync_PlayItem_Id指定的PlayItem再現(xiàn)時，從PlayItem再現(xiàn)開始，經(jīng)過幾秒后，開始由SubPlayItem信息規(guī)定的再現(xiàn)區(qū)間(SubPlayItem)的再現(xiàn)。
“PiP_Position”表示使用Primary Video再現(xiàn)用的畫面平面上的X坐標、Y坐標、應(yīng)配置Secondary Video的再現(xiàn)影像的位置。
“PiP_Size”表示Secondary Video再現(xiàn)影像的縱向大小、橫向大小。
<PlayList信息的細節(jié)之二.靜態(tài)PiP中的同步>
圖41是用與圖25、圖26一樣的標記來表示如何由PlayList信息來定義作為Primary Video的MainClip、與作為Secondary Video的SubClip的同步的圖。
在作為Secondary Video的SubClip中，設(shè)定EP_map，保證以不足1秒的時間精度，執(zhí)行高速的隨機訪問。以高速執(zhí)行隨機訪問為前提，由PlayList信息來規(guī)定作為Primary Video的MainClip與作為Secondary Video的SubClip的同步。
這里，說明在作為Secondary Video的SubClip中設(shè)置EP_map的技術(shù)意義。在作為Secondary Video的SubClip中設(shè)置EP_map是因為在對Primary Video進行特殊再現(xiàn)的情況下，對Secondary Video，也要執(zhí)行同樣的特殊再現(xiàn)。PiP再現(xiàn)中，在要對Primary Video進行特殊再現(xiàn)的情況下，如何處理Secondary Video成為問題。這里，也可考慮在快進、后退Primary Video側(cè)的情況下，無論是否再現(xiàn)PrimaryVideo，Secondary Video側(cè)都繼續(xù)通常再現(xiàn)。但是，此時，必須在再現(xiàn)裝置中設(shè)置Primary Video側(cè)的解碼器和Secondary Video側(cè)的解碼器，使它們以不同的系統(tǒng)時鐘(STC)動作。就以家電設(shè)備為前提的播放器模型而言，事先不能設(shè)置兩個STC。
伴隨著Primary Video側(cè)的快進、后退，Secondary Video也一樣快進、后退的同步處理的實現(xiàn)是現(xiàn)實的，所以在SubClip中設(shè)置EP_map，對Primary Video執(zhí)行快進、后退時，對Secondary Video也執(zhí)行快進、后退。
以上是對以靜態(tài)同步為前提的PlayList信息的說明。
<PlayList信息的細節(jié)之三.基于動態(tài)同步的PiP再現(xiàn)>
下面說明以動態(tài)同步為前提的PlayList信息。
所謂動態(tài)同步是指在對應(yīng)于Primary Video流(MainClip)的PlayItem的時間軸上的哪個時刻開始對應(yīng)于Secondary Video流(SubClip)的SubPlayItem的再現(xiàn)，隨著用戶操作而動態(tài)變化。制作者構(gòu)想的應(yīng)用圖象如下所示。圖42(a)～(c)是表示以動態(tài)同步為前提的應(yīng)用的圖。
該應(yīng)用中，Primary Video的影像內(nèi)容如圖42(a)所示。圖42(a)所示的各個按鈕是具有動態(tài)圖像的縮略圖樣的按鈕(縮略按鈕)，具有正常狀態(tài)、選擇狀態(tài)、激活狀態(tài)等3個狀態(tài)。另外，制作者構(gòu)想當這些縮略按鈕之一變?yōu)檫x擇狀態(tài)時(圖42(b))，希望使Secondary Video的再現(xiàn)影像嵌入再現(xiàn)，來代替已變?yōu)樵撨x擇狀態(tài)的縮略按鈕(圖42(c))。如本實例的應(yīng)用所示，Secondary Video再現(xiàn)的開始時刻隨著再現(xiàn)時的用戶不同而變化即為“動態(tài)同步”。另外，在圖42(b)的一例中，將使某一縮略變?yōu)檫x擇狀態(tài)的操作(此時為按鈕的選擇操作)稱為鎖定操作。
在動態(tài)同步中，使對應(yīng)于哪個縮略的Secondary Video再現(xiàn)在再現(xiàn)前不知道，另外在Primary Video再現(xiàn)時，必須動態(tài)確定SecondaryVideo的同步時刻。
<PlayList信息的細節(jié)之四.用于實現(xiàn)動態(tài)PiP的構(gòu)成要素>
圖43是表示定義以動態(tài)同步為前提的PiP再現(xiàn)的、PlayList信息的內(nèi)部構(gòu)成的圖。
定義基于動態(tài)同步的PiP再現(xiàn)的PlayList信息，可在其內(nèi)部定義多個SubPath信息(Multi-SubPath)。但是，在每個SubPath信息內(nèi)，僅能定義一個SubPlayItem信息(Single-SubPlayItem)。
本圖的SubPlayItem信息中，與圖40一樣，具有PiP_Position、PiP_Size等信息要素。其中，對SubPlayItem信息的Clip_information_file_name、SubPlayItem_In_time、SubPlayItem_Out_time、Sync_PlayItem_Id、PiP_Position、PiP_Size的設(shè)定與圖40一樣。不同的是Sync_Start_Pts_of_PlayItem的設(shè)定。
“Sync_Start_Pts_of_PlayItem”設(shè)定為不定值。該不定值表示在由Sync_PlayItem_Id指定的PlayItem時間軸上，將用戶執(zhí)行鎖定操作的時刻確定為與由Sync_PlayItem_Id指定的PlayItem的同步時刻。
當再現(xiàn)裝置參照該圖43的PlayList信息時，縮略按鈕變?yōu)檫x擇狀態(tài)、并自動變?yōu)榧せ顮顟B(tài)的時刻的再現(xiàn)經(jīng)過時，作為鎖定操作的時刻，寫入Sync_Start_Pts_of_PlayItem，這樣使再現(xiàn)裝置動作時，從縮略變?yōu)榧せ顮顟B(tài)的時刻起，開始Secondary Video的再現(xiàn)。該步驟是應(yīng)僅在縮略按鈕的選擇、自動確定時執(zhí)行的步驟，即縮略按鈕特有的步驟，因此期望用規(guī)定縮略按鈕固有的控制的導(dǎo)航指令來記述。
以上是實現(xiàn)基于動態(tài)同步的PiP再現(xiàn)的PlayList信息的內(nèi)部構(gòu)成。以上結(jié)束對本實施方式的記錄媒體的改良的說明。
下面，說明本發(fā)明的再現(xiàn)裝置的改良。
<再現(xiàn)裝置的構(gòu)成之一.整體構(gòu)成>
圖44是表示第2實施方式的再現(xiàn)裝置的內(nèi)部構(gòu)成的圖。該圖為了匹配紙面，省略有關(guān)音頻解碼器的構(gòu)成要素。
該圖以圖29所示的再現(xiàn)裝置的構(gòu)成圖為基礎(chǔ)，向共同的構(gòu)成要素附加相同的參照符號。這些共同的構(gòu)成要素中，Transport Buffer5、Multiplexed Buffer6、Coded Picture Buffer7、視頻解碼器8、DecodedPicture Buffer10、Primary Video平面11在第2實施方式中實現(xiàn)執(zhí)行Primary Video流的解碼的作用。
另一方面，為了執(zhí)行Secondary Video流的解碼，在圖44所示的再現(xiàn)裝置的硬件構(gòu)成中，設(shè)置Transport Buffer51、MultiplexedBuffer52、Coded Picture Buffer53、視頻解碼器54、Decoded PictureBuffer55、Secondary Video平面56、縮放器(scaller)57、合成部58。下面，說明新追加的這些構(gòu)成要素。
<再現(xiàn)裝置的構(gòu)成之二.追加到硬件構(gòu)成中的構(gòu)成要素>
Transport Buffer(TB)51是在從PID濾波器35輸出歸屬于Secondary Video流(SubClip)的TS數(shù)據(jù)包時、暫時存儲該TS數(shù)據(jù)的緩沖器。
Multiplexed Buffer(MB)52是在從Transport Buffer51向CodedPicture Buffer53輸出Secondary Video流時、暫時存儲PES數(shù)據(jù)包的緩沖器。
Coded Picture Buffer(CPB)53是存儲處于編碼狀態(tài)的圖片(I圖片、B圖片、P圖片)的緩沖器。
視頻解碼器54通過在每個規(guī)定的解碼時刻(DTS)解碼SecondaryVideo流的各個的幀圖像，得到多個幀圖像，寫入Decoded PictureBuffer55中。
Decoded Picture Buffer55是寫入解碼后的圖片的緩沖器。
Secondary Video平面56存儲通過解碼Secondary Video得到的再現(xiàn)影像。
Scaller57根據(jù)SubPlayItem信息的PiP_Size所示的縱向、橫向大小，放大或縮小Secondary Video平面56上得到的再現(xiàn)影像。
合成部58通過合成由Scaller57放大或縮小的再現(xiàn)影像與由視頻解碼器得到的再現(xiàn)影像，實現(xiàn)PiP再現(xiàn)。合成部58執(zhí)行的PrimaryVideo的再現(xiàn)影像與Secondary Video的再現(xiàn)影像的合成，根據(jù)由SubPlayItem信息規(guī)定的PiP_Position來執(zhí)行。由此，再現(xiàn)合成了Primary Video的再現(xiàn)影像與Secondary Video的再現(xiàn)影像之后的合成影像。在該合成部58的合成中，可執(zhí)行色度鍵合成、層合成等，也可通過去除Secondary Video中的背景，除去人物部分之后，合成于Primary Video的再現(xiàn)影像中。
由于追加了上述構(gòu)成要素，在第2實施方式中，PID濾波器35將構(gòu)成Secondary Video流的TS數(shù)據(jù)包提供給Transport Buffer51～Secondary Video平面56。以上是再現(xiàn)裝置中的硬件構(gòu)成要素。
<再現(xiàn)裝置300的構(gòu)成之二.追加到控制部45的構(gòu)成要素>
在控制部45中，設(shè)定Sync設(shè)定部50作為功能的構(gòu)成要素。
Sync設(shè)定部50判定SubPlayItem信息中的Sync_Start_PTS_ofPlayItem是否是不定值，在是不定值的情況下，在僅再現(xiàn)MainClip中由PlayItem信息指定的再現(xiàn)區(qū)間的狀態(tài)下，接收確定同步區(qū)間的開始點的操作(鎖定操作)。該接收經(jīng)遙控器來執(zhí)行。若接收鎖定操作，則使用表示鎖定操作的時刻的時間信息，改寫SubPlayItem信息的Sync_Start_PTS_of_PlayItem中的不定值。這里，鎖定操作在通過選擇出現(xiàn)于MainClip再現(xiàn)影像上的任一按鈕的操作來實現(xiàn)的情況下，以執(zhí)行該按鈕的選擇操作的時刻為鎖定操作的時刻。
若如此設(shè)定Sync_Start_PTS_of_PlayItem，則通過PL再現(xiàn)控制部48執(zhí)行再現(xiàn)控制，以再現(xiàn)對Primary Video設(shè)定的PlayItem、對Secondary Video設(shè)定的SubPlayItem，從而可實現(xiàn)基于動態(tài)同步的PiP再現(xiàn)。
當然，在作為Sync_Start_PTS_of_PlayItem，靜態(tài)設(shè)定時間信息的情況下，通過PL再現(xiàn)控制部48執(zhí)行再現(xiàn)控制，以再現(xiàn)對PrimaryVideo設(shè)定的PlayItem、對Secondary Video設(shè)定的SubPlayItem，從而可實現(xiàn)基于靜態(tài)同步的PiP再現(xiàn)。
<再現(xiàn)裝置的構(gòu)成之二.軟件實現(xiàn)>
以上是第2實施方式的構(gòu)成要素的說明。下面，說明軟件實現(xiàn)中的第2實施方式的改良點。
圖45是表示從PlayItem時間軸上的任意坐標執(zhí)行跳入再現(xiàn)時的控制步驟的流程圖。該流程圖以圖30的流程圖為基礎(chǔ)來制作。該圖中除步驟S4～步驟S8被置換為步驟S31～S35之外，與圖30相同。在步驟S31中，判定SubClip的EP_map中的EP_stream_type是否是Video Type。若SubClip的EP_map中的EP_stream_type是Video Type1(步驟S31為是)，則將PlayItem時間軸上的Offsetα變換為SubPlayItem時間軸上的Offsetβ(＝Offsetα-Sync_Start_Pts_of_PlayItem)(步驟S32)，將Offsetβ變換為SubClip時間軸上的坐標(SubPlayItem_In_time+Offsetβ)(步驟S33)。之后，使用EP_map，將SubPlayItem_In_time+Offsetβ變換為作為Secondary Video的SubClip的GOP的地址β(步驟S34)，并且同時執(zhí)行從BD-ROM中的地址α讀出Primary Video的GOP、和從局部存儲器200的地址β讀出Secondary Video的GOP(步驟S35)。
在步驟S31中，若SubClip的EP_map中的EP_stream_type不是Video Type1，則執(zhí)行圖30的步驟S4～步驟S8。
圖46是用與圖31一樣的標記來描繪對MainClip的隨機訪問與對SubClip的隨機訪問的圖。對作為Secondary Video的SubClip，以不足1秒的時間間隔，指定入口位置，使用該入口位置來執(zhí)行對SubClip的隨機訪問。由于對SubClip的隨機訪問以與對MainClip的隨機訪問相同程度的處理速度來執(zhí)行，所以可實現(xiàn)如下跳入再現(xiàn)的同步，即對MainClip執(zhí)行跳入再現(xiàn)，并且一起對SubClip也執(zhí)行跳入再現(xiàn)。
如上所述，根據(jù)本實施方式，即便是在作為HD圖像的PrimaryVideo中組合作為SD圖像的Secondary Video來供給再現(xiàn)的所謂PiP再現(xiàn)中，也可實現(xiàn)隨機訪問的高速化，可以該高速化為前提，以特殊再現(xiàn)來再現(xiàn)PiP再現(xiàn)。
(備考)以上的說明不認為表示本發(fā)明的全部實施行為的方式。本發(fā)明也可由實施下述(A)(B)(C)(D)…的變更之實施行為的方式來實施。根據(jù)本申請的權(quán)利要求的各發(fā)明為擴展以上記載的多個實施方式及其變形方式的記載乃至一般化的記載。擴展乃至一般化的程度基于本發(fā)明的技術(shù)領(lǐng)域的、申請時的技術(shù)水準特性。
(A)由于使用硬件資源來具體實現(xiàn)基于各實施方式所示的流程圖或功能的構(gòu)成要素的信息處理，所以稱為利用自然法則的技術(shù)思想的創(chuàng)作，滿足作為“程序發(fā)明”的成立要件。
·根據(jù)本發(fā)明的程序的生產(chǎn)方式本發(fā)明的程序可如下制作。首先，軟件開發(fā)者使用編程語言，記述實現(xiàn)各流程圖或功能的構(gòu)成要素的源程序。在該記述時，軟件開發(fā)者根據(jù)編程語言的語句，使用類結(jié)構(gòu)體或變量、陣列變量、外部函數(shù)的調(diào)用，記述實現(xiàn)各流程圖或功能的構(gòu)成要素的源程序。
具體而言，流程圖中的重復(fù)處理使用上述語句中規(guī)定的for語句等來記述。判定處理使用上述語句中規(guī)定的if語句、swith語句等來記述。對解碼器的再現(xiàn)控制、驅(qū)動器裝置的訪問控制等對硬件的控制通過調(diào)用從硬件制造源提供的外部函數(shù)來記述。
將記述的源程序作為文件提供給編譯器。編碼器翻譯這些源程序后，生成對象程序。
編碼器執(zhí)行的翻譯由語句解析、最佳化、資源分配、代碼生成等過程構(gòu)成。在語句解析中，執(zhí)行源程序的字句解析、語句解析和含義解析，將源程序變換為中間程序。在最佳化中，對中間程序執(zhí)行基本塊化、控制流程解析、數(shù)據(jù)流程解析等作業(yè)。在資源分配中，為了適用于構(gòu)成目標的處理器的命令組，將中間程序中的變量分配給構(gòu)成目標的處理器的處理器具有的寄存器或存儲器。在代碼生成中，將中間程序內(nèi)的各中間命令變換為程序代碼，得到對象程序。
這里生成的對象程序由使計算機執(zhí)行各實施方式所示的流程圖的各步驟、或功能的構(gòu)成要素的各個步驟等一個以上的程序代碼構(gòu)成。這里，程序代碼如處理器的本機代碼(native code)、JAVA(注冊商標)字節(jié)代碼等各個種類。在由程序代碼實現(xiàn)各步驟中有各種形式。在可利用外部函數(shù)來實現(xiàn)各步驟的情況下，調(diào)用該外部函數(shù)的調(diào)用語句變?yōu)槌绦虼a。另外，實現(xiàn)一個步驟的程序代碼也可歸屬于不同的對象程序。在限制命令種類的RISC處理器中，通過組合算術(shù)運算命令或邏輯運算命令、分支命令等，也可實現(xiàn)流程圖的各步驟。
若生成對象程序，則編程器對這些對象程序啟動連接程序(linker)。連接程序向存儲器空間分配這些對象程序或關(guān)聯(lián)的庫程序，將它們結(jié)合成一個，生成加載模塊。如此生成的加載模塊以由計算機進行的讀取為前提，使計算機執(zhí)行各流程圖所示的處理步驟或功能構(gòu)成要素的處理步驟。經(jīng)過以上處理，可制作本發(fā)明的程序。
(B)本發(fā)明的程序可如下使用。
(i)作為組裝程序的使用在將本發(fā)明的程序用作組裝程序的情況下，將對應(yīng)于程序的加載模塊與基本輸入輸出程序(BIOS)或各種中間件(操作系統(tǒng))一起寫入命令ROM中。將這種命令ROM組裝在控制部中，使CPU執(zhí)行，由此可將本發(fā)明的程序用作再現(xiàn)裝置的控制程序。
(ii)作為應(yīng)用的使用在再現(xiàn)裝置是硬盤內(nèi)置模塊的情況下，將基本輸入輸出程序(BIOS)組裝在命令ROM中，將各種中間件(操作系統(tǒng))預(yù)裝于硬盤中。另外，在再現(xiàn)裝置中設(shè)置從硬盤啟動系統(tǒng)用的引導(dǎo)(boot)ROM。
此時，通過攜帶型記錄媒體或網(wǎng)絡(luò)，僅將加載模塊提供給再現(xiàn)裝置，并作為一個應(yīng)用安裝于硬盤中。這樣，再現(xiàn)裝置執(zhí)行基于引導(dǎo)ROM的引導(dǎo)程序(bootstrap)，啟動操作系統(tǒng)之后，作為一個應(yīng)用，使CPU執(zhí)行該應(yīng)用，使用本發(fā)明的程序。
在硬盤模塊的再現(xiàn)裝置中，可以使用本發(fā)明的程序作為一個應(yīng)用，所以可以單體轉(zhuǎn)讓、借貸或通過網(wǎng)絡(luò)來提供本發(fā)明的程序。
(C)本發(fā)明的系統(tǒng)LSI的生產(chǎn)、使用行為所謂系統(tǒng)LSI是指在高密度基板上安裝裸片并封裝的部件。通過將多個裸片安裝在高密度基板上，并封裝，使多個裸片具有宛如一個LSI外形構(gòu)造的部件也包含于系統(tǒng)LSI中(將這種系統(tǒng)LSI稱為多芯片模塊)。
這里，若著眼于封裝的種類，則系統(tǒng)LSI中有QFP(四方扁平封裝)、PGA(插針網(wǎng)格陣列封裝)等種類。QFP是在封裝的四個側(cè)面裝配插針的系統(tǒng)LSI。PGA是在底面整體中裝配多個插針的系統(tǒng)LSI。
這些插針起到與驅(qū)動器裝置的輸入輸出接口、與遙控器裝置的輸入接口、與電視的接口等IEEE1394接口或與PCI總線的接口的作用。由于在系統(tǒng)LSI的插針中存在這種接口的作用，所以通過在系統(tǒng)LSI中的這些插針上連接驅(qū)動器裝置等或再現(xiàn)裝置的各種電路，系統(tǒng)LSI起到作為再現(xiàn)裝置核心的作用。
封裝于系統(tǒng)LSI中的裸片是具體實現(xiàn)各實施方式中示為內(nèi)部構(gòu)成圖的各構(gòu)成要素的功能的命令ROM或CPU、解碼器LSI等。
如在先“作為組裝程序的使用”中所述，在命令ROM中寫入相當于程序的加載模塊、或基本輸入輸出程序(BIOS)、各種中間件(操作系統(tǒng))。在本實施方式中，特別創(chuàng)作的是相當于該程序的加載模塊的部分內(nèi)容，所以通過將存儲相當于程序的加載模塊的命令ROM作為裸片封裝，可生產(chǎn)本發(fā)明的系統(tǒng)LSI。
生產(chǎn)步驟的細節(jié)如下。首先，根據(jù)各實施方式所示的構(gòu)成圖，制作應(yīng)成為系統(tǒng)LSI的部分的電路圖，使用電路元件或IC、LSI，具體實現(xiàn)構(gòu)成圖中的構(gòu)成要素。
若具體實現(xiàn)各構(gòu)成要素，則規(guī)定連接電路元件或IC、LSI之間的總線或其外圍電路、與外部的接口等。還要規(guī)定連接線、電源線、地線、時鐘信號線等。在該規(guī)定中，邊考慮LSI的規(guī)格，調(diào)整各構(gòu)成要素的動作定時、或施加保證各構(gòu)成要素所需的頻帶寬度等的調(diào)整，邊完成電路圖。
若電路圖完成，則執(zhí)行安裝設(shè)計。所謂安裝設(shè)計是確定將通過電路設(shè)計制作的電路圖上的部件(電路元件或IC、LSI)配置在基板上的何處、或如何在基板上布線電路圖上的連接線的基板布局的制作作業(yè)。
這里，安裝設(shè)計由自動配置與自動布線構(gòu)成。
在利用CAD裝置的情況下，該自動配置可使用稱為“重心法”的專用算法來實現(xiàn)。自動布線使用金屬箔或通路(via)來規(guī)定連接電路圖上的部件插針彼此的連接線。在利用CAD裝置的情況下，該布線處理可使用稱為“迷宮(maze)法”“線搜索法”的專用算法來實現(xiàn)。
若這樣執(zhí)行安裝設(shè)計，確定基板上的布局，則將安裝設(shè)計結(jié)果變換為CAM數(shù)據(jù)，輸出到NC工作機械等設(shè)備。NC工作機械根據(jù)該CAM數(shù)據(jù)，進行SoC安裝或SiP安裝。所謂SoC(System on chip芯片上系統(tǒng))安裝是在1個芯片上燒結(jié)多個電路的技術(shù)。所謂SiP(Systemin Package封裝中系統(tǒng))安裝是用樹脂等將多個芯片變?yōu)橐粋€封裝的技術(shù)。經(jīng)過以上過程，本發(fā)明的系統(tǒng)LSI可根據(jù)各實施方式所示的再現(xiàn)裝置的內(nèi)部構(gòu)成圖來制作。
另外，上述生成的集成電路還因集成度不同，被稱為IC、LSI、超(super)LSI、過(ultra)LSI。
并且，也可將各再現(xiàn)裝置的構(gòu)成要素的一部分或全部構(gòu)成為一個芯片。集成電路化不限于上述SoC安裝、SiP安裝，也可由專用電路或通用加工來實現(xiàn)。在LSI制造之后，考慮利用可編程的FPGA(FieldProgrammable Gate Array現(xiàn)場可編程門陣列)、或可再構(gòu)成LSI內(nèi)部電路單元的連接或設(shè)定的可重構(gòu)處理器。并且，若出現(xiàn)利用半導(dǎo)體技術(shù)的進步或派生的技術(shù)置換LSI的集成電路化的技術(shù)，則當然也可使用該技術(shù)來執(zhí)行功能塊的集成電路化。例如，可適用生物技術(shù)等。
(D)在全部實施方式中，將本發(fā)明的記錄媒體說明為硬盤，但本發(fā)明的記錄媒體的特征在于記錄的EP_map或EP_stream_type，該特征不依賴于硬盤的物理性質(zhì)。若是記錄EP_map或EP_stream_type、并與BD-ROM一起使用的記錄媒體，則可以是任意記錄媒體。例如，也可以是緊密快閃(注冊商標)卡、智能媒體、存儲器堆棧、多媒體卡、PCM-CIA卡等半導(dǎo)體存儲器卡。也可以是軟盤、SuperDisk、Zip、Clik！等磁記錄盤(i)、ORB、Jaz、SparQ、SyJet、EZFley、微驅(qū)動器等可移動硬盤驅(qū)動器(ii)。
(E)各實施方式中的數(shù)字流是BD-ROM標準的AVClip，但也可以是DVD-Video標準、DVD-Video Recording標準的VOB(VideoObject視頻對象)。VOB是通過多路復(fù)用音頻流、音頻流得到的基于ISO/IEC13818-1標準的程序流。另外，AVClip中的視頻流也可以是MPEG4或WMV方式。另外，音頻流也可以是Linear-PCM方式、Dolby-AC3方式、MP3方式、MPEG-AAC方式、dts方式。
(F)在各實施方式中，根據(jù)MPEG4-AVC(也稱為H.264或JVT)來進行說明，但也可以是MPEG2視頻流，另外，即便在其它形式(VC-1等)圖像的情況下，只要是可單獨解碼的圖像，則可容易應(yīng)用。
(G)在由Sync設(shè)定部50設(shè)定Sync_Start_PTS_of_PlayItem的情況下，期望Sync設(shè)定部50執(zhí)行圖47(a)～(c)的再現(xiàn)控制。
圖47(a)是表示實現(xiàn)基于動態(tài)同步的PiP再現(xiàn)時的再現(xiàn)控制的圖。將PlayItem時間軸的任意一時刻確定為SubPlayItem的同步時刻。因此，當前的再現(xiàn)時刻若到達Sync_Start_PTS_of_PlayItem規(guī)定的時刻，則開始解碼Secondary Video，使Secondary Video的再現(xiàn)影像合成到Primary Video的再現(xiàn)影像中。
圖47(b)是表示完成基于通常再現(xiàn)的鎖定點的通過→基于后退的鎖定點的通過→基于通常再現(xiàn)的鎖定點的通過后，產(chǎn)生鎖定點的往來的情況下，如何執(zhí)行基于動態(tài)同步的PiP再現(xiàn)的圖。即，表示在當前的再現(xiàn)時刻通過了鎖定點之后，用戶執(zhí)行后退，返回到鎖定點前，再次通過鎖定點時的基于動態(tài)同步的PiP再現(xiàn)。
利用通過鎖定點來開始PiP再現(xiàn)，在執(zhí)行后退的時刻，停止PiP再現(xiàn)。之后執(zhí)行通常再現(xiàn)，在再次通過鎖定點之后，不執(zhí)行PiP再現(xiàn)。
圖47(c)是表示Secondary Video的再現(xiàn)區(qū)間在Primary Video的再現(xiàn)區(qū)間的末尾之后時的PiP再現(xiàn)的圖。此時，只要在SecondaryVideo的再現(xiàn)結(jié)束之前，繼續(xù)Primary Video的最后圖片的顯示即可。也可在Primary Video的再現(xiàn)結(jié)束的時刻，結(jié)束Secondary Video的再現(xiàn)。
(H)在未以細的時間間隔使PiP再現(xiàn)中的Secondary Video的再現(xiàn)位置變化的情況下，必須對PlayList信息定義多個時間信息或位置信息。此時，對PlayList信息設(shè)置由BD-RE標準規(guī)定的User Private(用戶隱私)信息或多個PLMark信息，期望對這些信息定義PiP_Position或PiP_Size。另外，期望Scaller 57或合成部58根據(jù)這些User Private信息或多個PLMark信息來執(zhí)行放大縮小處理或合成處理。
(I)也可不在一個畫面中、而是在不同的畫面中顯示由PlayList信息的MainPath信息指定的作為MainClip的Primary Video、和由PlayList信息的SubPlayItem信息指定的作為SubClip的SecondaryVideo。另外，也可由SD圖像構(gòu)成Primary Video，由HD圖像構(gòu)成Secondary Video。
(J)在第2實施方式中，由BD-ROM提供作為Primary Video的MainClip，由局部存儲器200提供作為Secondary Video的SubClip，但也可將作為Secondary Video的SubClip記錄在BD-ROM中，與作為Primary Video的MainClip一起，提供給再現(xiàn)裝置。
另外，也可將Secondary Video流與Primary Video流多路復(fù)用至一個AVClip。
產(chǎn)業(yè)上的可利用性本發(fā)明的記錄媒體和再現(xiàn)裝置可象家庭影院系統(tǒng)中的利用那樣用于個人的用途中。但是，本發(fā)明在上述實施方式中公開了內(nèi)部構(gòu)成，根據(jù)該內(nèi)部構(gòu)成顯然可進行批量生產(chǎn)，所以本發(fā)明的記錄媒體和再現(xiàn)裝置在工業(yè)制品的生產(chǎn)領(lǐng)域可生產(chǎn)或使用。因此，本發(fā)明的記錄媒體和再現(xiàn)裝置具有產(chǎn)業(yè)上的可利用性。
權(quán)利要求
1.一種記錄了播放列表信息的記錄媒體，其特征在于所述播放列表信息是對多個數(shù)字流的每個定義再現(xiàn)區(qū)間的信息，包含主路徑信息、子路徑信息，所述主路徑信息是指定多個數(shù)字流中的一個作為主流，對該主流定義主要再現(xiàn)區(qū)間的信息，所述子路徑信息是指定多個數(shù)字流中的另一個作為子流，對該子流定義應(yīng)與所述主要再現(xiàn)區(qū)間同步的、次要再現(xiàn)區(qū)間的信息，在所述記錄媒體中，以與入口映射相對應(yīng)的形式記錄多個數(shù)字流中被指定為子流的數(shù)字流，所述入口映射將子流的時間軸上的多個入口時刻，與子流中的多個入口位置相對應(yīng)地表示。
2.根據(jù)權(quán)利要求1所述的記錄媒體，其特征在于所述再現(xiàn)區(qū)間的定義通過將表示數(shù)字流的時間軸上的再現(xiàn)開始時刻的時間信息、和表示再現(xiàn)結(jié)束時刻的時間信息的組，記述在主路徑信息和子路徑信息的每個中來進行，所述子路徑信息包含同步信息，同步信息具有表示主要再現(xiàn)區(qū)間的時間軸上的、同步時刻的時間信息。
3.根據(jù)權(quán)利要求2所述的記錄媒體，其特征在于在入口映射中具有第1類型的入口映射，表示所述時間軸上以固定時間間隔存在的多個入口時刻、或數(shù)字流上以固定的數(shù)據(jù)間隔存在的多個入口位置；和第2類型的入口映射，與入口時刻相對應(yīng)地表示處于結(jié)束的數(shù)據(jù)集合的開頭的入口位置，所述入口映射包含表示入口映射的類型是第1類型還是第2類型的標志。
4.根據(jù)權(quán)利要求1所述的記錄媒體，其特征在于所述主流構(gòu)成第1動態(tài)圖像，所述子流構(gòu)成第2動態(tài)圖像。
5.根據(jù)權(quán)利要求4所述的記錄媒體，其特征在于所述播放列表信息命令再現(xiàn)裝置在同一畫面內(nèi)再現(xiàn)第1動態(tài)圖像的再現(xiàn)影像與第2動態(tài)圖像的再現(xiàn)影像。
6.根據(jù)權(quán)利要求5所述的記錄媒體，其特征在于在所述播放列表信息中，子路徑信息具有使用表示不定值的時間信息來表示子流的同步時刻的同步信息，該不定值是在主要再現(xiàn)區(qū)間的再現(xiàn)時、指示再現(xiàn)裝置應(yīng)將用戶執(zhí)行了規(guī)定操作的時刻設(shè)定為同步時刻的值。
7.根據(jù)權(quán)利要求5所述的記錄媒體，其特征在于所述同步信息還包含位置信息、大小信息，所述位置信息表示在同一畫面中顯示第1動態(tài)圖像與第2動態(tài)圖像時第2動態(tài)圖像的顯示位置，所述大小信息表示在所述同一畫面的顯示時第2動態(tài)圖像的縱向橫向大小。
8.一種再現(xiàn)裝置，對定義了主要再現(xiàn)區(qū)間的主流和定義了次要再現(xiàn)區(qū)間的子流執(zhí)行特殊再現(xiàn)，其特征在于在主要再現(xiàn)區(qū)間的時間軸上定義應(yīng)開始特殊再現(xiàn)的再現(xiàn)時刻，該再現(xiàn)裝置具備第1變換單元，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為主流的地址；第2變換單元，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并將變換后的再現(xiàn)時刻變換為子流的地址；讀出單元，從由第1變換單元、第2變換單元變換后的地址，讀出主流和子流；和再現(xiàn)單元，再現(xiàn)讀出的主流和子流，主要再現(xiàn)區(qū)間和次要再現(xiàn)區(qū)間在播放列表信息中定義，播放列表信息包含同步信息，同步信息包含表示主要再現(xiàn)區(qū)間的時間軸中應(yīng)使次要再現(xiàn)區(qū)間同步的、同步時刻的時間信息，入口映射與子流相對應(yīng)，第2變換單元使用播放列表信息中的同步信息，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并使用對應(yīng)于子流的入口映射，將變換后的再現(xiàn)時刻變換為子流的地址。
9.根據(jù)權(quán)利要求8所述的再現(xiàn)裝置，其特征在于所述入口映射包含標志，標志是表示入口映射是第1類型還是第2類型的信息，所述第2變換單元在標志表示第1類型的情況下，選擇時間軸上以固定時間間隔存在的多個入口時刻或數(shù)字流上以固定數(shù)據(jù)間隔存在的多個入口位置中、距命令再現(xiàn)的時刻最近的入口時刻或入口位置，作為流解析的開始點，從該開始點執(zhí)行流解析，從而取得對應(yīng)于再現(xiàn)時刻的地址，在標志表示第2類型的情況下，取得構(gòu)成結(jié)束的數(shù)據(jù)集合的開始點的入口位置中、距命令再現(xiàn)的時刻最近的入口時刻所對應(yīng)的入口位置，作為對應(yīng)于再現(xiàn)時刻的地址。
10.根據(jù)權(quán)利要求8所述的再現(xiàn)裝置，其特征在于所述主流是包含第1動態(tài)圖像的數(shù)字流，所述子流是包含標準畫質(zhì)的動態(tài)圖像的數(shù)字流，所述再現(xiàn)單元具備第1解碼器，解碼主流，得到第1動態(tài)圖像；和第2解碼器，解碼子流，得到第2動態(tài)圖像。
11.根據(jù)權(quán)利要求10所述的再現(xiàn)裝置，其特征在于具備合成單元，通過將第2解碼器得到的再現(xiàn)影像與第1解碼器得到的再現(xiàn)影像合成，在同一畫面中顯示第1動態(tài)圖像和第2動態(tài)圖像。
12.根據(jù)權(quán)利要求11所述的再現(xiàn)裝置，其特征在于在同步信息的時間信息中，具有使用不定值來表示同步時刻的時間信息，該不定值是在主流中的主要再現(xiàn)區(qū)間的再現(xiàn)時，指示再現(xiàn)裝置應(yīng)將用戶執(zhí)行了規(guī)定操作的時刻設(shè)定為同步時刻的值，所述再現(xiàn)裝置具備設(shè)定單元，在同步信息中的時間信息是不定值的情況下，在僅再現(xiàn)主流中的主要再現(xiàn)區(qū)域中指定的部分的狀態(tài)下，接受確定同步區(qū)間的開始點的鎖定操作，使用表示該開始點的時間信息，改寫同步信息中的不定值。
13.根據(jù)權(quán)利要求12所述的再現(xiàn)裝置，其特征在于所述鎖定操作通過用戶選擇主流的再現(xiàn)影像上出現(xiàn)的任一按鈕圖像來執(zhí)行，所述合成單元將子流的再現(xiàn)影像嵌入主流的具有按鈕圖像的部分中。
14.根據(jù)權(quán)利要求11所述的再現(xiàn)裝置，其特征在于同步信息還包含位置信息，位置信息表示在同一畫面中顯示第1動態(tài)圖像與第2動態(tài)圖像時第2動態(tài)圖像的顯示位置，基于所述合成單元的第2動態(tài)圖像的合成，根據(jù)位置信息來執(zhí)行。
15.根據(jù)權(quán)利要求14所述的再現(xiàn)裝置，其特征在于具備縮放器，在所述合成單元的合成之前，放大或縮小第2解碼器得到的再現(xiàn)影像，同步信息還包含大小信息，大小信息表示第2動態(tài)圖像的縱向橫向大小，基于縮放器的放大或縮小，根據(jù)大小信息來進行。
16.一種程序，使計算機對定義了主要再現(xiàn)區(qū)間的主流和定義了次要再現(xiàn)區(qū)間的子流執(zhí)行特殊再現(xiàn)，其特征在于在主要再現(xiàn)區(qū)間的時間軸上定義應(yīng)開始特殊再現(xiàn)的再現(xiàn)時刻，使計算機執(zhí)行下列步驟第1變換步驟，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為主流的地址；第2變換步驟，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并將變換后的再現(xiàn)時刻變換為子流的地址；讀出步驟，從由第1變換步驟、第2變換步驟變換后的地址，讀出主流和子流；和再現(xiàn)步驟，再現(xiàn)讀出的主流和子流，主要再現(xiàn)區(qū)間和次要再現(xiàn)區(qū)間在播放列表信息中定義，播放列表信息包含同步信息，同步信息包含表示主要再現(xiàn)區(qū)間的時間軸中應(yīng)使次要再現(xiàn)區(qū)間同步的、同步時刻的時間信息，入口映射與子流相對應(yīng)，第2變換步驟使用播放列表信息中的同步信息，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并使用對應(yīng)于子流的入口映射，將變換后的再現(xiàn)時刻變換為子流的地址。
17.一種再現(xiàn)方法，對定義了主要再現(xiàn)區(qū)間的主流和定義了次要再現(xiàn)區(qū)間的子流執(zhí)行特殊再現(xiàn)，其特征在于在主要再現(xiàn)區(qū)間的時間軸上定義應(yīng)開始特殊再現(xiàn)的再現(xiàn)時刻，具有第1變換步驟，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為主流的地址；第2變換步驟，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并將變換后的再現(xiàn)時刻變換為子流的地址；讀出步驟，從由第1變換步驟、第2變換步驟變換后的地址，讀出主流和子流；和再現(xiàn)步驟，再現(xiàn)讀出的主流和子流，主要再現(xiàn)區(qū)間和次要再現(xiàn)區(qū)間在播放列表信息中定義，播放列表信息包含同步信息，同步信息包含表示主要再現(xiàn)區(qū)間的時間軸中應(yīng)使次要再現(xiàn)區(qū)間同步的、同步時刻的時間信息，入口映射與子流相對應(yīng)，第2變換步驟使用播放列表信息中的同步信息，將主要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻變換為次要再現(xiàn)區(qū)間的時間軸上的再現(xiàn)時刻，并使用對應(yīng)于子流的入口映射，將變換后的再現(xiàn)時刻變換為子流的地址。
全文摘要
一種記錄PlayList信息的BD－ROM，PlayList信息是對多個AVClip的每個定義再現(xiàn)區(qū)間的信息，包含MainPath信息、SubPath信息，所述MainPath信息是指定多個AVClip中的一個作為MainClip、對該MainClip定義主要再現(xiàn)區(qū)間的信息，SubPath信息是指定多個AVClip中的另一個作為SubClip、對該SubClip定義應(yīng)與所述主要再現(xiàn)區(qū)間同步的、次要再現(xiàn)區(qū)間的信息，在BD－ROM中，以與EP_map相對應(yīng)的形式記錄多個AVClip中指定為SubClip的AVClip，該EP_map將SubClip的時間軸上的多個入口時刻與SubClip中的多個入口位置相對應(yīng)地表示。
文檔編號G11B20/10GK1926857SQ20058000656
公開日2007年3月7日 申請日期2005年9月9日 優(yōu)先權(quán)日2004年9月10日
發(fā)明者池田航, 岡田智之, 田中敬一, 大蘆雅弘 申請人:松下電器產(chǎn)業(yè)株式會社