專利名稱：用于串行數(shù)字視頻信號的帶內(nèi)a/v定時測量的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻信號和視頻信號發(fā)送領(lǐng)域，尤其涉及用于串行數(shù)字視頻信號的帶內(nèi)A/V定時測量的系統(tǒng)和方法?，F(xiàn)有技術(shù)的說明當與視頻圖像相對應的音頻沒有被同步時，觀看者可以容易地察覺。甚至僅一幀或兩幀的視頻信號和音頻信號的相對偏移量就能導致播音看起來與嘴唇不同步。不同步的原因可能是在從起始點到從電視發(fā)生設(shè)備輸出視頻信號和音頻信號期間視頻信號和音頻信號中的一個或兩者均引入了延遲。為了使得能夠通過接收器使視頻信號和音頻信號重新同步，一些傳統(tǒng)系統(tǒng)表征從音頻信號和視頻信號的起始點到從電視發(fā)生設(shè)備輸出音頻信號和數(shù)字信號的點在時間上的相對偏移量。傳統(tǒng)的表征技術(shù)在電視發(fā)生設(shè)備停止服務時使用特定的測試圖案通過電視發(fā)生設(shè)備測量相對偏移量。一旦確定了視頻信號和音頻信號之間的相對偏移量，就可以調(diào)節(jié)電視發(fā)生設(shè)備內(nèi)部的裝備以將相對偏移量消除或減少至可接受的水平。為了使每個接收器處的視頻信號和音頻信號重新同步，其它不需要電視發(fā)生設(shè)備停止服務來表征相對偏移量的技術(shù)需要昂貴的裝備以及電視發(fā)生設(shè)備與接收器之間的雙向通信。如前所述，本領(lǐng)域需要一種改進的技術(shù)，以表征音頻信號和視頻信號之間在時間上的相對偏移量以及向音頻信號和視頻信號接收器提供偏移量測量。

發(fā)明內(nèi)容
本發(fā)明的實施例包括一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的系統(tǒng)，音頻和視頻信號接收器使用該音頻信號和視頻信號測量相對偏移量。然后，接收器可以使用測得的相對偏移量來使視頻信號和音頻信號同步。使用帶內(nèi)信號發(fā)送來執(zhí)行表征，以使得表征數(shù)據(jù)具有每個幀的視頻信號和音頻信號。表征數(shù)據(jù)包括被捕獲并被編碼到高清晰度電視(HDTV)信號的垂直輔助(VANC)空間中的視頻信號的一條或多條掃描線的計算值。表征數(shù)據(jù)還包括被捕獲并被編碼到VANC空間中的每對音頻信道的計算值。電視發(fā)生設(shè)備傳輸視頻信號和音頻信號以及被編碼到每個幀的VANC空間中的表征數(shù)據(jù)。接收器從VANC空間中提取已編碼的表征數(shù)據(jù)以產(chǎn)生提取的表征數(shù)據(jù)，并且使用視頻信號和音頻信號重新計算每條掃描線或多條掃描線的值以產(chǎn)生重新計算出的表征數(shù)據(jù)。將提取值與重新計算出的值進行比較以確定視頻信號和音頻信號之間的相對偏移量。然后，接收器可以使用相對偏移量使視頻信號和音頻信號重新同步以輸出。本發(fā)明的一個實施例提供了一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現(xiàn)的方法。該方法包括從電視發(fā)生設(shè)備接收包括視頻信號和音頻信號以及使用帶內(nèi)信號發(fā)送的表征數(shù)據(jù)的幀序列。從幀序列中提取帶內(nèi)表征數(shù)據(jù)，并且基于視頻信號和音頻信號重新計算幀序列的其它表征數(shù)據(jù)以產(chǎn)生重新計算出的表征數(shù)據(jù)。將重新計算出的表征數(shù)據(jù)與提取的帶內(nèi)表征數(shù)據(jù)進行比較，以確定幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。本發(fā)明的一個實施例提供了一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現(xiàn)的方法。該方法包括由電視發(fā)生設(shè)備生成幀序列中的每個幀的經(jīng)同步的音頻信號和視頻信號的表征數(shù)據(jù)，其中，表征數(shù)據(jù)表示經(jīng)同步的音頻信號和視頻信號中的一部分的標記。將幀序列中的每個幀的經(jīng)同步的音頻信號和視頻信號的表征數(shù)據(jù)插入包括有該幀的視頻信號和音頻信號的信號的垂直輔助(VANC)空間中。將信號傳輸至接收器，其中，該接收器被配置為從信號的VANC空間中提取表征數(shù)據(jù)、從信號中提取視頻信號和音頻信號以及基于提取到的表征數(shù)據(jù)對準提取到的視頻信號和音頻信號以產(chǎn)生幀序列中的每個幀的經(jīng)同步的音頻信號和視頻信號。本文中所描述的技術(shù)的一個優(yōu)點是在表征視頻信號和音頻信號之間在時間上的相對偏移量期間電視發(fā)生設(shè)備不需要停止服務。表征動態(tài)地發(fā)生，并且通過使用帶內(nèi)信號發(fā)送將確定相對偏移量所需的測量數(shù)據(jù)與視頻信號和音頻信號一起提供給接收器。由于接收器僅需要存儲從接收到的信號中提取的表征數(shù)據(jù)值序列并執(zhí)行與重新算出的值的比較操作以計算相對偏移量，因此，另一優(yōu)點是包括更簡單且更廉價的硬件。


因此，以能夠更詳細地理解本發(fā)明的上述特征的方式，參照實施例更具體地描述以上簡要概括的本發(fā)明，附圖中示出了一些實施例。但是，應注意，附圖僅示出了本發(fā)明的示例性實施例，因此，附圖不應被認為是對本發(fā)明的范圍的限制，本發(fā)明也允許其它等同的有效實施例。圖IA是用于實現(xiàn)本發(fā)明的一個或多個方面的系統(tǒng)的框圖。圖IB是用于實現(xiàn)本發(fā)明的一個或多個方面的另一系統(tǒng)的框圖。圖2A是示出根據(jù)本發(fā)明的一個實施例的包括一行視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)以及VANC空間的幀的概念圖。圖2B是示出根據(jù)本發(fā)明的一個實施例的同步的幀序列以及不同步的幀序列的概念圖，其中，同步的幀包括視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)，不同步的幀包括視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)。圖3A是示出根據(jù)本發(fā)明的一個實施例的圖1的VANC數(shù)據(jù)插入器的框圖。圖:3B是示出根據(jù)本發(fā)明的一個實施例的圖1的網(wǎng)絡(luò)VANC接收器的框圖。圖4A是描述根據(jù)本發(fā)明的一個實施例的圖3A的VANC數(shù)據(jù)插入器的操作的方法步驟的流程圖。
圖4B是描述根據(jù)本發(fā)明的一個實施例的圖:3B的VANC數(shù)據(jù)接收器的操作的方法步驟的流程圖。
具體實施例方式可以在傳輸高清晰度(HD)的電視信號或其它標準格式的電視信號的任意數(shù)字電視傳送系統(tǒng)中實現(xiàn)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法。標準格式的電視信號的構(gòu)造可以用于傳輸有時被稱為輔助數(shù)據(jù)的附加信息。在一個實施例中，與數(shù)字地傳輸?shù)囊纛l信號和視頻信號一起，表征數(shù)據(jù)被編碼為輔助數(shù)據(jù)。接收器使用表征數(shù)據(jù)來使視頻信號和音頻信號重新同步。可以以硬件、軟件或硬件和軟件的組合來實現(xiàn)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法。當以硬件實現(xiàn)時，可以使用專門的硬件組件和邏輯實現(xiàn)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法。當以軟件實現(xiàn)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法時，可以使用該軟件控制與程序相關(guān)聯(lián)的系統(tǒng)和網(wǎng)絡(luò)中的各種組件。該軟件可以存儲在存儲器中并由適當?shù)闹噶顖?zhí)行系統(tǒng)(微處理器)執(zhí)行。用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法的硬件實現(xiàn)可以包括本領(lǐng)域眾所周知的以下技術(shù)中的任意技術(shù)或其組合分立的電子組件、具有用于對數(shù)據(jù)信號執(zhí)行邏輯功能的邏輯門的分立的邏輯電路、具有適當?shù)倪壿嬮T的應用專用集成電路、可編程門陣列(PGA)、現(xiàn)場可編程門陣列(FPGA)等。用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)和方法的軟件包括用于執(zhí)行邏輯功能的一系列有序的可執(zhí)行指令，并且可以在任意計算機可讀介質(zhì)中實現(xiàn)該軟件，其中，該計算機可讀介質(zhì)由指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置聯(lián)系，例如，基于計算機的系統(tǒng)、包含處理器的系統(tǒng)或其它可以從指令執(zhí)行系統(tǒng)、設(shè)備或裝置取出指令并執(zhí)行指令的系統(tǒng)。圖1是示出系統(tǒng)100的示例的框圖，系統(tǒng)100可以實現(xiàn)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)。系統(tǒng)100包括電視發(fā)生設(shè)備102、基帶分布結(jié)構(gòu)118以及接收設(shè)備132。電視發(fā)生設(shè)備102可以是電視演播室，并且接收設(shè)備132可以是后期制作設(shè)備。系統(tǒng)100可以位于更大的系統(tǒng)內(nèi)部的通過點或集合點處。電視發(fā)生設(shè)備102和接收設(shè)備132可以彼此非常接近(例如，位于同一設(shè)備內(nèi)部)或者位于不同的地理位置處。由于本領(lǐng)域的技術(shù)人員已知能夠雙向通信的基帶分布結(jié)構(gòu)118，因此，本文沒有描述其細節(jié)。在一個實施例中，電視發(fā)生設(shè)備102例如可以是通過線纜傳輸具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116的有線電視(CATV)廣播設(shè)備或者其它由基帶分布結(jié)構(gòu)118提供的有線分布系統(tǒng)。此外，使用嵌入在高清晰度電視(HDTV)或其它標準廣播信號中的信息、通過基帶分布結(jié)構(gòu)118可以將具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116從電視發(fā)生設(shè)備102傳輸至接收設(shè)備132。接收設(shè)備132可以向衛(wèi)星或其它類型的傳輸系統(tǒng)輸出信號。電視發(fā)生設(shè)備102包括視頻和音頻源110，視頻和音頻源110存儲輸出給VANC表征數(shù)據(jù)插入器120的視頻數(shù)據(jù)和音頻數(shù)據(jù)。在一個實施例中，VANC表征數(shù)據(jù)插入器120是可以將數(shù)據(jù)插入HDTV或其它標準格式的視頻信號的垂直輔助(VANC)空間中的通信元件。 ￠1^11 “Vertical Ancillary Data Mapping for Bit-Serial Interface"^ SMPTE( % 影與電視工程師學會)標準344M-200中描述了信息插入至HDTV信號的垂直輔助空間中， 該標準通過引用并入于此。根據(jù)用于表征視頻信號和音頻信號之間在時間上的相對偏移量并使視頻信號和音頻信號重新同步的系統(tǒng)的一個實施例，VANC表征數(shù)據(jù)插入器120動態(tài)地計算值，其中，針對從視頻和音頻源110接收到的視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)的一條或多條掃描線計算每個值。計算出的值表示視頻數(shù)據(jù)和音頻數(shù)據(jù)的經(jīng)同步的部分的“標記(fingerprint)”， 其中，該部分可以是幀或者一條或多條掃描線。該標記可以用于從經(jīng)同步的音頻信號或視頻信號的其它部分中唯一地識別出經(jīng)同步的音頻信號或視頻信號的該部分。通常，使用數(shù)學函數(shù)生成表征數(shù)據(jù)，從而產(chǎn)生視頻數(shù)據(jù)的值和音頻數(shù)據(jù)的值。數(shù)學函數(shù)的例子可以包括傳統(tǒng)的信號處理函數(shù)。表征數(shù)據(jù)表示視頻數(shù)據(jù)或音頻數(shù)據(jù)的質(zhì)量，并且在大小(字節(jié))上應足夠小以能夠安插到VANC空間內(nèi)。通常，表征數(shù)據(jù)獨自不能用于再現(xiàn)用以產(chǎn)生表征數(shù)據(jù)的原始視頻數(shù)據(jù)和音頻數(shù)據(jù)。換言之，與原始視頻數(shù)據(jù)和音頻數(shù)據(jù)的傳統(tǒng)地壓縮的形式不同，表征數(shù)據(jù)不是意在替代原始視頻數(shù)據(jù)和音頻數(shù)據(jù)。在一個實施例中，計算值是(通常)由電視發(fā)生設(shè)備102內(nèi)的另一單元(未示出) 計算的校驗和，并且接收設(shè)備132使用該校驗和確定是否無錯誤地接收了數(shù)據(jù)。該計算值是被編碼在包括視頻數(shù)據(jù)和音頻數(shù)據(jù)的幀的VANC中以產(chǎn)生構(gòu)造幀的表征數(shù)據(jù)。構(gòu)造幀112 被VANC表征數(shù)據(jù)插入器120輸出至可選處理途徑125，其中，可選處理途徑125可以被配置為執(zhí)行視頻信號和音頻信號的附加處理?？蛇x處理途徑125將具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116輸出至基帶分布結(jié)構(gòu)118?；鶐Х植冀Y(jié)構(gòu)118將具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116 傳輸給接收設(shè)備132。接收設(shè)備132接收具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)126，其中，幀數(shù)據(jù)包括被編碼在 VANC中的校驗和以及視頻數(shù)據(jù)和音頻數(shù)據(jù)。幀序列的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在幀存儲器 130中。音頻數(shù)據(jù)可以與視頻數(shù)據(jù)分開存儲在幀存儲器130中。VANC表征數(shù)據(jù)接收器150 接收具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)1 并提取被編碼在VANC中的視頻和音頻校驗和。VANC 表征數(shù)據(jù)接收器150存儲所提取的視頻和音頻值，并且，使用作為具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)1 的一部分而接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)重新計算每個幀的相同掃描線的值。將重新計算的值與提取到的值進行比較，以測量視頻數(shù)據(jù)與由音頻數(shù)據(jù)表示的一個或多個音頻信道對之間的任意相對偏移量。每對音頻信道可以相對視頻數(shù)據(jù)在時間上具有不同的偏移量，因此，各對音頻信道可以分別與視頻數(shù)據(jù)同步。音頻數(shù)據(jù)的不同相對偏移量被輸出至音頻/視頻對準單元160作為偏移量測量155。音頻/視頻對準單元160基于偏移量測量155 使視頻數(shù)據(jù)和音頻數(shù)據(jù)同步，以產(chǎn)生經(jīng)同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)。圖IB是用于實現(xiàn)本發(fā)明的一個或多個方面的系統(tǒng)180的框圖。系統(tǒng)180包括圖 IA的電視發(fā)生設(shè)備102和接收設(shè)備132。此外，系統(tǒng)180包括通信上行鏈路站122、通信衛(wèi)星1 以及通信下行鏈路站128。由于本領(lǐng)域的技術(shù)人員已知能夠雙向通信的、包括衛(wèi)星通信上行鏈路站122、通信衛(wèi)星IM以及衛(wèi)星通信下行鏈路站1 的傳輸系統(tǒng)，因此，本文沒有描述其細節(jié)。此外，可以在系統(tǒng)180中實現(xiàn)其它傳輸系統(tǒng)(諸如，例如，地面?zhèn)鬏斚到y(tǒng)、有線或無線傳輸系統(tǒng)或者其它傳輸系統(tǒng))，以使用嵌入在HDTV或其它標準廣播信號中的信息將程序系統(tǒng)信息從電視發(fā)生設(shè)備102動態(tài)地傳輸至接收設(shè)備132。電視發(fā)生設(shè)備102內(nèi)的可選處理途徑125將具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116輸出至衛(wèi)星通信上行鏈路站122。衛(wèi)星通信上行鏈路站122通過通信衛(wèi)星IM將具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)116傳輸給衛(wèi)星通信下行鏈路站128。衛(wèi)星通信下行鏈路站1 將接收到的具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)1 通信至接收設(shè)備132。圖2A是示出根據(jù)本發(fā)明的一個實施例的、包括視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)的掃描線210以及VANC空間220的幀的概念圖。視頻數(shù)據(jù)存儲在幀的可見幀數(shù)據(jù)200部分中。當使用一種HDTV格式時，一幀包括750條掃描線，其中，可見幀數(shù)據(jù)200占用720條掃描線，VANC空間220占用30條掃描線。水平輔助(HANC)空間215也包括在幀中，并且存儲幀的每條掃描線的音頻數(shù)據(jù)?？梢栽贖ANC空間215中存儲多個信道的音頻數(shù)據(jù)，其中， 每個信道由一對音頻信號表示。圖2B是示出根據(jù)本發(fā)明的一個實施例的、視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)的同步的幀序列230以及視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)的不同步的幀序列240的概念圖。在同一圖案中示出了幀231、232、233和234中的每個幀的視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)，其中，音頻數(shù)據(jù)存在于HANC空間中，視頻數(shù)據(jù)存在于可見幀空間中。音頻數(shù)據(jù)被電視發(fā)生設(shè)備102 延遲，并且在視頻數(shù)據(jù)和相對應的音頻數(shù)據(jù)的不同步的幀序列240的幀對1、對2、243和對4 中發(fā)生兩個幀的偏移。更具體地，來自幀231的音頻數(shù)據(jù)與來自幀233的視頻數(shù)據(jù)一起在幀243中到達接收設(shè)備132。類似地，來自幀232的音頻數(shù)據(jù)與來自幀234的視頻數(shù)據(jù)一起在幀M4中到達接收設(shè)備132。為了使音頻數(shù)據(jù)和視頻數(shù)據(jù)正確地同步，接收設(shè)備132或者將視頻數(shù)據(jù)延遲兩個幀以使其出現(xiàn)在具有相對應的音頻數(shù)據(jù)的幀中，或者，接收設(shè)備132 將音頻數(shù)據(jù)提前兩個幀以使其與包含相對應的視頻數(shù)據(jù)的幀一起輸出。在另一示例中，音頻數(shù)據(jù)可以相對于視頻數(shù)據(jù)延遲或提前幀內(nèi)的一條或多條掃描線。為了使音頻數(shù)據(jù)和視頻數(shù)據(jù)正確地同步，接收設(shè)備132或者將視頻數(shù)據(jù)延遲相同數(shù)量的掃描線或者將音頻數(shù)據(jù)延遲相同數(shù)量的掃描線，以將相對應的視頻數(shù)據(jù)和音頻數(shù)據(jù)對準。圖3A是示出根據(jù)本發(fā)明的一個實施例的、圖1的VANC表征數(shù)據(jù)插入器120的框圖。VANC表征數(shù)據(jù)插入器120包括掃描線值捕獲單元310和幀構(gòu)造單元305。掃描線值捕獲單元310可以被配置為接收音頻/視頻幀數(shù)據(jù)303，并且計算幀序列中的幾個幀的特定掃描線210或多條掃描線中的視頻數(shù)據(jù)的值。掃描線值捕獲單元310還可以被配置為計算與幀序列中的幾個幀的相同掃描線210或多條掃描線相對應的每對音頻信號的值。在一些實施例中，針對幀的每條掃描線計算這些值。針對每個幀，計算值表示表征數(shù)據(jù)，該表征數(shù)據(jù)由幀構(gòu)造單元305編碼在每個幀的VANC空間220中以產(chǎn)生包括視頻信號和音頻信號以及視頻和音頻表征數(shù)據(jù)的構(gòu)造幀。由于這些值是在視頻數(shù)據(jù)和音頻數(shù)據(jù)被同步的位置處計算的，因此，這些值可以用作接收設(shè)備132用于使視頻數(shù)據(jù)和音頻數(shù)據(jù)重新同步的表征數(shù)據(jù)。但是，如果以將改變表征數(shù)據(jù)的方式修改視頻和/或音頻數(shù)據(jù)，則在表征數(shù)據(jù)被編碼到VANC空間中之后重新計算這些值。例如，在生成校驗和之后執(zhí)行采樣率轉(zhuǎn)換時，校驗和不能用作表征數(shù)據(jù)。在一個實施例中，按照用于將用戶定義的數(shù)據(jù)插入HDTV信號中的SMPTE 272M-2004和291M-2006指導方針，幀構(gòu)造單元305使用數(shù)據(jù)ID (DID) 0x52和第二數(shù)據(jù) ID (SID) 0x01將表征數(shù)據(jù)插入VANC空間220中。幀的可見幀數(shù)據(jù)200的任意掃描線可以用于計算視頻數(shù)據(jù)和音頻數(shù)據(jù)的值。為了補償由電視發(fā)生設(shè)備102引入的視頻信號和音頻信號之間的延遲并在接收設(shè)備處使視頻數(shù)據(jù)和音頻數(shù)據(jù)正確地同步，視頻和音頻信號不應該是恒定的，例如，靜態(tài)測試圖案。在每個幀的值等同的情況下，當提取VANC空間中的值并將這些值與根據(jù)接收到的視頻和音頻信號重新計算出的值進行比較時，不能確定由電視發(fā)生設(shè)備102引入的任意相對偏移量。由于觀看者察覺不到恒定信號之間不同步，因此，無需使恒定信號同步。圖;3B是示出根據(jù)本發(fā)明的一個實施例的、圖1的VANC表征數(shù)據(jù)接收器150的框圖。VANC表征數(shù)據(jù)接收器150包括掃描線表征數(shù)據(jù)重新計算單元340、表征數(shù)據(jù)比較單元 350以及超時單元345。掃描線表征數(shù)據(jù)重新計算單元340針對序列中的幀數(shù)據(jù)接收具有 VANC表征數(shù)據(jù)的幀數(shù)據(jù)126，并且針對幀序列中的幾個幀重新計算特定掃描線210或多條掃描線中的視頻數(shù)據(jù)的值。掃描線表征數(shù)據(jù)重新計算單元340也被配置為針對幀序列中的幾個幀重新計算與相同掃描線210或多條掃描線相對應的每對音頻信號的值。重要地，為了檢測掃描線級的不同步，掃描線表征數(shù)據(jù)重新計算單元340應該重新計算幀的每條掃描線的值。表征數(shù)據(jù)比較單元350接收具有VANC表征數(shù)據(jù)的幀數(shù)據(jù)126，并且提取被編碼在 VANC空間中的表征數(shù)據(jù)中所包括的值。然后，表征數(shù)據(jù)比較單元350將針對每個幀的每條掃描線或多條掃描線重新計算出的值與每個幀的音頻信號和視頻信號的提取值進行比較。由于一個或多個信道的音頻信號可能在時間上相對于視頻信號被延遲或提前，因此表征數(shù)據(jù)比較單元350將重新計算出的值與在幀序列中較早和較晚出現(xiàn)的多個幀和掃描線的提取值進行比較。表征數(shù)據(jù)比較單元350確定與特定值相關(guān)聯(lián)的每個音頻信道對的偏移量測量，并且輸出每個幀的偏移量測量作為偏移量測量155。偏移量測量是幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。超時單元345追蹤沒有發(fā)現(xiàn)匹配的時鐘循環(huán)或幀的數(shù)量，并且，在幀或時鐘循環(huán)的數(shù)量超過預定值時指示不能確定偏移量測量。在一些實施例中，預定值是其提取值被緩沖以用于比較操作的幀的數(shù)量。圖4A是描述根據(jù)本發(fā)明的一個實施例的、圖3A的VANC表征數(shù)據(jù)插入器120的操作的方法步驟的流程圖。VANC表征數(shù)據(jù)插入器120生成表征數(shù)據(jù)，表征數(shù)據(jù)由電視發(fā)生設(shè)備102發(fā)送并被接收設(shè)備132用來確定音頻信號和視頻信號之間在時間上的相對偏移量。 在步驟400，VANC表征數(shù)據(jù)插入器120接收視頻數(shù)據(jù)和音頻數(shù)據(jù)的幀。在步驟405，VANC表征數(shù)據(jù)插入器120選擇幀的一條或多條掃描線的視頻數(shù)據(jù)和音頻數(shù)據(jù)。在步驟410，VANC 表征數(shù)據(jù)插入器120通過計算與一條或多條掃描線相對應的視頻數(shù)據(jù)的值來生成幀的視頻信號的表征數(shù)據(jù)。在步驟415，VANC表征數(shù)據(jù)插入器120通過計算與一條或多條掃描線相對應的視頻數(shù)據(jù)的一個或多個信道對的值來生成幀的音頻信號的表征數(shù)據(jù)。在步驟420，幀構(gòu)造單元305將幀的表征數(shù)據(jù)插入如下信號的VANC空間中，該信號包括幀的視頻信號和音頻信號。然后，電視發(fā)生設(shè)備102將構(gòu)造的幀傳輸給接收設(shè)備132， 其中，接收設(shè)備132被配置為使用每個幀的表征數(shù)據(jù)確定幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。圖4B是描述根據(jù)本發(fā)明的一個實施例的、圖:3B的VANC表征數(shù)據(jù)接收器150的操作的方法步驟的流程圖。VANC表征數(shù)據(jù)接收器150被配置為表征幀序列中的音頻信號和視頻信號之間在時間上的相對偏移量。在步驟440，VANC表征數(shù)據(jù)接收器150接收來自電視發(fā)生設(shè)備102的具有VANC表征數(shù)據(jù)以及視頻數(shù)據(jù)和音頻數(shù)據(jù)的幀。在步驟445，從幀中提取包括在VANC空間中的所傳輸?shù)谋碚鲾?shù)據(jù)，以產(chǎn)生提取值。在步驟455，掃描線表征數(shù)據(jù)重新計算單元340針對幀中的視頻數(shù)據(jù)的每條掃描線重新計算用于產(chǎn)生表征數(shù)據(jù)的值，其中，掃描線包括電視發(fā)生設(shè)備102用于產(chǎn)生VANC值的同一掃描線。當針對多條掃描線計算表征數(shù)據(jù)時，掃描線表征數(shù)據(jù)重新計算單元340針對幀中的視頻數(shù)據(jù)的多條掃描線重新計算用于產(chǎn)生表征數(shù)據(jù)的值，其中，掃描線包括電視發(fā)生設(shè)備102用于產(chǎn)生VANC值的相同掃描線。在步驟460，將視頻數(shù)據(jù)的重新計算出的值和與幀的視頻數(shù)據(jù)相對應的提取值進行比較。在步驟465，表征數(shù)據(jù)比較單元350確定重新計算出的值之一是否與視頻數(shù)據(jù)的提取值匹配。如果在步驟465發(fā)現(xiàn)了匹配，則在步驟 470計算視頻數(shù)據(jù)的偏移量測量，并且方法進入步驟475。注意，為了檢查是否在VANC中接收相對應的表征數(shù)據(jù)之前接收了幀的視頻數(shù)據(jù)，可以將重新計算出的值緩沖多個幀，并且通過表征數(shù)據(jù)比較單元350將重新計算出的值與新提取的值進行比較。如果在步驟465沒有發(fā)現(xiàn)匹配，則在步驟472將默認值用于視頻數(shù)據(jù)的偏移量測量。例如，視頻數(shù)據(jù)的偏移量測量可設(shè)置為默認值0。如果沒有發(fā)現(xiàn)匹配并且超時計數(shù)已經(jīng)滿，則超時單元345可指示不能確定視頻信號的偏移量測量。在步驟475，掃描線表征數(shù)據(jù)重新計算單元340針對幀中的每個音頻信道對重新計算每個掃描線值，其中，掃描線包括電視發(fā)生設(shè)備102用于產(chǎn)生VANC表征數(shù)據(jù)的同一掃描線。當針對多個掃描線計算表征數(shù)據(jù)時，掃描線表征數(shù)據(jù)重新計算單元340針對多個掃描線重新計算幀中的每個音頻信道對的值，其中，掃描線包括電視發(fā)生設(shè)備102用于產(chǎn)生 VANC表征數(shù)據(jù)的多條相同掃描線。在步驟480，將音頻數(shù)據(jù)的重新計算出的值和與幀序列的音頻數(shù)據(jù)相對應的提取值進行比較。在步驟485，表征數(shù)據(jù)比較單元350確定音頻信道對的重新計算出的值之一是否與音頻信道對的相對應的提取值匹配。如果在步驟485發(fā)現(xiàn)了一個或多個音頻信道對，則在步驟490計算匹配的音頻數(shù)據(jù)的偏移量測量，并且方法進入步驟495。注意，為了檢查是否在VANC中接收相對應的表征數(shù)據(jù)之前接收了幀的音頻數(shù)據(jù)， 可以將重新計算出的值緩沖多個幀，并由表征數(shù)據(jù)比較單元350將重新計算出的值與新提取到的值進行比較。在步驟485，如果表征數(shù)據(jù)比較單元350確定沒有音頻信道對的重新計算的校驗和與音頻信道對的相對應的提取值匹配，則在步驟492將默認值用于偏移量測量。例如，音頻數(shù)據(jù)的一個或多個音頻信道對的偏移量測量可設(shè)置為默認值0。當沒有發(fā)現(xiàn)匹配且超時計數(shù)已滿時，超時單元345可以指示不能確定視頻信號的偏移量測量。在步驟495，通過將來自序列中的先前接收到的幀或掃描線的緩沖的音頻和/或視頻數(shù)據(jù)與來自序列中的稍后接收到的幀或掃描線的視頻或音頻數(shù)據(jù)進行合并，來對準幀的音頻數(shù)據(jù)和視頻數(shù)據(jù)，從而產(chǎn)生經(jīng)同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)?；谟蒝ANC表征數(shù)據(jù)接收器150計算出的偏移量測量對準音頻數(shù)據(jù)和視頻數(shù)據(jù)。本文中所描述的系統(tǒng)和方法的一個優(yōu)點在于電視發(fā)生設(shè)備使用帶內(nèi)信號發(fā)送動態(tài)地生成并傳輸表征信息，在表征視頻和音頻信號之間在時間上的相對偏移量期間，電視發(fā)生設(shè)備不需要停止服務。由于接收設(shè)備被配置為僅使用傳輸信號提取表征數(shù)據(jù)并確定視頻信號和音頻信號之間在時間上的相對偏移量，因此，在電視發(fā)生設(shè)備和接收設(shè)備之間不需要額外的通信信道。由于接收器僅需要存儲包括在表征數(shù)據(jù)中的序列值，并且與針對每個接收到的幀重新計算的表征數(shù)據(jù)值的進行比較以計算相對偏移量，因此又一優(yōu)點包括更簡單且更廉價的硬件，其中，從每個接收到的幀的VANC空間中提取該表征數(shù)據(jù)。電視發(fā)生設(shè)備基于視頻和/或音頻內(nèi)容生成值并將這些值插入每個幀的VANC空間中，以提供表征數(shù)據(jù)。本發(fā)明的各實施例可以被實現(xiàn)為與計算機系統(tǒng)一起使用的程序產(chǎn)品。該程序產(chǎn)品的程序限定實施例(包括本文中所描述的方法)的功能并且可以包含在各種計算機可讀存儲介質(zhì)上。示例性的計算機可讀存儲介質(zhì)包括但不限于(i)其上永久地存儲信息的非可寫存儲介質(zhì)(例如，計算機內(nèi)部的只讀存儲裝置，諸如⑶-ROM驅(qū)動器可讀的⑶-ROM盤、閃存、ROM芯片或任意類型的固態(tài)非易變半導體存儲器)；(ii)其上存儲可變信息的可寫存儲器介質(zhì)(例如，磁盤驅(qū)動器或硬盤驅(qū)動器內(nèi)的軟盤或任意類型的固態(tài)隨機存取半導體存儲器)O以上參照具體實施例描述了本發(fā)明，并闡述了大量具體細節(jié)以提供對本發(fā)明的更透徹的理解。但是，本領(lǐng)域的技術(shù)人員將理解可以在不背離本發(fā)明的更寬精神和范圍的情況下對本發(fā)明進行各種修改和變化。因此，之前的說明書和附圖被認為是示例性而非限制性。
權(quán)利要求
1.一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的系統(tǒng)，所述系統(tǒng)包括幀存儲器，其被配置成從電視發(fā)生設(shè)備接收包括視頻信號和音頻信號以及帶內(nèi)表征數(shù)據(jù)的幀序列；以及存儲所述幀序列中的至少部分幀；接收器，其耦接至所述幀存儲器并被配置成從所述幀序列中提取所述帶內(nèi)表征數(shù)據(jù)；基于所述視頻信號和所述音頻信號重新計算所述幀序列的表征數(shù)據(jù)；以及將重新計算出的表征數(shù)據(jù)與所提取的所述帶內(nèi)表征數(shù)據(jù)進行比較，以確定所述幀序列的所述音頻信號和所述視頻信號之間在時間上的相對偏移量。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括音頻/視頻對準單元，所述音頻/視頻對準單元耦接至所述接收器并被配置成基于所述在時間上的相對偏移量對準所述視頻信號和音頻信號，以產(chǎn)生經(jīng)同步的幀序列。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所提取的所述帶內(nèi)表征數(shù)據(jù)表示所述幀序列的所述音頻信號和所述視頻信號中的一部分的標記。
4.一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現(xiàn)的方法，所述方法包括表征數(shù)據(jù)生成步驟，用于生成與幀序列中的每個幀相關(guān)聯(lián)的經(jīng)同步的音頻信號和視頻信號的表征數(shù)據(jù)，其中，所述表征數(shù)據(jù)表示所述經(jīng)同步的音頻信號和視頻信號的一部分的標記；表征數(shù)據(jù)插入步驟，用于針對所述幀序列中的每個幀，將所述經(jīng)同步的音頻信號和視頻信號的所述表征數(shù)據(jù)插入如下信號的垂直輔助VANC空間中，該信號包括視頻信號和音頻信號；以及信號傳輸步驟，用于將該信號傳輸給接收器，所述接收器被配置為重新產(chǎn)生與所述幀序列中的每個幀相關(guān)聯(lián)的所述經(jīng)同步的音頻信號和視頻信號。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述表征數(shù)據(jù)生成步驟包括針對所述幀序列中的每個幀，基于第一數(shù)學函數(shù)計算與該幀的至少第一掃描線相關(guān)聯(lián)的視頻信號的第一值；以及針對所述幀序列中的每個幀，基于第二數(shù)學函數(shù)計算與每個幀的至少第一掃描線相關(guān)聯(lián)的音頻信號的第二值。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述音頻信號包括多個音頻信道，其中，每個音頻信道由音頻信道對表示，并且，用于計算與至少第一掃描線相關(guān)聯(lián)的音頻信號的第二值的步驟包括針對與所述多個音頻信道相關(guān)聯(lián)的每個音頻信道對計算獨立的值。
7.根據(jù)權(quán)利要求5所述的方法，其中，所述表征數(shù)據(jù)生成步驟包括針對所述幀序列中的每個幀，基于所述第一數(shù)學函數(shù)計算與所述幀的第二掃描線相關(guān)聯(lián)的視頻信號的第三值；以及針對所述幀序列中的每個幀，基于所述第二數(shù)學函數(shù)計算與所述幀的所述第二掃描線相關(guān)聯(lián)的音頻信號的第四值。
8.根據(jù)權(quán)利要求4所述的方法，其中，所述表征數(shù)據(jù)獨自不能用于重新產(chǎn)生用以生成所述表征數(shù)據(jù)的音頻信號和視頻信號。
9.根據(jù)權(quán)利要求4所述的方法，其中，所述信號傳輸步驟包括通過通信衛(wèi)星傳輸該信號。
10.一種用于表征音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現(xiàn)的方法，所述方法包括接收步驟，用于從電視發(fā)生設(shè)備接收包括視頻信號和音頻信號以及使用帶內(nèi)信號傳輸?shù)谋碚鲾?shù)據(jù)的幀序列；表征數(shù)據(jù)提取步驟，用于從所述幀序列中提取帶內(nèi)表征數(shù)據(jù)；表征數(shù)據(jù)重新計算步驟，用于基于所述視頻信號和所述音頻信號重新計算所述幀序列的表征數(shù)據(jù)以產(chǎn)生重新計算出的表征數(shù)據(jù)；以及比較步驟，用于將所述重新計算出的表征數(shù)據(jù)與所提取的帶內(nèi)表征數(shù)據(jù)進行比較，以確定所述幀序列的所述音頻信號和所述視頻信號之間在時間上的相對偏移量。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述表征數(shù)據(jù)重新計算步驟包括針對所述幀序列中的每個幀，基于第一數(shù)學函數(shù)計算與該幀的至少第一掃描線相關(guān)聯(lián)的視頻信號的第一值；以及針對所述幀序列中的每個幀，基于第二數(shù)學函數(shù)計算與所述幀的至少第一掃描線相關(guān)聯(lián)的音頻信號的第二值。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述音頻信號包括多個音頻信道，其中，每個音頻信道由音頻信道對表示，并且用于計算與至少第一掃描線相關(guān)聯(lián)的音頻信號的第一值的步驟包括針對與所述多個音頻信道相關(guān)聯(lián)的每個音頻信道對計算獨立的值。
13.根據(jù)權(quán)利要求10所述的方法，還包括基于所述在時間上的相對偏移量使所述視頻信號和所述音頻信號對準，以產(chǎn)生經(jīng)同步的幀序列。
14.根據(jù)權(quán)利要求10所述的方法，其中，所述比較步驟包括將針對所述幀序列中的特定幀提取的帶內(nèi)表征數(shù)據(jù)和與所述特定幀之前和之后的一個或多個幀均相關(guān)聯(lián)的所述重新計算出的表征數(shù)據(jù)進行比較。
15.根據(jù)權(quán)利要求10所述的方法，其中，所述提取的帶內(nèi)表征數(shù)據(jù)獨自不能用于重新產(chǎn)生用以生成所述提取的帶內(nèi)表征數(shù)據(jù)的音頻信號和視頻信號。
全文摘要
本發(fā)明提供一種用于表征音頻信號和視頻信號在時間上的相對偏移量并使得音頻信號和視頻信號的接收器能夠重新同步音頻信號和視頻信號的系統(tǒng)和方法。動態(tài)地捕獲信號表征數(shù)據(jù)并將其編碼到由電視發(fā)生設(shè)備輸出的音頻數(shù)據(jù)和視頻數(shù)據(jù)幀中。接收器提取信號表征數(shù)據(jù)，并且針對接收到的幀重新計算信號表征數(shù)據(jù)。將提取的信號表征數(shù)據(jù)與重新計算出的信號表征數(shù)據(jù)進行比較，以計算幀的視頻信號與一個或多個音頻信號之間在時間上的相對偏移量。然后，接收器使用計算出的相對偏移量使視頻信號和音頻信號重新同步。
文檔編號H04N7/64GK102572445SQ20111042111
公開日2012年7月11日 申請日期2011年12月15日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者埃夫蒂米斯·斯特凡尼迪斯, 詹姆斯·L·杰克遜, 邁克爾·J·施特賴因 申請人:迪斯尼實業(yè)公司