專利名稱:用于保持聲像吻合的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及在音頻/視頻信號接收器中保持音頻和視頻信號之間的同步的領(lǐng)域。
背景技術(shù):
這一部分用于向讀者介紹可能與稍后進(jìn)行描述和/或要求保護(hù)的本發(fā)明的多個方面相關(guān)的多種現(xiàn)有技術(shù)。此討論對于向讀者提供背景信息是有利的,有助于更好地理解本發(fā)明的多個方面。因此,應(yīng)當(dāng)理解,這些陳述只是就事而論,并不表示對現(xiàn)有技術(shù)的認(rèn)可。
已經(jīng)設(shè)計(jì)了可以包括在如電視等顯示設(shè)備中的一些音頻/視頻接收器模塊,具有與視頻輸出數(shù)字到模擬(D/A)時鐘鎖定的音頻輸出D/A時鐘。這意味著不能單獨(dú)地控制音頻時鐘和視頻時鐘。單一的控制系統(tǒng)可以將兩個時鐘的速率可變地改變相等的百分比。在一些這樣的系統(tǒng)中,時鐘恢復(fù)系統(tǒng)可以使視頻(D/A)時鐘與視頻源模擬到數(shù)字(A/D)時鐘相匹配。于是,可以假設(shè)音頻輸出D/A時鐘與音頻源A/D時鐘相匹配。這種假設(shè)依賴于假設(shè)了廣播公司在產(chǎn)生源音頻和視頻時類似地鎖定其音頻和視頻時鐘的事實(shí)。
盡管高級電視系統(tǒng)委員會(ATSC)規(guī)范要求廣播公司將其視頻源A/D時鐘與其音頻源A/D時鐘鎖定,但還是存在未鎖定這些時鐘的情況。廣播公司未能將所發(fā)射的音頻源材料的時鐘與所發(fā)射的視頻源材料的時鐘鎖定可能會導(dǎo)致應(yīng)當(dāng)發(fā)生音頻呈現(xiàn)的時間與實(shí)際呈現(xiàn)音頻的時間之間的時延??梢员环Q為聲像吻合誤差的這種誤差可能會引起由音頻/視頻顯示設(shè)備所發(fā)出的聲音不與其所顯示的圖像相匹配。這種效應(yīng)會使大多數(shù)觀眾感到煩惱。
當(dāng)通過對視頻輸出速率和視頻輸入速率進(jìn)行匹配來驅(qū)動音頻/視頻時鐘恢復(fù)時,補(bǔ)償聲像吻合誤差的惟一方式是對音頻輸出進(jìn)行時間操作。因?yàn)橐纛l是連續(xù)的時間呈現(xiàn),難以對音頻輸出進(jìn)行時間操作而不造成一些可聽失真、靜音或跳躍。這些不想要的可聽干擾的頻率依賴于廣播臺的相對未鎖定音頻和視頻時鐘之間的頻率差。已經(jīng)對ATSC源進(jìn)行了觀察,每2~3分鐘對音頻進(jìn)行靜音。對音頻信號的周期性靜音可能會產(chǎn)生不需要的結(jié)果給電視觀眾。
已經(jīng)以未鎖定ATSC源對包括高清晰度電視(HDTV)在內(nèi)的多種電視進(jìn)行了訓(xùn)練,已經(jīng)看到HDTV進(jìn)行了一些音頻移位,以校正逐漸增長的聲像吻合誤差。代替在音頻移位期間靜音,HDTV實(shí)際上注入一些用于屏蔽靜音并在幅度上相對等于音頻幅度的靜態(tài)噪聲。將此靜態(tài)噪聲引入信號可能會產(chǎn)生不需要的結(jié)果給電視觀眾。
發(fā)明內(nèi)容
所公開的實(shí)施例涉及一種用于保持視頻信號和音頻信號之間的同步的系統(tǒng)和方法。利用被鎖定的時鐘來處理視頻信號和音頻信號。所述系統(tǒng)可以包括用于確定初始音頻輸入緩沖器水平的組件;用于確定初始音頻輸入緩沖器水平中的漂移量的組件,如果漂移量達(dá)到第一預(yù)定閾值,則調(diào)整時鐘以保持初始音頻輸入緩沖器水平;以及響應(yīng)時鐘的調(diào)整,測量與音頻信號相關(guān)聯(lián)的視頻信號的位移的組件,如果測量到的位移達(dá)到第二預(yù)定閾值,則進(jìn)行操作以消除測量到的視頻信號的位移。
在附圖中圖1是可以應(yīng)用本發(fā)明的典型系統(tǒng)的方框圖;
圖2是與可以應(yīng)用在本發(fā)明的實(shí)施例中的緩沖控制表相對應(yīng)的圖示;以及圖3是示出了根據(jù)本發(fā)明實(shí)施例的處理的流程圖。
具體實(shí)施例方式
下面,將對本發(fā)明的一個或多個特定實(shí)施例進(jìn)行描述。為了提供對這些實(shí)施例的簡明描述,在說明書中并未描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)當(dāng)清楚的是,在開發(fā)任何這種實(shí)際實(shí)現(xiàn)時,如在任何工程或設(shè)計(jì)項(xiàng)目中那樣,可能會做出大量的實(shí)現(xiàn)專有決定,以實(shí)現(xiàn)開發(fā)者的特定目的,如為了符合系統(tǒng)相關(guān)和商業(yè)相關(guān)的約束,這些可能會由于實(shí)現(xiàn)而彼此不同。此外,應(yīng)當(dāng)清楚的是,這種開發(fā)努力可能是復(fù)雜的且耗時的,但對于受到本公開效益的本領(lǐng)域普通技術(shù)人員而言,這些都是設(shè)計(jì)、生產(chǎn)和制造的日常工作。
本發(fā)明允許音頻/視頻接收器(例如,數(shù)字電視,包括HDTV)在未鎖定源音頻時鐘和源視頻時鐘而鎖定了數(shù)字TV音頻和視頻時鐘時同步地展示音頻和視頻。此外,本發(fā)明對于以數(shù)字源的未鎖定音頻和視頻時鐘來保持聲像吻合是有用的,例如,運(yùn)動圖像專家組(MPEG)源。
圖1是可以應(yīng)用本發(fā)明的典型系統(tǒng)的方框圖。通常以參考數(shù)字10表示此系統(tǒng)。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)清楚,圖1所示的組件只是為了說明的目的??梢岳妙~外的元件或圖1所示的組件的子集來實(shí)現(xiàn)具體實(shí)現(xiàn)了本發(fā)明的系統(tǒng)。此外,可以將圖1所示的功能塊組合在一起,或進(jìn)一步分隔為更小的功能單元。
廣播公司站點(diǎn)包括視頻A/D轉(zhuǎn)換器12和音頻A/D轉(zhuǎn)換器14,分別用于在發(fā)射之前處理視頻信號和相應(yīng)的音頻信號。通過分立的時鐘信號來操作視頻A/D轉(zhuǎn)換器12和音頻A/D轉(zhuǎn)換器14。如圖1所示,不必鎖定視頻A/D轉(zhuǎn)換器12和音頻A/D轉(zhuǎn)換器14的時鐘。視頻A/D轉(zhuǎn)換器12可以包括應(yīng)用了離散余弦變換的運(yùn)動補(bǔ)償預(yù)測編碼器。將視頻信號傳遞到視頻壓縮器/編碼器16,而將音頻信號傳遞到音頻壓縮器/編碼器18??梢愿鶕?jù)一些信號協(xié)議,如MPEG等,與其他輔助數(shù)據(jù)一起排列壓縮視頻信號。
將視頻壓縮器/編碼器16和音頻壓縮器/編碼器18的輸出傳遞到音頻/視頻復(fù)用器20。音頻/視頻復(fù)用器20將音頻和視頻信號組合成用于向音頻/視頻接收單元傳輸?shù)膯我恍盘枴H绫绢I(lǐng)域普通技術(shù)人員所清楚的那樣,音頻/視頻復(fù)用器20可以采用如時分復(fù)用等策略來組合音頻和視頻信號。將音頻/視頻復(fù)用器20的輸出傳遞到發(fā)射機(jī)構(gòu)22,由其對信號進(jìn)行放大和廣播。
可以包括數(shù)字電視機(jī)在內(nèi)的音頻/視頻接收器23適合于從廣播公司站點(diǎn)接收發(fā)射過來的音頻/視頻信號。由接收機(jī)構(gòu)24接收信號,并將所接收到的信號傳遞到音頻/視頻解復(fù)用器26。音頻/視頻解復(fù)用器26將所接收到的信號解復(fù)用為視頻和音頻分量。將解復(fù)用后的視頻信號29傳遞到視頻解壓縮器/解碼器28,以便進(jìn)行進(jìn)一步的處理。將解復(fù)用后的音頻信號31傳遞到音頻解壓縮器/解碼器30,以便進(jìn)行進(jìn)一步的處理。
將視頻解壓縮器/解碼器28的輸出傳遞到視頻D/A轉(zhuǎn)換器32,而將音頻解壓縮器/解碼器30的輸出傳遞到音頻D/A轉(zhuǎn)換器34。如圖1所示,一直鎖定視頻D/A轉(zhuǎn)換器32和音頻D/A轉(zhuǎn)換器34的時鐘。將視頻D/A轉(zhuǎn)換器32和音頻D/A轉(zhuǎn)換器34的輸出用于分別創(chuàng)建視頻圖像和相應(yīng)的音頻輸出,以便娛樂觀眾。
即使圖1所示的典型系統(tǒng)中的硬件不允許對音頻和視頻呈現(xiàn)進(jìn)行單獨(dú)控制,利用本發(fā)明的實(shí)施例,仍然能夠確定是否需要這種控制。根據(jù)本發(fā)明的實(shí)施例,通過觀察所接收到的音頻緩沖器的水平來測量與所接收到的音頻和視頻信號相關(guān)聯(lián)的相對傳送定時。已經(jīng)發(fā)現(xiàn)音頻緩沖器的水平是對聲像吻合誤差較為精確的測量。
如果最初正確地同步音頻和視頻信號,則在回放期間,應(yīng)當(dāng)以相同的速率消耗所接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)。在這種情況下,保存音頻信息的緩沖器應(yīng)當(dāng)保持在幾乎相同的尺寸,而不會隨時間而增長。如果音頻緩沖器增長或收縮超過典型的穩(wěn)定范圍,則表示可能危及到正確的聲像吻合。例如,如果音頻緩沖器隨時間增長超過典型的范圍,則表示視頻信號可能超前音頻信號。如果音頻緩沖器收縮到其典型范圍以下,則表示視頻信號可能滯后音頻信號。當(dāng)隨著時間確定聲像吻合誤差在零附近時(即,音頻緩沖器隨時間保持相對恒定的尺寸),則可以認(rèn)為音頻A/D源時鐘與視頻A/D源時鐘鎖定。如果聲像吻合誤差隨時間增長,則音頻A/D與視頻A/D源時鐘未必被鎖定,并可能需要校正。
本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)清楚的是,可以用軟件、硬件或其組合來實(shí)現(xiàn)本發(fā)明的實(shí)施例。此外,可以將本發(fā)明的組成部件設(shè)置在視頻解壓縮器/解碼器28、音頻解壓縮器/解碼器30、視頻D/A轉(zhuǎn)換器32和/或音頻D/A轉(zhuǎn)換器34或其任意組合中。此外,可以將本發(fā)明的構(gòu)成組件或功能方案設(shè)置在圖1未示出的其他器件中。
當(dāng)新音頻/視頻展示開始時,通常在改變頻道時,本發(fā)明的實(shí)施例可以將初始音頻D/A輸入緩沖器水平存儲在存儲器中??梢詫⒋藬?shù)據(jù)存儲在視頻D/A轉(zhuǎn)換器、音頻D/A轉(zhuǎn)換器34中或其外部。
如果音頻源時鐘與視頻源鎖定,則緩沖器水平應(yīng)當(dāng)隨時間保持相對恒定。如果緩沖器水平漂移,并且漂移對應(yīng)于大體上超過+/-10ms的聲像吻合誤差,則可以禁用正常的時鐘恢復(fù)控制,并可以按照使音頻緩沖器水平返回其初始水平的方向移動視頻D/A轉(zhuǎn)換器32和音頻D/A轉(zhuǎn)換器34的鎖定時鐘。
在此處理使音頻緩沖器返回其初始水平的同時,還測量視頻偏離其原始位置的程度。當(dāng)視頻大體上偏離+/-25ms時,則可以重復(fù)此處理(例如,通過重新初始化初始音頻輸入緩沖器水平的測量)或丟棄視頻幀(例如,接收到的視頻的MPEG幀),以消除測量到的位移。
此處理在使音頻輸出與音頻源鎖定且跳過或重復(fù)視頻幀以消除任何視頻漂移的模式下繼續(xù)進(jìn)行,直到檢測到另一頻道改變?yōu)橹埂T谛骂l道改變之后,本發(fā)明的實(shí)施例可以停止對聲像吻合誤差的校正,允許系統(tǒng)返回到使視頻輸出與視頻輸入鎖定的傳統(tǒng)方法,直到檢測到新的聲像吻合誤差為止。
用于根據(jù)初始音頻輸出D/A輸入緩沖器水平和實(shí)際音頻輸出D/A輸入緩沖器水平來控制鎖定音頻和視頻輸出時鐘的算法對于穩(wěn)定的性能尤為重要。優(yōu)選地,具有以下響應(yīng)當(dāng)其遠(yuǎn)離目標(biāo)值時,快速回轉(zhuǎn)緩沖器水平,當(dāng)其相對較遠(yuǎn)時,快速移向目標(biāo)值,以及當(dāng)其靠近所需位置時,減速。例如,這可以通過創(chuàng)建使時鐘頻率變化與變化的相對位置和速率相關(guān)的兩個控制表來實(shí)現(xiàn)。
表1使時鐘頻率變化與變化的相對速率相關(guān)
表1
表2使時鐘頻率變化與相對距離相關(guān)
表2本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)清楚的是,表1和表2所示的數(shù)值只是示例性的,不應(yīng)當(dāng)被解釋為對本發(fā)明的限制。由于緩沖器水平具有由于音頻解碼而導(dǎo)致的不規(guī)則輸入速率和由于D/A輸出時鐘而引起的非常規(guī)則的輸出速率,緩沖器水平數(shù)據(jù)將具有一些不穩(wěn)定的抖動。為了消除這類抖動,對緩沖器水平進(jìn)行估計(jì),以使其位于30秒時間段內(nèi)最大緩沖器讀取和最小緩沖器讀取之間的中間點(diǎn)??梢灾芷谛缘赜?jì)算此中間點(diǎn)(例如,每30秒),并可以隨時間給出對音頻源A/D時鐘頻率和音頻輸出D/A時鐘頻率之間的差值的良好讀取。
現(xiàn)在,參照圖2,示出了以圖形形式示出了緩沖器控制表(以上所討論的)的曲線圖。通常以參考數(shù)字100表示該曲線圖。圖2中示出了距離函數(shù)102和變化速率函數(shù)104。曲線圖100的y軸對應(yīng)于相對頻率變化,以赫茲為單位。曲線圖100的x軸對應(yīng)于距離函數(shù)102的相對緩沖器距離,以字節(jié)為單位;以及變化速率函數(shù)104的相對緩沖器變化速率,以字節(jié)為單位。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)清楚的是,曲線圖100所示的數(shù)值是示例性的,不應(yīng)當(dāng)被理解為對本發(fā)明的限制。
曲線圖100示出了當(dāng)緩沖器水平遠(yuǎn)離初始位置且變化速率處于錯誤方向時,本發(fā)明的實(shí)施例將如何使頻率補(bǔ)償在正確的方向上相對較大。此較大的頻率補(bǔ)償將一直持續(xù),直到變化速率轉(zhuǎn)變且緩沖器水平沿正確方向移動為止。此時,速度分量將開始作用抵消位置分量。但是,只要位置分量大于變化速率分量,則推動頻率以朝向目標(biāo)值增加變化速率,并且距離將減小。一旦變化速率分量變得大于距離分量,則變化速率將開始減小。此動作將用于在距離分量接近所需的初始緩沖器水平時平滑地制動變化速率。
圖3是示出了根據(jù)本發(fā)明實(shí)施例的處理的流程圖。通常以參考數(shù)字200表示該處理。在塊202處,處理開始。
在塊204處,確定初始音頻輸入緩沖器水平。隨著時間的過去,確定初始音頻輸入緩沖器水平的漂移量,如塊206所示。如果漂移超過第一預(yù)定閾值(208),則沿保持初始音頻輸入緩沖器水平的方向調(diào)整視頻D/A轉(zhuǎn)換器32(圖1)和音頻D/A轉(zhuǎn)換器34的鎖定時鐘。
響應(yīng)時鐘的調(diào)整,測量視頻信號的位移,如塊212所示。如果視頻信號的位移超過第二預(yù)定閾值(214),則通過如重新啟動處理或丟掉視頻幀來改善同步等來消除測量到的視頻信號的位移(塊216)。在塊218處,處理結(jié)束。
盡管可以對本發(fā)明進(jìn)行多種修改和替代形式,在附圖中作為示例已經(jīng)示出了特定的實(shí)施例,并對其進(jìn)行了詳細(xì)描述。但是,應(yīng)當(dāng)理解的是,并不傾向于將本發(fā)明局限于所公開的特定形式。相反,本發(fā)明覆蓋了落入由所附權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)的全部修改、等價物和替代方案。
權(quán)利要求
1.一種用于保持視頻信號(29)和音頻信號(31)之間的同步的系統(tǒng)(23),利用被鎖定的時鐘來處理所述視頻信號(29)和音頻信號(31),所述系統(tǒng)(23)包括組件(34),用于確定初始音頻輸入緩沖器水平;組件(34),用于確定初始音頻輸入緩沖器水平中的漂移量,如果漂移量達(dá)到第一預(yù)定閾值,則調(diào)整時鐘以保持初始音頻輸入緩沖器水平;以及組件(32),響應(yīng)時鐘的調(diào)整,測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移,如果測量到的位移達(dá)到第二預(yù)定閾值,則進(jìn)行操作以消除測量到的視頻信號(29)的位移。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于將初始音頻輸入緩沖器水平存儲在存儲器中。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于如果漂移量達(dá)到第一預(yù)定閾值,則禁用時鐘恢復(fù)控制。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于音頻信號(31)和視頻信號(29)包括運(yùn)動圖像專家組(MPEG)信號。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移的組件(32)進(jìn)行操作,以通過重新初始化對初始音頻輸入緩沖器水平的測量來消除測量到的視頻信號(29)的位移。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移的組件(32)進(jìn)行操作,以通過丟掉視頻信號(29)的幀來消除測量到的視頻信號(29)的位移。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于第一預(yù)定閾值為大約+/-10ms。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于第二預(yù)定閾值為大約+/-25ms。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)(23),其特征在于所述系統(tǒng)(23)包括一部分電視機(jī)。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)(23),其特征在于所述電視機(jī)包括高清晰度電視(HDTV)機(jī)。
11.一種用于保持視頻信號(29)和音頻信號(31)之間的同步的系統(tǒng)(23),利用被鎖定的時鐘來處理所述視頻信號(29)和音頻信號(31),所述系統(tǒng)(23)包括裝置(34),用于確定初始音頻輸入緩沖器水平;裝置(34),用于確定初始音頻輸入緩沖器水平中的漂移量;裝置(34),用于如果漂移量達(dá)到第一預(yù)定閾值,則調(diào)整時鐘以保持初始音頻輸入緩沖器水平;裝置(32),用于響應(yīng)時鐘的調(diào)整,測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移;以及裝置(32),用于如果測量到的位移達(dá)到第二預(yù)定閾值,則進(jìn)行操作以消除測量到的視頻信號(29)的位移。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)(23),其特征在于音頻信號(31)和視頻信號(29)包括運(yùn)動圖像專家組(MPEG)信號。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)(23),其特征在于測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移的裝置(32)進(jìn)行操作,以通過重新初始化對初始音頻輸入緩沖器水平的測量來消除測量到的視頻信號(29)的位移。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)(23),其特征在于測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移的裝置(32)進(jìn)行操作,以通過丟掉視頻信號(29)的幀來消除測量到的視頻信號(29)的位移。
15.一種用于保持視頻信號(29)和音頻信號(31)之間的同步的方法(200),利用被鎖定的時鐘來處理所述視頻信號(29)和音頻信號(31),所述方法(200)包括確定初始音頻輸入緩沖器水平(204);確定初始音頻輸入緩沖器水平中的漂移量(206);如果漂移量達(dá)到第一預(yù)定閾值,則調(diào)整時鐘以保持初始音頻輸入緩沖器水平(210);響應(yīng)時鐘的調(diào)整,測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移(212);以及如果測量到的位移達(dá)到第二預(yù)定閾值,則消除測量到的視頻信號(29)的位移(216)。
16.根據(jù)權(quán)利要求15所述的方法(200),其特征在于包括將初始音頻輸入緩沖器水平存儲在存儲器中。
17.根據(jù)權(quán)利要求15所述的方法(200),其特征在于包括如果漂移量達(dá)到第一預(yù)定閾值,則禁用時鐘恢復(fù)控制。
18.根據(jù)權(quán)利要求15所述的方法(200),其特征在于消除測量到的視頻信號的位移的動作(216)包括重新初始化對初始音頻輸入緩沖器水平的測量。
19.根據(jù)權(quán)利要求15所述的方法(200),其特征在于消除測量到的視頻信號的位移的動作(216)包括丟掉視頻信號幀。
20.根據(jù)權(quán)利要求15所述的方法(200),其特征在于按照所述順序執(zhí)行所述動作。
全文摘要
所公開的實(shí)施例涉及一種用于保持視頻信號(29)和音頻信號(31)之間的同步的系統(tǒng)(23)和方法(200)。利用被鎖定的時鐘來處理視頻信號(29)和音頻信號(31)。所述系統(tǒng)(23)可以包括組件(34),用于確定初始音頻輸入緩沖器水平;組件(34),用于確定初始音頻輸入緩沖器水平中的漂移量,如果漂移量達(dá)到第一預(yù)定閾值,則調(diào)整時鐘以保持初始音頻輸入緩沖器水平;以及組件(32),用于響應(yīng)時鐘的調(diào)整,測量與音頻信號(31)相關(guān)聯(lián)的視頻信號(29)的位移,如果測量到的位移達(dá)到第二預(yù)定閾值,則進(jìn)行操作以消除測量到的視頻信號(29)的位移。
文檔編號H04N7/52GK1703914SQ200380101248
公開日2005年11月30日 申請日期2003年10月22日 優(yōu)先權(quán)日2002年10月24日
發(fā)明者菲利普·亞倫·云克斯費(fèi)爾德, 德文·馬修·約翰遜 申請人:湯姆森許可貿(mào)易公司