專利名稱：多對象音頻解碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音頻編碼和解碼方法以及其設(shè)備；并且更具體地，涉及一種多對象音頻編碼和解碼方法以及其設(shè)備。這項工作受到MIC/IITA 的 IT R&D 計劃[2007-S-004-01, “Development ofGlassless Single_User3D Broadcasting Technologies (無眼鏡單用戶 3D 廣播技術(shù)的發(fā)
展)”]支持。
背景技術(shù)：
引進了基于空間隊列的空間音頻編碼(SAC)方法，作為根據(jù)相關(guān)技術(shù)的用于壓縮和恢復(fù)音頻信號的方法。所述SAC方法是為了進行多聲道音頻編碼而開發(fā)的技術(shù)。通常，傳統(tǒng)的音頻技術(shù)具有僅允許用戶被動地聆聽音頻內(nèi)容的功能限制。因此，傳統(tǒng)的音頻技術(shù)不能向用戶提供多樣的音頻服務(wù)。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的實施例旨在提供一種用于有效地提供多樣的音頻服務(wù)的編碼和解碼方法、以及其設(shè)備。本發(fā)明的其它目的和優(yōu)點可通過接下來的描述來理解，并且參考本發(fā)明的實施例而變得明顯。此外，對于本領(lǐng)域的技術(shù)人員還顯然的是，本發(fā)明的目的和優(yōu)點可通過所要求保護的手段以及其組合來實現(xiàn)。技術(shù)解決方案根據(jù)本發(fā)明的一方面，提供了一種多對象編碼方法，包括通過下混合(down-mix)前景音頻對象和背景音頻對象來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼方法，包括通過將單聲道前景音頻對象下混合到單聲道背景音頻對象上來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象編碼方法，包括通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼方法，包括通過下混合立體聲前景音頻對象和立體聲背景音頻對象來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。
根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼方法，包括接收比特流，該比特流包括通過對前景音頻對象和背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合而生成的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)前景音頻對象和背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼方法，包括接收比特流，該比特流包括通過對單聲道前景音頻對象和單聲道背景音頻對象進行下混合而生成的下混合信號、和在下混合之后剩下的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)前景 音頻對象和背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼方法，包括接收通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合而生成的下混合信號、和在下混合之后剩下的殘余信號；以及使用殘余信號來恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼方法，包括接收比特流，該比特流包括通過對立體聲前景音頻對象和立體聲背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合信號的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和立體聲背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼設(shè)備，包括下混合發(fā)生器，用于通過對前景音頻對象和背景音頻對象進行下混合來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼設(shè)備，包括下混合發(fā)生器，用于通過對單聲道前景音頻對象和單聲道背景音頻對象進行下混合來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼設(shè)備，包括下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻編碼設(shè)備，包括下混合發(fā)生器，用于通過對立體聲前景音頻對象和立體聲背景音頻對象進行下混合來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼設(shè)備，包括接收器，用于接收比特流，該比特流包括通過對前景音頻對象和背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)前景音頻對象和背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼設(shè)備，包括接收器，用于接收比特流，該比特流包括通過對單聲道前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)單聲道前景音頻對象和單聲道背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼設(shè)備，包括接收器，用于接收比特流，該比特流包括通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。
根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼設(shè)備，包括接收器，用于接收比特流，該比特流包括通過對立體聲前景音頻對象和立體聲背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和立體聲背景音頻對象。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼方法，包括接收比特流，該比特流包括通過對N個前景音頻對象和背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合而生成的N個殘余信號，其中所述N個殘余信號分別對應(yīng)于所述N個前景音頻對象，并且N是整數(shù)；以及使用所述殘余信號來從下混合信號中恢復(fù)所述前景音頻對象和背景音頻對象，其中，所述前景音頻對象和背景音頻對象是單聲道音頻對象。所述恢復(fù)步驟包括如下步驟使用所述N個殘余信號中與第M前景音頻對象對應(yīng)的第M殘余信號、以及背景音頻對象與還沒有恢復(fù)的前景音頻對象的下混合信號來恢復(fù)所述N個前景音頻對象中 的第M前景音頻對象，并且在恢復(fù)所述第M前景音頻對象之后輸出下混合信號，其中M是不大于N的整數(shù)；以及依次重復(fù)如下的處理直到恢復(fù)了所述N個前景音頻對象和所述背景音頻對象使用所述N個殘余信號中與第M+1前景音頻對象對應(yīng)的第M+1殘余信號、以及由所述恢復(fù)步驟輸出的下混合信號來恢復(fù)所述N個前景音頻對象中的第M+1前景音頻對象，并且在恢復(fù)所述第M+1前景音頻對象之后輸出下混合信號。根據(jù)本發(fā)明的另一方面，提供了一種多對象音頻解碼設(shè)備，包括恢復(fù)部件，用于接收比特流，該比特流包括通過對N個前景音頻對象和背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合而生成的N個殘余信號，其中所述N個殘余信號分別對應(yīng)于所述N個前景音頻對象，并且N是整數(shù)，并且使用所述殘余信號來從下混合信號中恢復(fù)所述前景音頻對象和背景音頻對象。所述前景音頻對象和背景音頻對象是單聲道音頻對象，以及其中，所述恢復(fù)部件包括級聯(lián)結(jié)構(gòu)的N個恢復(fù)器。所述N個恢復(fù)器中的第M恢復(fù)器使用所述N個殘余信號中與第M前景音頻對象對應(yīng)的第M殘余信號、以及背景音頻對象與還沒有恢復(fù)的前景音頻對象的下混合信號，來恢復(fù)所述N個前景音頻對象中的第M前景音頻對象，并且在恢復(fù)所述第M前景音頻對象之后輸出下混合信號，其中M是不大于N的整數(shù)。根據(jù)在下文中陳述的、參考附圖進行的如下實施例描述，本發(fā)明的優(yōu)點、特征和方面將變得明顯。當認為關(guān)于相關(guān)技術(shù)的詳細描述可能模糊本發(fā)明的要點時，這里將被不提供所述描述。下文中，將參考附圖來詳細描述本發(fā)明的特定實施例。有利效果根據(jù)本發(fā)明的編碼和解碼方法以及其設(shè)備可有效地提供多樣的音頻服務(wù)。


圖I是用于描述本發(fā)明的第一構(gòu)思的圖。圖2是用于描述本發(fā)明的第二構(gòu)思的圖。圖3是圖示了圖2中所示的第一下混合發(fā)生器203的圖。圖4是用于描述本發(fā)明的第一實施例的圖。圖5是用于描述本發(fā)明的第二實施例的圖。圖6是用于描述本發(fā)明的第三實施例的圖。圖7是用于描述本發(fā)明的第四實施例的圖。
圖8是用于描述根據(jù)本發(fā)明的實施例的解碼的圖。圖9是用于描述本發(fā)明的示范實施例的圖。
具體實施例方式接下來的描述僅舉例說明了本發(fā)明的原理。即使在本說明書中沒有清楚地描述或說明它們，本領(lǐng)域的普通技術(shù)人員也可以實施本發(fā)明的原理并發(fā)明處于本發(fā)明的構(gòu)思和范圍內(nèi)的各種設(shè)備。在本說明書中呈現(xiàn)的條件術(shù)語的使用和實施例僅意欲幫助理解本發(fā)明的構(gòu)思，并且它們不限于在說明書中提及的實施例和條件。此外，關(guān)于本發(fā)明的原理、觀點和實施例以及特定實施例的所有詳細描述應(yīng)該被理解為包括它們的結(jié)構(gòu)和功能等效物。所述等效物不僅包括當前已知的等效物，而且包括要在將來開發(fā)的那些等效物，即被發(fā)明來執(zhí)行相同功能的所有裝置，而不管它們的結(jié)構(gòu)。
例如，本發(fā)明的框圖應(yīng)該被理解為示出了用于實施本發(fā)明的原理的示范電路的構(gòu)思觀點。類似地，所有流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等實際上可表達在計算機可讀介質(zhì)中，并且無論是否不同地描述計算機或處理器，它們都應(yīng)該被理解為表達由計算機或處理器操作的各種處理。在圖中圖示的各種裝置的功能(其包括被表達為處理器或類似構(gòu)思的功能塊)不僅可通過使用專用于所述功能的硬件來提供，而且可通過使用能夠運行用于所述功能的合適軟件的硬件來提供。當通過處理器來提供功能時，所述功能可由單個專用處理器、單個共享處理器、或其部分可共享的多個單獨處理器來提供。術(shù)語“處理器”、“控制”或類似概念的明顯使用不應(yīng)該被理解為排外地指能夠運行軟件的硬件，而應(yīng)該被理解為隱含地包括數(shù)字信號處理器(DSP)、硬件、以及用于存儲軟件的ROM、RAM和非易失性存儲器。其中還可以包括其它的已知并且通常使用的硬件。在本說明書的權(quán)利要求中，被表達為用于執(zhí)行在詳細說明中描述的功能的部件的元件意欲包括用于執(zhí)行包括所有格式的軟件的功能的所有方法，諸如用于執(zhí)行所預(yù)期的功能的電路、固件/微代碼等的組合。為了執(zhí)行所預(yù)期的功能，所述元件與用于執(zhí)行所述軟件的合適電路協(xié)作。由權(quán)利要求所限定的本發(fā)明包括用于執(zhí)行具體功能的各種部件，并且在權(quán)利要求所請求的方法中，所述部件彼此連接。因此，可提供所述功能的任何部件應(yīng)該被理解為是從本說明書中料想到的內(nèi)容的等效物。根據(jù)在下文中陳述的、參考附圖進行的如下實施例描述，本發(fā)明的其它目的和方面將變得明顯。如果確定關(guān)于相關(guān)技術(shù)的進一步詳細描述使本發(fā)明的要點模糊，則這里將不提供所述描述。下文中，將參考圖來描述本發(fā)明的特定實施例。本發(fā)明涉及多對象音頻編碼和解碼技術(shù)。多對象音頻可包括用于構(gòu)建音頻內(nèi)容的多個音頻對象。例如，如果音頻內(nèi)容包括伴奏或背景音樂以及演唱(vocal)，則伴奏或背景音樂是一個音頻對象，而演唱是另一音頻對象。伴奏或背景音樂的音頻對象可以被細分為樂器(諸如，鋼琴或鼓)的音頻對象。多對象音頻編碼是用于壓縮不同的音頻對象的技術(shù)，并且多對象音頻解碼是用于對編碼的多對象音頻進行解碼的技術(shù)。因此，多對象音頻編碼和解碼技術(shù)通過根據(jù)對象而對多個音頻對象進行編碼和解碼來使得能夠向用戶提供多樣的主動音頻服務(wù)。也就是說，多對象音頻編碼和解碼技術(shù)不僅使得用戶能夠單獨控制每個音頻對象，而且還使得可能通過組合多個音頻對象來創(chuàng)建多樣的音頻服務(wù)和內(nèi)容。
在本發(fā)明中，殘余信號可用于對多對象音頻進行編碼和解碼。殘余信號表示預(yù)定信號在估計之前和之后的差別。所述殘余信號可定義為等式I。X(t)-X' (t) =Xresidual (t) 等式 I在等式I中，X(t)指示在估計之前的原始信號，而X’ (t)指示在估計之后的估計信號。XresiduaUt)指示在原始信號和估計信號之間的差。將如下描述使用殘余信號進行的多對象音頻編碼。例如，在多對象音頻包括第一 音頻對象和第二音頻對象的情況下，通過對第一音頻對象和第二音頻對象進行下混合來生成下混合信號。第一音頻對象和第二音頻對象可估計為第一估計音頻對象和第二估計音頻對象。這里，第一音頻對象和第二音頻對象是原始信號，而第一估計音頻對象和第二估計音頻對象是估計的信號。殘余信號可使用原始信號和估計信號來生成。因此，在根據(jù)本發(fā)明的示范實施例的多對象音頻編碼中，可通過對第一和第二音頻對象進行下混合來生成下混合信號和殘余信號。在根據(jù)本發(fā)明的示范實施例的多對象音頻解碼中，執(zhí)行多對象音頻編碼的逆處理。也就是說，使用下混合信號和殘余信號來恢復(fù)第一音頻對象和第二音頻對象。根據(jù)本發(fā)明實施例的多對象編碼方法包括通過對前景音頻對象和背景音頻對象進行下混合來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。前景音頻對象可包括第一前景音頻對象和第二前景音頻對象。所述生成下混合信號和殘余信號的步驟可包括通過對背景音頻對象和第一前景音頻對象進行下混合來生成第一下混合信號和第一殘余信號；以及通過對第一下混合信號和第二前景音頻對象進行下混合來生成第二下混合信號和第二殘余信號。所述生成下混合信號和殘余信號的步驟還可包括旁路第二前景音頻對象。根據(jù)本發(fā)明實施例的多對象音頻編碼設(shè)備包括下混合發(fā)生器，用于通過對前景音頻對象和背景音頻對象進行下混合來生成下混合信號和殘余信號，并生成包括下混合信號和殘余信號的比特流。前景音頻對象可包括第一前景音頻對象和第二前景音頻對象。下混合發(fā)生器包括第一下混合發(fā)生器，用于通過對背景音頻對象和第一前景音頻對象進行下混合來生成第一下混合信號和第一殘余信號；以及第二下混合發(fā)生器，用于通過對第一下混合信號和第二前景音頻對象進行下混合來生成第二下混合信號和第二殘余信號。第一下混合發(fā)生器可旁路第二前景音頻對象。根據(jù)本發(fā)明實施例的多對象音頻解碼方法包括接收比特流，該比特流包括通過對前景音頻對象和背景音頻對象進行下混合來生成的下混合信號、和在下混合之后剩下的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)前景音頻對象和背景音頻對象。前景音頻對象可包括第一前景音頻對象和第二前景音頻對象，而殘余信號可包括用于第一前景音頻對象的第一殘余信號和用于第二前景音頻對象的第二殘余信號。所述恢復(fù)前景音頻對象和背景音頻對象的步驟可包括使用下混合信號和第一殘余信號來恢復(fù)第一前景音頻對象；以及使用在恢復(fù)第一前景音頻對象之后的下混合信號和第二殘余信號來恢復(fù)第二前景音頻對象。根據(jù)本發(fā)明實施例的多對象音頻解碼設(shè)備包括接收器，用于接收比特流，該比特流包括通過對前景音頻對象和背景音頻對象進行下混合來生成的下混合信號、和在生成下混合信號之后剩下的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)前景音頻對象和背景音頻對象。前景音頻對象可包括第一前景音頻對象和第二前景音頻對象，而殘余信號可包括用于第一前景音頻對象的第一殘余信號和用于第二前景音頻對象的第二殘余信號。所述恢復(fù)器可包括第一恢復(fù)器，用于使用下混合信號和第一殘余信號來恢復(fù)第一前景音頻對象；以及第二恢復(fù)器，用于使用在恢復(fù)第一前景音頻對象之后的下混合信號和第二殘余信號來恢復(fù)第二前景音頻對象。音頻對象包括具有單聲道信號的單聲道音頻對象和具有立體聲信號的立體聲音頻對象。立體聲音頻對象可包括左聲道信號和右聲道信號。背景音頻對象可以是通過將立體聲音頻對象下混合到單聲道音頻對象上而生成的下混合音頻對象。或者背景音頻對象可以是通過將單聲道音頻對象下混合到立體聲音頻對象上而生成的下混合音頻對象。因此，背景音頻對象可以是通過將多個單聲道音頻對象下混合到立體聲音頻對象上或通過將多個立體聲音頻對象下混合到單聲道音頻對象上而生成的下混合對象。相應(yīng)地，在這個情況下，多對象音頻可包括多個背景音頻對象。此外，背景音頻對象可以是通過將多個單聲道音頻對象或多個立體聲音頻對象下混合到一個立體聲音頻對象上而生成的下混合對象。相應(yīng)地，在這個情況下，多對象音頻可包括多個背景音頻對象。像背景音頻對象一樣，前景音頻對象可以是通過將立體聲音頻對象下混合到單 聲道音頻對象上而生成的或通過將單聲道音頻對象下混合到立體聲音頻對象上而生成的下混合對象。根據(jù)本發(fā)明實施例的多對象音頻編碼和解碼技術(shù)使得能夠通過使用殘余信號來對多對象音頻進行編碼或解碼來主動地控制音頻對象。此外，根據(jù)本發(fā)明實施例的多對象音頻編碼和解碼技術(shù)可有效地對包括單聲道和立體聲音頻對象的多對象音頻進行編碼和解碼。下文中，將描述包括前景音頻對象和背景音頻對象的多對象音頻。前景音頻對象表示要控制的目標音頻對象。然而，前景音頻對象可以利用背景音頻對象來替換。此外，前景音頻對象和背景音頻對象可包括多個音頻對象。圖I是用于描述本發(fā)明的第一構(gòu)思的圖。參考圖I，前景音頻對象FGO和背景音頻對象BGO被輸入到下混合發(fā)生器101。在圖I中，前景音頻對象FGO包括第一前景音頻對象FGOl和第二前景音頻對象FG02。首先，背景音頻對象BGO和第一前景音頻對象FGOl被輸入第一下混合發(fā)生器103。第一下混合發(fā)生器103通過對背景音頻對象BGO和第一前景音頻對象FGOl進行下混合來生成第一下混合信號和第一殘余信號。第二下混合發(fā)生器105接收第一下混合信號和第二前景音頻對象FG02。第二下混合發(fā)生器105通過對第一下混合信號和第二前景音頻對象FG02進行下混合來生成第二下混合信號DMX和第二殘余信號。在圖I中，輸入前景音頻對象FGOl和FG02。然而，對于本領(lǐng)域技術(shù)人員顯然的是，可以輸入多于三個前景音頻對象。如果輸入多于三個前景音頻對象，則第一和第二下混合發(fā)生器103和104級聯(lián)連接為增加得與所增加的前景音頻對象的數(shù)目一樣多。除了殘余信號之外，第一和第二下混合發(fā)生器103和105接收兩個信號并輸出一個下混合信號。例如，第一下混合發(fā)生器103接收背景音頻對象BGO和第一前景音頻對象FGOl并輸出第一下混合信號。因此，第一下混合發(fā)生器103具有逆一到二(Inverse One ToTwo) (0TT-1)結(jié)構(gòu)，該結(jié)構(gòu)具有兩個輸入和一個輸出。這里，鑒于編碼來定義0TT-1。鑒于解碼，OTT-I可等效于一到二(0TT)。如果它們被擴展到包括第一下混合發(fā)生器103和第二下混合發(fā)生器105的下混合發(fā)生器101，并且如果輸入多于三個前景音頻對象FG0，則它可具有逆一到N (0TN-1)結(jié)構(gòu)，該結(jié)構(gòu)具有多個輸入N和一個輸出。這里，鑒于編碼來定義0TN-1結(jié)構(gòu)。鑒于解碼，0TN-1結(jié)構(gòu)可等效于一到N (OTN)結(jié)構(gòu)。按照上述編碼處理的逆順序來執(zhí)行解碼處理。圖2是用于描述本發(fā)明的第二構(gòu)思的圖。參考圖2，總體結(jié)構(gòu)類似于圖I所示的結(jié)構(gòu)。然而，第一下混合發(fā)生器203旁路第二前景對象FG02，并且第二下混合發(fā)生器205將第二前景音頻對象FG02下混合到通過對背景音頻對象BGO和第一前景音頻對象FGOl進行下混合而生成的下混合信號上。除了殘余信號之外，第一下混合發(fā)生器230或第二下混合發(fā)生器205接收三個信號并輸出兩個信號。這兩個輸出信號是下混合信號和旁路信號。例如，第一下混合發(fā)生器203接收背景音頻對象BG0、第一前景音頻對象FGOl、和第二前景音頻對象FG02，并輸出第 一下混合信號和第二前景音頻對象FG02。因此，第一下混合發(fā)生器具有逆二到三(TTT-1)，其具有三個輸入和兩個輸出。然而，三個輸入之一被沒有修改地輸出。因此，這樣的結(jié)構(gòu)被稱為平凡(trivial)TTT-l (tTTT-1)。這里，鑒于編碼來定義tTTT_l。鑒于解碼，它可等效于平凡二到三(tTTT)。如果它們被擴展到包括第一下混合發(fā)生器203和第二下混合發(fā)生器205的下混合發(fā)生器201，并且如果多于三個前景音頻對象被輸入，則它可具有逆平凡二到N(tTTN-l)結(jié)構(gòu)，其具有兩個輸出。這里，鑒于編碼來定義tTTT-1結(jié)構(gòu)。鑒于解碼，它可等效于平凡二到N (tITN)。圖3是圖示了圖2中所示的第一下混合發(fā)生器203的圖。參考圖3，第一下混合發(fā)生器203接收三個輸入信號“輸入I”(Inputl)、“輸入2”(Input2)和“輸入3”(Input3)，并輸出兩個信號“輸出I” (Outputl)和“輸出2” (0utput2)。第一下混合發(fā)生器301通過下混合第一輸入信號“輸入I”和第二輸入信號“輸入2”來輸出第一輸出信號“輸出I”作為下混合信號，并生成殘余信號。第一下混合發(fā)生器301按照原樣旁路第三輸入信號，并輸出旁路的信號作為第二輸出信號“輸出2”。因此，第一輸出信號“輸出I”是通過下混合第一輸入信號“輸入I”和第二輸入信號“輸入2”而生成的下混合信號。這里，第二輸出信號“輸出2”變成第三輸入信號“輸入3”的相同信號。上面的描述可同樣地應(yīng)用于本發(fā)明的各個實施例。下文中，將參考圖來詳細地描述本發(fā)明的實施例。<第一實施例單聲道前景音頻對象和單聲道背景音頻對象>在本發(fā)明的第一實施例中，前景音頻對象包括單聲道前景音頻對象，而背景音頻對象包括單聲道背景音頻對象。根據(jù)本發(fā)明的第一實施例的多對象音頻編碼方法包括通過將單聲道前景音頻對象下混合到單聲道背景音頻對象上來生成下混合信號和殘余信號，以及生成包括下混合信號和殘余信號的比特流。單聲道前景音頻對象可包括第一單聲道前景音頻對象和第二單聲道前景音頻對象。所述生成下混合信號和殘余信號的步驟可包括通過下混合單聲道背景音頻對象和第一單聲道前景音頻對象來生成第一下混合信號和第一殘余信號，并且通過下混合第一下混合信號和第二單聲道前景音頻對象來生成第二下混合信號和第二殘余信號。所述生成下混合信號和殘余信號的步驟還可包括旁路第二單聲道前景音頻對象。
根據(jù)第一實施例的多對象音頻編碼設(shè)備包括下混合發(fā)生器，用于通過下混合單聲道前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。單聲道前景音頻對象可包括第一單聲道前景音頻對象和第二單聲道前景音頻對象。下混合發(fā)生器可包括第一下混合發(fā)生器，用于通過下混合單聲道背景音頻對象和第一單聲道前景音頻對象來生成第一下混合信號和第一殘余信號；以及第二下混合發(fā)生器，用于通過下混合第一下混合信號和第二單聲道前景音頻對象來生成第二下混合信號和第二殘余信號。第一下混合發(fā)生器可旁路第二單聲道前景音頻對象。根據(jù)本發(fā)明的第一實施例的多對象音頻解碼方法包括接收比特流，該比特流包括通過對單聲道前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號和在下混合之后剩下的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)前景音頻對象和背景音頻對象。單聲道前景音頻對象可包括第一單聲道前景音頻對象和第二單聲道前景音頻對象。殘余信號可包括用于第一單聲道前景音頻對象的第一殘余信號和用于第二單聲道前景音頻對象的第二殘余信號。所述恢復(fù)前景音頻對象和背景音頻對象的步驟可包括使用下混合信號和第一殘余信號來恢復(fù)第一單聲道前景音頻對象；以及使用在恢復(fù)第一單聲 道前景音頻對象之后的下混合信號和第二殘余信號來恢復(fù)第二單聲道前景音頻對象。根據(jù)第一實施例的多對象音頻解碼設(shè)備包括接收器，用于接收比特流，該比特流包括通過對單聲道前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)單聲道前景音頻對象和單聲道背景音頻對象。單聲道前景音頻對象可包括第一單聲道前景音頻對象和第二單聲道前景音頻對象。殘余信號可包括用于第一單聲道前景音頻對象的第一殘余信號和用于第二單聲道前景音頻對象的第二殘余信號。所述恢復(fù)器可包括第一恢復(fù)器，用于使用下混合信號和第一殘余信號來恢復(fù)第一單聲道前景音頻對象；以及第二恢復(fù)器，用于使用在恢復(fù)第一單聲道前景音頻對象之后的下混合信號和第二殘余信號來恢復(fù)第二單聲道前景音頻對象。圖4是用于描述本發(fā)明的第一實施例的圖。參考圖4,前景音頻對象FGO和背景音頻對象是單聲道信號。單聲道前景音頻對象“單聲道FG01”(MonoFGOl)和“單聲道FG02”(Mono FG02)以及單聲道背景音頻對象“單聲道BGO”(Mono BG0)被輸入到下混合發(fā)生器401。第一下混合發(fā)生器403接收單聲道背景音頻對象“單聲道BG0”和第一單聲道前景音頻對象“單聲道FG01”，并生成第一下混合信號和第一殘余信號。第二下混合發(fā)生器405接收第一下混合信號和第二單聲道前景音頻對象“單聲道FG02”，并生成下混合信號DMX和第二殘余信號。在圖4中，輸入兩個單聲道音頻對象“單聲道FG01”和“單聲道FG02”。然而，對于本領(lǐng)域技術(shù)人員明顯的是，可輸入多于三個單聲道音頻對象。如果輸入多于三個單聲道音頻對象，則第一下混合發(fā)生器403和第二下混合發(fā)生器404級聯(lián)連接為在數(shù)目上增加得與所增加的前景音頻對象的數(shù)目一樣多。如果輸入多于三個前景音頻對象FG0，它可具有逆一到N (0TN-1)結(jié)構(gòu)，該結(jié)構(gòu)具有多個輸入N和一個輸出。這里，鑒于編碼來定義0TN-1。鑒于解碼，0TN-1結(jié)構(gòu)可等效于一到N (OTN)結(jié)構(gòu)。按照上述編碼處理的逆順序來執(zhí)行解碼處理。<第二實施例立體聲前景音頻對象和單聲道背景音頻對象>在本發(fā)明的第二實施例中，前景對象包括立體聲前景音頻對象，而背景音頻對象包括單聲道背景音頻對象。根據(jù)本發(fā)明的第二實施例的多對象編碼方法包括通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號，以及生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象可包括第一信號和第二信號。所述生成下混合信號和殘余信號的步驟可包括通過下混合單聲道子音頻對象和第一信號來生成第一下混合信號和第一殘余信號，以及通過下混合第一下混合信號和第二信號來生成第二下混合信號和第二殘余信號。所述生成下混合信號和殘余信號的步驟還可包括旁路第二信號。根據(jù)第二實施例的多對象音頻編碼設(shè)備包括下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號；以及比特流發(fā)生 器，用于生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象可包括第一信號和第二信號。下混合發(fā)生器可包括第一下混合發(fā)生器，用于通過下混合單聲道子音頻對象和第一信號來生成第一下混合信號和第一殘余信號；以及第二下混合發(fā)生器，用于通過下混合第一下混合信號和第二信號來生成第二下混合信號和第二殘余信號。第一下混合發(fā)生器可旁路第二信號。根據(jù)本發(fā)明的第二實施例的多對象音頻解碼方法包括接收通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號和在下混合之后剩下的殘余信號；以及使用殘余信號來恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。立體聲前景音頻對象可包括第一信號和第二信號。殘余信號可包括用于第一信號的第一殘余信號和用于第二信號的第二殘余信號。所述恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象的步驟可包括使用下混合信號和第一殘余信號來恢復(fù)第一信號；以及使用在恢復(fù)第一信號之后的下混合信號和第二殘余信號來恢復(fù)第二信號。根據(jù)第二實施例的多對象音頻解碼設(shè)備包括接收器，用于接收比特流，該比特流包括通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。這里，立體聲前景音頻對象可包括第一信號和第二信號。殘余信號可包括用于第一信號的第一殘余信號和用于第二信號的第二殘余信號。所述恢復(fù)器可包括第一恢復(fù)器，用于使用下混合信號和第一殘余信號來恢復(fù)第一信號；以及第二恢復(fù)器，用于使用在恢復(fù)第一信號之后的下混合信號和第二殘余信號來恢復(fù)第二信號。圖5是用于描述本發(fā)明的第二實施例的圖。參考圖5，下混合發(fā)生器501接收單聲道背景音頻對象“單聲道BG0”和立體聲前景音頻對象“立體聲左/右FGO” (Stereo Left/Right FG0)。立體聲前景音頻對象“立體聲左/右FG0”包括左聲道信號“左FGO” (LeftFG0)和右聲道信號“右FGO” (Right FGO)。第一下混合發(fā)生器503接收單聲道背景音頻對象“單聲道BG0”和左聲道信號“左FG0”，并生成第一下混合信號和第一殘余信號。第二下混合發(fā)生器505接收第一下混合信號和右聲道信號“右FG0”，并生成第二下混合信號DMX和第二殘余信號。
在圖5中，輸入一個立體聲前景音頻對象“立體聲左/右FG0”。然而，對于本領(lǐng)域技術(shù)人員明顯的是，可輸入多于兩個立體聲前景音頻對象。如果輸入多于兩個立體聲前景音頻對象，則第一下混合發(fā)生器503和第二下混合發(fā)生器505級聯(lián)連接為增加得與所增加的立體聲前景音頻對象的數(shù)目一樣多。按照上述編碼處理的逆順序來執(zhí)行解碼處理。<第三實施例立體聲前景音頻對象和立體聲背景音頻對象>在本發(fā)明的第三實施例中，前景對象包括立體聲前景音頻對象，而背景音頻對象包括立體聲背景音頻對象。立體聲音頻對象可包括左聲道信號和右聲道信號。根據(jù)本發(fā)明的第三實施例的多對象音頻編碼方法包括通過下混合立體聲前景音頻對象和立體聲背景音頻對象來生成下混合信號和殘余信號，以及生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象和立體聲背景音頻信號的每一個可包括第一信號和第二信號。所述生成下混合信號和殘余信號的步驟可包括通過下混合立體聲前景音頻對象和立體聲背景音頻信號的第一信號來生成第一下混合信號和第一殘余信號，以及通過下混合立體聲前景音頻對象和立體聲背景音頻信號的第二信號來生成第二下混合信號和 第二殘余信號。立體聲前景音頻對象的第一信號可包括第一左聲道信號和第二左聲道信號。所述生成第一下混合信號和第一殘余信號的步驟可包括通過下混合立體聲背景音頻對象的第一信號和第一左聲道信號來生成第一左聲道下混合信號和第一左聲道殘余信號；以及通過下混合第一左聲道下混合信號和第二左聲道信號來生成第二左聲道下混合信號和第二左聲道殘余信號。所述生成第一下混合信號和第一殘余信號的步驟還可包括旁路第二左聲道信號。根據(jù)本發(fā)明的第三實施例的多對象音頻編碼設(shè)備包括下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和立體聲背景音頻對象來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象和立體聲背景音頻信號的每一個可包括第一信號和第二信號。下混合發(fā)生器可包括第一下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和立體聲背景音頻信號的第一信號來生成第一下混合信號和第一殘余信號；以及第二下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和立體聲背景音頻信號的第二信號來生成第二下混合信號和第二殘余信號。立體聲前景音頻對象的第一信號可包括第一左聲道信號和第二左聲道信號。第一下混合發(fā)生器可包括第一左聲道下混合發(fā)生器，用于通過下混合立體聲背景音頻對象的第一信號和第一左聲道信號來生成第一左聲道下混合信號和第一左聲道殘余信號；以及第二左聲道下混合發(fā)生器，用于通過下混合第一左聲道下混合信號和第二左聲道信號來生成第二左聲道下混合信號和第二左聲道殘余信號。第一下混合發(fā)生器可旁路第二左聲道信號。根據(jù)本發(fā)明的第三實施例的多對象音頻解碼方法包括接收比特流，該比特流包括通過對立體聲前景音頻對象和立體聲背景音頻對象進行下混合而獲得的下混合信號、和根據(jù)下混合信號的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和立體聲背景音頻對象。立體聲前景音頻對象和立體聲背景音頻信號的每一個可包括第一信號和第二信號。殘余信號可包括用于第一信號的第一殘余信號和用于第二信號的第二殘余信號。所述恢復(fù)立體聲前景音頻對象和立體聲背景音頻對象的步驟可包括使用下混合信號和第一殘余信號來恢復(fù)第一信號；以及使用下混合信號和第二殘余信號來恢復(fù)第二信號。立體聲前景音頻對象的第一信號可包括第一左聲道信號和第二左聲道信號。所述第一殘余信號包括用于第一左聲道信號的第一左聲道殘余信號和用于第二左聲道信號的第二左聲道殘余信號。所述恢復(fù)第一信號的步驟包括使用下混合信號和第一左聲道殘余信號來恢復(fù)第一左聲道信號；以及使用在恢復(fù)第一左聲道信號之后的下混合信號和第二左聲道信號來恢復(fù)第二左聲道信號。根據(jù)本發(fā)明的第三實施例的多對象音頻解碼設(shè)備包括接收器，用于接收比特流，該比特流包括通過對立體聲前景音頻對象和立體聲背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號來生成的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和立體聲背景音頻對象。立體聲前景音頻對象和立體聲背景音頻信號的每一個可包括第一信號和第二信號。殘余信號可包括用于第一信號的第一殘余信號和用于第二信號的第二殘余信號。所述恢復(fù)器可包括第一恢復(fù)器，用于使用下混 合信號和第一殘余信號來恢復(fù)第一信號；以及第二恢復(fù)器，用于使用下混合信號和第二殘余信號來恢復(fù)第二信號。立體聲前景音頻對象的第一信號可包括第一左聲道信號和第二左聲道信號。所述第一殘余信號包括用于第一左聲道信號的第一左聲道殘余信號和用于第二左聲道信號的第二左聲道殘余信號。第一恢復(fù)器可包括第一左聲道恢復(fù)器，用于使用下混合信號和第一左聲道殘余信號來恢復(fù)第一左聲道信號；以及第二左聲道恢復(fù)器，用于使用在恢復(fù)第一左聲道信號之后的下混合信號和第二左聲道信號來恢復(fù)第二左聲道信號。圖6是用于描述本發(fā)明的第三實施例的圖。參考圖6，前景音頻對象“立體聲左/右FG0”是立體聲信號，而背景音頻對象“立體聲左/右BGO” (Stereo Left/Right BG0)是立體聲信號。將參考圖6來描述兩個立體聲前景音頻對象“立體聲左/右FG01”和“立體聲左/右FG02”。下混合發(fā)生器601接收立體聲背景音頻對象“立體聲左/右BG0”和兩個立體聲前景音頻對象“立體聲左/右FGOl ”和“立體聲左/右FG02”。第一左聲道下混合發(fā)生器603接收左聲道背景音頻對象“左BGO”(LeftBGO)和第一左聲道前景音頻對象“左FG01”，并生成第一左聲道下混合信號和第一左聲道殘余信號“左殘余”(Left Residual)。第二左聲道下混合發(fā)生器605接收第一左聲道下混合信號和第二左聲道前景音頻對象“左FG02”，并生成第二左聲道下混合信號“左DMX” (Left DMX)和第二左聲道殘余信號“左殘余”。還通過上述的處理來下混合右聲道背景音頻對象“右BGO”(Right BGO)和右聲道前景音頻對象“右FGOl ”和“右FG02”。在圖6中，輸入兩個立體聲前景音頻對象“立體聲左/右FG0”。然而，對于本領(lǐng)域技術(shù)人員明顯的是，可輸入多于三個立體聲前景音頻對象。如果輸入多于三個立體聲前景音頻對象，則第一左聲道下混合發(fā)生器603和第二下左聲道混合發(fā)生器605級聯(lián)連接為增加得與所增加的前景音頻對象的數(shù)目一樣多。按照上述編碼處理的逆順序來執(zhí)行解碼處理。在圖6中，第一左聲道下混合發(fā)生器603接收左聲道背景音頻對象“左BG0”、第一左聲道前景音頻對象“左FG01”、以及第二左聲道前景音頻對象“左FG02”，并且第一左聲道下混合發(fā)生器603旁路第二左聲道前景音頻對象“左FG02”。也就是說，第一左聲道下混合發(fā)生器具有逆二到三(TTT-1 )，其具有三個輸入和兩個輸出。這個結(jié)構(gòu)被稱作如上所述的平凡TTT-I (tTTT-1)結(jié)構(gòu)。此外，輸入包括左聲道信號和右聲道信號的多于三個立體聲前景音頻對象，它具有逆平凡二到N (tTTN-1)結(jié)構(gòu)，該結(jié)構(gòu)具有多于三個輸入和兩個輸出。這里，鑒于編碼來定義tTTN-1結(jié)構(gòu)，并且鑒于解碼，它可等效于平凡二到N (tTTN)結(jié)構(gòu)。<第四實施例立體聲前景音頻對象和單聲道背景音頻對象>在本發(fā)明的第四實施例中，前景對象包括立體聲前景音頻對象，并且背景音頻對象包括單聲道背景音頻對象。立體聲音頻對象可包括左聲道信號和右聲道信號。在第四實施例中，下混合輸出信號是立體聲信號。在這點上，第四實施例不同于第二實施例。根據(jù)本發(fā)明的第四實施例的多對象音頻編碼方法包括通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號，以及生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象可包括第一和第二左聲道信號、以及第一和第二右聲道信號。所述生成下混合信號和殘余信號的步驟可包括通過下混合單聲道背景音頻對象、第一左聲道信號和第一右聲道信號來生成第一左聲道下混合信號、第一右聲道下混 合信號和第一殘余信號；以及通過下混合第一左聲道下混合信號、第一右聲道下混合信號、第二左聲道信號和第二右聲道信號來生成第二左聲道下混合信號、第二右聲道下混合信號和第二殘余信號。這里，所述生成下混合信號和殘余信號的步驟還可包括旁路第二左聲道信號和第二右聲道信號。根據(jù)本發(fā)明的第四實施例的多對象音頻編碼設(shè)備包括下混合發(fā)生器，用于通過下混合立體聲前景音頻對象和單聲道背景音頻對象來生成下混合信號和殘余信號；以及比特流發(fā)生器，用于生成包括下混合信號和殘余信號的比特流。立體聲前景音頻對象可包括第一和第二左聲道信號、以及第一和第二右聲道信號。下混合發(fā)生器可包括第一左聲道下混合發(fā)生器，用于通過下混合單聲道背景音頻對象、第一左聲道信號和第一右聲道信號來生成第一左聲道下混合信號、第一右聲道下混合信號和第一殘余信號；以及第二左聲道下混合發(fā)生器，用于通過下混合第一左聲道下混合信號、第一右聲道下混合信號、第二左聲道信號和第二右聲道信號來生成第二左聲道下混合信號、第二右聲道下混合信號和第二殘余信號。這里，下混合發(fā)生器可旁路第二左聲道信號和第二右聲道信號。根據(jù)本發(fā)明的第四實施例的多對象音頻解碼方法包括接收比特流，該比特流包括通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合信號的殘余信號；以及使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。立體聲前景音頻對象包括第一和第二左聲道信號、以及第一和第二右聲道信號。殘余信號包括用于第一左和右聲道信號的第一殘余信號、以及用于第二左和右聲道信號的第二殘余信號。所述恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象的步驟包括使用下混合信號和第一殘余信號來恢復(fù)第一左和右聲道信號；以及使用在恢復(fù)第一左和右聲道信號之后的下混合信號和第二殘余信號來恢復(fù)第二左和右聲道信號。根據(jù)第四實施例的多對象音頻解碼設(shè)備包括接收器，用于接收比特流，該比特流包括通過對立體聲前景音頻對象和單聲道背景音頻對象進行下混合來生成的下混合信號、和根據(jù)下混合信號的殘余信號；以及恢復(fù)器，用于使用殘余信號來從下混合信號中恢復(fù)立體聲前景音頻對象和單聲道背景音頻對象。立體聲前景音頻對象包括第一和第二左聲道信號、以及第一和第二右聲道信號。殘余信號包括用于第一左和右聲道信號的第一殘余信號、以及用于第二左和右聲道信號的第二殘余信號。所述恢復(fù)器包括第一恢復(fù)器，用于使用下混合信號和第一殘余信號來恢復(fù)第一左和右聲道信號；以及第二恢復(fù)器，用于使用在恢復(fù)第一左和右聲道信號之后的下混合信號和第二殘余信號來恢復(fù)第二左和右聲道信號。圖7是用于描述本發(fā)明的第四實施例的圖。參考圖7，前景音頻對象是立體聲信號，而背景音頻對象是單聲道信號。立體聲音頻對象可包括左聲道信號和右聲道信號。下混合發(fā)生器701接收單聲道背景音頻對象“單聲道BG0”和立體聲前景音頻對象“FG01左/右” (FGOlLeft/Right)和 “FG02 左 / 右” (FG02Left/Right)。第一下混合發(fā)生器702接收單聲道背景音頻對象“單聲道BG0”、和第一立體聲前景音頻對象“FG01左，，(FGOlLeft)和“FG02右”(FG02Right)，并通過下混合單聲道背景音頻對象“單聲道BG0”、和第一立體聲前景音頻對象“FG01左”和“FG02右”來生成第一下混合信號和第一殘余信號。第一下混合信號可包括第一左聲道下混合信號和第二右聲道下混合信號。通過下混合第一下混合信號、和第二立體聲前景音頻對象“FG02左”(FG02Left)和“FG02右”來生成第二下混合信號和第二殘余信號。第二下混合信號可包括第二左聲道下混合信號“左DMX”和第二右下混合信號“右DMX” (Right DMX)。第二左聲道下混合發(fā)生器703a通過將第一左聲道下混合信號與第二立體聲左聲道前景音頻對象“FG02左”下混合 來生成第二左聲道下混合信號“左DMX”。第二右聲道下混合發(fā)生器703b通過將第一右聲道下混合信號與第二立體聲右聲道前景音頻對象“FG02右”下混合來生成第二右聲道下混合信號“右DMX”。圖8是用于描述根據(jù)本發(fā)明的實施例的解碼的圖。接收包括殘余信號和下混合信號的比特流，并且恢復(fù)下混合信號。下混合信號可包括具有左聲道下混合信號“左DMX”和右聲道下混合信號“右DMX”的立體聲下混合信號。單聲道前景音頻對象恢復(fù)器804使用立體聲下混合信號“左DMX”和“右DMX”以及殘余信號“殘余”(Residual)來恢復(fù)單聲道前景對象“單聲道FGO”(Mono FGO)。單聲道前景音頻對象恢復(fù)器804包括用于恢復(fù)單聲道前景音頻對象的每一個的第一單聲道前景音頻對象恢復(fù)器802和第二單聲道前景音頻對象恢復(fù)器803。這里，第一單聲道前景音頻對象恢復(fù)器802和第二單聲道前景音頻對象恢復(fù)器803具有TTT結(jié)構(gòu)，并且單聲道前景音頻對象恢復(fù)器804具有TTN結(jié)構(gòu)。立體聲前景音頻對象恢復(fù)器806使用立體聲下混合信號“左DMX”和“右DMX”以及殘余信號來恢復(fù)立體聲前景對象“立體聲左/右FG0”。立體聲前景音頻對象“立體聲左/右FGO”包括左聲道信號“左FGO”和右聲道信號“右FGO”。最終，輸出立體聲背景音頻對象“左BG0”和“右BG0”。立體聲前景對象恢復(fù)器806包括多個對象恢復(fù)器805a、805b、……、
806a、806b、807a、和 807b。所述多個對象恢復(fù)器 805a、805b、......、806a、806b、807a、和 807b
具有OTT結(jié)構(gòu)。立體聲前景立體聲對象恢復(fù)器806具有OTN結(jié)構(gòu)。圖8圖示了用于立體聲背景音頻對象和單聲道前景音頻對象的解碼設(shè)備。在立體聲背景音頻對象和單聲道前景音頻對象的情況下，使用左聲道下混合信號“左DMX”和殘余信號“殘余”來恢復(fù)單聲道背景音頻對象和單聲道前景音頻對象。其間，可通過立體聲前景音頻對象恢復(fù)器806來恢復(fù)單聲道背景音頻對象和立體聲前景音頻對象。由于可容易地理解其它解碼處理(如圖8所示)，所以省略其詳細描述。下文中，將描述本發(fā)明的示范實施例。圖9是用于描述本發(fā)明的示范實施例的圖。參考圖9，多聲道背景場景對象(MBO)包括多個聲道“聲道I”(Channell)、“聲道2”(Channel2)、.、“聲道 n” (Channeln)0 MPEG 環(huán)繞編碼器(MPS)901 對 MBO 進行編碼，并輸出立體聲下混合信號“MB0左”(MBO Left)和“MB0右”(MBO Right)以及作為邊信息(sideinformation)的MPS比特流。這里，立體聲下混合信號“MB0左”和“MB0右”是背景音頻對象。立體聲下混合信號“MB0左”和“MB0右”、立體聲前景對象“立體聲FGO” (StereoFGO)、和單聲道前景音頻對象“單聲道FGO”被輸入到空間音頻對象編碼編碼器(SAOC)。立體聲前景對象“立體聲FG0”和單聲道前景音頻對象“單聲道FG0”是前景音頻對象。立體聲前景音頻對象“立體聲FG0”可包括多個立體聲對象“對象I”(objectl)、“對象2”(object2)、...、和“對象N” (object N)，并且單聲道前景音頻對象“單聲道FGO”可包括多個單聲道對象“對象1”、“對象2”、...、和“對象M” (object M)。第一下混合發(fā)生器903通過下混合立體聲下混合信號“MB0左”和“MB0右”以及立體聲前景音頻對象“立體聲FG0”來生成立體聲下混合信號“左”(Left)和“右”(Right)以及殘余信號。這里，第一下混合發(fā)生器903下混合立體聲前景音頻對象和立體聲背景音頻對象。第一下混合發(fā)生器903等效于圖5中所示的立體聲下混合發(fā)生器505。第二下混合發(fā)生器904通過下混合立體聲下混合信號“左”和“右”以及單聲道前景音頻對象“單聲道FG0”來生成最終的下混合信號“左DMX”和“右DMX”以及殘余信號。第二下混合發(fā)生器904等效于圖4中所示的下混合發(fā)生器401。SAOC編碼器902提取SAOC比特流。MPS比特流、SAOC比特流、殘余信號和最終的下混合信號“左DMX”和“右DMX”被作為比特流而傳送到解碼器。由于解碼是編碼的逆操作，所以將省略其詳細描述。簡言之，解碼器接收MPS比特流、SAOC比特流、殘余信號、和最終下混合信號“左DMX”和“右DMX”。SAOC解碼器使用殘余信號和最終下混合信號“左DMX”和“右DMX”來恢復(fù)前景音頻對象。MPS解碼器接收通過恢復(fù)前景音頻對象而生成的最終下混合信號“左DMX”和“右DMX”以及MPS比特流。MPS解碼器使用MPS比特流來恢復(fù)背景音頻對象的多聲道信號。下文中，將描述殘余信號的生成?？赏ㄟ^等式2來描述在解碼操作中生成使用下混合信號和殘余信號恢復(fù)的左聲道信號和右聲道信號的處理。
權(quán)利要求
1.一種多對象音頻解碼方法，包括 接收比特流，該比特流包括通過對N個前景音頻對象和背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合而生成的N個殘余信號，其中所述N個殘余信號分別對應(yīng)于所述N個前景音頻對象，并且N是整數(shù)；以及 使用所述殘余信號來從下混合信號中恢復(fù)所述前景音頻對象和背景音頻對象， 其中，所述前景音頻對象和背景音頻對象是單聲道音頻對象，以及 其中，所述恢復(fù)步驟包括如下步驟 使用所述N個殘余信號中與第M前景音頻對象對應(yīng)的第M殘余信號、以及背景音頻對象與還沒有恢復(fù)的前景音頻對象的下混合信號來恢復(fù)所述N個前景音頻對象中的第M前景音頻對象，并且在恢復(fù)所述第M前景音頻對象之后輸出下混合信號，其中M是不大于N的整數(shù)；以及 依次重復(fù)如下的處理直到恢復(fù)了所述N個前景音頻對象和所述背景音頻對象使用所述N個殘余信號中與第M+1前景音頻對象對應(yīng)的第M+1殘余信號、以及由所述恢復(fù)步驟輸出的下混合信號來恢復(fù)所述N個前景音頻對象中的第M+1前景音頻對象，并且在恢復(fù)所述第M+1前景音頻對象之后輸出下混合信號。
2.一種多對象音頻解碼設(shè)備，包括 恢復(fù)部件，用于 接收比特流，該比特流包括通過對N個前景音頻對象和背景音頻對象進行下混合而生成的下混合信號、和根據(jù)下混合而生成的N個殘余信號，其中所述N個殘余信號分別對應(yīng)于所述N個前景音頻對象，并且N是整數(shù)，并且 使用所述殘余信號來從下混合信號中恢復(fù)所述前景音頻對象和背景音頻對象， 其中，所述前景音頻對象和背景音頻對象是單聲道音頻對象，以及 其中，所述恢復(fù)部件包括級聯(lián)結(jié)構(gòu)的N個恢復(fù)器，以及 其中所述N個恢復(fù)器中的第M恢復(fù)器使用所述N個殘余信號中與第M前景音頻對象對應(yīng)的第M殘余信號、以及背景音頻對象與還沒有恢復(fù)的前景音頻對象的下混合信號，來恢復(fù)所述N個前景音頻對象中的第M前景音頻對象，并且在恢復(fù)所述第M前景音頻對象之后輸出下混合信號，其中M是不大于N的整數(shù)。
全文摘要
提供了一種多對象音頻編碼和解碼方法以及其設(shè)備。所述多對象編碼方法包括通過下混合前景音頻對象和背景音頻對象來生成下混合信號和殘余信號；以及生成包括下混合信號和殘余信號的比特流。
文檔編號G10L19/008GK102968994SQ20121043208
公開日2013年3月13日 申請日期2008年10月21日 優(yōu)先權(quán)日2007年10月22日
發(fā)明者白承權(quán), 徐廷一, 姜京玉, 洪鎮(zhèn)佑, 金鎮(zhèn)雄, 李泰辰 申請人:韓國電子通信研究院