本發(fā)明涉及一種處理基于圖的信號的方法和設(shè)備，更具體地說，涉及一種編譯基于圖的信號上的邊緣權(quán)重的技術(shù)。

背景技術(shù)：

大多數(shù)傳統(tǒng)的離散時間信號處理技術(shù)已經(jīng)從處理和濾波模擬信號直接地演進(jìn)，并且因此，該技術(shù)已經(jīng)受到若干常用假設(shè)的限制，如僅對有規(guī)律地組織的數(shù)據(jù)進(jìn)行采樣和處理。視頻壓縮的領(lǐng)域基本上基于相同的假設(shè)，但是僅推廣到多維信號。

圖是用于在各種應(yīng)用領(lǐng)域中描述數(shù)據(jù)的幾何結(jié)構(gòu)的一種有用的數(shù)據(jù)表示?；趫D表示的信號處理能夠使用其中每個信號采樣表示頂點(diǎn)的圖來概括像采樣、濾波、傅里葉變換等的概念，以及通過具有正權(quán)重的圖邊緣來表示信號關(guān)系。這個斷開連接來自信號的捕獲過程的信號，使得像采樣率的特性和序列能夠由圖的特性代替。事實(shí)上，傳統(tǒng)的表示現(xiàn)在變成由一些特定圖模型定義的簡單特殊情況。

技術(shù)實(shí)現(xiàn)要素：

【技術(shù)問題】

基于圖的信號處理是概括信號處理的若干基本技術(shù)和模型的新學(xué)科，并且已經(jīng)在各種應(yīng)用領(lǐng)域中顯示出有前景的成果。其應(yīng)用于信號壓縮有一個基本的問題，該基本問題來自于以下事實(shí)：為了得到更好的信號變換或預(yù)測，編碼器和解碼器這兩者都需要使用完全相同的圖(頂點(diǎn)、邊緣和邊緣權(quán)重)。更好的信號壓縮能夠利用復(fù)雜且自適應(yīng)(即，頻繁地變化)的圖結(jié)構(gòu)來獲得，但是編譯關(guān)于那些圖的信息的開銷可能相對較大，甚至大于它們提供的編譯增益。因此，本發(fā)明解決這些問題。

【技術(shù)方案】

本發(fā)明提供一組寬泛的編碼圖信息的方案，該方案利用以下事實(shí)：對于視頻編譯，圖拓?fù)涫枪潭鸥?因為頂點(diǎn)與像素相對應(yīng)，所以通常是平面的)，僅邊緣權(quán)重變化。目標(biāo)是為了開發(fā)用于更好編譯預(yù)測殘差集的基于圖的工具。

為了編譯為那些情況設(shè)計的圖上的邊緣權(quán)重，本發(fā)明能夠使用一個或更多個幾何圖元(點(diǎn)、線、圓、曲線等)的集合，并且使用基于到那些對象上的點(diǎn)的距離的特定函數(shù)來定義邊緣權(quán)重。

這種方式，通過編譯定義那些幾何圖元的參數(shù)和將距離轉(zhuǎn)化成邊緣權(quán)重的函數(shù)的參數(shù)，能夠獨(dú)立于圖大小和復(fù)雜度發(fā)送整個圖權(quán)重的集合。此外，不同的幾何圖元和距離權(quán)重函數(shù)(distance-to-weightfunctions)集合允許在表示所需圖特征中具有很大自由度。

【有益效果】

應(yīng)用本發(fā)明的基于圖的信號建?？梢允菑?qiáng)有力的工具。能夠通過自適應(yīng)地改變圖邊緣權(quán)重以及通過使用從譜分解獲得的矩陣而獲得更好的信號表示、信號變換和信號預(yù)測。

另外，本發(fā)明能夠滿足對于數(shù)據(jù)壓縮所需的更多通用模型的需要，并且有利于使用用于壓縮應(yīng)用的工具。

另外，本發(fā)明能夠通過使用緊湊的圖表示來避免編碼單個圖邊緣的權(quán)重所需的過度比特率開銷。

附圖說明

圖1和圖2圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例處理基于圖的信號的編碼器和解碼器的示意性框圖。

圖3表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的用于在視頻幀內(nèi)的8×8塊中對統(tǒng)計關(guān)系進(jìn)行建模的圖的示例。

圖4表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的示出權(quán)重的分布的2個類型的圖的示例。

圖5表示圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的傾向于在對象的邊界周圍聚集的殘差信號(residualsignal)的特性的圖。

圖6圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的基于圖的信號建模單元的示意性框圖。

圖7表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的包含各種類型的幾何圖元的視頻幀的示例。

圖8表示圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的如何使用幾何圖元編譯視頻段中的塊的邊緣的圖。

圖9是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的使用幾何圖元編譯視頻段中的塊的邊緣的流程圖。

圖10是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的基于距離權(quán)重函數(shù)編譯基于圖的信號的過程的流程圖。

圖11是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的使用基于圖的信號的邊緣權(quán)重解碼視頻信號的過程的流程圖。

【最佳實(shí)施方式】

根據(jù)本發(fā)明的一方面，提供一種使用幾何圖元處理基于圖的信號的方法，該方法包括：將幾何圖元指定為用于計算邊緣權(quán)重；獲得用于幾何圖元中的每個的參數(shù)；基于參數(shù)來計算用于圖像內(nèi)的邊緣中的每個的邊緣權(quán)重；以及基于邊緣權(quán)重來編碼圖像。

根據(jù)本發(fā)明的另一方面，本發(fā)明進(jìn)一步包括：計算用于與目標(biāo)塊相對應(yīng)的圖中的邊緣的最小距離；以及將距離權(quán)重函數(shù)應(yīng)用于最小距離，其中基于距離權(quán)重函數(shù)來計算邊緣權(quán)重。

根據(jù)本發(fā)明的另一方面，最小距離指示從邊緣的中心到幾何圖元的距離。

根據(jù)本發(fā)明的另一方面，參數(shù)包括類型信息、位置信息或長度信息中的至少一個。

根據(jù)本發(fā)明的另一方面，本發(fā)明進(jìn)一步包括：檢查是否類型信息不同于默認(rèn)類型；以及當(dāng)類型信息不同于默認(rèn)類型時，編碼距離權(quán)重函數(shù)的參數(shù)。

根據(jù)本發(fā)明的另一方面，幾何圖元的類型信息指示幾何圖元的預(yù)定集合中的一個。

根據(jù)本發(fā)明的另一方面，幾何圖元中的每個使用不同的距離權(quán)重函數(shù)。

根據(jù)本發(fā)明的另一方面，通過使用另一個函數(shù)來計算邊緣權(quán)重。

根據(jù)本發(fā)明的另一方面，圖像對應(yīng)于殘差信號。

根據(jù)本發(fā)明的另一方面，通過使用歸一化空間坐標(biāo)來識別幾何圖元。

根據(jù)本發(fā)明的一方面，提供一種處理基于圖的視頻信號的方法，該方法包括：接收邊緣權(quán)重；使用邊緣權(quán)重來生成變換矩陣，其中基于目標(biāo)塊內(nèi)的邊緣的邊緣權(quán)重來映射變換矩陣；使用所述變換矩陣來獲得變換系數(shù)；以及基于所獲得的變換系數(shù)來重建基于圖的視頻信號。

根據(jù)本發(fā)明的一方面，提供一種使用幾何圖元編碼基于圖的信號的設(shè)備，該設(shè)備包括：處理器，該處理器被配置成：將幾何圖元指定為用于計算邊緣權(quán)重，獲得用于幾何圖元中的每個的參數(shù)，基于參數(shù)來計算用于圖像內(nèi)的邊緣中的每個的邊緣權(quán)重；以及基于邊緣權(quán)重來編碼圖像。

根據(jù)本發(fā)明的一方面，提供一種編碼基于圖的視頻信號的設(shè)備，該設(shè)備包括：處理器，該處理器被配置成：接收邊緣權(quán)重，通過將邊緣權(quán)重應(yīng)用于殘差信號來獲得修改的殘差信號，以及基于修改的殘差信號來重建基于圖的視頻信號，其中基于目標(biāo)塊內(nèi)的邊緣的邊緣權(quán)重來映射變換矩陣。

【具體實(shí)施方式】

在下文中，參照附圖描述根據(jù)本發(fā)明的實(shí)施方式的示例性元件和操作，然而，要注意的是，參照附圖描述的本發(fā)明的元件和操作僅被提供為實(shí)施例，并且本發(fā)明的技術(shù)精神以及核心配置和操作不限于此。

另外，在本說明書中使用的術(shù)語是現(xiàn)在被廣泛使用的常用術(shù)語，但是在特殊情況下，使用由申請人隨機(jī)選擇的術(shù)語。在這種情況下，相應(yīng)術(shù)語的意義被清楚地描述在相應(yīng)部分的詳細(xì)的說明中。因此，要注意的是，本發(fā)明不應(yīng)該被解釋為僅基于在此說明書的相應(yīng)描述中所使用的術(shù)語的名稱，并且本發(fā)明應(yīng)該通過檢查相應(yīng)術(shù)語的含義來進(jìn)行解釋。

另外，雖然此說明書提出的實(shí)施例針對視頻信號處理，但是本發(fā)明不應(yīng)該被解釋為僅基于視頻信號處理，并且本發(fā)明將會適用于處理一般基于圖的信號的方法。

另外，雖然在此說明書中使用的術(shù)語是經(jīng)選擇用于描述本發(fā)明的常用術(shù)語，但是，如果具有相似含義的術(shù)語出現(xiàn)，則可以利用其他術(shù)語來替代以用于更恰當(dāng)?shù)姆治?。例如，信號、?shù)據(jù)、樣本、圖片、幀和塊可以在每個編譯過程中被適當(dāng)?shù)卮婧徒忉尅?/p>

圖1和圖2圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的處理基于圖的信號的編碼器和解碼器的示意性框圖。

圖1的編碼器100包括變換單元110、量化單元120、去量化單元130、逆變換單元140、緩沖器150、預(yù)測單元160和熵編碼單元170。

編碼器100接收視頻信號，并且通過從該視頻信號減去由預(yù)測單元160輸出的預(yù)測信號來生成預(yù)測誤差。

將所生成的預(yù)測誤差發(fā)送至變換單元110。

變換單元110通過將變換方案應(yīng)用于預(yù)測誤差來生成變換系數(shù)。

量化單元120量化所生成的變換系數(shù)并且將所量化的系數(shù)發(fā)送至熵編碼單元170。

熵編碼單元170對量化的信號執(zhí)行熵編譯，并且輸出熵編譯信號。

同時，由量化單元120輸出的量化信號可以被用于生成預(yù)測信號。例如，在編碼器100的循環(huán)內(nèi)的去量化單元130和逆變換單元140可以對量化的信號執(zhí)行去量化和逆變換，使得將所量化的信號重建成預(yù)測誤差?？梢酝ㄟ^將所重建的預(yù)測誤差添加至由預(yù)測單元160輸出的預(yù)測信號來生成重建信號。

緩沖器150存儲用于預(yù)測單元160的將來參考的重建信號。

預(yù)測單元160使用在緩沖器150存儲的先前重建信號生成預(yù)測信號。在這種情況下，本發(fā)明使用錨圖像(anchorimage)中的區(qū)域關(guān)注目標(biāo)圖像中的區(qū)域的有效預(yù)測。效率可以是壓縮率-失真意義上的或者就諸如量化預(yù)測誤差中的失真的均方誤差的相關(guān)量度而言的。

為了提供更好的信號表示、信號變換和信號預(yù)測，本發(fā)明將會提供使用幾何圖元以及利用將到幾何圖元的距離映射至權(quán)重的函數(shù)來建?；趫D的信號的方法。此外，本發(fā)明提供一種識別圖內(nèi)的頂點(diǎn)和邊緣以及編碼和解碼殘差信號的方法。例如，本發(fā)明的實(shí)施例能夠通過基于圖的信號建模單元執(zhí)行各種實(shí)施方式。基于圖的信號模型單元可以被包括在編碼器100或解碼器200中。

圖2的解碼器200包括熵解碼單元210、去量化單元220、逆變換單元230、緩沖器240和預(yù)測單元250。

圖2的解碼器200接收由圖1的編碼器100輸出的信號。

熵解碼單元210對接收的信號執(zhí)行熵解碼。去量化單元220基于關(guān)于量化步長的信息從熵解碼信號獲得變換系數(shù)。逆變換單元230通過對變換系數(shù)執(zhí)行逆變換來獲得預(yù)測誤差。通過將所獲得的預(yù)測誤差添加至由預(yù)測單元250輸出的預(yù)測信號來生成重建信號。

緩沖器240存儲用于預(yù)測單元250的將來參考的重建信號。

預(yù)測單元250使用在緩沖器240中存儲的先前重建信號生成預(yù)測信號。

應(yīng)用本發(fā)明的基于圖的信號建模方法將會被用于編碼器100和解碼器200。

圖3表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的用于在視頻幀內(nèi)的8×8塊中對統(tǒng)計關(guān)系進(jìn)行建模的圖的示例。

參照圖3，本發(fā)明提供能夠用于處理圖像或視頻中的8×8像素的塊的圖的類型的兩個示例。每個像素與圖頂點(diǎn)關(guān)聯(lián)，并且每個像素值變成圖像頂點(diǎn)值。

圖邊緣可以意指連接圖頂點(diǎn)的線。圖邊緣被用于通過表示信號的強(qiáng)度的正權(quán)重來表示信號中的統(tǒng)計相關(guān)性的一些形式。例如，能夠?qū)⒚總€頂點(diǎn)連接至每一個其他頂點(diǎn)，并且零權(quán)重被分配給連接無關(guān)的或弱相關(guān)的頂點(diǎn)的邊緣。然而，為了簡化表示，能夠完全地去除具有零權(quán)重的邊緣。

在本發(fā)明的另一個實(shí)施例中，可以根據(jù)信號特征預(yù)設(shè)連接圖頂點(diǎn)的邊緣。例如，頂點(diǎn)能夠被布置在用于音頻信號的1-d陣列、用于圖像的2-d陣列以及用于視頻幀的3-d陣列上。在這種情況下，時間軸能夠被用作第三維。例如，在圖3(a)的圖中，圖邊緣能夠被定義成將每個頂點(diǎn)連接至其最近相鄰頂點(diǎn)中的四個。然而，能夠不同地定義在塊邊界處的圖邊緣。此外，在圖3(b)的圖中，將頂點(diǎn)連接至八個最近的相鄰頂點(diǎn)。

圖4表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的示出權(quán)重的分布的2種類型的圖的示例。

當(dāng)圖的頂點(diǎn)值是表示信號測量的獨(dú)立變量(通常被建模為隨機(jī)變量)時，有必要選擇匹配一些信號特性的圖的邊緣權(quán)重。在圖4中，提供圖邊緣的線條顏色指示不同邊緣權(quán)重的圖的兩個示例。例如，深色線條可以表示權(quán)重w＝1，并且淺色線條表示權(quán)重w＝0.2。

圖4(a)中的圖能夠表示具有沿著直線的“弱鏈接”的情況，其中，該圖僅具有2個邊緣權(quán)重。在這種情況下，“弱鏈接”意指具有相對較小的邊緣權(quán)重。

這事實(shí)上通常被用于基于圖的圖像處理中，其中，此配置能夠表示在圖像邊緣的不同側(cè)上的像素統(tǒng)計的差異。

用于基于圖的信號處理的基礎(chǔ)工具可以從作為公式1的圖的拉普拉斯矩陣導(dǎo)出。

[公式1]

l＝d-a

在公式1中，d是度對角矩陣，并且a是鄰接矩陣。

用于基于圖的信號處理的許多工具可以基于作為公式2的l的譜分解。

[公式2]

l＝uλu^-1

在公式2中，正交矩陣u提供基于圖的傅里葉變換的形式，其專門針對適合相應(yīng)圖模型的信號。

圖4(b)的圖表示覆蓋不規(guī)則區(qū)域的邊緣權(quán)重的分布，并且本發(fā)明提供一種使用邊緣權(quán)重的分布圖處理信號的方法。

圖5表示圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的傾向于聚集在對象的邊界周圍的殘差信號的特性的圖。

本發(fā)明滿足對數(shù)據(jù)壓縮所需的更多通用模型的需要。例如，在編譯應(yīng)用中，將要被處理的信號不是原始像素的值，而是殘差信號。例如，可以是從原始信號減去預(yù)測值的預(yù)測殘差。圖5(a)示出視頻幀，并且圖5(b)示出殘差信號的分布。例如，在圖5(b)中，白色表示零值，黑色表示殘差信號的值，并且，如果黑色密度高，則殘差信號的值大，如果黑色密度相對低，則殘差信號的值相對小。

對于這種類型的信號，圖不具有如清晰定義的邊緣的特征，而是具有在某些區(qū)域中聚集的噪聲樣本。對于這些情況，可能需要利用覆蓋不規(guī)則區(qū)域的權(quán)重分布來處理圖的方法，如圖4(b)的示例中所示。

圖6圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的基于圖的信號建模單元的示意性框圖。

能夠經(jīng)由應(yīng)用本發(fā)明的基于圖的信號建模有效地處理視頻信號。能夠通過自適應(yīng)地改變圖權(quán)重以及通過使用從圖的矩陣l的譜分解獲得的矩陣來獲得更好的信號表示、信號變換和信號預(yù)測。

對于最大的靈活性，有必要不斷調(diào)整圖的權(quán)重。編碼器能夠通過使用輸入信號的數(shù)據(jù)集編碼基于圖的信號，并且解碼器能夠基于預(yù)定順序整個或部分地接收數(shù)據(jù)集，然后使用所接收的數(shù)據(jù)集解碼該基于圖的信號。

在本發(fā)明的實(shí)施例中，編碼器能夠編碼關(guān)于邊緣權(quán)重的部分或全部數(shù)據(jù)集，并且解碼器能夠通過解碼該數(shù)據(jù)集的部分或全部來計算矩陣l的新的值。

因為甚至像圖3中的那些的簡單圖每個頂點(diǎn)都具有多個圖邊緣，所以執(zhí)行有效的編譯是不容易的。例如，n×n像素塊的4個連接的頂點(diǎn)的圖具有2n(n-1)≈2n²個圖邊緣，而如圖3(b)的8個連接頂點(diǎn)的圖具有2(n-1)(2n-1)≈4n²個圖邊緣。

同時，編碼全部圖權(quán)重需要每頂點(diǎn)或每像素2個、4個或更多個圖邊緣。因為這種方法需要若干比特來編譯邊緣權(quán)重，所以難以執(zhí)行有效壓縮編譯。

在本發(fā)明的實(shí)施例中，兩個不同邊緣權(quán)重(例如，0.1和1)能夠被用于編譯圖邊緣。例如，假設(shè)權(quán)重中的一個的概率是p，則本發(fā)明能夠使用具有最佳零階的熵編碼器。在這種情況下，每個圖邊緣的比特率可以被表示為公式3。

[公式3]

在這種情況下，通過基于圖的處理獲得的編譯增益不能大于0.1比特/像素或0.01比特/像素。因此，本發(fā)明提供一種能夠使用用于圖權(quán)重的更復(fù)雜的編譯方法來減輕過度開銷的新方法。

單獨(dú)地編碼邊緣權(quán)重需要比特率開銷。本發(fā)明提供一種同時提供與多個圖邊緣相關(guān)的信息的方法。例如，能夠基于預(yù)定等級來編譯多個圖邊緣的公共信息。在這種情況下，預(yù)定等級包括可用于編譯視頻信號的圖等級、幀(圖片)等級、塊等級、像素等級和各種等級。這種方式，即使該信息需要用于編譯的許多比特，每邊緣的平均比特(并且因此每個像素)也能夠保持較小。

本發(fā)明可以基于視頻編譯的以下具體特性。

首先，可以以規(guī)則格式組織用于處理像素集的圖。例如，用于圖像的圖能夠被組織為平面的，或者用于多維空間的圖能夠被組織為矩形柵格。在這種情況下，僅能夠改變邊緣權(quán)重。

其次，隨機(jī)殘差信號傾向于在視頻對象(人、墻壁等)的邊界周圍聚集，通常由2d曲線定義，但是本發(fā)明不限于此，并且能夠通過1d線或點(diǎn)等來定義，而殘差信號與主要處于非常小的區(qū)域中的每個相似。

第三，殘差信號彼此沒有確切的邊界，因此沒有必要浪費(fèi)用于編碼或解碼邊緣權(quán)重變化的精確位置的比特。

通過使用通用幀發(fā)送統(tǒng)計中的變化，本發(fā)明的實(shí)施例能夠利用第一特性。

例如，本發(fā)明能夠在視頻幀的某部分(或整個幀)的全部圖中通過使用歸一化的空間s＝[0,1]×[0,1]來識別頂點(diǎn)和邊緣。例如，本發(fā)明定義圖邊緣的權(quán)重函數(shù)，如公式4。

[公式4]

w:[0,1]×[0,1]->[0,1]

在這種情況下，能夠獲得每個位置x∈s的權(quán)重w(x)。

假設(shè)w×h像素集，s中的像素(i,j)的位置能夠被定義為公式5。

[公式5]

在這種情況下，w指示圖或幀的寬度，h指示圖或幀的高度。

在本發(fā)明的另一個實(shí)施例中，能夠使用圖邊緣的中點(diǎn)定義像素(i,j)和像素(k,l)之間的邊緣的實(shí)際權(quán)重，如公式6。

[公式6]

在這種情況下，w()指示圖邊緣的權(quán)重函數(shù)，(i,j)、(k,l)指示任意像素的位置。并且，假設(shè)wxh像素集，i和k指示0,1,…,w-1，j和l指示0,1,…,h-1。

利用這種方法，編譯全部邊緣的權(quán)重的開銷獨(dú)立于邊緣的數(shù)量，并且僅依賴于用于針對全部x∈s計算w(x)的有效編譯信息。

本發(fā)明的另一個實(shí)施例能夠通過提出如何使用第二特性計算權(quán)重函數(shù)w(x)來執(zhí)行有效編譯。例如，本發(fā)明能夠使用聚集具有大的值的殘差信號使得該殘差信號能夠組織幾何圖元的特性。

在這種情況下，本發(fā)明能夠使用幾何圖元集合執(zhí)行有效編譯，該幾何圖元集合包括如點(diǎn)、線、線段、圓、使用三次樣條的線、貝塞爾曲線等的幾何圖元中的至少一個。

例如，圖7示出具有像孤立點(diǎn)的一些幾何圖元以及直線和曲線的視頻幀的示例。

本發(fā)明的另一個實(shí)施例將使用最后特性，并且使用將到幾何圖元的距離映射至權(quán)重的函數(shù)(在下文中，“距離權(quán)重函數(shù)”)，以完成w(x)²的第一。例如，距離權(quán)重函數(shù)能夠被定義為公式7和公式8。

[公式7]

其中，d是從目標(biāo)單元至幾何圖元的距離，μ,η指示額外的參數(shù)。例如，目標(biāo)單元意指用于測量邊緣權(quán)重的處理單元，并且包括頂點(diǎn)、像素、邊緣、塊或幀中的至少一個。以及，用于測量距離d的參考點(diǎn)可以是頂點(diǎn)、像素或邊緣。同時，額外的參數(shù)包括標(biāo)度參數(shù)和變化參數(shù)中的至少一個，例如，μ指示標(biāo)度參數(shù)并且η指示變化參數(shù)。

[公式8]

在這個情況下，公式8指示公式7的補(bǔ)。

例如，能夠通過變化參數(shù)η來改變距離權(quán)重函數(shù)的圖的形狀。以及，針對距離d，通過標(biāo)度參數(shù)μ來標(biāo)度d的尺寸。此外，距離權(quán)重函數(shù)能夠被定義為不同類型的幾何圖元和距離測量。

同時，參照圖6，基于圖的信號建模單元(600)包括圖生成單元(610)、幾何圖元編碼單元(620)和邊緣權(quán)重編碼單元(630)。

應(yīng)用本發(fā)明的基于圖的信號建模單元(600)能夠基于距離權(quán)重函數(shù)來編譯邊緣權(quán)重。此外，基于圖的信號建模單元(600)能夠在相應(yīng)目標(biāo)框的圖中編譯一個或更多個參考幾何圖元的集合。一個或更多個參考幾何圖元的集合能夠被用于確定邊緣權(quán)重。

圖生成單元(610)能夠生成相應(yīng)目標(biāo)圖像的圖。例如，諸如公式1的圖的拉布拉斯矩陣能夠被用于基于圖的信號處理。

幾何圖元編碼單元(620)能夠在所生成的圖中編碼幾何圖元。在這種情況下，能夠通過各種參數(shù)定義幾何圖元。例如，能夠通過幾何圖元的類型信息和位置信息中的至少一個定義幾何圖元。類型信息包括點(diǎn)類型、線類型、圓類型、使用三次樣條的線類型或貝塞爾曲線類型中的至少一個。

并且，幾何圖元編碼單元(620)能夠編碼視頻幀中的幾何圖元的數(shù)量。在這個情況下，視頻幀可以是殘差分量。根據(jù)幾何圖元的數(shù)量，幾何圖元編碼單元(620)能夠獲得幾何圖元中的每個的類型信息和其的參數(shù)。

邊緣權(quán)重編碼單元(630)能夠基于距離權(quán)重函數(shù)編碼邊緣權(quán)重。例如，本發(fā)明能夠基于從目標(biāo)單元的參考點(diǎn)到幾何圖元的距離計算目標(biāo)單元的邊緣的權(quán)重，在這種情況下，距離權(quán)重函數(shù)能夠被用于計算目標(biāo)單元的邊緣的權(quán)重。

具體地，邊緣權(quán)重編碼單元(630)能夠計算從邊緣的中心到幾何圖元中的每個的最小距離。并且，邊緣權(quán)重編碼單元(630)能夠基于該最小距離計算邊緣權(quán)重，在這種情況下，距離權(quán)重函數(shù)能夠被用于計算邊緣權(quán)重。邊緣權(quán)重能夠被編碼并且被發(fā)送至解碼器。

邊緣權(quán)重編碼單元(630)將距離至權(quán)重函數(shù)應(yīng)用于每個最小距離，并且能夠基于該結(jié)果計算最終邊緣權(quán)重。能夠?qū)σ曨l信號的目標(biāo)單元執(zhí)行該過程。

邊緣權(quán)重編碼單元(630)能夠基于距離權(quán)重函數(shù)來編碼塊中全部像素的值。

圖7表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的包含各種類型的幾何圖元的視頻幀的示例。

本發(fā)明的實(shí)施例能夠基于在簡單的幾何構(gòu)型中聚集大的殘差的特性來計算距離權(quán)重函數(shù)。本發(fā)明能夠通過使用包括幾何圖元中的至少一個的幾何圖元集合來有效地編碼或解碼那些特征，例如，圖7示出具有像孤立點(diǎn)以及直線和曲線的一些幾何圖元的視頻幀的示例。

在圖7中，能夠通過類型信息定義幾何圖元。例如，類型信息可以包括點(diǎn)、線、線段、圓、使用三次樣條的線或貝塞爾曲線中的至少一個。

例如，參照圖7，類型信息gp1(幾何圖元1)指示使用三次樣條的線，類型信息gp2(幾何圖元2)和gp3(幾何圖元)指示線段，類型信息gp4指示所連接的線段，gpn指示點(diǎn)。

在圖7中，細(xì)灰線表示用于處理視頻幀的編譯單元或用于計算邊緣權(quán)重的目標(biāo)單元，并且，幾何圖元的各種顏色能夠被定義用于識別邊緣權(quán)重的分布。

本發(fā)明的另一個實(shí)施例中，能夠基于位置信息定義幾何圖元。例如，能夠通過使用視頻幀的坐標(biāo)信息或像素的位置信息定義幾何圖元?；蛘?，能夠通過使用二進(jìn)制數(shù)據(jù)定義幾何圖元。

本發(fā)明的另一個實(shí)施例中，能夠基于類型信息通過另一種方式定義幾何圖元。例如，能夠通過坐標(biāo)信息定義點(diǎn)的類型，線、線段、圓、使用三次樣條的線和貝塞爾曲線的類型能夠通過坐標(biāo)函數(shù)定義。

圖8表示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的圖示如何使用幾何圖元編譯視頻段中的塊的邊緣的圖。

圖8的塊示出具有一些幾何圖元的視頻段的部分，并且具有粗線的塊表示目標(biāo)塊。

參照圖8，視頻段具有4個幾何圖元，諸如點(diǎn)(gp4)、兩個線段(gp1、gp3)、使用三次樣條的線(gp2)。

首先，編碼器能夠編碼幾何圖的數(shù)目信息。例如，由于圖8中的視頻段具有4個幾何圖元，所以編碼器能夠編碼作為幾何圖元的數(shù)目信息的相應(yīng)值。

并且，對于4個幾何圖元中的每個，編碼器能夠編碼幾何圖元的類型信息。例如，在gp1的情況下，編碼器能夠編碼作為長線段的gp1的類型信息。

如果‘長線段’的類型不是默認(rèn)類型，則編碼器能夠編碼將要被用作于gp1的距離權(quán)重函數(shù)的參數(shù)。

接下來，編碼器能夠基于距離權(quán)重函數(shù)編碼邊緣權(quán)重?？梢曰趶倪吘壍闹行牡綆缀螆D元中的每個的最小距離來確定邊緣權(quán)重。

例如，參照圖8，具有粗線的塊表示目標(biāo)單元，該目標(biāo)單元包括諸如邊緣1、邊緣2、邊緣3和邊緣4的4個邊緣。因此，為了計算目標(biāo)單元的邊緣權(quán)重，可以計算從4個邊緣中的每個的中心到幾何圖元的最小距離。例如，在邊緣1的情況下，能夠通過測量從邊緣1的中心到幾何圖元中的每個的距離來計算最小距離d1、d2、d3和d4(虛線)。編碼器能夠基于所計算的最小距離獲得邊緣1的邊緣權(quán)重。在這種情況下，距離權(quán)重函數(shù)能夠被用于獲得邊緣1的邊緣權(quán)重。

對于邊緣2至邊緣4，編碼器能夠重復(fù)地執(zhí)行以上過程用于以相同方式獲得邊緣1的邊緣權(quán)重。編碼器能夠通過使用根據(jù)以上過程計算的邊緣權(quán)重在目標(biāo)單元中編碼像素值。例如，編碼器能夠使用邊緣權(quán)重對目標(biāo)單元執(zhí)行變換或預(yù)測，并且從而編碼目標(biāo)單元。在這種情況下，目標(biāo)單元可以包括原始數(shù)據(jù)、預(yù)測數(shù)據(jù)或殘差數(shù)據(jù)。

在本發(fā)明的另一個實(shí)施例中，本發(fā)明能夠僅使用視頻幀內(nèi)部的一些幾何圖元來確定邊緣權(quán)重。例如，能夠僅使用離目標(biāo)邊緣最近的幾何圖元來確定邊緣權(quán)重。具體地，參照圖8，在邊緣1的情況下，能夠選擇最近的幾何圖元gp1，并且能夠計算從邊緣1的中心到最近的幾何圖元gp1的最小距離d1。編碼器能夠基于所計算的最小距離d1獲得邊緣1的邊緣權(quán)重。在這種情況下，距離權(quán)重函數(shù)能夠被用于獲得邊緣1的邊緣權(quán)重。

在本發(fā)明的另一個實(shí)施例中，本發(fā)明能夠使用先前確定邊緣的邊緣權(quán)重來確定邊緣權(quán)重。例如，先前確定的邊緣可以是當(dāng)前目標(biāo)單元的邊緣或另一個單元的邊緣。在這種情況下，另一個單元意指除了視頻幀內(nèi)的當(dāng)前目標(biāo)單元之外的單元。具體地，能夠通過使用與當(dāng)前邊緣鄰近的邊緣的邊緣權(quán)重來確定邊緣權(quán)重。例如，參照圖8，我們假設(shè)以邊緣1、邊緣2、邊緣3和邊緣4的順序確定邊緣權(quán)重。當(dāng)確定邊緣4的邊緣權(quán)重時，編碼器能夠使用當(dāng)前目標(biāo)單元的其他邊緣(即，邊緣1、邊緣2和邊緣3)中的至少一個。例如，邊緣1、邊緣2或邊緣3中的任何一個的邊緣權(quán)重能夠被用作為邊緣4的邊緣權(quán)重?；蛘?，邊緣1、邊緣2或邊緣3中的任何兩個的邊緣權(quán)重能夠被用于計算邊緣4的邊緣權(quán)重，或者3個邊緣的中位值能夠被用于計算邊緣4的邊緣權(quán)重。

在本發(fā)明的另一個實(shí)施例中，能夠通過使用與邊緣1鄰近的另一個單元的邊緣來預(yù)測該邊緣權(quán)重。例如，在邊緣1的情況中，邊緣1的邊緣權(quán)重能夠通過使用鄰近于邊緣1的上塊、左上塊、右上塊、左下塊或右下塊的邊緣中的至少一個來進(jìn)行預(yù)測。

在本發(fā)明的另一個實(shí)施例中，邊緣權(quán)重還能夠通過使用另一個幀以及當(dāng)前幀內(nèi)的塊的邊緣的邊緣權(quán)重來進(jìn)行預(yù)測。

圖9是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的使用幾何圖元編譯視頻段中的塊的邊緣的過程的流程圖。

應(yīng)用本發(fā)明的編碼方法可以通過以下算法來進(jìn)行描述。例如，本發(fā)明能夠重復(fù)地對諸如編譯塊、幀或編譯塊或幀的集合等的每個視頻段執(zhí)行編碼方法。

編碼器能夠編碼用于段的幾何圖元的數(shù)量n(s910)。

對于每個幾何圖元n＝1,2,...,n，編碼器能夠編碼幾何圖元的類型信息和額外的參數(shù)(s920)。如果幾何圖元的類型信息不同于默認(rèn)類型(defaulttype)，則編碼器能夠編碼將要被用于幾何圖元的距離權(quán)重函數(shù)的參數(shù)。例如，額外的參數(shù)包括標(biāo)度參數(shù)和變化參數(shù)中的至少一個。

具體地，能夠通過變化參數(shù)改變距離權(quán)重函數(shù)的圖的形狀。另外，作為距離權(quán)重函數(shù)的變量的距離d的大小能夠通過標(biāo)度參數(shù)進(jìn)行調(diào)整。

此外，以下過程能夠?qū)σ曨l段中的每個塊執(zhí)行。

對于圖的目標(biāo)單元中的每個邊緣，編碼器能夠計算從邊緣的中心到幾何圖元中的每個的最小距離，并且基于所計算的最小距離獲得邊緣權(quán)重(s930)。

然后，編碼器能夠使用目標(biāo)單元的邊緣權(quán)重編碼目標(biāo)單元中像素值(s940)。在這種情況下，目標(biāo)單元可以包括原始數(shù)據(jù)、預(yù)測數(shù)據(jù)或殘差數(shù)據(jù)。

圖10是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的基于距離權(quán)重函數(shù)編譯基于圖的信號的過程的流程圖。

基于圖的信號建模單元(600)能夠基于距離權(quán)重函數(shù)來編譯基于圖的信號。

例如，邊緣權(quán)重編碼單元(630)能夠計算從邊緣的中心到幾何圖元中的每個的最小距離(s1010)。

并且，邊緣權(quán)重編碼單元(630)能夠?qū)⒆钕戮嚯x施應(yīng)用于距離權(quán)重函數(shù)(s1020)，并且基于該結(jié)果計算最終邊緣權(quán)重(s1030)。以上過程能夠?qū)σ曨l信號段中的每個目標(biāo)單元執(zhí)行。

然后，邊緣權(quán)重編碼單元(630)能夠使用目標(biāo)單元的圖信息來編碼目標(biāo)單元中的像素值(s1040)。在這種情況下，圖信息能夠包括邊緣權(quán)重、幾何圖元的類型信息和額外的參數(shù)中的至少一個。

在本發(fā)明的另一個實(shí)施例中，幾何圖元可以是預(yù)先定義的幾何圖元集。距離權(quán)重函數(shù)能夠?qū)⒌綆缀螆D元的最近距離映射至權(quán)重。

在本發(fā)明的另一個實(shí)施例中，本發(fā)明提供一種組合來自不同的幾何圖元的權(quán)重的方法。

例如，單一函數(shù)可以被用于組合來自不同幾何圖元的權(quán)重。單一函數(shù)具有到最近圖元的最小距離d的單一值。

在本發(fā)明的另一個實(shí)施例中，不同函數(shù)可以被分配給幾何圖元中的每個。例如，另一個函數(shù)可以被用于計算邊緣權(quán)重，如公式9和公式10。

[公式9]

ω＝max{φ1(d1，...)，φ2(d2，...)，…，φn(dn，...）}

[公式10]

ω＝median{φ1(d1，...)，φ2(d2，...)，…，φn(dn，...）}

在公式9和公式10中，(n＝1,2,…,n)指示對于幾何圖元中的每個彼此不同的n個距離權(quán)重函數(shù)。公式9表示基于n個距離權(quán)重函數(shù)計算的邊緣權(quán)重的最大值，以及公式10表示基于n個距離至權(quán)重函數(shù)計算的邊緣權(quán)重的中位值。

在本發(fā)明的另一個實(shí)施例中，以上實(shí)施例能夠被應(yīng)用于如通過幀內(nèi)預(yù)測獲得的那些塊的固定的塊。并且，能夠通過使用運(yùn)動補(bǔ)償來編譯幾何圖元的參數(shù)。

另外，以上實(shí)施例能夠被擴(kuò)展成更高的維度空間。例如，本發(fā)明能夠定義嵌入[0,1]^d空間中的幾何圖元并且使用函數(shù)w(x)，其中，x∈[0,1]^d。

圖11是圖示根據(jù)應(yīng)用本發(fā)明的實(shí)施例的使用基于圖的信號的邊緣權(quán)重解碼視頻信號的過程的流程圖。

解碼器能夠從編碼器接收作為語法元素的基于圖的信號的邊緣權(quán)重(s1110)。例如，邊緣權(quán)重可以被包括在序列信息、圖片信息、片頭(sliceheader)、片數(shù)據(jù)(slicedata)、編譯單元、變換單元、殘差信號的編譯語法和塊單元的至少一個中，并且可以被發(fā)送?；蛘撸吘墮?quán)重可以從解碼器中的另一個信息導(dǎo)出，例如，邊緣權(quán)重可以從與幾何圖元相關(guān)的參數(shù)導(dǎo)出。

在本發(fā)明的實(shí)施例中，解碼器能夠獲得邊緣權(quán)重，并且使用用于生成轉(zhuǎn)換塊的邊緣權(quán)重(s1120)。例如，可以通過轉(zhuǎn)換矩陣表示轉(zhuǎn)換塊，并且轉(zhuǎn)換矩陣的每個行和每個列可以被設(shè)定為用于目標(biāo)單元內(nèi)的邊緣中的每個的邊緣權(quán)重。

以及，解碼器能夠基于轉(zhuǎn)換塊解碼轉(zhuǎn)換系數(shù)(s1130)。

解碼器基于轉(zhuǎn)換系數(shù)重建殘差信號，并且通過將殘差信號添加至預(yù)測信號來生成重建信號(s1140)。

在本發(fā)明的另一個實(shí)施例中，解碼器能夠獲得邊緣權(quán)重，并且使用用于修改殘差信號的邊緣權(quán)重。例如，解碼器能夠通過將邊緣權(quán)重應(yīng)用于殘差信號來獲得修改的殘差信號。

解碼器能夠通過將經(jīng)由以上過程獲得的修改的殘差信號添加至預(yù)測信號來生成重建信號。

在本發(fā)明的另一個實(shí)施例中，解碼器能夠獲得邊緣權(quán)重，并且使用用于生成預(yù)測信號的邊緣權(quán)重。

在本發(fā)明的另一個實(shí)施例中，編碼器能夠使用用于生成轉(zhuǎn)換塊信號或預(yù)測信號的邊緣權(quán)重。

在本發(fā)明的另一個實(shí)施例中，編碼器能夠生成殘差信號，并且通過將邊緣權(quán)重應(yīng)用于所生成的殘差信號來修改該殘差信號。換言之，編碼器能夠通過將邊緣權(quán)重應(yīng)用于殘差信號來生成所修改的殘差信號。在這種情況下，由于解碼器接收所修改的殘差信號，所以解碼器不需要接收邊緣權(quán)重，或者能夠使用用于生成預(yù)測信號的邊緣權(quán)重。

在本發(fā)明的另一個實(shí)施例中，解碼器能夠從編碼器接收作為語法元素的與基于圖的信號的幾何圖元相關(guān)的參數(shù)。例如，該參數(shù)包括幾何圖元的類型信息、數(shù)目信息和額外參數(shù)中的至少一個，并且此說明書中的上述實(shí)施例能夠被應(yīng)用于這個實(shí)施例。解碼器能夠基于參數(shù)導(dǎo)出邊緣權(quán)重。

經(jīng)由以上過程，解碼器能夠?qū)С鲞吘墮?quán)重，并且使用用于修改殘差信號的邊緣權(quán)重。例如，解碼器能夠通過將邊緣權(quán)重應(yīng)用于殘差信號來獲得修改的殘差信號。以及，解碼器能夠通過將所修改的殘差信號添加至預(yù)測信號來生成重建信號。

如上所述，本發(fā)明中解釋的實(shí)施例可以被實(shí)現(xiàn)并且被在處理器、微處理器、控制器或芯片上執(zhí)行。例如，在圖1、2和6中解釋的功能單元可以被實(shí)現(xiàn)和被在計算機(jī)、處理器、微處理器、控制器或芯片上執(zhí)行。

如上所述，應(yīng)用本發(fā)明的解碼器和編碼器可以被包括在多媒體廣播發(fā)送/接收設(shè)備、移動通信終端、家庭影院視頻設(shè)備、數(shù)字影院視頻設(shè)備、監(jiān)控攝像機(jī)、視頻聊天設(shè)備、諸如視頻通信的實(shí)時通信設(shè)備中，移動流設(shè)備、存儲介質(zhì)、攝像機(jī)、vod服務(wù)提供設(shè)備、互聯(lián)網(wǎng)流服務(wù)提供設(shè)備、三維(3d)視頻設(shè)備、電話會議視頻設(shè)備以及醫(yī)療視頻設(shè)備，并且可以被用于編譯視頻信號和數(shù)據(jù)信號。

此外，應(yīng)用本發(fā)明的解碼/編碼方法可以以將要由計算機(jī)執(zhí)行的程序的形式來產(chǎn)生，并且可以被存儲在計算機(jī)可讀記錄介質(zhì)中。具有根據(jù)本發(fā)明的數(shù)據(jù)結(jié)構(gòu)的多媒體數(shù)據(jù)還可以被存儲在計算機(jī)可讀記錄介質(zhì)中。計算機(jī)可讀記錄介質(zhì)包括其中存儲由計算機(jī)系統(tǒng)可讀的數(shù)據(jù)的全部類型的存儲裝置。例如，計算機(jī)可讀記錄介質(zhì)可以包括bd、usb、rom、ram、cd-rom、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲裝置。另外，計算機(jī)可讀記錄介質(zhì)包括以載波(例如，通過因特網(wǎng)傳輸)形式實(shí)現(xiàn)的介質(zhì)。另外，通過編碼方法生成的比特流可以被存儲在計算機(jī)可讀記錄介質(zhì)中，或者可以通過有線/無線通信網(wǎng)絡(luò)傳輸。

【工業(yè)實(shí)用性】

已經(jīng)以說明性目的公開了本發(fā)明的示例性實(shí)施例，并且本領(lǐng)域技術(shù)人員可以在公開于所附的權(quán)利要求書中的本發(fā)明的技術(shù)精神和范圍內(nèi)作出改進(jìn)、改變、替換、添加各種其他實(shí)施例。