3d圖像數(shù)據(jù)分割的方法和裝置的制造方法
【專利說明】3D圖像數(shù)據(jù)分割的方法和裝置
[0001] 描述
[0002] 本發(fā)明設(shè)及一種3D圖像數(shù)據(jù)分割的方法和裝置。具體而言，本發(fā)明設(shè)及一種基于 稀疏圖的3D圖像數(shù)據(jù)中的實(shí)時(shí)對(duì)象分割的方法和裝置。
【背景技術(shù)】
[0003]近來，已經(jīng)可W向用戶呈現(xiàn)3D圖像內(nèi)容。預(yù)期在未來幾年內(nèi)3D設(shè)備和視頻內(nèi)容 量將迅速增加。
[0004]一方面，當(dāng)前的3D顯示技術(shù)可W重建聚合效應(yīng)，即兩只眼睛在相反方向的垂直旋 轉(zhuǎn)W維持雙目視覺。另一方面，由于所得圖像顯示在平面上，所W適應(yīng)性條件等其它重要深 度線索在焦距變化時(shí)無法準(zhǔn)確地再現(xiàn)。因此，在較遠(yuǎn)屏幕上顯示較近對(duì)象時(shí)，較強(qiáng)正視差可 能會(huì)導(dǎo)致視覺體驗(yàn)不佳。已為標(biāo)準(zhǔn)電影屏幕優(yōu)化的視頻內(nèi)容看起來與電視屏幕或手持式顯 示設(shè)備上的完全不同。因此，圖像數(shù)據(jù)，尤其是與觀察者距離最近和最遠(yuǎn)的對(duì)象的深度值的 差異必須適配不同應(yīng)用的特殊屬性W維持高質(zhì)量的深度知覺。該操作表示為內(nèi)容重定向或 內(nèi)容重映射。
[0005]內(nèi)容重定向通常是指為了將內(nèi)容適配為所需上下文而對(duì)圖像或視頻帖進(jìn)行的調(diào) 整。在3D視頻內(nèi)容領(lǐng)域，內(nèi)容重定向執(zhí)行與3D視頻序列有關(guān)的深度范圍的調(diào)整W根據(jù)終 端能力和視距優(yōu)化知覺。調(diào)整深度最直接的方式是根據(jù)可用深度范圍線性地移動(dòng)深度。然 而，該可能會(huì)導(dǎo)致場(chǎng)景中對(duì)象的扁平化?；蛘?，可W執(zhí)行非線性深度調(diào)整。非線性深度調(diào)整 可能允許對(duì)例如前景中的全部對(duì)象應(yīng)用位移。該可能導(dǎo)致3D用戶體驗(yàn)的明顯改善。此外， 非線性深度調(diào)整在場(chǎng)景操作中提供更多的自由。
[0006]為了執(zhí)行非線性深度調(diào)整，需要識(shí)別3D場(chǎng)景中的唯一對(duì)象。該樣，可W在重定位 階段執(zhí)行各個(gè)對(duì)象的深度值的獨(dú)立操作。例如，前景對(duì)象可W移至圖像最前面。背景對(duì)象 可W移至后面。被分割的對(duì)象的不同部分之間的深度比仍可保留。
[0007]然而，用于重定向的傳統(tǒng)方法，特別是用于非線性深度操作中的圖像分割的傳統(tǒng) 方法，通常分析圖像的各個(gè)像素。由于圖像中存在大量像素，所W該些方法需要龐大的計(jì)算 資源。
[000引如上所述，3D設(shè)備數(shù)量穩(wěn)步增長(zhǎng)。為了使3D視頻內(nèi)容適配各個(gè)設(shè)備，每個(gè)設(shè)備必 須對(duì)圖像數(shù)據(jù)進(jìn)行重定向。然而，諸如移動(dòng)設(shè)備之類的小型設(shè)備只能提供有限的計(jì)算能力。
[0009] 因此，需要提供3D圖像內(nèi)容的有效圖像分割的方法和裝置。
[0010] 也需要3D圖像內(nèi)容的圖像分割，其可實(shí)時(shí)應(yīng)用于計(jì)算資源有限的3D圖像設(shè)備。

【發(fā)明內(nèi)容】

[0011] 根據(jù)第一方面，提供了一種3D圖像的3D圖像數(shù)據(jù)分割方法。所述3D圖像包括所 述圖像的多個(gè)視圖，即所述圖像的至少兩個(gè)視圖，例如所述圖像的第一視圖和所述圖像的 第二視圖。所述方法包括確定所述3D圖像的所述多個(gè)視圖中的每個(gè)視圖的局部特征；基于 所述確定的局部特征確定局部特征圖；W及基于所述3D圖像的所述確定的局部特征圖和 深度圖將所述3D圖像數(shù)據(jù)分割為多個(gè)深度區(qū)。
[0012] 本發(fā)明的基本觀點(diǎn)在于基于3D圖像的所述局部特征生成的稀疏圖執(zhí)行圖像分 害d。基于稀疏圖的此類分析是一種有效且可靠的將3D圖像數(shù)據(jù)劃分為所述多個(gè)段的方式。
[0013] 根據(jù)如上所述第一方面的所述方法的第一實(shí)施形式，所述局部特征圖包括多個(gè)頂 點(diǎn)，每個(gè)頂點(diǎn)與多個(gè)相鄰頂點(diǎn)連接；W及所述確定局部特征圖包括將邊權(quán)重分配給兩個(gè)頂 點(diǎn)之間的每個(gè)邊。
[0014] 通過生成包括與局部特征有關(guān)的頂點(diǎn)的局部特征圖，頂點(diǎn)數(shù)量相對(duì)于每個(gè)像素具 有單獨(dú)頂點(diǎn)的傳統(tǒng)圖減少。因此，執(zhí)行圖像分割的計(jì)算資源減少。
[0015] 根據(jù)如上所述第一方面或者根據(jù)所述第一方面的所述第一形式的所述方法的第 二實(shí)施形式，分割所述3D圖像數(shù)據(jù)包括：量化所述3D圖像的所述深度圖；W及通過確定具 有相同量化深度值的連續(xù)深度圖元素識(shí)別深度區(qū)。
[0016] 通過量化所述深度圖，大量單獨(dú)的深度值被轉(zhuǎn)換為已知的數(shù)量有限的量化深度 值。具體而言，將范圍明確的深度值分配給單個(gè)量化深度。因此，與相同量化深度值有關(guān)的 相鄰深度圖元素可被認(rèn)為與3D圖像內(nèi)的相同區(qū)域有關(guān)。此外，通過將邊權(quán)重分配給邊可W 實(shí)現(xiàn)執(zhí)行圖像分割的非常有效的分析。
[0017] 根據(jù)所述第一方面的所述第二實(shí)施形式的所述方法的第=實(shí)施形式，所述分割包 括識(shí)別包含一致性像素的紋理區(qū)；評(píng)估所述紋理區(qū)的可靠性；W及消除不可靠紋理區(qū)。
[0018] 該樣，可W執(zhí)行一種識(shí)別包含一致性像素的紋理區(qū)的非常簡(jiǎn)單且有效的方式。
[0019] 根據(jù)所述第一方面的所述第=實(shí)施形式的所述方法的第四實(shí)施形式，所述分割還 包括計(jì)算不同深度區(qū)中局部特征分布的直方圖。
[0020] 根據(jù)所述第一方面的所述第四實(shí)施形式的所述方法的第五實(shí)施形式，所述分割還 包括基于所述紋理區(qū)進(jìn)行分割。
[0021] 根據(jù)所述第一方面的所述第=至第五實(shí)施形式中任意實(shí)施形式的所述方法的第 六實(shí)施形式，所述評(píng)估所述紋理區(qū)的所述可靠性包括；將包含數(shù)量小于第一闊值的特征的 所述紋理區(qū)評(píng)估為不可靠；將包含數(shù)量大于第二闊值的特征的所述紋理區(qū)評(píng)估為可靠；W 及計(jì)算紋理區(qū)的置信值；將所述置信值與第=闊值比較；W及將所述計(jì)算得出的置信值低 于所述第=闊值的所述紋理區(qū)評(píng)估為不可靠；或它們的任意組合。
[0022] 根據(jù)所述第一方面的所述第六實(shí)施形式的所述方法的第走實(shí)施形式，所述置信值 基于所述紋理區(qū)覆蓋的深度區(qū)數(shù)量和所述紋理區(qū)中局部特征的所述數(shù)量計(jì)算得出。
[0023] 根據(jù)所述第一方面的所述第一至第走實(shí)施形式中的任意實(shí)施形式的所述方法的 第八實(shí)施形式，所述邊權(quán)重根據(jù)色差標(biāo)準(zhǔn)、所述頂點(diǎn)的相對(duì)距離和所述頂點(diǎn)的深度值的相 對(duì)距離的任意組合計(jì)算得出。
[0024] 通過基于該些特征確定所述邊權(quán)重，可W實(shí)現(xiàn)一種所述用于圖像分割的圖像數(shù)據(jù) 的可靠分析。
[0025] 根據(jù)如上所述第一方面或者根據(jù)所述第一方面的任意前述實(shí)施形式的所述方法 的第九實(shí)施形式，所述方法還包括；將所述3D圖像數(shù)據(jù)分離成前景圖像數(shù)據(jù)和背景圖像數(shù) 據(jù)，其中僅對(duì)所述前景圖像數(shù)據(jù)執(zhí)行所述分割。
[0026] 通過識(shí)別背景數(shù)據(jù)并跳過所述背景圖像數(shù)據(jù)的所述分割，所述分割的效率可W進(jìn) 一步提升。
[0027] 根據(jù)第二方面，提供了一種3D圖像的3D圖像數(shù)據(jù)分割裝置。所述裝置包括局部 特征確定構(gòu)件，用于確定所述3D圖像的多個(gè)視圖中的每個(gè)視圖的局部特征；圖生成構(gòu)件， 用于基于所述確定的局部特征確定局部特征圖；W及分割構(gòu)件，用于基于所述3D圖像的所 述確定的局部特征圖和深度圖將所述3D圖像數(shù)據(jù)分割為多個(gè)深度區(qū)。
[002引根據(jù)如上所述第二方面的所述裝置的一實(shí)施形式，所述分割構(gòu)件還可包括子構(gòu) 件，用于執(zhí)行根據(jù)所述第一方面的所述第一至第九實(shí)施形式中的任意實(shí)施形式所述的步 驟。
[0029] 根據(jù)如上所述第二方面或者根據(jù)所述第二方面的任意實(shí)施形式的所述裝置的一 實(shí)施形式，所述裝置還可包括接收器，用于接收所述3D圖像數(shù)據(jù)，確定所述3D圖像的所述 多個(gè)視圖，W及確定或獲取所述3D圖像的所述深度圖。所述接收器還可用于接收所述深度 圖 110。
[0030] 根據(jù)如上所述第二方面或者根據(jù)所述第二方面的任意實(shí)施形式的所述裝置的一 實(shí)施形式，所述裝置還可包括提供所述3D圖像數(shù)據(jù)的3D圖像數(shù)據(jù)源。
[0031] 根據(jù)第=方面，提供了一種執(zhí)行3D圖像的3D圖像數(shù)據(jù)分割的裝置。所述裝置包 括處理器，用于執(zhí)行根據(jù)所述第一方面或者根據(jù)所述第一方面的任意所述實(shí)施形式所述的 方法。
[0032] 根據(jù)如上所述第=方面的一實(shí)施形式，所述裝置還可包括接收器，用于接收所述 3D圖像數(shù)據(jù)，確定所述3D圖像的所述多個(gè)視圖，化及確定所述3D圖像的深度圖。
[0033] 根據(jù)如上所述第=方面的一實(shí)施形式或者根據(jù)所述第=方面的任意前述實(shí)施形 式，所述接收器還可用于接收所述3D圖像的所述深度圖。
[0034] 根據(jù)如上所述第=方面的一實(shí)施形式或者據(jù)所述第=方面的任意前述實(shí)施形式， 所述裝置還可包括提供所述3D圖像數(shù)據(jù)的3D圖像數(shù)據(jù)源。
[0035] 根據(jù)第四方面，本發(fā)明可W在數(shù)字電路中，或者在計(jì)算機(jī)硬件、固件、計(jì)算機(jī)軟件 中，或它們的組合中實(shí)施。所述計(jì)算機(jī)軟件包括用于執(zhí)行根據(jù)如上所述第一方面或者根據(jù) 所述第一方面的所述任意前述實(shí)施形式的所述方法的程序代碼。
[0036] 本發(fā)明的基本觀點(diǎn)在于，基于局部特征的數(shù)量而不是基于單獨(dú)分析每個(gè)像素來執(zhí) 行所述圖像分割。一個(gè)局部特征是一個(gè)圍繞圖像中某個(gè)點(diǎn)的塊的簡(jiǎn)潔描述。通常一個(gè)圖像 中的局部特征的數(shù)量比像素的數(shù)量小得多。因此，可W相當(dāng)快速地并且利用比基于圖像的 全部像素的圖像分割少的計(jì)算資源執(zhí)行基于局部特征的分割。
[0037] 本發(fā)明的該些和其它方面將從下文描述的實(shí)施例顯而易見。
【附圖說明】
[003引下面將參考附圖通過示例的方式對(duì)本發(fā)明實(shí)施例進(jìn)行描述，在附圖中：
[0039] 圖1示意性地示出了根據(jù)本發(fā)明的方法的實(shí)施例使用的3D圖像的圖像數(shù)據(jù)集；
[0040] 圖2示意性地示出了根據(jù)本發(fā)明一實(shí)施例的3D圖像數(shù)據(jù)分割方法的流程圖；
[0041] 圖3示意性地示出了根據(jù)本發(fā)明一實(shí)施例的將3D圖像數(shù)據(jù)分割為多個(gè)深度區(qū)的 流程圖；
[0042] 圖4示意性地示出了根據(jù)本發(fā)明一實(shí)施例的