專利名稱：一種基于區(qū)域連通圖的立體視頻深度圖的制作方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，特別涉及一種基于區(qū)域連通圖的立體視頻深度圖的制作方法和裝置。
背景技術(shù)：
立體視頻是視覺信息的一種重要的表示方式，其研究涉及計(jì)算機(jī)視覺、圖像視頻處理、模式識(shí)別等領(lǐng)域，在航空航天、軍事訓(xùn)練、醫(yī)療教育、游戲傳媒等領(lǐng)域有著廣闊的應(yīng)用前景。立體視頻可以通過多種方式進(jìn)行制作，例如立體攝像機(jī)拍攝、三維建模軟件制作、平面視頻立體化轉(zhuǎn)換等。但是立體攝像機(jī)拍攝的制作成本較高，并且對(duì)設(shè)備校準(zhǔn)、拍攝環(huán)境、 后期制作的要求很高。并且，三維建模軟件制作需要專業(yè)人員花費(fèi)大量精力進(jìn)行場(chǎng)景、對(duì)象建模，其經(jīng)濟(jì)成本和制作時(shí)間同樣居高不下。因此，專業(yè)人員通常采用通過計(jì)算機(jī)視覺、圖像處理等技術(shù)將平面視頻轉(zhuǎn)換為立體視頻，相對(duì)于立體視頻制作技術(shù)具有成本低、速度快等優(yōu)勢(shì)?，F(xiàn)有的平面視頻轉(zhuǎn)立體視頻方法按照是否使用深度圖分為兩類1)不基于深度圖的轉(zhuǎn)換方法通過在原始平面圖像上直接進(jìn)行逐像素的平移操作，獲得另一視角的圖像。這種方法的人力成本很高，速度較慢且不便于調(diào)節(jié)視差大??；2)基于深度圖的轉(zhuǎn)換方法首先逐幀生成深度圖，然后利用基于深度圖的圖像渲染(DIBR，Depth-Image-Based Rendering)算法將每一幀平面圖像轉(zhuǎn)換為立體圖像。由于DIBR算法已經(jīng)較為成熟，所以如何生成高質(zhì)量的深度圖成為本領(lǐng)域技術(shù)人員研究的重點(diǎn)。就目前而言，大多數(shù)深度圖制作流程都可分為前景對(duì)象提取和深度賦值兩個(gè)階段。在前景對(duì)象提取階段，操作者需要使用多種工具對(duì)圖像進(jìn)行分割從而得到所關(guān)注的前景物體。在接下來(lái)的深度賦值階段中，操作者可以選擇利用已有的深度賦值模型或各種畫筆工具繪制各個(gè)對(duì)象的深度并組合成完整的深度圖。操作者可能無(wú)法準(zhǔn)確的將人工深度標(biāo)記放置在合適的位置，因此需要一個(gè)標(biāo)記——查看——再標(biāo)記的人機(jī)交互過程。雖然像素深度圖制作階段能夠生成精度較高的結(jié)果，但是該階段耗時(shí)較長(zhǎng)，人機(jī)交互效率較低，用戶體驗(yàn)較差，不能快速、及時(shí)的查看深度圖的效果并修改人工深度標(biāo)記。這類深度圖制作流程存在以下缺陷前景對(duì)象提取和深度賦值兩個(gè)階段都需要大量的人工操作，使得深度圖的制作周期較長(zhǎng)，制作成本較高，從而限制了平面視頻轉(zhuǎn)立體視頻技術(shù)的推廣。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為此，本發(fā)明的第一個(gè)目的在于提出一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，該方法可以有效降低深度圖制作的所需時(shí)間，減少深度圖制作成本。本發(fā)明的第二個(gè)目的在于提出一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置。為達(dá)到上述目的，本發(fā)明第一方面的實(shí)施例提出了一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個(gè)像素點(diǎn)信息；對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類得到聚類后的像素點(diǎn)信息，根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖；向內(nèi)存中輸入深度值標(biāo)記信息，所述區(qū)域連通圖根據(jù)所述深度值標(biāo)記信息生成區(qū)域深度圖；判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件后，當(dāng)所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時(shí)，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。根據(jù)本發(fā)明的一個(gè)實(shí)施例，在對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類之前， 還包括如下步驟對(duì)提取得到所述的每一幀的圖像信息進(jìn)行圖像去噪。根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類，包括如下步驟設(shè)置初始種子點(diǎn)，將所述每幀圖像劃分成多個(gè)相同的矩形區(qū)域；計(jì)算所述每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值，并根據(jù)每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值得到所述初始種子點(diǎn)的五維空間坐標(biāo)值；對(duì)所述每幀圖像的每個(gè)像素點(diǎn)，計(jì)算所述像素點(diǎn)與所述像素點(diǎn)對(duì)應(yīng)的搜索范圍內(nèi)的每個(gè)所述初始種子點(diǎn)的五維空間距離，并將所述像素點(diǎn)歸類至所述五維空間距離最小的初始種子點(diǎn)所屬的類別；更新聚類后的每個(gè)初始種子點(diǎn)的信息，并統(tǒng)計(jì)每一類別所包括的像素點(diǎn)信息，根據(jù)每一類別中五維空間坐標(biāo)的平均值作為新的種子點(diǎn)的五維空間坐標(biāo)值；計(jì)算所述每幀圖像中每個(gè)像素點(diǎn)距離所述新的種子點(diǎn)的最小五維空間距離之和， 根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當(dāng)所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時(shí)，結(jié)束對(duì)像素點(diǎn)進(jìn)行聚類，得到所述聚類后的像素點(diǎn)fn息。根據(jù)本發(fā)明的一個(gè)實(shí)施例，根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖，包括如下步驟讀取所述聚類后的像素點(diǎn)信息，獲取所述每幀圖像的每個(gè)像素點(diǎn)的所屬類別信息，并遍歷所述每幀圖像中的每個(gè)像素點(diǎn)；對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，包括如下步驟如果當(dāng)前像素點(diǎn)已劃分至一個(gè)區(qū)域內(nèi)，則對(duì)所述當(dāng)前像素點(diǎn)不作處理；如果所述當(dāng)前像素點(diǎn)未劃分至一個(gè)區(qū)域內(nèi)，則生成一個(gè)大小為預(yù)設(shè)尺寸的區(qū)域， 然后將所述當(dāng)期像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入待處理堆棧中，從所述待處理堆棧中彈出一個(gè)像素點(diǎn)；
如果所述彈出的像素點(diǎn)不是當(dāng)前區(qū)域的一部分且所述彈出的像素點(diǎn)的類別與當(dāng)前區(qū)域的類別相同，則將所述彈出的像素點(diǎn)加入至所述當(dāng)前區(qū)域，再將所述彈出的像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點(diǎn)均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，包括如下步驟判斷所述初始區(qū)域連通圖中每個(gè)區(qū)域的面積是否小于區(qū)域面積閾值，如果當(dāng)前區(qū)域的面積小于所述區(qū)域面積閾值時(shí)，計(jì)算所述當(dāng)前區(qū)域的五維空間坐標(biāo)的平均值和所述當(dāng)前區(qū)域的鄰域的五維空間坐標(biāo)的平均值的距離，并將所述當(dāng)前區(qū)域合并到與所述當(dāng)前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述區(qū)域連通圖根據(jù)所述深度值標(biāo)記信息得到區(qū)域深度圖，包括如下步驟對(duì)所述區(qū)域連通圖的每個(gè)區(qū)域進(jìn)行深度值標(biāo)記，得到標(biāo)記區(qū)域；在所述標(biāo)記區(qū)域中，對(duì)于具有相同深度值的標(biāo)記區(qū)域進(jìn)行聚類，得到聚類后的標(biāo)記區(qū)域；根據(jù)所述聚類后的標(biāo)記區(qū)域計(jì)算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；根據(jù)每一個(gè)所述區(qū)域權(quán)重值，通過下述公式獲取每一個(gè)區(qū)域的區(qū)域深度值；deptho= 1 . X val χ WeightOval
total—weightO其中，depthO為區(qū)域的深度值，val表示深度標(biāo)記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標(biāo)記的深度權(quán)重，total_WeightO表示所述深度值標(biāo)記信息中所有標(biāo)記的權(quán)重值之和；根據(jù)所述每一個(gè)區(qū)域的區(qū)域深度值得到區(qū)域深度圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述根據(jù)所述區(qū)域深度圖獲取像素深度圖，包括如下步驟對(duì)所述深度值標(biāo)記信息進(jìn)行聚類，得到聚類后的深度值標(biāo)記信息；根據(jù)所述聚類后的深度值標(biāo)記信息計(jì)算像素深度權(quán)重，得到像素權(quán)重值，并計(jì)算每一個(gè)像素的深度值；根據(jù)每一個(gè)的所述像素深度值生成像素深度圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述生成像素深度圖之后，進(jìn)一步包括如下步驟判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當(dāng)所述區(qū)域深度圖滿足第二預(yù)設(shè)條件時(shí)，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。根據(jù)本發(fā)明實(shí)施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法，在像素深度圖制作階段前加入?yún)^(qū)域深度圖制作階段，通過人工深度標(biāo)記快速生成區(qū)域深度圖。區(qū)域深度圖是基于區(qū)域進(jìn)行運(yùn)算，耗時(shí)只有像素深度圖的幾百分之一，可以做到實(shí)時(shí)操作，從而提高人機(jī)交互過程的效率，使得操作者可以較快的將人工深度標(biāo)記放置在準(zhǔn)確的位置。在隨后的像素深度圖制作階段，操作者可以導(dǎo)入?yún)^(qū)域深度圖制作階段中得到的較為準(zhǔn)確的人工深度標(biāo)記，自動(dòng)生成高質(zhì)量的像素級(jí)深度圖，從而減少了平面視頻轉(zhuǎn)立體視頻過程中深度圖的制作成本，提高了立體視頻的轉(zhuǎn)換效率。
本發(fā)明第二方面的實(shí)施例提出一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置，包括輸入模塊，所述輸入模塊用于向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個(gè)像素點(diǎn)信息；區(qū)域連通圖生成模塊，用于對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類得到聚類后的像素點(diǎn)信息，根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖；深度值標(biāo)記模塊，用于向內(nèi)存中輸入深度值標(biāo)記信息；區(qū)域深度圖生成模塊，所述區(qū)域深度圖制作模塊分別與所述區(qū)域連通圖生成模塊和所述深度值標(biāo)記模塊相連，用于根據(jù)所述區(qū)域連通圖和所述深度值標(biāo)記信息生成區(qū)域深度圖，且判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件；像素深度圖生成模塊，所述像素深度圖生成模塊與所述區(qū)域深度圖生成模塊相連，當(dāng)所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時(shí)，則所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則由所述深度值標(biāo)記模塊繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息，并由所述區(qū)域深度圖生成模塊重新生成區(qū)域深度圖直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述基于區(qū)域連通圖的立體視頻深度圖的制作裝置還包括去噪模塊，所述去噪模塊分別與所述輸入模塊和所述區(qū)域連通圖生成模塊相連，用于對(duì)提取得到所述的每一幀的圖像信息進(jìn)行圖像去噪。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述區(qū)域連通圖生成模塊設(shè)置初始種子點(diǎn)，將所述每幀圖像劃分成多個(gè)相同的矩形區(qū)域；計(jì)算所述每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值，并根據(jù)每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值得到所述初始種子點(diǎn)的五維空間坐標(biāo)值；對(duì)所述每幀圖像的每個(gè)像素點(diǎn)，計(jì)算所述像素點(diǎn)與所述像素點(diǎn)對(duì)應(yīng)的搜索范圍內(nèi)的每個(gè)所述初始種子點(diǎn)的五維空間距離，并將所述像素點(diǎn)歸類至所述五維空間距離最小的初始種子點(diǎn)所屬的類別；更新聚類后的每個(gè)初始種子點(diǎn)的信息，并統(tǒng)計(jì)每一類別所包括的像素點(diǎn)信息，根據(jù)每一類別中五維空間坐標(biāo)的平均值作為新的種子點(diǎn)的五維空間坐標(biāo)值；計(jì)算所述每幀圖像中每個(gè)像素點(diǎn)距離所述新的種子點(diǎn)的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當(dāng)所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時(shí)，結(jié)束對(duì)像素點(diǎn)進(jìn)行聚類，得到所述聚類后的像素點(diǎn) fn息ο根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述區(qū)域連通圖生成模塊根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖讀取所述聚類后的像素點(diǎn)信息，獲取所述每幀圖像的每個(gè)像素點(diǎn)的所屬類別信息，并遍歷所述每幀圖像中的每個(gè)像素點(diǎn)；對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，如果當(dāng)前像素點(diǎn)已劃分至一個(gè)區(qū)域內(nèi)，則對(duì)所述當(dāng)前像素點(diǎn)不作處理；如果所述當(dāng)前像素點(diǎn)未劃分至一個(gè)區(qū)域內(nèi)，則生成一個(gè)大小為預(yù)設(shè)尺寸的區(qū)域， 然后將所述當(dāng)期像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入待處理堆棧中，從所述待處理堆棧中彈出一個(gè)像素點(diǎn)；
如果所述彈出的像素點(diǎn)不是當(dāng)前區(qū)域的一部分且所述彈出的像素點(diǎn)的類別與當(dāng)前區(qū)域的類別相同，則將所述彈出的像素點(diǎn)加入至所述當(dāng)前區(qū)域，再將所述彈出的像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點(diǎn)均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述區(qū)域連通圖生成模塊判斷所述初始區(qū)域連通圖中每個(gè)區(qū)域的面積是否小于區(qū)域面積閾值，如果當(dāng)前區(qū)域的面積小于所述區(qū)域面積閾值時(shí)， 計(jì)算所述當(dāng)前區(qū)域的五維空間坐標(biāo)的平均值和所述當(dāng)前區(qū)域的鄰域的五維空間坐標(biāo)的平均值的距離，并將所述當(dāng)前區(qū)域合并到與所述當(dāng)前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述區(qū)域深度圖生成模塊用于對(duì)所述區(qū)域連通圖的每個(gè)區(qū)域進(jìn)行深度值標(biāo)記，得到標(biāo)記區(qū)域；在所述標(biāo)記區(qū)域中，對(duì)于具有相同深度值的標(biāo)記區(qū)域進(jìn)行聚類，得到聚類后的標(biāo)記區(qū)域；根據(jù)所述聚類后的標(biāo)記區(qū)域計(jì)算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；depthO= 1 . X val χ weightOval
total—weightO其中，depthO為區(qū)域的深度值，val表示深度標(biāo)記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標(biāo)記的深度權(quán)重，total_Weight0表示所述深度值標(biāo)記信息中所有標(biāo)記的權(quán)重值之和；所述區(qū)域深度圖生成模塊根據(jù)所述每一個(gè)區(qū)域的區(qū)域深度值得到區(qū)域深度圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述像素深度圖生成模塊判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當(dāng)所述像素深度圖滿足所述第二預(yù)設(shè)條件時(shí)，輸出所述像素深度圖，否則所述深度值標(biāo)記模塊繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息，所述區(qū)域深度圖生成模塊生成所述區(qū)域深度圖，所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖生成像素深度圖直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。根據(jù)本發(fā)明實(shí)施例的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，在像素深度圖制作階段前加入?yún)^(qū)域深度圖制作階段，通過人工深度標(biāo)記快速生成區(qū)域深度圖。區(qū)域深度圖是基于區(qū)域進(jìn)行運(yùn)算，耗時(shí)只有像素深度圖的幾百分之一，可以做到實(shí)時(shí)操作，從而提高人機(jī)交互過程的效率，使得操作者可以較快的將人工深度標(biāo)記放置在準(zhǔn)確的位置。在隨后的像素深度圖制作階段，操作者可以導(dǎo)入?yún)^(qū)域深度圖制作階段中得到的較為準(zhǔn)確的人工深度標(biāo)記，自動(dòng)生成高質(zhì)量的像素級(jí)深度圖，從而減少了平面視頻轉(zhuǎn)立體視頻過程中深度圖的制作成本，提高了立體視頻的轉(zhuǎn)換效率。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實(shí)施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法流程圖2為圖1中預(yù)處理的流程圖；圖3為圖1中生成區(qū)域深度圖的流程圖；圖4為圖1中生成像素深度圖的流程圖；以及圖5為本發(fā)明實(shí)施例的基于區(qū)域連通圖的立體視頻深度圖的制作裝置結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。下面參考圖1至圖4描述根據(jù)本發(fā)明實(shí)施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法。如圖1所示，本發(fā)明實(shí)施例提供的基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟Sll 輸入圖片；首先，用戶向內(nèi)存中輸入多幀圖像，然后提取多幀圖像的每一幀的圖像信息，其中所提取的圖像信息包括每幀圖像的每個(gè)像素點(diǎn)信息。S12:預(yù)處理，在本步驟中，對(duì)圖像中空間距離較小、顏色較為相似的像素點(diǎn)進(jìn)行聚類操作。S121:圖像去噪；由于用戶輸入的圖像信息中存在圖像噪聲，需要對(duì)圖像進(jìn)行去噪。在本發(fā)明的一個(gè)實(shí)施例中，采用高斯濾波的方式對(duì)圖像進(jìn)行去噪處理，從而減弱圖像噪聲對(duì)后續(xù)的聚類算法的影響?？梢岳斫獾氖牵瑢?duì)圖像進(jìn)行去噪的方式并不僅限于高斯濾波的方式，也可以為其他圖像去噪方法?？梢岳斫獾氖?，對(duì)初始輸入的圖像進(jìn)行去噪是可選步驟，換言之，也可以將步驟 Sll中輸入的圖像直接送至步驟S122進(jìn)行處理。S122:設(shè)置初始種子點(diǎn)；對(duì)步驟Sll提取的圖像信息或步驟S121去噪后的圖像信息，首先按照固定的長(zhǎng)度和寬度將圖像分成多個(gè)相同的矩形區(qū)域，然后計(jì)算每個(gè)矩形區(qū)域中像素點(diǎn)的五維空間坐標(biāo)的平均值，將計(jì)算出的五維空間坐標(biāo)平均值作為初始種子點(diǎn)的五維空間坐標(biāo)值。若圖像的長(zhǎng)度無(wú)法被矩形區(qū)域的長(zhǎng)度整除，則將相除后的余數(shù)作為最后一個(gè)矩形區(qū)域的長(zhǎng)度。相應(yīng)的，若圖像的寬度無(wú)法被矩形方塊的寬度整除，則將相除后的余數(shù)作為最后一個(gè)矩形區(qū)域的寬度。S123 將像素點(diǎn)按照五維空間坐標(biāo)聚類；在本發(fā)明的一個(gè)實(shí)施例中，采用K-means算法將像素點(diǎn)按照五維空間坐標(biāo)聚類。 具體而言，根據(jù)S122步驟得到的初始種子點(diǎn)的五維空間坐標(biāo)值，對(duì)圖像中的每個(gè)像素點(diǎn)， 首先計(jì)算每個(gè)像素點(diǎn)與該像素點(diǎn)搜索范圍內(nèi)的各個(gè)初始種子點(diǎn)的五維空間距離，然后將該像素點(diǎn)歸類于五維空間距離最近的初始種子點(diǎn)所屬的類別。在本發(fā)明的一個(gè)實(shí)施例中，可以采用下列公式計(jì)算五維空間距離
權(quán)利要求
1.一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于，包括如下步驟 向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個(gè)像素點(diǎn)信息；對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類得到聚類后的像素點(diǎn)信息，根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖；向內(nèi)存中輸入深度值標(biāo)記信息，所述區(qū)域連通圖根據(jù)所述深度值標(biāo)記信息生成區(qū)域深度圖；判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件，當(dāng)所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時(shí)，根據(jù)所述區(qū)域深度圖得到像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。
2.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 在對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類之前，還包括如下步驟對(duì)提取得到的所述每一幀的圖像信息進(jìn)行圖像去噪。
3.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類，包括如下步驟設(shè)置初始種子點(diǎn)，將所述每幀圖像劃分成多個(gè)相同的矩形區(qū)域； 計(jì)算所述每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值，并根據(jù)每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值得到所述初始種子點(diǎn)的五維空間坐標(biāo)值。；對(duì)所述每幀圖像的每個(gè)像素點(diǎn)，計(jì)算所述像素點(diǎn)與所述像素點(diǎn)對(duì)應(yīng)的搜索范圍內(nèi)的每個(gè)所述初始種子點(diǎn)的五維空間距離，并將所述像素點(diǎn)歸類至所述五維空間距離最小的初始種子點(diǎn)所屬的類別；更新聚類后的每個(gè)初始種子點(diǎn)的信息，并統(tǒng)計(jì)每一類別所包括的像素點(diǎn)信息，根據(jù)每一類別中五維空間坐標(biāo)的平均值作為新的種子點(diǎn)的五維空間坐標(biāo)值；計(jì)算所述每幀圖像中每個(gè)像素點(diǎn)距離所述新的種子點(diǎn)的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當(dāng)所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時(shí)，結(jié)束對(duì)像素點(diǎn)進(jìn)行聚類，得到所述聚類后的像素點(diǎn) fn息ο
4.如權(quán)利要求3所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖，包括如下步驟讀取所述聚類后的像素點(diǎn)信息，獲取所述每幀圖像的每個(gè)像素點(diǎn)的所屬類別信息，并遍歷所述每幀圖像中的每個(gè)像素點(diǎn)；對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖； 將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。
5.如權(quán)利要求4所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，包括如下步驟如果當(dāng)前像素點(diǎn)已劃分至一個(gè)區(qū)域內(nèi)，則對(duì)所述當(dāng)前像素點(diǎn)不作處理； 如果所述當(dāng)前像素點(diǎn)未劃分至一個(gè)區(qū)域內(nèi)，則生成一個(gè)大小為預(yù)設(shè)尺寸的區(qū)域，然后將所述當(dāng)前像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入待處理堆棧中，從所述待處理堆棧中彈出一個(gè)像素占.如果所述彈出的像素點(diǎn)不是當(dāng)前區(qū)域的一部分且所述彈出的像素點(diǎn)的類別與當(dāng)前區(qū)域的類別相同，則將所述彈出的像素點(diǎn)加入至所述當(dāng)前區(qū)域，再將所述彈出的像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點(diǎn)均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。
6.如權(quán)利要求5所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，包括如下步驟判斷所述初始區(qū)域連通圖中每個(gè)區(qū)域的面積是否小于區(qū)域面積閾值，如果當(dāng)前區(qū)域的面積小于所述區(qū)域面積閾值時(shí)，計(jì)算所述當(dāng)前區(qū)域的五維空間坐標(biāo)的平均值和所述當(dāng)前區(qū)域的鄰域的五維空間坐標(biāo)的平均值的距離，并將所述當(dāng)前區(qū)域合并到與所述當(dāng)前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。
7.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述區(qū)域連通圖根據(jù)所述深度值標(biāo)記信息得到區(qū)域深度圖，包括如下步驟對(duì)所述區(qū)域連通圖的每個(gè)區(qū)域進(jìn)行深度值標(biāo)記，得到標(biāo)記區(qū)域；在所述標(biāo)記區(qū)域中，對(duì)于具有相同深度值的標(biāo)記區(qū)域進(jìn)行聚類，得到聚類后的標(biāo)記區(qū)域；根據(jù)所述聚類后的標(biāo)記區(qū)域計(jì)算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；根據(jù)每一個(gè)所述區(qū)域權(quán)重值，通過下述公式獲取每一個(gè)區(qū)域的區(qū)域深度值；depthO=---V val χ weightO,,.totalweightOtf& val其中，depthO為區(qū)域的深度值，val表示深度標(biāo)記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標(biāo)記的深度權(quán)重，total_WeightO表示所述深度值標(biāo)記信息中所有標(biāo)記的權(quán)重值之和；根據(jù)所述每一個(gè)區(qū)域的區(qū)域深度值得到區(qū)域深度圖。
8.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述根據(jù)所述區(qū)域深度圖得到像素深度圖，包括如下步驟對(duì)所述深度值標(biāo)記信息進(jìn)行聚類，得到聚類后的深度值標(biāo)記信息；根據(jù)所述聚類后的深度值標(biāo)記信息計(jì)算像素深度權(quán)重，得到像素權(quán)重值，并計(jì)算每一個(gè)像素的深度值；根據(jù)所述的每一個(gè)像素深度值生成像素深度圖。
9.如權(quán)利要求8所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述生成像素深度圖之后，進(jìn)一步包括如下步驟判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當(dāng)所述區(qū)域深度圖滿足預(yù)設(shè)條件時(shí)，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。
10.一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，包括輸入模塊，所述輸入模塊用于向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個(gè)像素點(diǎn)信息；區(qū)域連通圖生成模塊，用于對(duì)所述每幀圖像的每個(gè)像素點(diǎn)信息進(jìn)行聚類得到聚類后的像素點(diǎn)信息，根據(jù)所述聚類后的像素點(diǎn)信息生成每一幀圖像的區(qū)域連通圖；深度值標(biāo)記模塊，用于向內(nèi)存中輸入深度值標(biāo)記信息；區(qū)域深度圖生成模塊，所述區(qū)域深度圖生成模塊分別與所述區(qū)域連通圖生成模塊和所述深度值標(biāo)記模塊相連，用于根據(jù)所述區(qū)域連通圖和所述深度值標(biāo)記信息生成區(qū)域深度圖，且判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件；像素深度圖生成模塊，所述像素深度圖生成模塊與所述區(qū)域深度圖生成模塊相連，當(dāng)所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時(shí)，則所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則由所述深度值標(biāo)記模塊繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息， 并由所述區(qū)域深度圖生成模塊重新生成區(qū)域深度圖直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。
11.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，還包括去噪模塊，所述去噪模塊分別與所述輸入模塊和所述區(qū)域連通圖生成模塊相連，用于對(duì)提取得到的所述每一幀的圖像信息進(jìn)行圖像去噪。
12.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊設(shè)置初始種子點(diǎn)，將所述每幀圖像劃分成多個(gè)相同的矩形區(qū)域，計(jì)算所述每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值，并根據(jù)每個(gè)矩形區(qū)域內(nèi)像素點(diǎn)的五維空間坐標(biāo)的平均值得到所述初始種子點(diǎn)的五維空間坐標(biāo)值，對(duì)所述每幀圖像的每個(gè)像素點(diǎn)，計(jì)算所述像素點(diǎn)與所述像素點(diǎn)對(duì)應(yīng)的搜索范圍內(nèi)的每個(gè)所述初始種子點(diǎn)的五維空間距離，并將所述像素點(diǎn)歸類至所述五維空間距離最小的初始種子點(diǎn)所屬的類別；更新聚類后的每個(gè)初始種子點(diǎn)的信息，并統(tǒng)計(jì)每一類別所包括的像素點(diǎn)信息，根據(jù)每一類別中五維空間坐標(biāo)的平均值作為新的種子點(diǎn)的五維空間坐標(biāo)值；計(jì)算所述每幀圖像中每個(gè)像素點(diǎn)距離所述新的種子點(diǎn)的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當(dāng)所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時(shí)，結(jié)束對(duì)像素點(diǎn)進(jìn)行聚類，得到所述聚類后的像素點(diǎn)信息。
13.如權(quán)利要求12所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊讀取所述聚類后的像素點(diǎn)信息，獲取所述每幀圖像的每個(gè)像素點(diǎn)的所屬類別信息，并遍歷所述每幀圖像中的每個(gè)像素點(diǎn)，對(duì)所述每幀圖像中的每個(gè)像素點(diǎn)劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進(jìn)行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。
14.如權(quán)利要求13所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，如果當(dāng)前像素點(diǎn)已劃分至一個(gè)區(qū)域內(nèi)，則所述區(qū)域連通圖生成模塊對(duì)所述當(dāng)前像素點(diǎn)不作處理；如果所述當(dāng)前像素點(diǎn)未劃分至一個(gè)區(qū)域內(nèi)，則所述區(qū)域連通圖生成模塊生成一個(gè)大小為預(yù)設(shè)尺寸的區(qū)域，然后將所述當(dāng)前像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入待處理堆棧中，從所述待處理堆棧中彈出一個(gè)像素點(diǎn)；如果所述彈出的像素點(diǎn)不是當(dāng)前區(qū)域的一部分且所述彈出的像素點(diǎn)的類別與當(dāng)前區(qū)域的類別相同，則所述區(qū)域連通圖生成模塊將所述彈出的像素點(diǎn)加入至所述當(dāng)前區(qū)域，再將所述彈出的像素點(diǎn)的多個(gè)鄰域像素點(diǎn)壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點(diǎn)均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。
15.如權(quán)利要求14所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊判斷所述初始區(qū)域連通圖中每個(gè)區(qū)域的面積是否小于區(qū)域面積閾值，如果當(dāng)前區(qū)域的面積小于所述區(qū)域面積閾值時(shí)，計(jì)算所述當(dāng)前區(qū)域的五維空間坐標(biāo)的平均值和所述當(dāng)前區(qū)域的鄰域的五維空間坐標(biāo)的平均值的距離，并將所述當(dāng)前區(qū)域合并到與所述當(dāng)前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。
16.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域深度圖生成模塊對(duì)所述區(qū)域連通圖的每個(gè)區(qū)域進(jìn)行深度值標(biāo)記，得到標(biāo)記區(qū)域，在所述標(biāo)記區(qū)域中，對(duì)于具有相同深度值的標(biāo)記區(qū)域進(jìn)行聚類，得到聚類后的標(biāo)記區(qū)域，根據(jù)所述聚類后的標(biāo)記區(qū)域計(jì)算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值，根據(jù)每一個(gè)所述區(qū)域權(quán)重值，通過下述公式獲取每一個(gè)區(qū)域的區(qū)域深度值；depthO=---V val χ weightO,,.totalweightOtf& val其中，depthO為區(qū)域的深度值，val表示深度標(biāo)記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標(biāo)記的深度權(quán)重，total_WeightO表示所述深度值標(biāo)記信息中所有標(biāo)記的權(quán)重值之和；所述區(qū)域深度圖生成模塊根據(jù)所述每一個(gè)區(qū)域的區(qū)域深度值得到區(qū)域深度圖。
17.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述像素深度圖生成模塊判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當(dāng)所述像素深度圖滿足所述第二預(yù)設(shè)條件時(shí)，輸出所述像素深度圖，否則所述深度值標(biāo)記模塊繼續(xù)向所述內(nèi)存中輸入深度值標(biāo)記信息，所述區(qū)域深度圖生成模塊生成所述區(qū)域深度圖，所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖生成像素深度圖直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。
全文摘要
本發(fā)明公開了一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟輸入多幀圖像，提取多幀圖像的每一幀的圖像信息，包括每幀圖像的每個(gè)像素點(diǎn)信息；對(duì)像素點(diǎn)信息進(jìn)行聚類得到聚類后的像素點(diǎn)信息，根據(jù)聚類后的像素點(diǎn)信息生成圖像的區(qū)域連通圖；輸入深度值標(biāo)記信息，區(qū)域連通圖根據(jù)深度值標(biāo)記信息生成區(qū)域深度圖；當(dāng)區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時(shí)，根據(jù)區(qū)域深度圖獲取像素深度圖，否則繼續(xù)輸入深度值標(biāo)記信息直至區(qū)域深度圖滿足第一預(yù)設(shè)條件。本發(fā)明還公開了一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置。采用本發(fā)明提供的方法和裝置能夠及時(shí)查看深度圖的效果并進(jìn)行必要修改，提高了人工標(biāo)記的效率，縮短了深度圖制作的時(shí)間。
文檔編號(hào)H04N13/00GK102316352SQ20111022644
公開日2012年1月11日 申請(qǐng)日期2011年8月8日 優(yōu)先權(quán)日2011年8月8日
發(fā)明者戴瓊海, 李振堯, 王好謙 申請(qǐng)人:清華大學(xué)