一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法
【專利摘要】本發(fā)明公開了一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，包括：對(duì)參考視點(diǎn)圖像進(jìn)行分割得到不同圖像塊，各個(gè)線程分別對(duì)所述不同圖像塊進(jìn)行并行的視點(diǎn)合成，然后將各個(gè)線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，完成整個(gè)虛擬視點(diǎn)圖像的輸出；所述對(duì)參考視點(diǎn)圖像進(jìn)行分割為：將所述參考視點(diǎn)圖像按線程個(gè)數(shù)均分為不同圖像塊，根據(jù)每個(gè)線程負(fù)載與平均線程負(fù)載之差計(jì)算每個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值，然后以行為單位補(bǔ)償所述負(fù)載值進(jìn)而計(jì)算出每個(gè)圖像塊的分割高度，實(shí)現(xiàn)負(fù)載均衡。本發(fā)明公開的負(fù)載均衡方法進(jìn)一步提高虛擬視點(diǎn)的并行合成速度。
【專利說明】一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，特別涉及一種基于深度圖面向并行 虛擬視點(diǎn)合成負(fù)載均衡方法。

【背景技術(shù)】
[0002] 自由視點(diǎn)視頻（FTV)允許用戶從任何視點(diǎn)觀看3D視頻，隨著人們對(duì)視頻視覺體驗(yàn) 的要求越來越高，F(xiàn)TV提供的這種沉浸式的觀看體驗(yàn)，必然成為未來視頻發(fā)展的方向。在當(dāng) 前移動(dòng)互聯(lián)網(wǎng)時(shí)代，用戶把娛樂活動(dòng)漸漸轉(zhuǎn)移到手機(jī)，平板等移動(dòng)終端上，所以在手機(jī)上實(shí) 現(xiàn)FTV的急迫性越來越緊。
[0003] 為了重建高質(zhì)量的任意視點(diǎn)圖像應(yīng)用于FTV，MPEG組織開發(fā)了 VSRS (View Synthesis Reference Software)參考軟件，此軟件用兩個(gè)參考視點(diǎn)紋理圖和相應(yīng)的深度 圖作為輸入來生成一個(gè)合成的虛擬視點(diǎn)。VSRS由于其復(fù)雜性特征，其視點(diǎn)合成的速度遠(yuǎn)遠(yuǎn) 不能滿足現(xiàn)實(shí)應(yīng)用下的實(shí)時(shí)合成要求。隨著手機(jī)和平板等移動(dòng)終端內(nèi)置多個(gè)核心越來越普 遍，利用此特性可以大大提高其視點(diǎn)合成速度?；诙嗪颂匦缘牟⑿幸朁c(diǎn)合成技術(shù)已經(jīng)被 提出，但是怎么分割圖像使每個(gè)核上的工作負(fù)載相等還是一個(gè)亟待解決的問題。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明目的在于提出一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，以解決上述 現(xiàn)有技術(shù)存在的各核上負(fù)載不均衡的技術(shù)問題。
[0005] 為此，本發(fā)明提出一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，包括：
[0006] 對(duì)參考視點(diǎn)圖像進(jìn)行分割得到不同圖像塊，各個(gè)線程分別對(duì)所述不同圖像塊進(jìn)行 并行的視點(diǎn)合成，然后將各個(gè)線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，完成整個(gè)虛擬視點(diǎn)圖像 的輸出；
[0007] 所述對(duì)參考視點(diǎn)圖像進(jìn)行分割包括：將所述參考視點(diǎn)圖像按線程個(gè)數(shù)均分為不同 圖像塊，根據(jù)每個(gè)線程負(fù)載與平均線程負(fù)載之差計(jì)算每個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值，然后以 行為單位補(bǔ)償所述負(fù)載值計(jì)算每個(gè)圖像塊的分割高度，實(shí)現(xiàn)負(fù)載均衡。
[0008] 優(yōu)選地，所述每個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值為：
[0009]

【權(quán)利要求】
1. 一種基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，包括： 對(duì)參考視點(diǎn)圖像進(jìn)行分割得到不同圖像塊，各個(gè)線程分別對(duì)所述不同圖像塊進(jìn)行并行 的視點(diǎn)合成，然后將各個(gè)線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，完成整個(gè)虛擬視點(diǎn)圖像的輸 出； 所述對(duì)參考視點(diǎn)圖像進(jìn)行分割包括：將所述參考視點(diǎn)圖像按線程個(gè)數(shù)均分為不同圖像 塊，根據(jù)每個(gè)線程負(fù)載與平均線程負(fù)載之差計(jì)算每個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值，然后以行為 單位補(bǔ)償所述負(fù)載值計(jì)算每個(gè)圖像塊的分割高度，實(shí)現(xiàn)負(fù)載均衡。
2. 如權(quán)利要求1所述的基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，其特征在于，所述 每個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值為：
其中，Awk為第k個(gè)圖像塊應(yīng)調(diào)整的負(fù)載值，Wi為圖像各行總負(fù)載，H為圖像總行數(shù)，N 為線程個(gè)數(shù)； 所述計(jì)算每個(gè)圖像塊的分割高度為：第k個(gè)圖像塊的分割高度hk相應(yīng)的調(diào)整的負(fù)載值 k 為DAw)，則通過下式確定：
其中第一幀的hk初始化為均分圖像。
3. 如權(quán)利要求2所述的基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，其特征在于，所述 圖像各行總負(fù)載Wi通過下式確定 ： - ^hole ^hole ^non hole ^non hole 其中，和〃__·分別是每行總的空洞和非空洞數(shù)目，I^和w__hAS分別是處理 單個(gè)空洞和非空洞的負(fù)載； 定義處理所述單個(gè)空洞和非空洞的負(fù)載之比：
其中，α由訓(xùn)練得到，width為圖像塊的寬度，11_為所述參考視點(diǎn)圖像的個(gè)數(shù)。
4. 如權(quán)利要求3所述的基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，其特征在于，所述 每行總的空洞數(shù)目通過以下方式確定： 對(duì)所述參考視點(diǎn)圖像進(jìn)行邊緣檢測(cè)，標(biāo)記上升邊緣和下降邊緣； 參考視點(diǎn)像素在虛擬視點(diǎn)圖像中移動(dòng)的距離d通過下式確定：
z是計(jì)算出的此像素點(diǎn)深度，zn_和Zfm分別是在原始三維空間中的最近和最遠(yuǎn)剪切平 面，V是深度圖所記錄的此像素點(diǎn)的強(qiáng)度值，fu是在水平方向上的焦距，tv和&分別是虛擬 視點(diǎn)和參考視點(diǎn)的相機(jī)位置，du v和dll,分別是虛擬視點(diǎn)和參考視點(diǎn)圖像中與光軸相交的位 置； 對(duì)于所述下降邊緣，所述下降邊緣像素和其右邊像素的移動(dòng)距離分別為4和dK，則在 合成視點(diǎn)圖像上該行空洞數(shù)目為n = dfdK，對(duì)于所述上升邊緣，所述上升邊緣像素和其左 邊像素的移動(dòng)距離分別為(^和則在合成視點(diǎn)圖像上該行空洞數(shù)目為n = dK-c^ ;將各個(gè) 參考視點(diǎn)圖像在合成視點(diǎn)圖像中形成的該行空洞數(shù)目累加起來，得到合成視點(diǎn)圖像上該行 總的空洞數(shù)目記為侖片(1，2，''_，/小其中《為圖像的總行數(shù)。
5.如權(quán)利要求1所述的基于深度圖的并行視點(diǎn)合成負(fù)載均衡方法，其特征在于，如果 分割高度hk是奇數(shù)，則hk = hk+l。
【文檔編號(hào)】H04N21/647GK104378618SQ201410632543
【公開日】2015年2月25日 申請(qǐng)日期:2014年11月11日 優(yōu)先權(quán)日:2014年11月11日
【發(fā)明者】金欣, 劉站奇, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院